Vous r\u00eavez de faire tourner des mod\u00e8les d’IA de 600 milliards de param\u00e8tres sur votre bureau sans avoir \u00e0 vendre vos enfants ? H\u00e9 bien Jeff Geerling vient de tester un truc qui va vous faire baver, je pense. En tout cas, moi \u00e7a m’\u00e9nerve (dans le bon sens du terme hein…) !<\/p>\n
Apple lui a pr\u00eat\u00e9 4 Mac Studios M3 Ultra pour tester une nouvelle fonctionnalit\u00e9 qui d\u00e9barque avec macOS 26.2 et qui s’appelle le RDMA over Thunderbolt 5<\/strong>. En gros, c’est une techno qui permet \u00e0 plusieurs Macs de partager leur m\u00e9moire unifi\u00e9e comme si c’\u00e9tait un seul gros pool de RAM et du coup, au lieu d’avoir 4 machines s\u00e9par\u00e9es avec chacune leur m\u00e9moire, vous vous retrouvez avec 1,5 To de VRAM partag\u00e9e accessible par toutes les machines.<\/p>\n Le setup de Jeff c’est deux Mac Studios avec 512 Go de RAM chacun \u00e0 environ 11 700 dollars pi\u00e8ce, plus deux autres avec 256 Go \u00e0 8 100 dollars. Total de la douloureuse : environ 40 000 dollars. \u00c7a pique, c’est clair, mais attendez de voir ce que \u00e7a fait.<\/p>\n Le truc qui change vraiment la donne avec le RDMA c’est la latence. Avant, quand un Mac devait acc\u00e9der \u00e0 la m\u00e9moire d’un autre Mac via le r\u00e9seau, \u00e7a prenait environ 300 microsecondes. Avec cette nouvelle impl\u00e9mentation Thunderbolt 5, on tombe \u00e0 moins de 50 microsecondes. \u00c7a para\u00eet rien comme \u00e7a, mais pour faire tourner ce genre de mod\u00e8les, c’est \u00e9norme.<\/p>\n Jeff a fait tourner des benchmarks classiques et les r\u00e9sultats sont plut\u00f4t impressionnants. Sur Geekbench 6, le M3 Ultra explose le Dell Pro Max et l’AMD Ryzen AI Max+ 395 en mono et multi-coeur. Mais le plus fou c’est sur le benchmark HPL en virgule flottante 64 bits o\u00f9 c’est le seul syst\u00e8me desktop test\u00e9 \u00e0 d\u00e9passer 1 T\u00e9raflop, avec presque le double des performances du Nvidia GB10.<\/p>\n C\u00f4t\u00e9 mod\u00e8les IA massifs, le cluster fait tourner Qwen3 235B \u00e0 32 tokens par seconde avec Exo, DeepSeek V3.1 et ses 671 milliards de param\u00e8tres scale correctement sur les 4 machines, et m\u00eame Kimi K2 Thinking avec ses 1000 milliards de param\u00e8tres tourne \u00e0 environ 30 tokens par seconde. Tout \u00e7a en consommant environ 250 watts max et en faisant quasi aucun bruit.<\/p>\n Par contre, c’est encore du logiciel en beta et \u00e7a se sent. Par exemple, Jeff a eu pas mal de crashs pendant ses tests HPL sur Thunderbolt avec des instabilit\u00e9s qui ont n\u00e9cessit\u00e9 des red\u00e9marrages fr\u00e9quents, ou encore le fait que seulement 4 Macs sont support\u00e9s pour l’instant malgr\u00e9 les 5 ports Thunderbolt 5 disponibles. Ensuite y’a le probl\u00e8me de l’administration \u00e0 distance qui est inexistante, car impossible de mettre \u00e0 jour macOS via SSH, donc faut se taper l’interface graphique \u00e0 la main sur chaque machine.<\/p>\n Bref, c’est hyper prometteur comme techno, surtout pour ceux qui veulent faire tourner des LLM monstrueux sur leur bureau sans monter une salle serveur mais faudra attendre que le logiciel murisse un peu avant de claquer vos 40 000 balles de PEL dedans.<\/p>\n