Vous ne trouvez pas que ChatGPT met un peu de temps \u00e0 r\u00e9pondre parfois ? Et bien imaginez maintenant devoir attendre 2 heures pour obtenir une r\u00e9ponse de 3 mots. Bienvenue dans le monde de CraftGPT, le ChatGPT enti\u00e8rement construit en redstone Minecraft par un gars du nom de sammyuri !<\/p>\n
Ce dernier a cr\u00e9\u00e9 un vrai mod\u00e8le de langage avec 5 087 280 param\u00e8tres, construit UNIQUEMENT avec de la redstone. Pas de command blocks. Pas de datapacks. Et pas de mods. Juste de la redstone pure et dure, comme \u00e0 l\u2019ancienne.<\/p>\n
Il a pris un dataset d\u2019entra\u00eenement (TinyChat, des conversations basiques en anglais), l\u2019a entra\u00een\u00e9 en Python comme n\u2019importe quel mod\u00e8le de langage normal, puis a RECR\u00c9\u00c9 toute l\u2019architecture du mod\u00e8le dans Minecraft. Un mod\u00e8le avec 6 couches, 1920 tokens de vocabulaire, une dimension d\u2019embedding de 240, et une fen\u00eatre de contexte de 64 tokens. C\u2019est petit mais assez pour des conversations tr\u00e8s courtes.<\/p>\n
Et le r\u00e9sultat, c\u2019est une cath\u00e9drale de redstone qui occupe un volume de 1020 x 260 x 1656 blocs. Soit 439 millions de blocs au total. C\u2019est tellement gigantesque qu\u2019il a d\u00fb utiliser le mod Distant Horizons juste pour filmer l\u2019ensemble, ce qui fait que les composants lointains ont l\u2019air un peu bizarres dans la vid\u00e9o parce qu\u2019ils sont rendus avec moins de d\u00e9tails.<\/p>\n
Mais ce qui est g\u00e9nial ici, c\u2019est pas vraiment l\u2019exploit technique en lui-m\u00eame. Enfin si, c\u2019est impressionnant, mais c\u2019est surtout ce que \u00e7a nous dit sur la nature m\u00eame du calcul et de l\u2019intelligence artificielle. Parce qu\u2019en r\u00e9alit\u00e9, ce que sammyuri vient de prouver c\u2019est qu\u2019on peut faire de l\u2019IA avec N\u2019IMPORTE QUOI. Des cailloux virtuels dans un jeu vid\u00e9o, des dominos, de l\u2019eau, peu importe. Tant que vous avez un syst\u00e8me Turing-complet, vous pouvez faire tourner un mod\u00e8le de langage.<\/p>\n
Cela veut dire que l\u2019intelligence artificielle, au final, c\u2019est juste de la logique. Ce sont juste des calculs. Des additions, des multiplications, des comparaisons et cela peu importe le support technique. Qu\u2019on utilise du silicium ultra-rapide ou des torches de redstone qui s\u2019allument et s\u2019\u00e9teignent dans un monde cubique, le principe reste le m\u00eame.<\/p>\n
Bon, apr\u00e8s, c\u2019est lent car m\u00eame en utilisant MCHPRS (Minecraft High Performance Redstone Server) qui acc\u00e9l\u00e8re le jeu \u00e0 40 000 fois la vitesse normale, CraftGPT met environ 2 heures pour g\u00e9n\u00e9rer une r\u00e9ponse. Sans cette acc\u00e9l\u00e9ration, \u00e7a pourrait prendre jusqu\u2019\u00e0 10 ans. Dix ans pour une phrase de quelques mots.<\/p>\n
Et dire qu\u2019on r\u00e2le quand ChatGPT met 3 secondes \u00e0 r\u00e9pondre, alors qu\u2019on a dans nos poches une puissance de calcul qui aurait fait pleurer de joie Alan Turing\u2026<\/p>\n
Sinon, histoire de rentrer un peu plus dans le d\u00e9tail, sammyuri a d\u00fb faire face aux m\u00eames probl\u00e9matiques que les chercheurs en IA d\u2019aujourd\u2019hui. Pour faire rentrer son mod\u00e8le dans Minecraft, il a d\u00fb quantifier la plupart des poids \u00e0 8 bits. Les poids d\u2019embedding et de LayerNorm sont stock\u00e9s \u00e0 18 et 24 bits respectivement, mais le gros du mod\u00e8le est compress\u00e9. C\u2019est exactement le m\u00eame d\u00e9bat qu\u2019actuellement sur l\u2019optimisation des LLMs pour les faire tourner sur des machines moins puissantes.<\/p>\n
Et le meilleur dans tout \u00e7a c\u2019est que le gars a tout mis en open source Voil\u00e0\u2026 Encore un chouette projet inutile, certes mais qui nous permet de nous reconnecter aux fondamentaux pour mieux comprendre les technologies du moment.<\/p>\n Tout est sur ce
\nsur GitHub<\/a>
\n. Vous pouvez donc t\u00e9l\u00e9charger le monde Minecraft (version Vanilla 1.20.4 ou version MCHPRS), r\u00e9cup\u00e9rer l\u2019\u00e9mulateur, les poids du mod\u00e8le, et le guide pour le faire tourner.<\/p>\n
\nrepo CraftGPT de sammyuri<\/a>
\n.<\/p>\n