J’sais pas si vous avez vu \u00e7a, mais des chercheurs d’OpenAI, d’Anthropic et de Google DeepMind ont d\u00e9cid\u00e9 de traiter les grands mod\u00e8les de langage comme des organismes extraterrestres qu’il faut diss\u00e9quer pour comprendre leur fonctionnement.<\/p>\n
Et pour cela, ils utilisent des techniques emprunt\u00e9es \u00e0 la biologie pour analyser ces r\u00e9seaux de neurones qu’on a pourtant cr\u00e9\u00e9s nous-m\u00eames !<\/p>\n
Cette approche originale s’appelle “interpr\u00e9tabilit\u00e9 m\u00e9canistique<\/em>” (mechanistic interpretability en anglais, mais bon, \u00e7a sonne mieux que “on va ouvrir la bestiole pour voir ce qu’il y a dedans”) et en gros, au lieu de se contenter de tester les mod\u00e8les sur des t\u00e2ches pr\u00e9cises, ces \u00e9quipes les \u00e9tudient comme des biologistes examineraient un sp\u00e9cimen inconnu. Ils cartographient les “circuits neuronaux”, identifient des “organes” fonctionnels, cherchent \u00e0 comprendre quelles parties du mod\u00e8le s’activent pour telle ou telle t\u00e2che.<\/p>\n Ce qui est bizarre c’est que ces syst\u00e8mes, nous les avons nous-m\u00eames construits… On les a entra\u00een\u00e9s, on a choisi l’architecture, on a fourni les donn\u00e9es… et pourtant on se retrouve \u00e0 les \u00e9tudier comme si c’\u00e9tait des aliens bourr\u00e9s qui se seraient crash\u00e9s dans le d\u00e9sert du Nevada.<\/p>\n Du coup, plusieurs \u00e9quipes ont publi\u00e9 des r\u00e9sultats sur cette approche. Chez Anthropic, par exemple, ils ont cartographi\u00e9 des millions de “features” dans Claude, identifiant des groupes de neurones qui s’activent pour diff\u00e9rents concepts abstraits, avec des recherches en cours pour d\u00e9tecter des comportements comme la tromperie. OpenAI a de son c\u00f4t\u00e9 d\u00e9velopp\u00e9 des outils pour visualiser comment l’information circule dans ses mod\u00e8les, r\u00e9v\u00e9lant l’existence de circuits neuronaux sp\u00e9cialis\u00e9s dans diff\u00e9rentes t\u00e2ches.<\/p>\n Et ce qui ressort de ces recherches, c’est surtout qu’on commence \u00e0 peine \u00e0 grattouiller la surface. En effet, les Et l’enjeu va bien au-del\u00e0 de la simple curiosit\u00e9 scientifique car comprendre le fonctionnement interne de ces mod\u00e8les permettrait de les rendre plus s\u00fbrs, de d\u00e9tecter quand ils sont sur le point de g\u00e9n\u00e9rer des Mais bon, vous me connaissez, je suis toujours tr\u00e8s optimiste sur toutes ces recherches scientifiques… Cependant, il faut quand m\u00eame se m\u00e9fier car les mod\u00e8les actuels contiennent des dizaines voire des centaines de milliards de param\u00e8tres qui interagissent de fa\u00e7ons complexes et cartographier tout \u00e7a, c’est un peu comme essayer de comprendre le cerveau humain neurone par neurone.<\/p>\n Donc oui on avance, mais on est encore tr\u00e8s looooin d’une compr\u00e9hension compl\u00e8te… Faudra \u00eatre patient.<\/p>\n
\nmod\u00e8les de langage<\/a>
\npr\u00e9sentent des comportements \u00e9mergents qu’on ne peut pas pr\u00e9dire juste en regardant le code ou l’architecture. Du coup, une des fa\u00e7ons majeures de comprendre ce qui se passe vraiment l\u00e0-dedans, c’est de les observer en action et de d\u00e9duire leur fonctionnement interne comme on le ferait avec n’importe quel syst\u00e8me biologique.<\/p>\n
\nr\u00e9ponses probl\u00e9matiques<\/a>
\n, ou de mieux cibler leur entra\u00eenement. C’est aussi crucial pour la recherche sur l’alignement car si on veut s’assurer que les IA futures font vraiment ce qu’on veut qu’elles fassent, il faut d’abord comprendre comment elles prennent leurs d\u00e9cisions.<\/p>\n