Des chercheurs de l’universit\u00e9 de Californie du Sud viennent de publier une \u00e9tude improbable : demander \u00e0 un mod\u00e8le d’IA de jouer les experts d\u00e9grade ses performances sur les t\u00e2ches factuelles. Commencer un prompt par “Tu es un expert en programmation” produit de moins bons r\u00e9sultats que de poser la question directement.<\/p>\n
L’\u00e9tude, intitul\u00e9e “Expert Personas Improve LLM Alignment but Damage Accuracy”, a mesur\u00e9 l’impact des instructions de r\u00f4le sur les r\u00e9ponses des mod\u00e8les de langage.<\/p>\n
Sur le benchmark MMLU, qui teste les connaissances g\u00e9n\u00e9rales et le raisonnement, les mod\u00e8les avec une persona d’expert ont obtenu 68 % de bonnes r\u00e9ponses contre 71,6 % sans aucune instruction de r\u00f4le.<\/p>\n
La baisse est constante sur toutes les cat\u00e9gories test\u00e9es : maths, code, sciences, culture g\u00e9n\u00e9rale. Bref, dire \u00e0 une IA qu’elle est brillante la rend un peu moins brillante.<\/p>\n
Par contre, le persona prompting fonctionne tr\u00e8s bien pour un autre type de t\u00e2ches : la s\u00e9curit\u00e9 et l’alignement. En attribuant un r\u00f4le de “moniteur de s\u00e9curit\u00e9” au mod\u00e8le, les chercheurs ont augment\u00e9 le taux de refus d’attaques de 53,2 % \u00e0 70,9 %, soit une hausse de 17,7 points. Pour les t\u00e2ches d’\u00e9criture et de mise en forme, les personas aident aussi.<\/p>\n
L’explication est assez logique : quand on colle un r\u00f4le d’expert au mod\u00e8le, il bascule en mode “suivi d’instructions” et mobilise moins de ressources pour aller chercher les faits dans ses donn\u00e9es d’entra\u00eenement. Aucune connaissance n’est ajout\u00e9e, on d\u00e9place juste l’attention du mod\u00e8le.<\/p>\n
Les chercheurs de l’USC proposent un outil baptis\u00e9 PRISM qui active automatiquement les personas uniquement quand c’est utile. Mais en attendant que ce genre de syst\u00e8me soit int\u00e9gr\u00e9 aux chatbots grand public, la recommandation est simple : si vous avez besoin de r\u00e9ponses factuelles ou de code, posez votre question directement sans ajouter de r\u00f4le.<\/p>\n
Si vous voulez que l’IA respecte un ton, un format ou des consignes de s\u00e9curit\u00e9, le persona prompting reste la bonne approche.<\/p>\n
On a quand m\u00eame pass\u00e9 deux ans \u00e0 r\u00e9p\u00e9ter partout qu’il fallait commencer ses prompts par “Tu es un expert en…” pour avoir de meilleurs r\u00e9sultats. Visiblement, c’\u00e9tait un peu du vent.<\/p>\n