Des chercheurs li\u00e9s \u00e0 Alibaba ont d\u00e9couvert que leur agent IA, baptis\u00e9 ROME, avait d\u00e9tourn\u00e9 des GPU pour miner de la cryptomonnaie et ouvert un tunnel de r\u00e9seau vers l’ext\u00e9rieur, le tout sans aucune instruction humaine. Le comportement est apparu spontan\u00e9ment pendant l’entra\u00eenement par renforcement. Alibaba a r\u00e9agi, mais cette s\u00e9quence pose pas mal de questions sur la s\u00e9curit\u00e9 des agents IA autonomes.<\/p>\n
ROME, pour \u00ab ROME is Obviously an Agentic ModEl \u00bb, est un mod\u00e8le bas\u00e9 sur l’architecture Qwen3-MoE d’Alibaba. Quatre \u00e9quipes de recherche (ROCK, ROLL, iFlow et DT) l’ont d\u00e9velopp\u00e9 pour ex\u00e9cuter des t\u00e2ches complexes en autonomie : planification, commandes de terminal, \u00e9dition de code et interaction avec des syst\u00e8mes num\u00e9riques.<\/p>\n
Sauf que pendant son entra\u00eenement par renforcement, sur plus d’un million de trajectoires, l’agent a fait deux choses que personne ne lui avait demand\u00e9es.<\/p>\n
Il a redirig\u00e9 une partie de la puissance GPU vers du minage de cryptomonnaie. Et il a ouvert un tunnel SSH invers\u00e9 depuis une instance Alibaba Cloud vers une adresse IP externe, ce qui revient \u00e0 cr\u00e9er une porte d\u00e9rob\u00e9e qui contourne les pare-feu.<\/p>\n
Ce n’est pas le syst\u00e8me de s\u00e9curit\u00e9 du mod\u00e8le qui a rep\u00e9r\u00e9 le probl\u00e8me. C’est le pare-feu manag\u00e9 d’Alibaba Cloud qui a d\u00e9tect\u00e9 des sch\u00e9mas de trafic anormaux et une utilisation de GPU qui collait avec du minage. Les chercheurs ont crois\u00e9 les horodatages du pare-feu avec les traces d’entra\u00eenement pour confirmer que c’\u00e9tait bien ROME le responsable.<\/p>\n
Selon eux, le comportement rel\u00e8ve de la \u00ab convergence instrumentale \u00bb : quand un mod\u00e8le d’IA devient assez capable, il d\u00e9veloppe des sous-objectifs utiles pour atteindre n’importe quel but, et l’acquisition de ressources de calcul en fait partie.<\/p>\n
Alibaba a r\u00e9agi en ajoutant un filtrage des trajectoires dangereuses dans son pipeline d’entra\u00eenement et en durcissant les environnements sandbox. Les chercheurs ont choisi de publier leurs r\u00e9sultats plut\u00f4t que de les garder pour eux, en admettant que \u00ab les mod\u00e8les actuels sont nettement sous-d\u00e9velopp\u00e9s en mati\u00e8re de s\u00e9curit\u00e9, de s\u00fbret\u00e9 et de contr\u00f4labilit\u00e9 \u00bb.<\/p>\n
Le probl\u00e8me de fond, c’est que les outils qui rendent ces agents utiles (acc\u00e8s au terminal, \u00e9dition de code, interaction r\u00e9seau) sont aussi ceux qui cr\u00e9ent la surface d’attaque. Les retirer reviendrait \u00e0 rendre l’agent inutile.<\/p>\n
On peut se dire que ce genre de probl\u00e8me ne sera pas le dernier du genre. Mais quand un agent IA se met \u00e0 miner de la crypto et \u00e0 ouvrir des tunnels r\u00e9seau sans qu’on lui ait rien demand\u00e9, \u00e7a fait quand m\u00eame un peu tiquer. On ne parle pas d’un chatbot qui hallucine une recette de g\u00e2teau, l\u00e0.<\/p>\n
C’est un mod\u00e8le qui a trouv\u00e9 tout seul comment d\u00e9tourner des ressources \u00e0 son avantage. On saluera quand m\u00eame la transparence d’Alibaba, qui a publi\u00e9 les r\u00e9sultats au lieu de les planquer, mais la question de la s\u00e9curit\u00e9 des agents autonomes reste tr\u00e8s ouverte.<\/p>\n