La premi\u00e8re \u00e9tape c\u2019est donc l\u2019injection de prompt via un commentaire cach\u00e9. Rien de r\u00e9volutionnaire, mais efficace. Ensuite, deuxi\u00e8me \u00e9tape : le bypass de la Content Security Policy de GitHub. Normalement, Copilot Chat ne peut charger que des ressources depuis des domaines appartenant \u00e0 GitHub. Il est donc impossible d\u2019envoyer des donn\u00e9es vers un serveur externe.<\/p>\n

Mais c\u2019\u00e9tait sans compter sur le fait que GitHub dispose d\u2019un proxy appel\u00e9 Camo, con\u00e7u \u00e0 l\u2019origine pour s\u00e9curiser l\u2019affichage d\u2019images externes en les servant via HTTPS et en \u00e9vitant le tracking. C\u2019est donc ce proxy de s\u00e9curit\u00e9 qui devient l\u2019outil d\u2019exfiltration. Avec ce proxy, toutes les URLs d\u2019images externes sont automatiquement transform\u00e9es en URLs Camo du type https:\/\/camo.githubusercontent.com\/[hash unique]<\/code> et Mayraz a simplement utilis\u00e9 l\u2019API GitHub pour pr\u00e9-g\u00e9n\u00e9rer un dictionnaire complet de ces URLs Camo, chacune pointant vers un emplacement unique sur son serveur.<\/p>\n

Troisi\u00e8me \u00e9tape, l\u2019exfiltration des donn\u00e9es. Au lieu de faire passer les secrets directement dans les URLs (trop visible), Mayraz a eu l\u2019id\u00e9e d\u2019utiliser l\u2019ordre des requ\u00eates. Chaque lettre de l\u2019alphabet correspond \u00e0 une URL Camo unique. En faisant charger ces URLs dans un ordre pr\u00e9cis, on peut ainsi transmettre des donn\u00e9es texte comme avec un alphabet ASCII artisanal. C\u2019est plut\u00f4t cr\u00e9atif comme approche, je trouve.<\/p>\n

C\u2019est exactement le m\u00eame principe que les attaques ultrasoniques contre Alexa ou Siri. Si vous ne vous en souvenez pas, des chercheurs avaient d\u00e9montr\u00e9 qu\u2019on pouvait envoyer des commandes vocales \u00e0 des fr\u00e9quences inaudibles pour l\u2019oreille humaine, mais parfaitement comprises par les assistants vocaux.<\/p>\n

Bah ici, c\u2019est pareil\u2026 On a des prompts invisibles pour les humains mais que l\u2019IA voit et ex\u00e9cute sans broncher. Comme pour les enceintes, on parle \u00e0 la machine sans que l\u2019humain ne s\u2019en aper\u00e7oive et la diff\u00e9rence, c\u2019est qu\u2019au lieu de jouer sur les fr\u00e9quences sonores, on joue sur le markdown et les commentaires cach\u00e9s.<\/p>\n

Du coup, chaque pull request externe est un potentiel cheval de Troie. Un contributeur externe soumet par exemple une PR apparemment l\u00e9gitime, avec un commentaire invisible qui ordonne \u00e0 Copilot de chercher \u201cAWS_KEY\u201d dans vos repos priv\u00e9s. Vous de votre c\u00f4t\u00e9, vous ouvrez la PR dans votre \u00e9diteur, Copilot Chat s\u2019active bien s\u00fbr automatiquement, et hop, vos cl\u00e9s API partent chez l\u2019attaquant.<\/p>\n

Quand on sait que GitHub a cr\u00e9\u00e9 Camo justement pour am\u00e9liorer la s\u00e9curit\u00e9, \u00e7a fout un peu les boules. Bref, gr\u00e2ce \u00e0 son proof-of-concept, Mayraz a r\u00e9ussi \u00e0 exfiltrer des cl\u00e9s AWS, des tokens de s\u00e9curit\u00e9, et m\u00eame la description compl\u00e8te d\u2019une vuln\u00e9rabilit\u00e9 zero-day stock\u00e9e dans une issue priv\u00e9e d\u2019une organisation et tout \u00e7a sans aucune interaction suspecte visible par la victime.<\/p>\n

Heureusement, notre joyeux chercheur a pr\u00e9venu GitHub qui a r\u00e9agi assez vite. Le 14 ao\u00fbt l\u2019entreprise a compl\u00e8tement d\u00e9sactiv\u00e9 le rendu d\u2019images dans Copilot Chat, comme \u00e7a plus d\u2019images, plus de probl\u00e8me. C\u2019est radical, c\u2019est s\u00fbr mais c\u2019est efficace !<\/p>\n

Quoiqu\u2019il en soit, ces histoires de prompt injection c\u2019est un probl\u00e8me fondamental propre aux LLM qui sont encore actuellement incapable de distinguer de mani\u00e8re fiable les instructions l\u00e9gitimes des instructions malveillantes. \u00c7a reste donc un probl\u00e8me de confiance\u2026<\/p>\n

Dans ce cas pr\u00e9vis, on fait confiance \u00e0 GitHub pour h\u00e9berger notre code du coup, on fait confiance \u00e0 Copilot pour nous aider \u00e0 d\u00e9velopper, tout comme on fait confiance aux contributeurs externes pour soumettre des PR de bonne foi. Et nous voil\u00e0 avec une jolie cha\u00eene de confiance pr\u00eate \u00e0 \u00eatre exploit\u00e9e\u2026<\/p>\n

Bref, CamoLeak c\u2019est que le d\u00e9but de cette nouvelle vague de vuln li\u00e9es aux assistants IA qui se retrouvent int\u00e9gr\u00e9s dans nos outils de d\u00e9veloppement\u2026 Donc ouvrez l\u2019oeil car on ne sait jamais ce qui sa cache vraiment dans une pull request.<\/p>\n

\nSource<\/a>\n<\/p>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"