\nBrain-IT<\/a>
\n<\/strong>, et leur id\u00e9e c\u2019est de reconstruire des images \u00e0 partir des signaux
\nfMRI<\/a>
\n(imagerie par r\u00e9sonance magn\u00e9tique fonctionnelle) de votre cerveau. En gros, ils scannent votre activit\u00e9 c\u00e9r\u00e9brale pendant que vous regardez une image, et ils arrivent \u00e0 reconstruire ce que vous avez vu. Le
\npapier scientifique est dispo sur arXiv<\/a>
\nsi vous parlez leur langue.<\/p>\n
\n![\"\"](\"https:\/\/korben.info\/cdn-cgi\/image\/width=1200,fit=scale-down,quality=90,f=avif\/brain-it-cerveau-compression-images-fmri\/brain-it-cerveau-compression-images-fmri-2.png\")
\n<\/p>\n
\u00c9videmment, ce genre de recherche, c\u2019est pas nouveau mais Brain-IT est plut\u00f4t un franc succ\u00e8s car le process permet d\u2019obtenir les m\u00eames r\u00e9sultats que les m\u00e9thodes pr\u00e9c\u00e9dentes avec seulement 1 heure de donn\u00e9es fMRI, contre 40 heures pour les autres approches.<\/p>\n
En gros, \u00e7a repr\u00e9sente 97,5% de donn\u00e9es en moins pour obtenir le m\u00eame r\u00e9sultat. Trop fort non ?<\/p>\n
En fait, si Brain-IT peut faire \u00e7a, c\u2019est parce que les scientifiques ont d\u00e9couvert comment votre cerveau compresse les images de mani\u00e8re hyper efficace. Et d\u2019ailleurs, ce truc pourrait bien inspirer de nouveaux algorithmes de compression pour nos ordis.<\/p>\n
Brain-IT utilise en fait ce qu\u2019ils appellent un \u201cBrain Interaction Transformer<\/strong>\u201d (BIT). C\u2019est un syst\u00e8me qui identifie des \u201cclusters fonctionnels\u201d de voxels c\u00e9r\u00e9braux. Un voxel, c\u2019est l\u2019\u00e9quivalent d\u2019un pixel mais en 3D, et chaque voxel repr\u00e9sente environ 1 million de cellules dans votre cerveau.<\/p>\n \n Le truc g\u00e9nial, c\u2019est que ces clusters fonctionnels sont partag\u00e9s entre diff\u00e9rentes personnes, comme si nous avions tous la m\u00eame biblioth\u00e8que de \u201cprimitives visuelles\u201d c\u00e2bl\u00e9e dans nos t\u00eates. Ce sont des sch\u00e9mas de base que notre cerveau utilise pour reconstruire n\u2019importe quelle image.<\/p>\n Brain-IT reconstruit donc les images en deux passes. D\u2019abord les structures de bas niveau (les formes, les contours), puis les d\u00e9tails s\u00e9mantiques de haut niveau (c\u2019est un chat, c\u2019est un arbre, c\u2019est votre tante Huguette). C\u2019est un peu comme le JPEG progressif que l\u2019on voyait s\u2019afficher lentement avec nos modem 56K, mais en infiniment plus smart.<\/p>\n \n Du coup, si on comprend comment le cerveau compresse les images, on pourrait cr\u00e9er de nouveaux formats vid\u00e9o ultra-l\u00e9gers. Imaginez un Netflix ou un Youtube qui streame en \u201cbrain-codec\u201d \u00e0 1\/40e de la bande passante actuelle. \u00c7a changerait pas mal de choses\u2026 Et c\u2019est pareil pour l\u2019IA g\u00e9n\u00e9rative car actuellement, on entra\u00eene des mod\u00e8les avec des millions d\u2019images durant des jours alors que notre cerveau, lui, apprend \u00e0 reconna\u00eetre un visage en quelques expositions.<\/p>\n Et gr\u00e2ce \u00e0 ses mod\u00e8les de diffusion, Brain-IT est m\u00eame capable de reconstruire visuellement ce que voit le cerveau ! Par contre, Brain-IT n\u2019a pour le moment \u00e9t\u00e9 test\u00e9 que sur des images \u201cvues\u201d et pas des choses imagin\u00e9es\u2026<\/p>\n Mais les scientifiques n\u2019\u00e9cartent pas l\u2019id\u00e9e que ce soit possible donc ce n\u2019est qu\u2019une question de temps avant qu\u2019on puisse capturer en image ses r\u00eaves par exemple.<\/p>\n Voil\u00e0, j\u2019ai trouv\u00e9 \u00e7a cool parce que \u00e7a montre que notre cerveau est probablement le meilleur syst\u00e8me de compression d\u2019images jamais cr\u00e9\u00e9 et qu\u2019on commence \u00e0 peine \u00e0 comprendre comment il fonctionne.<\/p>\n Merci Dame Nature !<\/p>\n Voil\u00e0, si vous voulez creuser, le code et les d\u00e9tails techniques sont sur![\"\"](\"https:\/\/korben.info\/cdn-cgi\/image\/width=1200,fit=scale-down,quality=90,f=avif\/brain-it-cerveau-compression-images-fmri\/brain-it-cerveau-compression-images-fmri-3.png\")
\n<\/p>\n![\"\"](\"https:\/\/korben.info\/cdn-cgi\/image\/width=1200,fit=scale-down,quality=90,f=avif\/brain-it-cerveau-compression-images-fmri\/brain-it-cerveau-compression-images-fmri-4.png\")
\n<\/p>\n
\nla page du projet Brain-IT<\/a>
\n, et le paper complet est dispo sur
\narXiv<\/a>
\n.<\/p>\n