Techniquement, \u00e7a tourne sur Genie 3 de DeepMind, mais en version adapt\u00e9e pour le domaine automobile. \u00c7a analyse des flux cam\u00e9ra ET lidar en haute fid\u00e9lit\u00e9, synchronis\u00e9s entre eux mais on peut aussi d\u00e9crire en langage naturel ce qu’on veut simuler.<\/p>\n

Genre “il pleut, c’est la nuit, et y’a un camion en travers de la route<\/em>” et hop, le mod\u00e8le g\u00e9n\u00e8re \u00e7a ! Bon, faut quand m\u00eame que la description soit coh\u00e9rente, hein, n’allez pas lui demander un sous-marin au milieu de l’autoroute A6 (quoique…).<\/p>\n

Y’a aussi moyen de modifier la sc\u00e8ne \u00e0 la main (rajouter des pi\u00e9tons, changer le trac\u00e9) ou de contr\u00f4ler directement les actions de conduite avec 3 modes de pilotage, du plus intuitif au plus technique. Le syst\u00e8me est aussi capable de convertir de simples vid\u00e9os dashcam en simulations multi-capteurs compl\u00e8tes. C’est g\u00e9nial parce que vous prenez une vid\u00e9o film\u00e9e depuis le pare-brise d’une Dacia “tout \u00e9quip\u00e9e de rien”, et le mod\u00e8le la transforme en sc\u00e9nario de simulation avec donn\u00e9es lidar et tout le toutim.<\/p>\n

$\"\"$ <\/p>\n

Le hic, c’est qu’on sait pas encore \u00e0 quel point \u00e7a scale sur des vid\u00e9os de mauvaise qualit\u00e9 ou avec des conditions d’\u00e9clairage pourries. Et les m\u00e9thodes classiques type 3D Gaussian Splatting p\u00e8tent visuellement d\u00e8s que le trajet simul\u00e9 s’\u00e9loigne trop de la trajectoire originale.<\/p>\n

Mais alors pourquoi c’est g\u00e9nial ? Et bien parce qu’il y a des trucs qu’on teste PAS en conditions r\u00e9elles. Les tornades, les conducteurs bourr\u00e9s qui d\u00e9boulent \u00e0 contresens, les incendies de for\u00eat…etc.. H\u00e9 bien maintenant gr\u00e2ce \u00e0 ce World Model, \u00e7a peut \u00eatre simul\u00e9 \u00e0 la demande, et m\u00eame rejouable en acc\u00e9l\u00e9r\u00e9 x4.<\/p>\n

Et surtout, ce mod\u00e8le permet de rejouer une sc\u00e8ne en modifiant une seule variable, histoire de voir ce qui se serait pass\u00e9 autrement (les fameuses “simulations contrefactuelles”). Par contre, pour le rendu lidar 3D, faut un post-entra\u00eenement sp\u00e9cialis\u00e9 en plus du mod\u00e8le de base donc c’est pas juste un bouton magique.<\/p>\n

Voil\u00e0 c’est une super approche je trouve parce qu’on va pas envoyer des voitures dans des tornades juste pour collecter de la data. M\u00eame si \u00e7a reste quand m\u00eame de la simulation… Donc faut garder un \u0153il critique une fois que ces sc\u00e9narios virtuels sont transpos\u00e9s \u00e0 de la physique du monde r\u00e9el.<\/p>\n

Mais ceci \u00e9tant dit, ces milliards de kilom\u00e8tres simul\u00e9s peuvent venir maintenant fortement renforcer les donn\u00e9es terrain d’une mani\u00e8re que les tests physiques seuls ne pourront JAMAIS \u00e9galer.<\/p>\n

Bref, si vous voulez creuser le sujet ou juste voir les d\u00e9mos (l’\u00e9l\u00e9phant sur la route, \u00e7a vaut le d\u00e9tour ^^),
\nc’est par ici.<\/a>\n<\/p>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"