Source<\/a>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"Un mod\u00e8le text-to-video open source, gratuit et capable de tourner ailleurs que sur un supercalculateur de la NASA ? J’avoue, j’ai cru au fake en d\u00e9couvrant le truc, surtout quand on voit la puissance de feu qu’il faut chez OpenAI (Sora) ou Google (Veo) pour sortir le moindre clip de 3 secondes. Mais BON, parfois, il suffit de deux fr\u00e8res motiv\u00e9s pour bousculer un peu les g\u00e9ants de l’IA. Et c’est 2 fr\u00e8res, ce sont Sahil et Manu Chopra, qui depuis l’automne 2022 bosse avec acharnement sur leur mod\u00e8le de g\u00e9n\u00e9ration de vid\u00e9os baptis\u00e9 Linum . Leur histoire est assez dingue et c’est pour \u00e7a que je vous la raconte aujourd’hui. En fait, au d\u00e9but, ils ont fait comme tout le monde. C’est \u00e0 dire qu’ils ont essay\u00e9 de bidouiller Stable Diffusion XL pour lui faire cracher de la vid\u00e9o. Ils ont fini par mettre au point une extension un peu “hacky” bas\u00e9 sur un mod\u00e8le image, sauf que \u00e7a ne marchait pas tr\u00e8s bien. Enfin si, \u00e7a sortait des GIFs d’une seconde en 180p pour Discord mais pas vraiment de quoi faire trembler Hollywood et Matthew McConaughey (lol). Le probl\u00e8me, c’est que les VAE (les encodeurs d’images) ne comprennent rien au temps qui passe, alors ils traitent chaque frame ind\u00e9pendamment et \u00e7a donne cet effet de scintillement insupportable qu’on retrouve dans pas mal de g\u00e9n\u00e9rateurs vid\u00e9o libre ou open source. Du coup, ils ont pris une d\u00e9cision radicale. Tout foutre \u00e0 la poubelle et repartir de z\u00e9ro ! Ils ont donc pass\u00e9 deux longues ann\u00e9es \u00e0 batir Linum v2 “from scratch”. Cela veut dire qu’il ont du trouver les donn\u00e9es, entra\u00eener des mod\u00e8les de vision pour filtrer le dataset, mettre manuellement des l\u00e9gendes sur des milliers de vid\u00e9os, g\u00e9rer les clusters de GPU… et j’en passe ! Votre navigateur ne supporte pas la lecture de vid\u00e9os HTML5. Voici un <a href=”\/quand-2-frangins-construisent-une-ia-video-dans-leur-garage\/quand-2-frangins-construisent-une-ia-video-dans-leur-garage-1.mp4″>lien vers la vid\u00e9o<\/a>. Et \u00e0 la cl\u00e9 de tout ce travail, ils ont fini par obtenir un mod\u00e8le de 2 milliards de param\u00e8tres (ce qui est minuscule pour de la vid\u00e9o, je tiens \u00e0 le dire) capable de g\u00e9n\u00e9rer des clips de 2 \u00e0 5 secondes en 720p ! Et le plus beau c’est que c’est sous licence Apache 2.0 donc en open source. Pour r\u00e9ussir cette prouesse, ils n’ont pas eu d’autre choix que d’\u00eatre malins. Par exemple, ils ont choisi d’utiliser le VAE de Wan 2.1 (qui g\u00e8re tr\u00e8s bien la compression temporelle) pour ne pas r\u00e9inventer la roue sur cette partie. Leur vision en fait, c’est de voir ces mod\u00e8les comme des “moteurs de rendu invers\u00e9s”. Au lieu de placer des polygones et des lumi\u00e8res comme dans Blender, vous d\u00e9crivez la sc\u00e8ne et le mod\u00e8le fait le reste. Votre navigateur ne supporte pas la lecture de vid\u00e9os HTML5. Voici un <a href=”\/quand-2-frangins-construisent-une-ia-video-dans-leur-garage\/quand-2-frangins-construisent-une-ia-video-dans-leur-garage-1.mov”>lien vers la vid\u00e9o<\/a>. Linum est un mod\u00e8le encore jeune et la physique est parfois aux fraises puis \u00e7a manque de son mais pour une \u00e9quipe de deux personnes face \u00e0 des bo\u00eetes qui ont des milliards de budget, le r\u00e9sultat est plut\u00f4t pas mal. Faut saluer le taf ! Donc si vous avez une machine qui tient la route (ou un bon cloud) et quelques comp\u00e9tences techniques, sachez que les poids sont disponibles sur Hugging Face si \u00e7a vous chauffe . Source<\/p>\n","protected":false},"author":1,"featured_media":2150,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"give_campaign_id":0,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"_kadence_starter_templates_imported_post":false,"footnotes":""},"class_list":["post-2149","page","type-page","status-publish","has-post-thumbnail","hentry"],"campaignId":"","_links":{"self":[{"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/pages\/2149","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/comments?post=2149"}],"version-history":[{"count":0,"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/pages\/2149\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/media\/2150"}],"wp:attachment":[{"href":"https:\/\/elearningsamba.com\/index.php\/wp-json\/wp\/v2\/media?parent=2149"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}