{"id":2877,"date":"2026-04-29T11:03:53","date_gmt":"2026-04-29T09:03:53","guid":{"rendered":"https:\/\/elearningsamba.com\/index.php\/talkie-1930-le-llm-qui-pense-quon-est-en-1930\/"},"modified":"2026-04-29T11:03:53","modified_gmt":"2026-04-29T09:03:53","slug":"talkie-1930-le-llm-qui-pense-quon-est-en-1930","status":"publish","type":"page","link":"https:\/\/elearningsamba.com\/index.php\/talkie-1930-le-llm-qui-pense-quon-est-en-1930\/","title":{"rendered":"Talkie-1930 – Le LLM qui pense qu’on est en 1930"},"content":{"rendered":"

LE truc avec ce mod\u00e8le d’un nouveau genre, c’est qu’il n’a JAMAIS lu un mot \u00e9crit apr\u00e8s le 31 d\u00e9cembre 1930. Pas de Wikipedia, pas de Reddit, pas de GitHub….et j’en passe.<\/p>\n

Si \u00e7a vous branche, vous pouvez tester la d\u00e9mo direct sur
\ntalkie-lm.com\/chat<\/a>
\n, et les poids sont dispos sur
\n HuggingFace<\/a>
\nsous licence Apache 2.0 !<\/p>\n

$\"\"$ <\/p>\n

Alors pourquoi 1930 et pas 1950 ou 1900 ?<\/p>\n

H\u00e9 bien tout simplement parce que c’est la date pr\u00e9cise \u00e0 laquelle les \u0153uvres tombent dans le domaine public aux \u00c9tats-Unis. L’\u00e9quipe a donc pu aspirer 260 milliards de tokens de livres, journaux, p\u00e9riodiques, revues scientifiques, brevets et jurisprudence ant\u00e9rieurs \u00e0 cette date sans risquer la moindre poursuite l\u00e9gale.<\/p>\n

Et c’est l\u00e0 que \u00e7a devient amusant parce que quand on demande \u00e0 Talkie-1930 de d\u00e9crire le futur, il imagine comme je vous le disais en intro, un monde domin\u00e9 par les bateaux \u00e0 vapeur et les trains et c’est logique car c’\u00e9tait l’horizon technologique de son corpus \u00e0 l’\u00e9poque. Le mod\u00e8le consid\u00e8re aussi qu’une seconde guerre mondiale est improbable (il ne conna\u00eet \u00e9videmment que la Premi\u00e8re) et du coup, \u00e7a donne un terrain d’exp\u00e9rimentation fascinant pour \u00e9tudier le raisonnement temporel et la g\u00e9n\u00e9ralisation hors distribution moderne.<\/p>\n

$\"\"$ <\/p>\n

L’\u00e9quipe a publi\u00e9 trois checkpoints : talkie-1930-13b-base<\/code> (mod\u00e8le brut), talkie-1930-13b-it<\/code> (pour le chat) et talkie-web-13b-base<\/code> (un jumeau d’architecture identique mais entra\u00een\u00e9 sur \nFineWeb<\/a> \n\u00e0 titre de comparaison). Cette approche “mod\u00e8le jumeau” permet par exemple de mesurer pr\u00e9cis\u00e9ment ce qui vient de l’architecture vs ce qui vient des donn\u00e9es.<\/p>\n

Pour la phase de post-training, l’\u00e9quipe a utilis\u00e9 Claude Sonnet 4.6 comme juge dans une proc\u00e9dure DPO (Direct Preference Optimization). Ils ont \u00e9galement g\u00e9n\u00e9r\u00e9 des conversations synth\u00e9tiques entre Claude Opus 4.6 et Talkie pour le fine-tuning supervis\u00e9. Bref, c’est un mod\u00e8le ultra-vintage entra\u00een\u00e9 \u00e0 l’aide de mod\u00e8les ultra-modernes.<\/p>\n

<\/p>\n

L’\u00e9quipe travaille d\u00e9j\u00e0 sur un syst\u00e8me OCR custom pour les documents historiques (les OCR conventionnels n’atteignent que 30% de l’efficacit\u00e9 d’apprentissage face \u00e0 du texte transcrit manuellement) et vise un mod\u00e8le de niveau GPT-3 pour l’\u00e9t\u00e9 2026, avec un corpus pouvant atteindre plus d’un trillion de tokens.<\/p>\n

Bref, Talkie-1930 c’est un projet de recherche assez chouette pour tous ceux qui aiment creuser les LLMs. Le code est sur \nGitHub<\/a> \nsous Apache 2.0, et la d\u00e9mo en ligne marche tr\u00e8s bien si vous voulez juste tester sans installer.<\/p>\n

Amusez-vous bien !<\/p>\n

\nSource<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"