![\"\"](\"https:\/\/korben.info\/cdn-cgi\/image\/width=1200,fit=scale-down,quality=90,f=avif\/ia-entrainement-donnees-piratees-books3-common-cor\/ia-entrainement-donnees-piratees-books3-common-cor-1.png\")
\n<\/p>\nBibliotik \u00e7a vous parle ou pas ? C’est un tracker torrent priv\u00e9 ultra-discret comme il y en a tant d’autres, o\u00f9 les fans de lecture vont chopper leurs ePubs.<\/p>\n
H\u00e9 bien figurez-vous que Meta, Bloomberg, et toute une brochette de g\u00e9ants de la tech ont fait exactement pareil pour entra\u00eener leurs IA. Sauf qu’eux, c’\u00e9tait pas pour lire du Stephen King au lit, mais pour aspirer 195 000 livres d’un coup et les transformer en “donn\u00e9es d’entra\u00eenement”.<\/p>\n
\n\n<\/p>\n
Le dataset s’appelle Books3<\/strong>, et c’est un peu le Napster des LLMs. Cr\u00e9\u00e9 en 2020 par un chercheur IA nomm\u00e9 Shawn Presser, ce jeu de donn\u00e9es de 37 Go compress\u00e9s contient des bouquins scrap\u00e9s directement depuis la biblioth\u00e8que pirate Bibliotik. L’id\u00e9e de Presser \u00e9tait plut\u00f4t noble \u00e0 la base puisqu’il voulait d\u00e9mocratiser l’acc\u00e8s aux donn\u00e9es d’entra\u00eenement pour que les petits labos puissent rivaliser avec OpenAI et leurs myst\u00e9rieux datasets “Books1” et “Books2” dont personne ne conna\u00eet le contenu.<\/p>\n Sauf que Books3 a fini par \u00eatre int\u00e9gr\u00e9 dans \n Et comme vous vous en doutez, la d\u00e9fense de toutes ces entreprises c’est le fameux “fair use” des am\u00e9ricains. En gros, ils disent que transformer des livres en vecteurs math\u00e9matiques pour qu’une IA apprenne \u00e0 \u00e9crire, c’est pas du vol, c’est de l’apprentissage. Un peu comme quand vous lisez 500 bouquins et que \u00e7a influence votre style d’\u00e9criture. Sauf que vous, vous payez vos livres et vous avez un cerveau biologique alors que ces IA, elles, aspirent tout le web sans demander la permission \u00e0 personne.<\/p>\n Et en juin dernier, deux juges californiens ont, sans surprise, tranch\u00e9 en faveur d’Anthropic et Meta sur certains points. Ils ont consid\u00e9r\u00e9 que l’utilisation de livres prot\u00e9g\u00e9s pour entra\u00eener des mod\u00e8les comme Claude ou Llama 2 pouvait constituer un usage “spectaculairement transformatif<\/em>” donc l\u00e9gal. Par contre, t\u00e9l\u00e9charger les bouquins depuis des sites pirates, \u00e7a reste ill\u00e9gal… Bref, vous pouvez utiliser le butin, mais pas le voler vous-m\u00eame…<\/p>\n De son c\u00f4t\u00e9, le s\u00e9nateur am\u00e9ricain Hawley n’a pas m\u00e2ch\u00e9 ses mots en parlant du “plus grand vol de propri\u00e9t\u00e9 intellectuelle de l’histoire am\u00e9ricaine” et quand on voit que les auteurs ont touch\u00e9 environ 3000 dollars chacun dans le r\u00e8glement de 1,5 milliard de dollars propos\u00e9 par Anthropic alors que ces bo\u00eetes g\u00e9n\u00e8rent des milliards de revenus, je peux comprendre l’\u00e9nervement.<\/p>\n Mais le pire, c’est qu’il existe des datasets alternatifs 100% l\u00e9gaux, ouverts, et utilisables sans risquer un proc\u00e8s !! J’ai par exemple d\u00e9couvert Mais alors d’o\u00f9 viennent ces donn\u00e9es l\u00e9gales ?<\/p>\n H\u00e9 bien du domaine public uniquement. Ce sont des millions de journaux am\u00e9ricains qui ont \u00e9t\u00e9 num\u00e9ris\u00e9s via le projet Chronicling America, des collections de patrimoine culturel, des monographies historiques…etc. Et tout a \u00e9t\u00e9 v\u00e9rifi\u00e9 pour s’assurer que les droits d’auteur sont bien expir\u00e9s.. Donc dedans, y’a pas de livres pirat\u00e9s, ce qui veut dire pas de proc\u00e8s potentiels…etc.<\/p>\n Y’a aussi le dataset Mais m\u00eame si tout ces trucs open source ont l’air cool, le probl\u00e8me, c’est que personne (ou presque) ne les utilise parce que les vieux livres du domaine public, \u00e7a parle comme Moli\u00e8re ou Victor Hugo. Le vocabulaire est archa\u00efque, les tournures de phrases sont dat\u00e9es… on dirait une discussion sur l’oreiller du couple Macron. Et vous l’aurez compris, un LLM entra\u00een\u00e9 l\u00e0-dessus va avoir tendance \u00e0 vous pondre du texte qui sent la naphtaline, alors que les livres modernes pirat\u00e9s, quand \u00e0 eux, c’est du langage contemporain, des dialogues naturels, des r\u00e9f\u00e9rences actuelles…etc.<\/p>\n
\nThe Pile<\/a>
\n, un gros dataset de 825 Go cr\u00e9\u00e9 par EleutherAI, et l\u00e0 \u00e7a a pris des proportions industrielles… Meta l’a utilis\u00e9 pour entra\u00eener LLaMA, Bloomberg pour BloombergGPT, et des dizaines d’autres projets. Le probl\u00e8me, c’est que \u00e7a contient des livres prot\u00e9g\u00e9s par le copyright tels que des romans de Sarah Silverman, de George R.R. Martin, et m\u00eame le bouquin de John Carreyrou sur Theranos, “Bad Blood”. D’ailleurs Carreyrou vient de porter plainte avec d’autres auteurs contre six g\u00e9ants de l’IA dont Anthropic, Google, OpenAI, Meta, xAI et Perplexity.<\/p>\n![\"\"](\"https:\/\/korben.info\/cdn-cgi\/image\/width=1200,fit=scale-down,quality=90,f=avif\/ia-entrainement-donnees-piratees-books3-common-cor\/ia-entrainement-donnees-piratees-books3-common-cor-2.png\")
\n<\/p>\n
\nCommon Corpus<\/a>
\n, et je kiffe le concept. C’est un projet coordonn\u00e9 par Pleias, une startup fran\u00e7aise, avec le soutien de HuggingFace, du Minist\u00e8re de la Culture et de l’AI Alliance et ce dataset contient 500 milliards de mots, dont 180 milliards en anglais et 110 milliards en fran\u00e7ais.<\/p>\n
\nDolma<\/a>
\navec ses 3 trillions de tokens cr\u00e9\u00e9 par l’Allen AI Institute, ou encore
\nRedPajama<\/a>
\nqui atteint les 30 trillions de tokens, et ces projets sont open source avec tout le processus de construction document\u00e9 donc vous pouvez les auditer, les refaire, et les v\u00e9rifier, contrairement aux datasets proprio o\u00f9 on vous dit “faites-nous confiance, on a rien fait de mal, hihihi<\/em>“.<\/p>\n