Google vient de lancer Gemini Embedding 2, son premier mod\u00e8le d’embedding nativement multimodal. Texte, images, vid\u00e9o, audio et documents sont projet\u00e9s dans un m\u00eame espace vectoriel, ce qui permet de faire de la recherche s\u00e9mantique crois\u00e9e entre diff\u00e9rents types de contenus.<\/p>\n
Jusqu’\u00e0 pr\u00e9sent, les mod\u00e8les d’embedding se limitaient au texte. Vous vouliez indexer des images ou de la vid\u00e9o, il fallait un autre pipeline. Gemini Embedding 2 fait tout d’un coup : vous lui envoyez du texte, des images (jusqu’\u00e0 6), de la vid\u00e9o (jusqu’\u00e0 120 secondes) ou de l’audio (jusqu’\u00e0 80 secondes), et il vous renvoie un vecteur dans le m\u00eame espace. Le mod\u00e8le g\u00e8re plus de 100 langues et prend en charge jusqu’\u00e0 8 192 tokens en entr\u00e9e pour le texte.<\/p>\n
C\u00f4t\u00e9 technique, le mod\u00e8le utilise le Matryoshka Representation Learning, ce qui permet de choisir la taille des embeddings entre 128 et 3 072 dimensions. Google recommande 768 dimensions pour un bon compromis entre qualit\u00e9 et stockage, ce qui divise par quatre l’espace disque par rapport \u00e0 la taille maximale.<\/p>\n
Le texte est factur\u00e9 0,20 dollar par million de tokens, avec un mode batch \u00e0 moiti\u00e9 prix. Les images montent \u00e0 0,45 dollar, l’audio \u00e0 6,50 dollars et la vid\u00e9o \u00e0 12 dollars par million de tokens. Un palier gratuit est disponible pour tester.<\/p>\n
C\u00f4t\u00e9 performances, Google affiche de bons scores sur les benchmarks MTEB : 69,9 en multilingue et 84,0 en code. Mais pour du texte seul, OpenAI reste bien moins cher avec son text-embedding-3-small \u00e0 0,02 dollar par million de tokens, soit dix fois moins.<\/p>\n
Le mod\u00e8le est disponible via l’API Gemini et Vertex AI, et compatible avec LangChain, LlamaIndex, Weaviate ou ChromaDB.<\/p>\n
Le vrai argument de Google ici, c’est le multimodal. Si vous avez besoin d’indexer des catalogues produits avec photos et descriptions dans le m\u00eame vecteur, ou de faire de la recherche dans des archives vid\u00e9o, il n’y a pas d’\u00e9quivalent chez OpenAI pour le moment.<\/p>\n
Mais pour du texte pur, la diff\u00e9rence de prix est quand m\u00eame importante. On attend de voir comment \u00e7a se comporte en production, et si les scores MTEB se confirment sur des cas d’usage r\u00e9els.<\/p>\n