Google stellt offenes EmbeddingGemma 2 mit 744 Mio. Parametern für Text, Bild, Audio und Video vor
Das offene Modell bildet Text, Bilder, Audio, Video und gemischte Eingaben in einem gemeinsamen Vektorraum ab und wird als praxistaugliche Option für den Einsatz direkt auf Geräten beschrieben.
Forschende von Google haben EmbeddingGemma 2 veröffentlicht, ein offenes Modell mit 744 Millionen Parametern. Es bildet Text, Bilder, Audio, Video und gemischte Eingaben in einem einzigen Vektorraum ab, sodass sich Inhalte aus einem Medium direkt mit Inhalten aus einem anderen vergleichen lassen. Laut dem arXiv-Eintrag vom 27. Oktober 2026 sind die Modelle auf Hugging Face und LiteRT verfügbar. Ein Embedding-Modell wandelt eine Eingabe in eine Zahlenliste um, wobei Eingaben mit ähnlicher Bedeutung nahe beieinander landen. Genau das ermöglicht Suche und Retrieval über Mediengrenzen hinweg.
Das Modell ist modular aufgebaut. Ein Vision-Encoder mit 167 Millionen und ein Audio-Encoder mit 305 Millionen Parametern speisen einen bidirektionalen Transformer mit 271 Millionen Parametern. Da die Encoder getrennt sind, kann ein Team, das nur Text benötigt, die 271-Millionen-Konfiguration laden. Die Vision-Language- und die Audio-Language-Konfiguration kommen auf 439 bzw. 577 Millionen Parameter. Laut Paper baut das Modell auf der Gemma-4-Familie auf und lernt von Gemini Embedding 2. Das Training verläuft in drei Phasen, die reines Texttraining von multimodalem Training sowie Destillation von kontrastiven Zielfunktionen trennen.
Im Abstract heißt es: „Das Modell etabliert eine neue Pareto-Front und übertrifft sowohl spezialisierte Modelle als auch Modelle, die zwei- bis zwölfmal größer sind.“ Die Autoren berichten Ergebnisse aus sieben Benchmark-Suiten zu Text, Code, Bild, Video, Dokumenten, Sprache und Geräuschen. Unter den genannten Werten erreicht MTEB Multilingual v2 61,36, und MTEB Code steigt gegenüber dem Vorgänger von 68,76 auf 78,68. MTEB English v2 fällt dagegen von 69,67 auf 68,46. Diesen Rückgang erwähnt die Formulierung zur Pareto-Front nicht.
Die Funktionen für das Deployment zeigen, wo die Designentscheidungen liegen. Teams können die Gewichte auf int4 quantisieren, was laut den Zahlen im Paper rund 0,4 Punkte bei MTEB Multilingual kostet. Sie können außerdem das Token-Budget für Bilder senken, also jedes Bild mit weniger Token repräsentieren. Und sie können die Embedding-Dimensionen kürzen, wodurch jeder gespeicherte Vektor kleiner wird. Die Autoren präsentieren diese Optionen als Flexibilität für ressourcenbeschränkte Umgebungen, und der Abstract stellt sie neben das selektive Laden der Encoder.
Dieser Bericht nennt eine Handvoll Benchmark-Werte, ohne die vollständigen Tabellen je Suite oder die zugrunde liegenden Vergleichsmodelle. Die Behauptung, zwei- bis zwölfmal größere Modelle zu übertreffen, lässt sich anhand der hier genannten Zahlen daher nicht überprüfen. Der Rückgang im Englischen und der mehrsprachige Wert stehen ohne die Baselines da, die eine Einordnung erleichtern würden. Wer das Modell für eigene Workloads bewerten will, braucht die vollständigen Ergebnisse im Paper.
Was sich ändert
Art: Neue Funktion · Betrifft: EmbeddingGemma 2, Hugging Face, LiteRT
Warum es wichtig ist
Unternehmen, die Retrieval über gemischte Medien auf Geräten oder in latenzkritischen Systemen betreiben, erhalten eine offene Option, die trotz deutlich geringerer Modellgröße nur wenig Genauigkeit einbüßt. Durch das modulare Laden können Teams nur jene Encoder einsetzen, die sie tatsächlich brauchen.
Was Sie tun können
Testen Sie die int4-Version oder die Varianten mit gekürzten Dimensionen anhand Ihrer eigenen Retrieval-Daten, bevor Sie sich für einen Embedding-Stack entscheiden.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es