AI News
Alle Meldungen
Berichtet

Baidu veröffentlicht ERNIE-5.5-Flash-Base: MoE-Basismodell mit 280B Parametern, trainiert auf 33,5T Token

Baidu hat ERNIE-5.5-Flash-Base veröffentlicht, ein Basismodell mit 280B Parametern insgesamt und 14B aktiven, und meldet bessere Werte als DeepSeek-V4-Flash-Base.

Modelle · · 1 Min. Lesezeit

Baidu hat ERNIE-5.5-Flash-Base veröffentlicht, ein reines Basismodell mit 280B Parametern insgesamt, von denen pro Token 14B aktiv sind. Trainiert wurde es auf 33,5T Token. Die Gewichte gibt es in FP8 und BF16. Ein Basismodell ist der vortrainierte Checkpoint vor dem Instruction Tuning: Es dient als Grundlage für weiteres Training und ist kein Chat-Modell. Die vorläufigen Ergebnisse von Baidu im Vergleich mit DeepSeek-V4-Flash-Base lauten 78,4 zu 69,2 bei MMLU-Pro, 82,3 zu 69,5 bei HumanEval+ und 40,1 zu 31,9 bei LiveCodeBench. Auf X weiterverbreitet wurde die Veröffentlichung von kimmonismus.

Der Unterschied zwischen 280B und 14B ergibt sich aus der Mixture-of-Experts-Architektur. Das Netz enthält viele Experten-Teilnetze und leitet jedes Token an einige wenige davon weiter, sodass bei jedem einzelnen Token nur ein kleiner Teil der gesamten Parameter arbeitet. Das senkt den Rechenaufwand pro Token, während eine große Kapazität erhalten bleibt. Der Beitrag nennt außerdem ECHO, das Multi-Token-Prediction über die letzte Schicht ausführt, verrät aber nichts darüber, wie es trainiert wird.

Die Attention funktioniert anders als bei den meisten Modellen. Nur 6 der 43 Schichten des Modells behalten den vollen Kontext auf Token-Ebene. Die übrigen Schichten fassen jeweils 128 Token zu einem einzigen KV-Eintrag zusammen. Der KV-Cache speichert die Key- und Value-Vektoren, mit denen ein Modell auf früheren Text zurückgreift, und wächst mit der Kontextlänge. Indem nur wenige Schichten den vollen Kontext halten und der Rest komprimiert wird, soll die Architektur bis zu 1M Token Kontext erreichen.

Der Beitrag nennt weder das Prompt-Format noch die Zahl der Shots oder das Evaluations-Framework, mit dem die Werte ermittelt wurden. Verglichen wird mit nur einem Modell.

Die Lizenz schließt Berichten zufolge die EU, Großbritannien und Südkorea aus.

Was sich ändert

Art: Neue Funktion · Betrifft: ERNIE-5.5-Flash-Base

Warum es wichtig ist

Unternehmen in der EU, in Großbritannien oder in Südkorea wären durch die angegebene Lizenz ausgeschlossen. Das ist für jedes Vorhaben relevant, auf diesen Gewichten aufzubauen.

Was Sie tun können

Prüfen Sie, ob die Lizenz Ihren Rechtsraum abdeckt, bevor Sie die Gewichte evaluieren.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

Latent Space

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es