AI News
Alle Meldungen
Berichtet

Marin schließt Haupt-Pretraining des 535B-Modells Mochi auf 18T Token ab

Laut Marin hat das Modell Mochi 535B-A23B das Haupt-Pretraining auf 18T Token abgeschlossen. Als Nächstes folgen Long-Context-Training und Fine-Tuning.

Modelle · · 1 Min. Lesezeit

Wie dlwh, ein Mitglied des Marin-Teams, mitteilte, ist das Haupt-Pretraining des Modells Mochi 535B-A23B auf 18T Token abgeschlossen. Als nächste Schritte stehen Long-Context-Training und Supervised Fine-Tuning (SFT) an: In dieser Phase lernt ein Basismodell anhand kuratierter Beispiele, Anweisungen zu befolgen. Checkpoints erhofft sich dlwh für die darauffolgende Woche. Das ist allerdings eine Hoffnung, keine Zusage.

Was sich ändert

Art: Sonstiges · Betrifft: Mochi 535B-A23B

Warum es wichtig ist

Ein Modell mit 535B Parametern, davon 23B aktiv, ist ein weiterer großer Open-Weight-Kandidat, der sich in Entwicklung befindet. Gewichte oder Evaluierungen liegen bisher nicht vor.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

Latent Space

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es