Marin schließt Haupt-Pretraining des 535B-Modells Mochi auf 18T Token ab
Laut Marin hat das Modell Mochi 535B-A23B das Haupt-Pretraining auf 18T Token abgeschlossen. Als Nächstes folgen Long-Context-Training und Fine-Tuning.
Wie dlwh, ein Mitglied des Marin-Teams, mitteilte, ist das Haupt-Pretraining des Modells Mochi 535B-A23B auf 18T Token abgeschlossen. Als nächste Schritte stehen Long-Context-Training und Supervised Fine-Tuning (SFT) an: In dieser Phase lernt ein Basismodell anhand kuratierter Beispiele, Anweisungen zu befolgen. Checkpoints erhofft sich dlwh für die darauffolgende Woche. Das ist allerdings eine Hoffnung, keine Zusage.
Was sich ändert
Art: Sonstiges · Betrifft: Mochi 535B-A23B
Warum es wichtig ist
Ein Modell mit 535B Parametern, davon 23B aktiv, ist ein weiterer großer Open-Weight-Kandidat, der sich in Entwicklung befindet. Gewichte oder Evaluierungen liegen bisher nicht vor.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es