Z.ai-Chefwissenschaftler Jie Tang skizziert Trainingsdaten-Pipeline für kommende GLM-5.5-Modelle
Jie Tang hat die Pretraining-Pipeline für GLM-5.5-Varianten mit den Bezeichnungen 32B, 122B und 256B beschrieben. Das geht aus einem Post hervor, der einen Vortrag an der Tsinghua-Universität wiedergibt.
Jie Tang, Chief Scientist bei Z.ai, hat die Trainingsdaten-Pipeline für die kommenden GLM-5.5-Modelle in drei Größen skizziert: 32B, 122B und 256B. Die Angaben stammen aus einem Post von bebuu_ai auf X, der einen Vortrag an der Tsinghua-Universität wiedergibt. Demnach stützt sich die Pipeline vor allem auf interne Daten aus sechs Quellen: Web-Crawling von rund 1T Seiten, wobei der Post dazu eine Rate von etwa 10B Seiten pro Tag nennt; Extraktion wissenschaftlicher PDFs mit GLM-OCR; Bücher; ausführbare Coding-Aufgaben, die aus Code-Repositories gewonnen werden; aus Videos abgeleitete Daten für das Training mit langem Kontext und für Weltwissen; sowie per ASR transkribiertes Audio, also durch automatische Spracherkennung in Text umgewandelte Sprache, im Umfang von mehreren hundert Millionen Stunden.
In einem Diskussionsthread zu dem Post äußerten sich Kommentatoren positiv über die Parametergrößen, vor allem über das kleinere 32B-Modell. Eine technische Lesart aus diesem Thread lautet, dass die Modelle mit 32B, 122B und 256B womöglich keine eigenständigen Releases sind. Sie könnten stattdessen Checkpoints einzelner Komponenten sein, die zu einem größeren System mit rund 1T Parametern zusammengeführt werden sollen. Der Thread stellte dies als Spekulation dar, und nichts in der wiedergegebenen Darstellung besagt, dass Z.ai sich in diesem Sinne geäußert hat.
Eine zweite offene Frage betrifft die Architektur. Kommentatoren wollten wissen, ob die 32B-Variante auf ein Mixture-of-Experts-Design setzt, bei dem jeder Token nur einen Teil der Modellparameter aktiviert. Wäre das der Fall, liefe das kleinere Modell bei der Inferenz rechensparender als ein dichtes 32B-Modell, das für jeden Token sämtliche Parameter nutzt. Ob eine der GLM-5.5-Varianten dieses Design verwendet, geht aus dem Post nicht hervor.
Was sich ändert
Art: Sonstiges · Betrifft: GLM-5.5
Warum es wichtig ist
Die Beschreibung deutet auf eine starke Abhängigkeit von proprietären Daten-Pipelines hin. Das ist relevant für Teams, die chinesische offene Modelle gegen Alternativen abwägen, auch wenn die Details aus einer Darstellung aus zweiter Hand stammen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es