Unified Training vereint Pretraining, RL und Fine-Tuning unter einem Likelihood-basierten Loss
Forschende von CMU, Johns Hopkins und Aurora Innovation zeigen, dass sich alle Trainingsphasen von Foundation Models mit einem einzigen Likelihood-basierten Algorithmus durchführen lassen.
Eine Gruppe von Carnegie Mellon, Johns Hopkins und Aurora Innovation hält die getrennten Phasen, in denen Foundation Models entstehen, für nicht grundlegend. Pretraining, Midtraining, Supervised Fine-Tuning und Reinforcement Learning lassen sich demnach alle mit einem einzigen Likelihood-basierten Algorithmus durchführen, den die Autoren Unified Training nennen. Das Paper, am 29. Oktober 2026 bei arXiv eingereicht, leitet geeignete RL-Ziele als Maximum-Likelihood-Anpassung an vom Modell erzeugte Zielverteilungen her. In der Praxis landen RL-Generierungen und statische Daten unter einem gemeinsamen Loss und werden von einem einzigen Trainer trainiert. Die Designfrage lautet damit nicht mehr, wie man zwischen Rezepten wechselt, sondern mit welchen Daten, in welchen Anteilen und zu welchem Zeitpunkt trainiert wird. Herkömmliches, gestuftes Training wird so zu einem Spezialfall.
Unter kontrollierten Bedingungen schlägt ein von Grund auf trainiertes 124M-Modell das gestufte Training bei RL-Aufgaben und bei größeren Denkrätseln, die es weder im Midtraining noch im RL gesehen hat. Bei festem Rechenbudget erreicht Unified Training die höchste Genauigkeit beim kleinsten und beim größten Budget, während gestuftes Training bei mittleren Budgets vorne liegt.
Differenzierter fallen die Ergebnisse zum Midtraining aus. Bei einem 0,76B-Modell blieb die Mathematik-Genauigkeit bei einem Anteil von 0 % bis 5 % beigemischter Midtraining-Daten ähnlich, während sich die Retention verbesserte; die Coding-Genauigkeit sank jedoch mit wachsendem Anteil. Nach dem Mathematik-Training schlugen allerdings alle Unified-Modelle das gestufte Training bei der finalen Coding-Genauigkeit, obwohl sie niedriger gestartet waren, und die 5-%-Mischung schnitt bei allen vier Metriken am besten ab. Dieses Muster legt nahe, dass das Mischungsverhältnis einen Zielkonflikt mit sich bringt: Die Retention verbesserte sich, während die Coding-Genauigkeit mit wachsendem Anteil sank.
Die Autoren sind vorsichtig, was die Reichweite betrifft. Die Experimente sind klein angelegt, und eine Mischung oder ein Zeitplan, der durchgehend am besten funktioniert, wurde nicht gefunden. Das Paper bietet ein Framework zur Wahl von Daten und Timing, kein Rezept, das gestuftes Training ersetzt. Laut Abstract bringt der Ansatz zudem Vorteile beim Verhältnis von Genauigkeit zu Rechenaufwand und bei der Aufgabenabdeckung sowie einen besseren Ausgangspunkt für Continual Learning. Das Paper umfasst 67 Seiten mit 31 Abbildungen und 22 Tabellen.
Warum es wichtig ist
Sollte sich der Ansatz auch im großen Maßstab bewähren, könnte eine einzige Trainings-Pipeline vereinfachen, wie Teams Modelle entwickeln. Die bisherigen Ergebnisse stammen aus kleinen Experimenten, der Nutzen ist also noch nicht belegt.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es