AI News
Alle Meldungen
Berichtet

MIT CSAIL lässt GPT-6 Astra Qwen-Gewichte bearbeiten und steigert Mathe-Score

Das Team von MIT CSAIL berichtet in einem Paper, dass GPT-6 Astra zwei Schichten von Qwen3.5-0.8B bearbeitet und die Genauigkeit auf MATH-500 von 7,9 % auf 48,1 % gehoben hat.

Forschung · · Aktualisiert · 4 Min. Lesezeit

Vier Forscher von MIT CSAIL, Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab, haben am 2. November 2026 ein Paper veröffentlicht. Darin vertreten sie die These, dass Frontier-Sprachmodelle die numerischen Gewichte neuronaler Netze direkt lesen und schreiben können, ohne Optimizer und ohne Gradientenabstieg. Die Zusammenfassung des Papers spricht selbst von frühen Ergebnissen und meint, der Ansatz „könnte eine große Sache sein“, sowohl für die Optimierung als auch für die Interpretierbarkeit.

Gewichte sind die Zahlen, die beim Training angepasst werden. Die Autoren nennen ihren Ansatz Weight-Space Programming. Das Modell überlegt, was jeder Teil eines Netzes berechnet oder berechnen sollte, und ändert dann die Zahlen entsprechend, ganz ohne Trainingsschleife. Der erste Test war eine Leseaufgabe. Astra erhielt die 17.253 Gewichte eines kleinen Policy-Netzes als Text, dazu die Beschreibung eines 10×10-Rasters und fünf Aktionen, aber keinen Spielnamen. Das Netz lag in vier Versionen vor, mit PPO auf Breakout, Pong, Pac-Man und Freeway trainiert, alle mit identischer Form. Der einzige Unterschied steckte also in den Zahlen. Astra nannte in allen vier Fällen das richtige Spiel. Bei Breakout bemerkte es, dass sich die Eingabegewichte des Agenten entlang der untersten Zeile konzentrieren, was es als Schläger deutete, und gab eine Sicherheit von 99 % an.

Die Leseexperimente haben auch Grenzen. Bei einem Diffusionsmodell, das Kreise, Quadrate und Dreiecke erzeugt, fand Astra die Form in der Ausgabeschicht, zeichnete aber jede Form als Umriss, obwohl die Modelle gefüllte Formen erzeugen. Das Paper wertet diesen Fehler als Hinweis darauf, dass Astra die Geometrie der Gewichte las, statt das Netz auszuführen. In einem schwierigeren Test entfernte das Team bei drei zeichenbasierten Transformern mit je 7,16 Millionen Gewichten die Eingabe- und Ausgabeschichten und gab Astra nur die vier mittleren Blöcke. Astra durfte das Netz mit keiner einzigen Eingabe ausführen. Es nannte in allen drei Fällen die Trainingssprache korrekt und identifizierte jeden Copying Head. Das Paper merkt allerdings an, dass es diese Heads mit einer Methode von Elhage et al. fand, die das Team ihm gegenüber nie erwähnt hatte.

Das Schreiben von Netzen ist eine eigene Behauptung. In den MinAtar-Spielen schrieb Astra Netze von Grund auf in einer einzigen Antwort, ohne Daten, Loss oder Gradienten. Es erreichte 517,4 Punkte bei Breakout, 53,1 bei Seaquest und 53,2 bei Asterix. Als Vergleich dienen PPO-Netze, die 100 Millionen Schritte (15,8, 5,6 und 25,8) beziehungsweise 500 Millionen Schritte (25,3, 88,9 und 55,2) trainiert wurden. Astra übertraf das PPO-Netz mit 500 Millionen Schritten nur bei Breakout, wo das Paper einen Wert von etwa dem 20-Fachen des PPO-Ergebnisses angibt. Bei den beiden anderen Spielen kam es nahe heran oder blieb darunter.

Mit aktiviertem Thinking-Modus wiederholte Qwen Schritte, die es bereits geschrieben hatte. Das Paper weist darauf hin, dass Qwens eigene Model Card vor solchen Schleifen warnt. Astra verglich die internen Signale des Modells während der Schleifen mit jenen bei Schritten, die vorankamen. Dabei stellte es fest, dass die Schichten 15 und 19 ein mit Wiederholung verbundenes Muster verstärkten. Sein Eingriff zog diese Richtung von 64 Ausgabespalten der down_proj-Matrix in jeder dieser Schichten ab und betraf 131.072 Gewichte, also 0,016 % des Modells. Das Team gab Astra ein Budget von 50 Forward Passes auf Übungsaufgaben aus den Trainingssets von GSM8K und MATH, die Testfragen blieben unter Verschluss.

Die berichteten Zahlen bewegen sich gemeinsam. MATH-500 stieg von 7,9 % auf 48,1 %, GSM8K von 13,8 % auf 67,1 % und IFEval von 21,0 % auf 62,3 %. Der Anteil der Antworten, die an das Limit von 32.768 Token stießen, sank von 93,0 % auf 33,1 %. Koautor Alex Zhang sagt, das Team habe zunächst geglaubt, Astra habe Qwen eine neue mathematische Fähigkeit eingebaut. Das Paper testete auch Gemma 3 270M. Dieses Modell brachte seine Antworten in der Regel zu Ende, machte aber Rechen- und Algebrafehler, und das Paper berichtet dort keinen klaren Zugewinn.

Der Prompt ist Teil der Geschichte. Er wies Astra darauf hin: Wenn Qwen „sich wiederholt und nie fertig wird, zählt es, die Ursache dieser Wiederholung zu finden und zu beheben.“ Laut Teoh übergab das Team seine kurze Aufgabenstellung an Claude Code, das den Hinweis auf Wiederholung beim Ausbauen des Prompts ergänzte, ohne weiteres menschliches Feedback. Die Autoren testeten auch einen kürzeren Prompt ohne das Wiederholungsbeispiel. Bei 25 Passes erreichte er 14,1 %, denselben Wert wie der Durchlauf mit Hinweis. Für diesen kürzeren Prompt enthält die Tabelle kein Ergebnis bei 50 Passes.

Der Checkpoint ist auf Hugging Face veröffentlicht. Eine Seite dazu gibt an, der Eingriff sei neu erstellt und per Hash verifiziert worden. Ein separater Durchlauf auf dem vollständigen MATH-500, mit 500 Aufgaben und je vier Samples, erzielte 51,0 %, wobei 31,6 % der Antworten das Token-Limit erreichten. Dieselbe Seite nennt für einen Smoke-Test des Basismodells mit 25 Aufgaben einen Wert von 5,0 %. Der erneute Durchlauf unterscheidet sich in einem Punkt vom Paper: Das Paper wertete einen reinen Text-Export aus, der Checkpoint ist hingegen das vollständige multimodale Release. Laut der Seite sind die Tensoren des Sprachmodells identisch.

Was sich ändert

Art: Forschung · Betrifft: GPT-6 Astra, Qwen3.5-0.8B

Warum es wichtig ist

Automatisierte Modellbearbeitung könnte zu einem praktikablen Weg werden, bestimmte Fehlermuster zu diagnostizieren und gezielt zu beheben. Die Zugewinne hier gehen allerdings vor allem auf weniger unvollendete Antworten zurück.

Was Sie tun können

Teams, die mit Modellbearbeitung experimentieren, sollten prüfen, ob die Zugewinne auf privaten Tests halten, und Korrekturen, die Antworten zu Ende bringen, von echten Fähigkeitsgewinnen trennen.

Wie sich die Meldung entwickelt hat

  1. Das Labor berichtet zudem, Astra habe eine Breakout-Policy von Grund auf geschrieben und ein Eingriff in 1.024 Gewichte habe in NanoJev-Partien 65 zu 34 gewonnen. Ein Kritiker bezeichnet die Methode hingegen als Partytrick.

  2. Das Video liefert Details zu den Experimenten des Papers, darunter das Erkennen von Spielen und Diffusionsausgaben anhand der Gewichte sowie das Schreiben von Netzen von Grund auf.

  3. Ergänzt, dass die Änderung rund 0,016 % der Gewichte betraf und die Zugewinne noch unabhängig reproduziert werden müssen.

  4. Kommentatoren argumentieren, der Sprung auf 48,1 % spiegle vor allem die Beseitigung eines Schleifenfehlers bei einer pathologischen Ausgangsbasis von 7,9 % wider, und sagen, der Eingriff sei Berichten zufolge bei einem anderen Modell gescheitert.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

4 Quellen

Demetrios from the AAIF, Forward Future (Matthew Berman), Latent Space, Turing Post

MIT CSAIL

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es