AI News
Alle Meldungen
Berichtet

Paper: GPT-6 Astra liest und bearbeitet Gewichte neuronaler Netze ohne Tools

Laut einem Forschungspapier von Takehi, Teoh, Zhang und Khattab kann GPT-6 Astra aus den rohen Gewichten eines Modells ableiten, was es tut, und sie so bearbeiten, dass die Mathematik-Ergebnisse steigen.

Forschung · · 4 Min. Lesezeit

Ein Forschungspapier des MIT CSAIL, verfasst von Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab, berichtet, dass OpenAIs GPT-6 Astra die rohen Gewichte eines kleinen neuronalen Netzes lesen und angeben kann, worauf es trainiert wurde. Zudem kann es die Gewichte eines Sprachmodells bearbeiten, um ein Fehlverhalten zu beheben. Die Autoren nennen den Ansatz Weight-Space Programming.

Zuerst der Test ohne Tools. Die Autoren trainierten vier kleine Netze mit PPO auf vereinfachten 10x10-Rasterversionen von Breakout, Pong, Pac-Man und Freeway. Jedes Netz hat 17.253 Gewichte und dieselbe Form, die Architektur verrät also nichts. Astra erhielt die Gewichte als Gleitkommatext, eine Beschreibung des Rasters und der möglichen Aktionen sowie die Anweisung, keine Tools zu verwenden. In allen vier Fällen nannte es das richtige Spiel. Simon Willison ließ den Pac-Man-Prompt lokal über LM Studio auf Qwen 3.8 27B laufen. Auch dieses Modell erkannte Pac-Man, Pong und Breakout, scheiterte aber an Freeway und brauchte pro Durchlauf 46 bis 65 Minuten. Im Freeway-Transkript tippte es auf ein Pac-Man-ähnliches Spiel. Willison merkte an, dass Kimi K3.1 Pro, über OpenRouter ausgeführt, Breakout nach 9 Minuten und 41 Sekunden richtig erkannte.

Die Kritik setzt bei der Begründung des Ergebnisses ohne Tools an. Sean Goedecke argumentiert, dass die Eingabeschicht leicht zu lesen sei. Jeder der fünf Eingabekanäle, etwa Agent, bewegliche Objekte und Belohnungsziele, wird direkt auf das 10x10-Raster abgebildet, sodass die Gewichte der ersten Schicht für jeden Kanal zeigen, wo dieser Kanal eine Rolle spielt. Er berechnete die L2-Norm dieser Gewichte über das Raster in drei Zeilen NumPy. Heraus kam eine Heatmap, auf der die Position des Spielers und die Anordnung der Objekte sichtbar sind. Ein Mensch könnte die Spiele daran also plausibel erkennen. Aus seiner Sicht ist das „nett“, aber nicht übermenschlich. Laut der Beschreibung im Paper selbst ermittelte Astra, wo sich die Gewichte der ersten Schicht für jeden Kanal konzentrieren, und bemerkte etwa, dass die Agenten-Gewichte bei Breakout entlang der untersten Zeile liegen, also beim Schläger. Goedeckes Punkt: Der Test prüft eine einfache Berechnung über ein beschriftetes Layout.

Das Qwen-Ergebnis ist die Hauptaussage des Papers, und es unterscheidet sich vom Test ohne Tools in einer Weise, die der Abstract nicht deutlich macht. Laut Abstract fand Astra „allein durch Betrachten der rohen Gewichte“ ein Schleifenproblem in Qwen3.5-0.8B und behob es, indem es 0,016 % der Gewichte änderte. Damit stieg MATH-500 von 7,9 % auf 48,1 %, IFEval stieg auf das 3-Fache. Die Tabelle im Paper selbst zeigt jedoch, dass dieses Experiment nicht ohne Tools ablief: Das Modell schrieb Python und ließ das Netz auf bis zu 50 Batches von Übungsaufgaben laufen. Matthew Honnibal, Autor von spaCy, nannte den Beitrag deshalb irreführend. Er ordnete die Experimente aus der Übersichtstabelle des Papers danach, ob das Modell rohe Gewichte las, Gewichte schrieb, Python nutzte oder das Netz ausführte. Dabei stellte er fest, dass das Szenario mit ausschließlich rohen Gewichten nur in den Experimenten 1, 2 und 4 vorkommt, bei Netzen mit 17K bis 172K Gewichten. Aus seiner Sicht zeigt das Qwen-Ergebnis, dass Astra Aufgaben entwerfen und umsetzen kann, die auch ein menschlicher ML-Engineer bewältigen könnte. Das ist eine echte Leistung. Es mit dem Lesen roher Gewichte in einer Schlagzeile zu verbinden, suggeriert aber eine einzige Fähigkeit, die die Experimente nicht belegen.

Goedecke sah sich auch die Qwen-Korrektur an und beschrieb Astras Vorgehen als bekannte Methode. Das Problem des Modells war, dass es nach etwa 32k Tokens in Schleifen geriet, wovor laut Paper schon Qwens eigene Model Card warnt. Nach Goedeckes Vorschlag würde ein Forscher Texte mit und ohne Schleifen sammeln, messen, wie stark jedes Gewicht zum Unterschied in den Aktivierungen beiträgt, und die Gewichte mit dem größten Beitrag zurückschneiden. Er vergleicht das mit dem Abliteration-Ansatz von Heretic. Laut Goedecke zeigt das Transkript, dass Astra vier Textpaare schrieb, die beitragenden Gewichte maß, sie reduzierte und das Ergebnis testete, bis am Ende ein Patch stand, mit dem das Modell über 32k Tokens hinaus funktionierte. Goedeckes Fazit: Genau so würde ein kompetenter menschlicher Forscher vorgehen. Er vergleicht die Fähigkeit mit einem Sprachmodell, das kompilierte Binärdateien bearbeitet, statt Quellcode zu schreiben. Sein Einwand lautet also, dass das Bearbeitungsbeispiel einem bekannten Verfahren folgt, nicht, dass das Ergebnis falsch ist.

Die im Paper genannten Zahlen sind konkret, und es lohnt sich, sie auseinanderzuhalten. Astras Änderung an der Kinetix-Policy für das Auto auf der Rampe gelang im ersten Versuch: Nachdem 3,5 % der Gewichte geändert waren, war sie in allen 1.024 Episoden erfolgreich. Das Paper hält fest, dass das ursprüngliche Netz in 256 Episoden nie erfolgreich war und Astra eine aufgezeichnete gescheiterte Episode erhielt. Im MinAtar-Experiment schrieb Astra Netze ganz ohne Training, die in allen drei Spielen PPO nach 100 Millionen Trainingsschritten schlugen. Gegen PPO mit 500 Millionen Schritten erzielten die Netze bei Breakout das 20-Fache (517,4 gegenüber 25,3), lagen bei Seaquest darunter (53,1 gegenüber 88,9) und kamen bei Asterix nahe heran (53,2 gegenüber 55,2). Das Sykophantie-Experiment mit Gemma 3 270M, das eine Python-Sandbox nutzte, scheiterte, solange nur die Gewichte zur Verfügung standen, und gelang erst, als Attention-Muster sichtbar waren. Diese Zahlen stammen aus dem Paper und den verlinkten Logs, und laut den Logs nutzten die Go- und Qwen-Experimente Python und Forward Passes.

Was sich ändert

Art: Forschung · Betrifft: GPT-6 Astra, Qwen3.5-0.8B

Warum es wichtig ist

Wenn Modelle Gewichte lesen und korrigieren können, ohne Code auszuführen, könnten Teams neue Wege finden, Modelle zu prüfen und zu reparieren. Die Behauptung ist aber noch umstritten und beruht auf wenigen Experimenten.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

1 Quelle

Simon Willison

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es