AI News
Alle Meldungen
Berichtet

Drew Breunig baut funktionierenden NES-Emulator in die Gewichte von Qwen3.5-4B ein

Drew Breunig sagt, er habe einen funktionierenden Emulator für die 6502-CPU des NES in die Gewichte von Qwen3.5-4B eingebettet. Damit lassen sich NES-ROMs wie Super Mario Bros. ausführen, allerdings sehr langsam.

Forschung · · 3 Min. Lesezeit

Drew Breunig hat nesformer veröffentlicht, einen Checkpoint, dessen Gewichte einen funktionierenden Emulator der 6502-CPU des Nintendo Entertainment System implementieren. Er kann NES-ROMs wie Super Mario Bros. (World 1-1) ausführen, wenn auch sehr langsam. Simon Willison hat am 30. Oktober 2026 auf das Projekt verlinkt. Der Checkpoint lässt sich als gewöhnliches Qwen3_5ForCausalLM-Modell laden, ganz ohne eigens geschriebenen Code. Laut README hat niemand die Gewichte trainiert: Ein Compiler hat jedes einzelne berechnet.

Ungewöhnlich ist vor allem der Mechanismus. Laut README laufen der 6502-Kern, die 2 KB Arbeitsspeicher und das Programm-ROM eines Moduls vollständig im Modell, das das Ausführungsprotokoll der CPU Token für Token vorhersagt. Ein kleines Host-Programm übernimmt den Rest der Konsole: Es zeichnet das Bild, liest den Controller aus und löst den vblank-Interrupt aus. PPU und APU stecken nicht in den Gewichten, Bild- und Tonerzeugung liegen also außerhalb des Modells.

Der Speicher besteht aus dem Zustand von Gated DeltaNet. Jeder Head hält eine Matrix von 128 mal 128, die die Delta-Regel bei jedem Token aktualisiert. Bleibt das Gate offen und ist der Key one-hot, überschreibt ein Update genau eine Zeile, und eine one-hot-Query liest diese Zeile wieder aus. Jede Zeile fungiert damit als Speicherzelle; Modul, RAM und Register liegen allesamt in Zeilen. Für den Compiler und diesen Kniff verweist das README auf Qwenputer von Divyansh Agrawal, das zunächst einen CHIP-8 und dann eine RISC-V-CPU in Qwen3.5-4B kompiliert hat.

Die Formulierung „Gewichte von Qwen3.5-4B“ braucht eine Einschränkung. Der Checkpoint übernimmt zwar die DeltaNet-Head-Formen und die MLP-Breite von Qwen3.5-4B, hat aber eine Hidden Size von 768. Er umfasst 466,6 Mio. Parameter in bf16 (933 MB), von denen nur 9,3 Mio. ungleich null sind; deshalb lassen sich die Gewichte auf 3,3 MB zippen. Sieben DeltaNet-Layer enthalten die Schaltung, dazu kommt ein Attention-Layer aus lauter Nullen, weil der Cache von Hugging Face ihn voraussetzt. Es handelt sich also um ein Modell mit Qwen-Architektur, gefüllt mit kompilierten Werten, nicht um das 4B-Modell mit veränderten Gewichten.

Der offensichtliche Preis ist die Geschwindigkeit. Laut README dauert ein Frame 1 bis 6 Sekunden; 600 Frames, also 10 Sekunden NES-Zeit, brauchen damit rund 25 Minuten. Die Standard-Engine auf Basis von numba schafft etwa 1.650 Token pro Sekunde auf einem CPU-Kern des Build-Rechners, die numpy-Engine etwa 210 und das unveränderte transformers etwa 10. Ein echtes NES würde rund 700.000 Token pro Sekunde erfordern. Das Überspringen von Leerlaufschleifen senkt die Zahl der Token um den Faktor 2,6 bis 4,2. Insgesamt ist nesformer laut README 150- bis 290-mal langsamer als die Konsole.

Geprüft wird das Modell gegen die projekteigene Referenz-CPU. Die Referenz stimmt über 3.348 Instruktionen mit dem Golden Log von nestest überein und über 5,7 Millionen Instruktionen Spielcode mit dem Emulator py65. Im freien Lauf reproduzierten die Gewichte den Referenz-Trace für Thwaite (700.000 Token, 271 Frames) und Full Game (2.645.885 Token, 420 Frames, wobei alle 210 gespeicherten Frames übereinstimmten). Diese Frame-Vergleiche testen das Rendering des Hosts gegen dieselbe Referenz. Sie belegen, dass das Modell die Ausgabe des Referenz-Emulators reproduziert, nicht aber, dass die PPU der Hardware entspricht.

Die Einschränkungen sind erheblich. Unterstützt werden nur NROM-Module (iNES-Mapper 0), weil die CPU jeweils nur 32 KB Programm-ROM adressieren kann. Größere Spiele nutzen Bank-Switching-Chips wie MMC1 oder MMC3, und laut README kann nesformer „einem Bank-Wechsel noch nicht folgen“. Nur offizielle Opcodes funktionieren, inoffizielle geben HALT aus. Es gibt keine IRQs vom Frame Counter der APU oder vom DMC und keinen Ton. Effekte mitten in einer Scanline werden nicht reproduziert, Sprite-0-Hit und Sprite-Overflow sind nur angenähert.

In einem Kommentar auf Hacker News schrieb Breunig, er habe das System mit Opus 5.5 gebaut, und teilte die Prompts. Darin fragte er, ob sich Chip und RAM so emulieren ließen wie in FPGA-Projekten, welche Modellgröße dafür nötig wäre und ob kleinere, schnellere Modelle den regulären Takt erreichen könnten. In einem weiteren Kommentar schrieb Breunig: „Ich finde, wir sollten es bauen! Einfach zum Spaß. Es ist okay, wenn es nicht schnell ist.“ Willison berichtet, dass Opus eine Sammlung von Konformitätstests für die NES-CPU fand, die Christopher Pow vor 15 Jahren veröffentlicht hatte, und sie anschließend nutzte.

Was sich ändert

Art: Forschung · Betrifft: nesformer, Qwen3.5-4B

Warum es wichtig ist

Das Projekt zeigt, dass sich durch Fine-Tuning eine deterministische Programmausführung in den Gewichten eines Modells kodieren lässt. Die Demo läuft sehr langsam und ist damit eher eine Forschungskuriosität als ein praktikabler Weg, heute Software auszuführen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Simon Willison

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es