Anthropic beschreibt „Dreaming“ zur Ordnung des Agenten-Gedächtnisses von Claude
Laut Anthropic kann eine Offline-Überprüfung der Gedächtnisnotizen von Agenten Fehler korrigieren, Wikis aufbauen und wichtige Notizen in künftige Sessions übernehmen. Das Unternehmen stützt sich dabei auf eigene Tests.
Anthropic hat einen Engineering-Beitrag über „Dreaming“ veröffentlicht: einen Offline-Prozess, bei dem Claude seine gespeicherten Gedächtnisnotizen mit den Transkripten vergangener Sessions abgleicht. Ziel ist es, Fehler zu korrigieren, Wikis aufzubauen und wichtige Notizen in künftige Sessions zu übernehmen. Das Unternehmen versteht unter dem Gedächtnis eines Agenten das Wissen, das Claude aus Erfahrung gewinnt und über Sessions hinweg behält. Es vergleicht den Prozess mit dem Hippocampus, der im Schlaf Erlebnisse erneut abspielt, damit manche davon zu Langzeitwissen werden.
Der Beitrag sieht die Schwierigkeit vor allem im Timing. Claude kann wichtige Ereignisse während der Arbeit markieren, kann aber nicht wissen, was relevant ist, bevor es weiß, was als Nächstes kommt. Eine Notiz kann eine Vorhersage sein, dass eine Regel oder ein Fakt wieder wichtig wird. Eine Notiz, die von Anfang an falsch ist oder veraltet, weil sich die Umgebung ändert, kann in einer späteren Session trotzdem gelesen und für verlässlich gehalten werden. Dreaming verschiebt dieses Urteil auf später. Es liest bestehende Notizen zusammen mit den Transkripten, aus denen sie stammen, und kann so jede Notiz mit dem tatsächlichen Geschehen abgleichen. Der Preis dafür ist Rechenleistung, und der Beitrag weist darauf hin, dass die Ergebnisse des Dreaming für Claude womöglich nicht sofort verfügbar sind.
CL-Bench 1.0 ist eine Datenbankaufgabe, bei der jede Frage eine neue Session startet und nur ein Gedächtnisverzeichnis erhalten bleibt. Hier kamen die Modelle unterschiedlich weit. Claude Sonnet 4.6 stellte Theorien auf, warum Antworten falsch waren, ließ sie aber als ungeprüfte Vermutungen stehen. Claude Opus 4.7 fasste seine Notizen zusammen und begann zu markieren, welche Fakten bestätigt waren. Claude Sonnet 5 markierte Antworten als bestätigt, nachdem das Bewertungssystem sie geprüft hatte, und schrieb Korrekturen. Claude Opus 5 schloss als erstes Modell den Kreis: Die meisten seiner Einträge enthielten eine Regel, die Angabe, woher es wusste, dass die Regel stimmt, sowie Warnungen vor Fallen. Auch Opus 5.5 und Sonnet 5.5 schlossen den Kreis und erzielten mit Gedächtnis etwa dieselben Werte wie Opus 5, ihre Ausgangswerte ohne Gedächtnis lagen allerdings etwas höher.
Der Test mit Pokémon Red misst, was ein Modell zu speichern beschließt. Claude Sonnet 3.7 schrieb 413 Gedächtnisdateien in 225 Ordnern und gewann einen Orden. Laut Beitrag veraltete ein Großteil dieser Inhalte, weil sich der Spielzustand ständig ändert. Um Schritt 10.000 herum legte Sonnet 3.7 sechs Dateien an, löschte neun und führte 17 Schritte lang keine Spielaktion aus. Claude Fable 5 schrieb neun Dateien in zwei Ordnern, dazu eine übergeordnete Datei namens global.md, und gewann vier Orden. Dem Beitrag zufolge speicherte Fable 5 Dinge, die der Bildschirm nicht zeigt, etwa Strategie, Pläne und getestete Regeln. Fakten wie Geld oder Position auf der Karte, die sich in jedem Zug vom Bildschirm ablesen lassen, ließ es weg. Jedes Modell lief nur einmal, die Ergebnisse stammen also aus Einzelläufen.
Getestet wurde auch, wie viel Anleitung sinnvoll ist. Ein allgemeiner Hinweis, dass ein Gedächtnisordner existiert, reichte Opus 4.7 und Opus 5, um das Gedächtnis gut zu nutzen. Eine feste Regel, „nur Fehlschläge zu notieren“, machte bei beiden einen Großteil des Leistungsgewinns zunichte. Bei älteren Modellen war Steuerung wichtiger. Ein Prompt, der Sonnet 4.6 aufforderte, seine Gedächtnisdateien zu lesen und seine Theorien ausdrücklich zu testen, verdoppelte seinen Benchmark-Wert beinahe. Sonnet 5 liest sein Gedächtnis in 9 von 10 Fällen ungefragt, bevor es antwortet. Sonnet 4.6 tat das in weniger als der Hälfte der Fälle.
Das deutlichste Beispiel dafür, wie Dreaming einen Fehler behebt, betrifft Mt. Moon. Am Eingang der Höhle befindet sich ein Felsvorsprung, der nur in eine Richtung passierbar ist und den Spieler auf die Route zurückfallen lässt, von der er gekommen ist. Claude hatte fälschlich notiert, das PokéCenter liege auf der Ostseite. Also verkündete es „Mt Moon liegt hinter mir“ und markierte die Höhle als erledigt. Es fiel vom Vorsprung, schloss daraus, es sei zu weit gegangen, und behielt die falsche Notiz. Als Dreaming die Notiz mit dem Transkript abglich und neu schrieb, kehrte Claude in die Höhle zurück und erreichte Cerulean City. Im Lauf mit der unkorrigierten Notiz fiel Claude dreimal auf die Route zurück. Nachdem eine automatische Antwort es zum Weitermachen aufgefordert hatte, landete es in Pewter City, ohne Cerulean City zu erreichen.
Für die Wikis nutzte der Beitrag rund 350.000 interne Dateien, etwa 420 Millionen Token, von Stainless, einem Softwareunternehmen, das Anthropic im Mai übernommen hat. Über 128 Sessions von Opus-5-Agenten stiegen die Werte bei 25 Fragen von 13 % auf 48 % der bewerteten Kriterien. Mit Suche und Wiki erreichte Claude 54 %, mit wachsendem Wiki dann 61 %. Nur mit Suche kam es auf 53 %, sein bester Wert nur mit Wiki lag bei 48 %. Bei einem Fusionsdatensatz mit 24 Fragen erzielte Claude bei den schwierigeren Aufgaben mit Wiki 87 %, gegenüber 73 % nur mit Suche. Diese schwierigeren Aufgaben erforderten Informationen aus mehreren Dokumenten, Urteilsvermögen oder Rechnen. Der Beitrag berichtet außerdem von einer Harvey-LAB-Aufgabe, bei der das Wiki keinen klaren Vorteil gegenüber der Suche brachte. In einer anderen wuchs das Wiki über den Umfang der Rohdateien hinaus, was der Beitrag mit den Kartografen bei Borges vergleicht.
Eine Vertragsaufgabe zeigt, wie Anweisungen bestimmen, was Dreaming behält. Mit einer gemeinsamen Tabelle, die mehrere Agenten gleichzeitig befüllten, enthielt die Zusammenfassung nur 41 von 57 bewerteten Fakten, laut Beitrag 72 %. Nachdem Claude über seine Fehlschläge reflektiert und seine Anweisungen für den Wiki-Aufbau neu geschrieben hatte, bekam jeder Vertrag eine eigene Seite, die seine Bedingungen wörtlich zitierte. Danach ließen sich 100 % der Kriterien erfüllen. Dreaming kann Notizen auch in den injizierten Kontext übernehmen, der zu Beginn jeder Session geladen wird. Laut Beitrag muss diese Ebene klein bleiben, weil injizierte Notizen Token verbrauchen und eine falsche Notiz in jede Session mitgenommen wird. Als Beispiel nennt er die Auto-Memory-Funktion von Claude Code, die nur die ersten 200 Zeilen oder 25 KB ihrer Indexdatei lädt.
Die Plattformdokumentation von Anthropic beschreibt Dreams als Research Preview in der Claude API. Ein Dream liest einen bestehenden Gedächtnisspeicher zusammen mit vergangenen Sessions und schreibt einen separaten Ausgabespeicher. Seine Eingabe verändert er nie. Laut Dokumentation werden Dreams nur für ausgewählte Modelle unterstützt und erfordern einen bestimmten Beta-Header.
Die Evaluierungen im Beitrag stammen von Anthropic selbst. Sie stützen sich auf interne Dateien, einen Pokémon-Lauf und Benchmarks wie CL-Bench und Harvey LAB, und mehrere Vergleiche beruhen auf Einzelläufen. Was die Dreaming-Läufe für das Stainless-Wiki oder die Pokémon-Korrektur an Token oder Zeit gekostet haben, gibt der Beitrag nicht an, obwohl er festhält, dass Dreaming „Rechenleistung erfordert“.
Was sich ändert
Art: Neue Funktion · Betrifft: Claude, Claude API
Warum es wichtig ist
Unternehmen, die langlebige Agenten betreiben, laufen Gefahr, dass eine falsche Gedächtnisnotiz in jeder späteren Session wiederverwendet wird. Die Ergebnisse von Anthropic deuten darauf hin, dass eine planmäßige Überprüfung anhand der Quellprotokolle solche Fehler aufspüren kann. Der Beitrag weist allerdings darauf hin, dass dafür Rechenleistung nötig ist und die Gedächtnisebene klein bleiben muss.
Was Sie tun können
Teams, die persistente Agenten betreiben, könnten prüfen, wie gespeicherte Gedächtnisnotizen geschrieben, verifiziert und mit den Originalprotokollen abgeglichen werden, und verfolgen, wie oft die Notizen tatsächlich gelesen werden.
Originalquelle
Wo wir es gesehen haben
Anthropic Research
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es