WikiTrace von KAIST: Agenten prüfen gespeicherte Lektionen an ihren Ursprungsläufen
Forschende des KAIST beschreiben eine durch Gedächtnis verursachte Leistungsverschlechterung und stellen WikiTrace vor, ein Gedächtnissystem, das jede Lektion mit dem Lauf verknüpft, aus dem sie stammt.
Forschende des KAIST berichten, dass ein externes Gedächtnis dazu führen kann, dass ein LLM-Agent bei Aufgaben schlechter abschneidet, die er bereits beherrscht. Sie schlagen WikiTrace vor: ein Gedächtnisdesign, bei dem jede gespeicherte Lektion an den Lauf gebunden bleibt, aus dem sie abgeleitet wurde, sodass der Agent sie vor der Verwendung prüfen kann. Die Autoren nennen das Problem „memory-induced degradation“: Ein Agent scheitert an Aufgaben, die er ohne Gedächtnis lösen würde, oft weil er einer falschen Lektion folgt oder eine korrekte falsch versteht. Laut dem Paper werden Lektionen aus Trajektorien abgeleitet, die nur als Erfolg oder Misserfolg markiert sind. Meist erhält der Agent sie ohne diese Trajektorien und kann sie daher nicht überprüfen.
WikiTrace arbeitet mit zwei Ebenen. Ein Compiler macht aus jedem früheren Lauf eine Diagnose, warum er gelungen oder gescheitert ist, sowie eine Reihe kurzer Erkenntnisse. Jede Erkenntnis verweist zurück auf diese Diagnose und auf die rohe Trajektorie. Bei einer neuen Aufgabe beginnt der Agent mit der vollständigen Menge an Erkenntnissen. Fehlen einer Erkenntnis die Details, die zum Handeln nötig sind, widerspricht sie einer anderen oder stammt sie aus einem gescheiterten Lauf, folgt der Agent ihren Verweisen mit Terminal-Tools, um sie zu ergänzen oder zu korrigieren, bevor er handelt. Eine Trajektorie enthält oft noch die Belege, mit denen sich eine fehlerhafte Lektion erkennen lässt, sodass man der Lektion nicht blind vertrauen muss.
Evaluiert haben die Autoren auf ALFWorld, ScienceWorld, PlanCraft, AppWorld und τ³-bench Retail. WikiTrace liegt im Schnitt 10,7 Punkte über einem Agenten ohne Gedächtnis und 3,2 Punkte über einer Baseline, die dieselben Erkenntnisse ohne die Verweise erhält. Der Abstand von 3,2 Punkten isoliert also den Effekt der Verweise von dem der Erkenntnisse selbst. Die Fehlerquote bei Aufgaben, die der Agent ohne Gedächtnis lösen könnte, sinkt von 6,5% auf 4,5%.
Die Kuratoren-Zusammenfassung im Paper ergänzt, dass Agenten die verknüpften Belege bei schwierigeren Aufgaben häufiger heranziehen, wo der Vorteil auch am größten ist. Das Paper ist ein Preprint, der für den Zyklus Oktober 2026 des ACL Rolling Review eingereicht wurde und sich noch in Begutachtung befindet. Laut den Autoren ist der Code auf GitHub verfügbar.
Was sich ändert
Art: Forschung · Betrifft: ALFWorld, ScienceWorld, PlanCraft, AppWorld, τ³-bench Retail
Warum es wichtig ist
Ein Agentengedächtnis kann dazu führen, dass Agenten bei Aufgaben schlechter abschneiden, die sie bereits lösen. Belege neben jeder gespeicherten Lektion aufzubewahren, könnte daher für Agenten im Produktiveinsatz wichtig sein, die aus Erfahrung lernen.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es