Meta FAIR schlägt Routed Continual Learning vor: Agenten-Gedächtnis in Clustern
FAIR bei Meta stellt Routed Continual Learning vor. Der Ansatz gruppiert frühere Agenten-Durchläufe in Cluster mit jeweils eigenem Gedächtnissystem und senkt die geschätzten API-Kosten um 65 bis 72 %.
FAIR bei Meta hat mit Routed Continual Learning eine Architektur vorgeschlagen, bei der Agenten nicht mehr auf einen einzigen, ständig wachsenden Pool früherer Erfahrungen zugreifen. Stattdessen werden diese Erfahrungen in Cluster sortiert, jeder mit eigenem Gedächtnissystem. Als zentraler Beleg dient ein gemischter Datenstrom aus 301 Instanzen von CL-Bench und 97 Banking-Instanzen aus τ³-Bench. In diesem Strom brachte eine einzige globale Historie gegenüber einem Betrieb ganz ohne Gedächtnis nur +0,015 normalisierte Belohnung. Laut den Autoren steigert das geroutete Design die Belohnung gegenüber dieser globalen Historie um 15 bis 30 % der maximal erreichbaren normalisierten Belohnung, und zwar über vier Sprachmodelle hinweg. Zugleich sinken die geschätzten API-Kosten um 65 bis 72 %.
Das Design besteht aus zwei Teilen. Frühere Trajektorien werden zu Clustern zusammengefasst, und jeder Cluster speichert seinen Zustand in einem Gedächtnissystem aus einer festen Bibliothek. Beispiele dafür sind aufbewahrte Trajektorien oder wiederverwendbare Denkstrategien. Vor jedem Durchlauf entscheidet ein LLM-Router, ob ein bestehender Cluster wiederverwendet oder ein neuer angelegt wird. Grundlage dafür sind die Problemstellung, die Beschreibungen der Gedächtnissysteme und Zusammenfassungen der Cluster. Eine zweite Komponente, der Context Memory Adapter, nimmt die Ausgabe des Gedächtnissystems und fügt sie dem anfänglichen Kontext des Agenten hinzu. Anschließend schreibt er die neue Trajektorie in den gewählten Cluster zurück. Der Adapter nutzt dafür Hooks, die Agenten-Frameworks ohnehin bereitstellen.
Die Routing-Idee setzt an einem Zielkonflikt an, den das Paper gleich zu Beginn beschreibt. Eine globale Historie bewahrt jedes Detail, wird aber teuer und vermischt Erfahrungen, die womöglich nicht zusammengehören. Komprimiert man sie in eine einzige feste Repräsentation, bleiben die Kosten zwar begrenzt, doch wertvolle Details können verloren gehen. Routed CL versucht, sich nicht global auf eine Repräsentation festzulegen. Stattdessen wählt der Router für jeden Durchlauf sowohl den Gedächtnismechanismus als auch den Cluster. Der Abstract kommt wörtlich zu dem Schluss, Continual Learning lasse sich „als Routing-Problem“ angehen.
Die Verbesserungen werden an einer bestimmten Baseline gemessen, und die Zahlen sind nur in diesem Kontext richtig einzuordnen. Die 15 bis 30 % sind ein Anteil an der maximal erreichbaren normalisierten Belohnung, kein prozentualer Zuwachs bei der Rohbelohnung. Der Abstract gibt sie als Spanne über vier Modelle und fünf abgeglichene Rollouts an. Die Kostensenkung um 65 bis 72 % ist eine Schätzung, gemessen an der globalen In-Context-Learning-Historie. Zudem berichtet das Paper, dass das geroutete Design eine höhere mittlere normalisierte Belohnung erzielt als ein Clustering, das ausschließlich auf In-Context Learning setzt.
Die Evaluation hat Grenzen, die die Autoren selbst benennen. Die Durchläufe erfolgen sequenziell, das Paper testet also nicht, wie mehrere Agenten gleichzeitig denselben Cluster aktualisieren. Die Zusammenfassung des Papers durch die DAIR.AI Academy ergänzt, dass die Autoren weder gleichzeitige Updates noch veraltete Lesezugriffe noch die modellübergreifende Wiederverwendung von Cluster-Zuständen untersuchen. Die Ergebnisse gelten daher nur für sequenzielle Durchläufe.
Warum es wichtig ist
Ein einziges gemeinsames Gedächtnis für viele Agenten-Aufgaben bringt womöglich wenig, treibt aber die Kosten. Teams mit unterschiedlichen Agenten-Workloads könnten davon profitieren, das Gedächtnis nach Aufgabentyp zu routen.
Was Sie tun können
Vergleichen Sie vor dem Skalieren ein globales Agenten-Gedächtnis mit einem nach Aufgaben geclusterten Gedächtnis auf Ihren eigenen Workloads.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es