Stanford-Gedächtnissystem ruft lange Verläufe mit 16 Memory-Token ab
Ein System aus Stanford komprimiert Gesprächs- und Dokumentverläufe in 16 Memory-Token und senkt den Verbrauch an Dokument-Token um bis zu den Faktor 4.212.
Laut einem Beitrag von Adib Vafa auf X beschreiben Forschende der Stanford University ein Gedächtnissystem, das Informationen aus kompletten Gesprächsverläufen mit nur 16 Memory-Token abruft. Die zentrale Zahl: Der Verbrauch an Dokument-Token sinkt um bis zu den Faktor 4.212. In einem Test mit 512 Dokumenten lief die Methode 27-mal schneller und schnitt in 5 von 8 Benchmarks besser ab als bestehende Ansätze.
In der Diskussion über die Arbeit wurde angemerkt, dass eine so starke Komprimierung des Verlaufs verlustbehaftet ist. Offen bleibt, ob genau die richtigen Details erhalten bleiben, bis sie gebraucht werden.
Warum es wichtig ist
Hält die Effizienz, was sie verspricht, könnten lang laufende Agenten ihren Kontext zu einem Bruchteil der Token-Kosten mitführen. Der eigentliche Prüfstein ist aber, ob sie sich auch an selten genutzte Details erinnern.
Was Sie tun können
Verfolgen Sie das Paper und testen Sie die Erinnerungsleistung an Ihren eigenen Long-Context-Aufgaben, bevor Sie Ihre Gedächtnisarchitektur umstellen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es