AI News
Alle Meldungen
Berichtet

Studie zum KV-Cache von Agenten: 27,7 % geringere Kosten ohne Zusammenfassung der Historie

Das vorgeschlagene System AKV entfernt und verschiebt Cache-Einträge direkt, statt die Historie zusammenzufassen. Die Autoren berichten von 27,7 % geringeren Kosten und um 1,7 Punkte besseren Benchmark-Ergebnissen.

Forschung · · 2 Min. Lesezeit

Ein am 20. Oktober 2026 auf arXiv veröffentlichtes Paper schlägt vor, dass ein LLM-Agent seinen Key-Value-Cache selbst direkt verwaltet, statt seine Gesprächshistorie durch Zusammenfassungen zu verkürzen. Die Autoren, Tianyu Fu und acht Mitautoren, berichten, dass eine auf diesem Ansatz aufbauende Policy die durchschnittlichen Kosten um 27,7 % senkt und die durchschnittlichen Benchmark-Ergebnisse um 1,7 Punkte verbessert, verglichen mit herkömmlicher, schwellenwertgesteuerter Zusammenfassung.

Das Problem liegt in der Art, wie LLMs bereitgestellt werden. Arbeitet ein Agent an einer langen Aufgabe, sammeln sich seine Beobachtungen und Aktionen an, und mit ihnen wächst der KV-Cache, der für jedes Token den Attention-Zustand speichert. Die Abläufe können zudem die maximale Kontextlänge des Modells überschreiten. Der bisherige Ansatz, im Abstract als Context Engineering bezeichnet, besteht darin, die Historie zu kürzen oder zusammenzufassen. Der Haken: Der Cache baut auf einem Präfix auf. Wird ein früher Teil der Historie umgeschrieben, ändern sich alle danach gespeicherten Zustände. Der Server muss den beibehaltenen Kontext dann erneut per Prefill verarbeiten und zahlt für diese Berechnung ein zweites Mal. Wer zu aggressiv zusammenfasst, um diese Kosten zu vermeiden, riskiert wiederum schlechtere Ergebnisse, denn die Genauigkeit leidet, wenn zu wenig Kontext erhalten bleibt.

Die Alternative des Papers, Cache Engineering genannt, lässt den Text unangetastet und verändert nur den Cache. Dafür sorgen zwei Operationen. Drop schließt ausgewählte Cache-Einträge von künftiger Attention aus. Reposition passt die Positionskodierungen der verbliebenen Keys an, sodass die übrigen Einträge die durch das Entfernen entstandenen Lücken schließen. Die Autoren weisen auch auf ein Problem bei der Bereitstellung hin, das dadurch entsteht: Identische Token-Folgen können je nach den zuvor ausgeführten Cache-Operationen unterschiedliche Cache-Zustände erzeugen. Gewöhnliches Präfix-Matching reicht daher nicht aus, um zu entscheiden, ob sich ein Cache wiederverwenden lässt. Ihre Serving-Engine AKV löst dies intern und bietet nach außen eine zustandslose Schnittstelle, die mit bestehenden Serving-APIs funktioniert.

Wie das in der Praxis aussieht, zeigt das öffentliche Repository des Projekts, thu-nics/AKV. Das dortige Beispiel behält die Tool-Ergebnisse der zuletzt abgeschlossenen Runde. Nach der Verarbeitung einer neuen Nachricht sendet es ein Feld drop_message, das ein früheres Tool-Ergebnis zum Entfernen benennt, sowie ein Feld reposition, um die Positionen zu verdichten. Laut README des Repositorys wendet der Server diese Operationen an, während der Client die vollständige Historie mit ihrer ursprünglichen Nummerierung behalten soll. Drop und Reposition sind dem Repository zufolge derzeit für bestimmte Textmodell-Architekturen aktiviert, darunter Qwen, Varianten von Qwen3 MoE, GPT-OSS und MiniMax-M2.

Die Senkung um 27,7 % ist der Durchschnittswert für eine Policy, die Tool-Antworten fortlaufend entfernt, im Vergleich zu schwellenwertgesteuerter Zusammenfassung. Das ist eine bestimmte Vergleichsbasis, nicht jede mögliche Alternative. Das Abstract nennt außerdem einen bis zu 1,2-fachen Output-Durchsatz und eine 1,5-fache Beschleunigung bei der P95-Anfragelatenz mit AKV. Einem weiteren Ergebnis zufolge senkt eine rekursive Selbstverbesserung der Cache-Policies die Kosten gegenüber von Experten entworfenen Policies um zusätzliche 7,1 %.

Was sich ändert

Art: Forschung · Betrifft: AKV

Warum es wichtig ist

Lang laufende Sitzungen von Agenten sind in der Bereitstellung teuer. Kontrolle auf Cache-Ebene könnte die Serving-Kosten senken, sofern sich die berichteten Vorteile auch außerhalb der Studie bestätigen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Demetrios from the AAIF

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es