NVIDIA-Forscher: Häufige Kontextkomprimierung kann mit Agentenläufen mit vollem Verlauf mithalten
Laut NVIDIA-Forschern erreichen KI-Agenten mit komprimiertem Kontext bei langen Aufgaben oft dieselben Ergebnisse wie mit vollem Verlauf, während der mediane Spitzenkontext von 32K auf 8K Token sinkt.
Forscher von NVIDIA berichten, dass KI-Agenten lange Aufgaben bewältigen können, obwohl sie nur einen kleinen Ausschnitt ihres Verlaufs im Kontext behalten. In einem Setup entsprechen die Ergebnisse denen mit vollständigem Verlauf. In einem am 3. November 2026 auf arXiv veröffentlichten Paper vergleichen die Autoren drei Varianten: den vollständigen Verlauf anzusammeln, den Kontext ab einem Schwellenwert zu komprimieren und die Komprimierung nach jeder einzelnen Aktion. Bei Letzterer führt der Agent pro Kontext genau eine Aktion aus und nimmt nur eine kurze, in natürlicher Sprache verfasste Zusammenfassung seines Zustands mit. Mit einer Aktion pro Kontext erreicht Claude Opus 4.5 auf SWE-bench Verified 70,2 Punkte, gegenüber 70,0 mit vollem Verlauf. Der mediane Spitzenkontext sinkt dabei von 32K auf 8K Token.
Der Antrieb dahinter sind die Kosten. Laut dem Paper sind spätere Token teurer zu generieren als frühere, und bei führenden Open-Weight-Modellen kann der Unterschied bis zum 7-Fachen betragen. Ein stetig wachsender Kontext verteuert also jeden weiteren Schritt, und genau an diesem Wachstum setzt die Komprimierung an. Auf Terminal-Bench erzielt Opus 4.5 51,8 Punkte gegenüber 47,2 in der Baseline. Der mediane Spitzenkontext liegt bei 8K bis 9K Token, gegenüber 27K bis 32K in der Baseline. Die Reduktion ist also eine Spanne über verschiedene Aufgaben hinweg und keine einzelne Zahl. Mit der besten Einstellung für die Komprimierung am Ende der Konversation steigt Opus 4.5 auf SWE-bench Verified von 70,0 auf 74,8.
Die Ergebnisse bei langen Eingaben beruhen auf einem anderen Mechanismus. Statt ein ganzes Dokument zu lesen, liest der Agent die Eingabe selektiv und greift auf Komprimierung zurück, wenn er mehr braucht. Über Terminal-Bench, FRAMES, BFCLv3 und mehrsprachiges SWE-bench hinweg erreicht oder übertrifft dieser Ansatz in fast allen getesteten Szenarien mit langen Eingaben die Baselines mit vollständiger Eingabe. In einigen Fällen gibt es geringe Einbußen.
Auf Basis dieser Ergebnisse skizzieren die Autoren sogenannte Semantic State Space Models (SSSMs), die zwischen den Schritten einen kompakten semantischen Zustand statt des gesamten Transkripts weitergeben würden. Das Paper behauptet nicht, dass sich jede Aufgabe mit kurzem Kontext lösen lässt. Das Abstract stellt die Notwendigkeit von Long-Context-Modellen infrage, erklärt sie aber nicht für überflüssig. Die Belege stammen aus dem Software Engineering und den oben genannten Benchmarks. Sie zeigen daher nicht, wie sich der Ansatz bei Aufgaben verhält, deren Antworten von Details abhängen, die in einer Zusammenfassung verloren gehen. Teams können aggressive Komprimierung an ihren eigenen Workloads testen, bevor sie sich darauf verlassen.
Was sich ändert
Art: Forschung · Betrifft: Claude Opus 4.5
Warum es wichtig ist
Laut dem Paper können spätere Token bei führenden Open-Weight-Modellen bis zu 7-mal teurer zu generieren sein. Aggressive Komprimierung könnte daher die Kosten für Teams senken, die lange Sitzungen mit KI-Agenten betreiben.
Was Sie tun können
Testen Sie aggressive Kontextkomprimierung an Ihren eigenen Agenten-Workloads, bevor Sie für Agentenläufe mit Millionen Token bezahlen.
Wie sich die Meldung entwickelt hat
Ergänzt den Vorbehalt des Papers zu Qwen 3 Coder Next, bei dem die engste periodische Einstellung den Score auf SWE-bench Verified von 53,0 % auf 3,6 % senkte, sowie den Rat, Übergaben und tatsächliche Kosten zu prüfen.
Originalquelle
Wo wir es gesehen haben
AI Engineering, DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es