AgentBaton-Detektor senkt API-Kosten um 65,9 % durch Wechsel auf günstigere Modelle mitten in der Aufgabe
Forschende von NVIDIA, HKUST und UIUC stellen einen Detektor für eine einmalige Übergabe vor, der die API-Kosten im Schnitt um 65,9 % senkt und die Genauigkeit weitgehend erhält.
Forschende von NVIDIA, HKUST und UIUC berichten, dass eine einzige Übergabe von einem teuren, leistungsstarken Modell an ein günstigeres die API-Kosten über 11 Modellpaare hinweg im Schnitt um 65,9 % senkt. Den Zeitpunkt der Übergabe bestimmt ein gelernter Detektor, und laut den Autoren bleibt die Genauigkeit dabei weitgehend erhalten. Das Paper mit dem Titel AgentBaton erschien am 25. Oktober 2026 auf arXiv und zielt auf lang andauernde Agenten-Aufgaben, bei denen ein Agent viele Schritte mit einem Tool oder in einer Umgebung ausführt, bevor er fertig ist. Die Autoren argumentieren, dass verlässliche Ergebnisse bei solchen Aufgaben oft von teuren, leistungsstarken Modellen der Cloud-Anbieter stammen. Gleichzeitig gibt es zunehmend günstigere Cloud-Modelle niedrigerer Stufen sowie kleinere Open-Weights-Modelle, die auf lokaler Hardware laufen. Die Forschenden fragen deshalb, ob sich ein leistungsstarkes und ein effizientes Modell eine Aufgabe teilen können, statt die Arbeit wie beim klassischen Routing auf Query-Ebene nach Anfragen aufzuteilen.
Die Autoren testeten Übergaben in beide Richtungen und stellten eine Asymmetrie fest. Übergaben vom effizienten an das leistungsstarke Modell schnitten in der Regel schlechter ab als die alleinige Ausführung durch das leistungsstarke Modell und brachten kaum oder keine Kostenersparnis. Übergaben vom leistungsstarken an das effiziente Modell zu einem passenden Zeitpunkt im Aufgabenverlauf erhielten die Genauigkeit dagegen weitgehend oder verbesserten sie sogar, bei deutlich geringeren Kosten. Daraus schließen die Autoren, dass eine einzige, gut abgepasste Übergabe ausreicht. Das Designproblem reduziert sich damit auf die Wahl des richtigen Wechselzeitpunkts. AgentBaton ist ein schlanker Detektor, der diesen Zeitpunkt aus wiederkehrenden Mustern im Aufgabenverlauf lernt. Laut einer Zusammenfassung von DAIR.AI läuft er auf einer einzelnen H100 mit einer medianen Latenz von 338 ms bei Eingaben von 2K bis 121K Token.
Die zentralen Zahlen stammen aus dem Abstract und der Zusammenfassung des Papers: eine durchschnittliche Senkung der API-Kosten um 65,9 % über 11 Modellpaare und zwei Benchmarks sowie Genauigkeitsgewinne von bis zu 8,8 Prozentpunkten gegenüber der alleinigen Ausführung durch das leistungsstarke Modell. Die Benchmarks sind DeepSWE v1.1 und Terminal-Bench 2.1. Das Wort „weitgehend“ ist dabei entscheidend: Laut Abstract bleibt die Genauigkeit weitgehend, nicht vollständig erhalten. Behauptet wird also nicht, dass sie unverändert bleibt. Ebenso genau sollte man die Kostenrechnung lesen. Die Zusammenfassung weist darauf hin, dass lokal betreibbare Modelle mit null Kosten angesetzt werden. Die Ersparnis erscheint daher größer, wenn ein günstiges Modell auf Hardware läuft, die das Team bereits besitzt, weil dafür keine Gebühr pro Aufruf berechnet wird.
Laut Abstract erweitert AgentBaton zudem die empirische Pareto-Front zwischen Genauigkeit und Kosten über verschiedene Einstellungen des Reasoning-Aufwands hinweg. In diesen Einstellungen erreicht es Kompromisse zwischen Genauigkeit und Kosten, die die bisherige Front nicht bot. Der Ansatz setzt voraus, dass die Übergabe in einer geeigneten Phase des Aufgabenverlaufs erfolgt, in der das günstigere Modell ohne großen Genauigkeitsverlust weiterarbeiten kann. Die Belege des Papers betreffen Coding- und Terminal-Aufgaben, nicht jede Art von Arbeit durch Agenten.
Warum es wichtig ist
Teams, die lange Agenten-Aufgaben ausführen, könnten ihre Ausgaben senken, indem sie einen Teil der Arbeit eines Agenten an günstigere Modelle weiterleiten. Wie hoch die Ersparnis ausfällt, hängt von den eingesetzten Modellpaaren ab und davon, ob das günstigere Modell lokal läuft.
Was Sie tun können
Messen Sie, welche Schritte Ihrer langen Agenten-Läufe auf ein günstigeres Modell verlagert werden könnten, bevor Sie sich auf ein Routing-Design festlegen.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es