AI News
Alle Meldungen
Offiziell

Studie aus Berkeley und Illinois: Agentenkosten entstehen durch Kontext-Lesen und Tool-Aufrufe

Die UC Berkeley und die University of Illinois Urbana-Champaign analysieren die Kosten von KI-Agenten und entwickeln Agency, eine Schicht, die Kosten senkt, ohne das Modell zu verändern.

Forschung · · 2 Min. Lesezeit

Das Lesen des Kontexts, über den ein Agent bereits verfügt, kann bis zu 73% seiner Gesamtkosten ausmachen, selbst bei aktiviertem Prompt Caching. Das zeigt ein Paper der UC Berkeley und der University of Illinois Urbana-Champaign. Die Autoren haben außerdem Agency entwickelt, eine Schicht zwischen einem Harness wie Claude Code oder OpenAI Codex und dem Modell. Sie senkt die Kosten, ohne das Modell zu verändern. Laut dem Abstract des Papers reduzieren ihre fünf Proof-of-Concept-Techniken die Kosten um bis zu 35% bei marginalem Genauigkeitsverlust.

Ausgangspunkt ist eine Beobachtung: Der Harness, also die Software, die einem LLM Zugang zu einer Rechenumgebung gibt, wirkt sich stärker auf die Kosten aus als auf die Genauigkeit. Laut Abstract verändern System-Prompts und Tools die Aufgabengenauigkeit kaum, können die Kosten einer Ausführung bei gleichem Modell und gleicher Aufgabe aber um bis zu Faktor 2,6 verändern. Die Autoren untersuchten daher, wie sich Kosten über Agenten-Traces hinweg aufbauen, statt sich auf die Wahl des Modells zu konzentrieren.

Die Analyse zeigt mehrere Stellen, an denen sich Kosten ansammeln. Jeder LLM-Aufruf liest den angesammelten Kontext erneut, sodass derselbe frühere Text in jeder Runde wieder bezahlt wird. Dieses erneute Lesen macht bis zu 73% der Gesamtkosten aus. Tool-Aufrufe verursachen Kosten, ohne Token zum Kontext hinzuzufügen. Agenten nutzen im Schnitt nur 27% der Tool-Ausgaben, der Großteil dessen, was Tools zurückliefern, bleibt also ungenutzt. Bei retrievallastigen Aufgaben können bis zu 89% der Runden auf die Suche im Dateisystem entfallen. Zudem enthalten Agenten-Traces laut Paper im Schnitt 1,3 bis 2,7 unabhängige Teilaufgaben, die parallel laufen könnten, was den Kontext verringert, den jede Teilaufgabe teilen muss.

Agency wird als Harness-Interpositionsplattform beschrieben. Sie bietet eine einheitliche Abstraktion über gängige, fertige Harnesses, sodass eine einmal geschriebene Optimierung über verschiedene Harnesses und Modelle hinweg laufen kann. Sie kann Kontext, Tools und Umgebung überwachen und verändern. Die Techniken werden als deterministisch beschrieben und erfordern weder manuelle Session-Resets noch Modelle, die darauf trainiert sind, Kontext zu verwerfen.

Die 35% sind ein Höchstwert aus den realen Benchmarks, die die Autoren verwendet haben. Das Abstract enthält keine Aufschlüsselung nach Benchmark und beschreibt den Genauigkeitsverlust nur als marginal.

Was sich ändert

Art: Forschung · Betrifft: Claude Code, OpenAI Codex

Warum es wichtig ist

Unternehmen, die KI-Agenten betreiben, könnten feststellen, dass ein Großteil ihrer Rechnung aus wiederholtem Kontext-Lesen und zusätzlichen Tool-Aufrufen stammt. Das lässt sich optimieren, ohne das Modell zu wechseln.

Was Sie tun können

Wenn die Kosten Ihrer Agenten steigen, prüfen Sie wiederholtes Kontext-Lesen und ungenutzte Tool-Aufrufe, bevor Sie das Modell wechseln.

Originalquelle

Wo wir es gesehen haben

1 Quelle

DAIR.AI (Elvis Saravia)

UC BerkeleyUniversity of Illinois Urbana-Champaign

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es