Microsoft-Paper: Routing mit Gesprächsverlauf hilft zustandsbehafteten Agenten bei der Wahl günstigerer Modelle
Ein Paper von Microsoft zeigt: Darf ein Router bei der Entscheidung, welche Turns an ein günstigeres Modell gehen, den Sitzungsverlauf lesen, lösen Agenten ihre Aufgaben häufiger.
Forschende von Microsoft berichten, dass ein Router, der den Sitzungsverlauf liest, für zustandsbehaftete Agenten die besseren Modelle auswählt als einer, der nur die aktuelle Anfrage sieht. Im Paper „Context-Guided Model Routing for Stateful Agents“ wählt der Router ein Modell für einen ganzen Nutzer-Turn, bevor die Tool-Calling-Schleife des Agenten beginnt. Zwischen einzelnen Tool-Aufrufen wechselt er das Modell nicht. Dieser Zeitpunkt ist wichtig, weil eine einzige Nutzeranfrage mehrere Modellaufrufe und Tool-Ausführungen auslösen kann, bevor der Agent antwortet. Die Laufzeitumgebung hält Gesprächs- und Anwendungszustand vor, sodass das gewählte Modell an gespeicherte Aufzeichnungen anknüpfen kann, statt auf versteckten Zustand angewiesen zu sein, der zwischen Anbietern weitergereicht wird.
Das Argument für den Verlauf beruht auf einem einfachen Problem. Eine Folgeanfrage, etwa eine Änderung auf ein weiteres Tabellenblatt zu übertragen, lautet gleich, unabhängig davon, ob der vorherige Versuch geklappt oder einen Fehler hinterlassen hat. Hat der vorige Turn eine korrekte Formel etabliert, ist die Übertragung Routine. Hat er inkonsistente Summen erzeugt, könnte dieselbe Folgeanfrage den Fehler auf weitere Zellen ausweiten. Ein Router, der nur die neue Anfrage sieht, kann Fortsetzung und Fehlerbehebung nicht unterscheiden. Das Paper prüft daher, ob der Sitzungsverlauf ihm diese Information zurückgibt.
In der Multi-Turn-Evaluierung mit SheetCopilot bestand das Routing mit Verlauf 28,3 % der Aufgaben, ohne Verlauf waren es 25,0 %. Beide Ansätze schickten rund 23 % der Turns an das günstigere Modell. Dieses Detail zeigt, dass der Gewinn aus der Auswahl der Turns für das günstige Modell stammt und nicht aus höheren Ausgaben für das teure. Beide Router nutzten das günstige Modell etwa gleich oft, der Unterschied liegt also darin, welche Turns sie ihm zuwiesen.
Ein Modellwechsel hat Kosten, die der Token-Preis nicht abbildet. Bleibt ein Gespräch beim selben Modell, können spätere Anfragen ein zwischengespeichertes Prompt-Präfix wiederverwenden. Ein Wechsel kann erzwingen, dass das bisherige Gespräch erneut verarbeitet wird. Unter den im Paper untersuchten Bedingungen holte der Wechsel vom teuren zum günstigen Modell diese Cache-Kosten innerhalb von zwei Modellaufrufen wieder herein. Der Wechsel vom günstigen zum teuren Modell spielte sie nicht wieder ein. Eine Eskalation kann trotzdem nötig sein, wenn eine Aufgabe ein leistungsfähigeres Modell braucht, um korrekt abgeschlossen zu werden. Unter diesen Bedingungen ist sie aber mit Kosten verbunden.
Zusätzliche Aufrufe bedeuten außerdem, dass mehr Verlauf erneut gesendet wird. Der Kostenvorteil des günstigeren Modells pro Aufgabe schrumpfte vom 6,8-Fachen bei kürzeren Sitzungen auf das 3,2-Fache bei längeren. Die Benchmarks unterschieden sich allerdings auch inhaltlich, sodass sich der Rückgang nicht allein der Sitzungslänge zuschreiben lässt. Die beiden Werte zeigen die Richtung des Trends, isolieren die Länge aber nicht als einzige Variable.
Warum es wichtig ist
Unternehmen, die Agenten-Traffic an günstigere Modelle leiten, sollten diese nach abgeschlossenen Sitzungen bewerten, denn Preise pro Token blenden Wiederholungen, zusätzliche Aufrufe und erneut gesendeten Verlauf aus. Ein Modellwechsel mitten in einer Sitzung kann zudem Cache-Kosten verursachen.
Was Sie tun können
Vergleichen Sie Routing-Varianten anhand abgeschlossener Aufgaben: Messen Sie die Erfolgsquote, die Gesamtkosten einschließlich der Routing-Aufrufe, aufgeschlüsselt nach gecachtem und nicht gecachtem Input, sowie die Ausführungslänge einschließlich Wiederholungen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
AI Engineering
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es