HarnessMM verwendet bereits getroffene Agenten-Entscheidungen wieder und senkt den Token-Verbrauch bei HumanEval um 87,93 %
Forschende der Tsinghua University und von Microsoft Research Asia berichten: Durch die Wiederverwendung bereits getroffener Entscheidungen stieg die Erfolgsquote von DeepSeek Harness bei 98 Aufgaben von 71,43 % auf 85,71 %.
Forschende der Tsinghua University und von Microsoft Research Asia berichten, dass HarnessMM die Token-Kosten von DeepSeek Harness bei HumanEval von 96,28k Token pro Aufgabe auf 11,62k gesenkt hat. Das entspricht einer Einsparung von 87,93 %. Die Erfolgsquote bei 98 Aufgaben stieg von 71,43 % auf 85,71 %. Die Gewichte des zugrunde liegenden Modells bleiben dabei unverändert. Die Methode setzt beim Harness an, also beim Gerüst, das ein Modell mit Tools arbeiten lässt: Statt das Modell erneut zu fragen, verwendet sie Entscheidungen wieder, die der Agent bereits getroffen hat.
Das Problem, auf das HarnessMM abzielt, sind Wiederholungen in Agenten-Schleifen. Nach einer Rückmeldung eines Tools schickt ein Harness oft eine weitere Anfrage an das Modell, selbst wenn ein früherer Aufruf die nächste Aktion bereits festgelegt hat. HarnessMM speichert solche getroffenen Entscheidungen als Executable Decision Graphs, wie die Autoren sie nennen. Diese halten die genaue Aktion fest, ihre wörtlichen Argumente, die kausalen Abhängigkeiten zwischen den Schritten sowie öffentliche Guards. Eine gespeicherte Entscheidung wird erneut ausgeführt, wenn die beobachteten Tool-Ausgaben ihre Guards erfüllen. Die Certified Callback Substitution der Autoren führt sie über die native Schnittstelle aus und protokolliert, dass der langsame Callback entfallen ist. Alles Neue, jede Evidenz, die die Guards nicht stützen, und jeder Fall, in dem der Selektor keine Auswahl trifft, wird an das ursprüngliche Modell zurückgegeben.
Die Verbesserungen fallen nicht bei allen Harnesses gleich aus. Codex hielt bei HumanEval seine Erfolgsquote von 90,82 %, während der Token-Verbrauch um 29,54 % sank, von 66,72k auf 47,02k pro Aufgabe. Das Abstract führt das Ergebnis von DeepSeek Harness auf die abgesicherte Wiederverwendung in Kombination mit rekursiver Selbstverbesserung zurück, die begleitende Harness-Konfigurationen anhand von Trainings-Feedback optimiert. Wie viel der Genauigkeitsveränderung jeweils auf welchen Teil entfällt, schlüsselt es nicht auf. Die Zahl der kostenpflichtigen Modellaufrufe bei DeepSeek Harness sank von 954 auf 415. Zusätzlich berichten die Autoren von einer separaten Ablation auf MBPP: Dort lagen die Kosten um 26,91 % unter denen von nur einmal genutzten Graphen und um 19,52 % unter denen von beibehaltenen Callbacks.
Die Einsparungen hängen von der Cache-Abrechnung des Anbieters ab und davon, wie viele Aktionen bereits entschieden sind. Derselbe Hinweis hält fest, dass die Kosten für Erstellung, Auswahl und Wiederherstellung die Einsparungen durch vermiedene Aufrufe übersteigen können.
Warum es wichtig ist
Wiederholte Modellaufrufe in Agenten-Harnesses verursachen direkte Kosten. Teams können daher möglicherweise Geld sparen, bevor sie ein größeres Modell brauchen. Die Autoren weisen allerdings darauf hin, dass die Einsparungen von der Cache-Abrechnung des Anbieters abhängen und davon, wie viele Aktionen bereits entschieden sind.
Was Sie tun können
Zählen Sie wiederholte Entscheidungen in bestehenden Agenten-Logs, um abzuschätzen, wie viel der Modellkosten vermeidbar ist, bevor Sie das Design Ihres Harness ändern.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es