Studie: Separate Kritiker-Agenten bringen 5,9 bis 9,5 Punkte auf Terminal-Bench
Forschende von Alibaba und Cornell haben 17 Verifikationsdesigns mit sieben führenden Coding-Modellen auf Terminal-Bench und SWE-bench Verified verglichen.
Separate Kritiker-Agenten steigerten die Genauigkeit auf Terminal-Bench um 5,9 bis 9,5 Punkte und auf SWE-bench Verified um 3,9 bis 6,6 Punkte. Das zeigt ein Paper von Forschenden bei Alibaba und Cornell. Die Kosten stiegen dabei auf Terminal-Bench auf das 1,13- bis 1,25-Fache der Baseline, auf SWE-bench auf das 1,00- bis 1,04-Fache. Die Studie vergleicht 17 Verifikationsdesigns mit sieben führenden Coding-Modellen und ordnet sie vier Ebenen im Lebenszyklus eines Agenten zu: anfängliche Anweisungen, Erinnerungen während eines Durchgangs, Abschluss-Gates und unabhängige Prüfung.
Die ersten beiden Ebenen brachten nur moderate Zuwächse. Anweisungen in der System-Rolle steigerten das Ergebnis um 3,3 Punkte auf Terminal-Bench und um 3,9 auf SWE-bench. Erinnerungen in der System-Rolle brachten 3,1 bis 3,8 Punkte, wobei das Paper betont, dass der Effekt vom Modell abhängt. Abschluss-Gates reichten weiter: Sie erzielten größere Zuwächse, allerdings zu einem höheren Preis. Die größten Gewinne unter den Gates lieferte eine frühe Zurückweisung durch den Nutzer, mit 6,0 und 6,2 Punkten. Diese Designs kosteten auf Terminal-Bench das 1,60- bis 1,76-Fache der Baseline und auf SWE-bench das 1,48- bis 1,56-Fache. Die Autoren raten davon ab, den Agenten sich beim Abschluss selbst überprüfen zu lassen.
Die unabhängige Prüfung bot ein besseres Verhältnis von Genauigkeit und Kosten. Bei diesem Design kontrolliert ein separater Kritiker die Arbeit, und die zusätzlichen Kosten bleiben auf SWE-bench mit dem 1,00- bis 1,04-Fachen nahe an der Baseline. Laut Paper bringen weitere Prüfrunden oder zusätzliche Kritiker auf Terminal-Bench bis zu 3,5 Punkte mehr.
Außerdem stellen die Autoren VisualBench vor, einen Benchmark für die Expertenbewertung visueller und interaktiver Artefakte. Dort erreichen die Kritiker-Designs gegenüber der Baseline Nettopräferenzen von 13,2 bis 23,8 Punkten. Die zentrale Erkenntnis des Papers: Es ist wirksamer, die Änderungen zu prüfen als die Trajektorie, also die Abfolge der Schritte, die der Agent unternommen hat.
Warum es wichtig ist
Ein einziger zusätzlicher Prüfschritt bringt einen gemessenen Genauigkeitsgewinn bei moderaten Kosten, während aufwendigere Gates die Ausgaben vervielfachen können. Teams können mit diesen Zahlen begründen, warum ein einzelner Verifikationsdurchgang aufwendigeren Gates vorzuziehen ist.
Was Sie tun können
Testen Sie einen separaten Prüfschritt in der Pipeline Ihres Coding-Agenten und erfassen Sie pro Aufgabe sowohl die Genauigkeit als auch die Kosten.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es