Studie: Separate Kritiker-Agenten bringen 5,9 bis 9,5 Punkte auf Terminal-Bench
Forschende von Alibaba und Cornell haben 17 Verifikationsdesigns mit sieben führenden Coding-Modellen auf Terminal-Bench und SWE-bench Verified verglichen.
Warum es wichtig ist: Ein einziger zusätzlicher Prüfschritt bringt einen gemessenen Genauigkeitsgewinn bei moderaten Kosten, während aufwendigere Gates die Ausgaben vervielfachen können. Teams können mit diesen Zahlen begründen, warum ein einzelner Verifikationsdurchgang aufwendigeren Gates vorzuziehen ist.