Metas AutoRefine kalibriert LLM-Code-Judges nach, wenn sich Coding-Agenten verändern
Forschende von Meta stellen AutoRefine vor: eine Methode, die LLM-Code-Judges kalibriert hält, während sich der Coding-Agent weiterentwickelt, den sie bewerten.
Forschende von Meta haben mit AutoRefine eine Methode vorgeschlagen, die den Prompt eines LLM-Code-Judges anhand von Ergebnissen neu kalibriert, die ein Entwicklungs-Workflow ohnehin erfasst. So bleibt der Judge auf einen Coding-Agenten abgestimmt, auch wenn sich dieser verändert. Das Paper ist ein arXiv-Preprint, eingereicht am 6. November 2026 und vorbereitet für den Industrie-Track der CAIN 2027.
Das Problem: LLM-Judges dienen zunehmend als Qualitätsschranke für Codeänderungen, für die es kein Test-Orakel gibt. Ein Judge-Prompt muss für seine Aufgabe kalibriert werden, und er muss neu kalibriert werden, wenn sich das bewertete System ändert. Üblicherweise dienen manuelle Labels als Kalibrierungsdaten, laut Paper sind diese jedoch ressourcenintensiv und veralten. Entwicklungs-Workflows liefern Ergebnis-Labels dagegen kostenlos: Tests bestehen oder schlagen fehl, Änderungen werden übernommen oder verworfen. Der Haken: Diese Labels sind verrauscht.
AutoRefine begegnet diesem Rauschen mit einem Teacher-Modell. Der Teacher sieht sowohl den Input des Judges als auch das Ergebnis, begründet jedes Label, das er behält, und enthält sich, wenn sich das Ergebnis aus dem, was der Judge sieht, nicht erklären lässt. Mit den behaltenen Labels wird anschließend der Prompt des einsetzbaren Judges umgeschrieben, sodass er diese Labels reproduziert. Die Enthaltung erfüllt zwei Aufgaben. Sie entfernt Labels, die der Teacher nicht begründen kann, und sie markiert Änderungen, deren Ergebnis sich mit den Informationen im Input des Judges nicht ausreichend erklären lässt. Die Autoren werten dieses zweite Signal als Hinweis darauf, dass ein Judge bessere Inputs braucht und nicht einen besseren Prompt.
Das Paper berichtet Ergebnisse auf zwei Datensätzen. Auf einem zurückgehaltenen Datensatz mit Ausführungs-Orakel steigerte die Kalibrierung Scott's Pi von 0,36 auf 0,60. Für den Rauschtest kehrten die Autoren zufällig 25 % der Ergebnis-Labels eines eingesetzten Agenten um. Der Teacher sortierte umgekehrte Fail-Labels mehr als doppelt so häufig aus wie echte, was das gesamte Label-Rauschen von 25 % auf 20 % senkte. Das Paper nennt diese 20 % für den gesamten Datensatz, nicht für einzelne Ergebnistypen.
Die Verbesserung von 0,16 auf 0,51 wurde an 17 unabhängig zurückgehaltenen Diffs aus dem aktuellen Workflow des Agenten gemessen. Bei 16 Diffs aus älteren Workflows lag der vorherige Judge weiterhin vorne. Die Autoren sehen darin einen Beleg dafür, dass ein Judge neu kalibriert werden muss, wenn sich der Agent weiterentwickelt.
Die Zusammenfassung von DAIR.AI führt das Paper unter ihren wöchentlichen Empfehlungen und schreibt die Arbeit Meta zu. Der arXiv-Eintrag nennt acht Autoren, darunter Nachiappan Nagappan. Das arXiv-Abstract und die DAIR.AI-Zusammenfassung nennen dieselben Zahlen, doch keine der beiden Quellen beschreibt, wie die 17 und 16 Diffs ausgewählt wurden. Das schränkt ein, wie weit sich der Wert von 0,16 auf 0,51 über Metas eigenen Agenten hinaus interpretieren lässt.
Warum es wichtig ist
Teams, die LLM-Judges zur Bewertung von Agenten-Output einsetzen, könnten feststellen, dass diese abdriften, wenn sich die Agenten verändern. Workflow-Ergebnisse könnten als Kalibrierungssignal dienen.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es