Microsofts ThinkingBox: Belohnungen aus dem Datenbankzustand steigern die gelösten Aufgaben von Qwen3.8-27B
Das ThinkingBox-Team von Microsoft nutzte ausführbare Prüfungen des finalen Datenbankzustands als RL-Belohnung. Damit stieg die Zahl der in allen 20 Versuchen gelösten Aufgaben bei Qwen3.8-27B von 38 auf 107.
Das ThinkingBox-Team von Microsoft hat Qwen3.8-27B mit Reinforcement Learning trainiert und dabei dieselben ausführbaren Prüfungen als Belohnungssignal verwendet, mit denen es auch bewertet. Die Zahl der Aufgaben, die das Modell in allen 20 Versuchen korrekt erledigte, stieg auf dem hauseigenen Benchmark ThinkingBox-Bench mit 507 Aufgaben von 38 auf 107. Der Anteil wächst damit von 7,50 % auf 21,10 %. Laut Microsoft und Hugging Face ist der Trainingscode öffentlich auf GitHub verfügbar.
Bewertet wird die Datenbank, nicht das, was der Agent sagt. Jeder Rollout erhält ein frisches Backend, einen Satz MCP-Tools und einen simulierten Nutzer, den das Team mit GPT-5 Chat betrieb. Am Ende der Episode ermittelt die Sandbox, was sich im Backend tatsächlich geändert hat, und führt deterministische Prüfungen gegen den Endzustand aus. Eine Trajektorie besteht nur, wenn sie den korrekten Endzustand erzeugt; falsche, fehlende oder zusätzliche Nebeneffekte führen zum Scheitern. Die Belohnung ist 1 oder 0. Eine Minderheit eng gefasster Anforderungen, die sich nicht sauber aus der Datenbank ablesen lassen, geht an einen LLM-Judge, der eine binäre Rubrik-Frage beantwortet. Der simulierte Nutzer übernimmt eine Rolle in der Umgebung und bewertet den Agenten nicht.
Die Auswahl der Aufgaben prägte die Arbeit. Die Überlegungen des Teams beruhen darauf, wie GRPO Rollouts innerhalb einer Gruppe vergleicht. Scheitern alle acht Rollouts, ist jede Belohnung 0. Gelingen alle, ist jede Belohnung 1. In beiden Fällen schneidet keine Trajektorie besser ab als eine andere, das Update trägt also kein Signal auf Aufgabenebene. Erst eine gemischte Gruppe bringt dem Modell etwas bei. Weil jeder Rollout mit eigenem Backend, eigener Tool-Session und eigenem Nutzermodell teuer ist, wollte das Team keine Durchläufe an Aufgaben verschwenden, die nie oder immer gelöst werden.
Um diese Aufgaben zu finden, ließ das Team jeden Kandidaten wiederholt gegen das Basismodell laufen und schätzte die Erfolgswahrscheinlichkeit mit einer Jeffreys-Posterior, Beta(k + ½, n − k + ½). Anschließend teilte es die Aufgaben in fünf Klassen mit Grenzen bei 0,08, 0,40, 0,60 und 0,90 ein und behielt die drei mittleren Klassen. Das Team nennt das „offline policy-relative difficulty“. Der Pool stand vor dem Training fest, die Schwierigkeit wurde also nicht neu geschätzt, während sich das Modell veränderte. Der finale Pool umfasste 187 Aufgaben. Das Repository enthält ein öffentliches Entwicklungsset mit 39 Aufgaben, das nicht dem privaten Pool mit 187 Aufgaben aus dem berichteten Lauf entspricht.
Der Referenzlauf war ein Full-Parameter-Training, nutzte Token-Mean-GRPO und lief über 50 Schritte. Jedes Update erzeugte 18 Gruppen mit je 8 Rollouts, also 144 Episoden, auf 24 H100-GPUs, mit einer AdamW-Lernrate von 1e-6 und ohne Weight Decay. Gruppen ohne Varianz wurden nach DAPO-Art ersetzt. Backend-Timeouts galten als Systemfehler. Die betroffenen Gruppen wurden neu befüllt, statt als Fehlschlag gewertet zu werden, denn ein Timeout ist kein falsches Ergebnis des Agenten.
Auf dem Benchmark stieg der durchschnittliche Erfolg (pass@1) von 51,70 % auf 60,78 %. Die beobachteten 20/20-Erfolge stiegen von 38 auf 107, ein Plus von 69 Aufgaben. Die Abdeckung entwickelte sich dagegen in die andere Richtung: Die Zahl der Aufgaben, die in 20 Versuchen mindestens einmal gelöst wurden, sank von 453 auf 446, also von 89,35 % auf 87,97 %. Laut Team passt dieses Muster zu einer Schärfung. Als eine Erklärung nennt das Team, dass sich die Wahrscheinlichkeit zu Trajektorien verlagert, die wiederholt funktionieren, während einige wenig wahrscheinliche Pfade verschwinden. Mit den Worten des Teams: Das Modell wurde nicht breiter, es wurde wiederholbarer.
Der Benchmark liegt außerhalb der Trainingsverteilung, denn seine Domänen, Datenbanken, Richtlinien und die meisten Tools fehlten im RL-Pool. Das Team räumte allerdings ein, dass beide Sets das ThinkingBox-Framework, die Mechanik des simulierten Nutzers, die Bewertungsmethode, einige gemeinsame Tools und einen ähnlichen Aufgabenstil teilen. Diese Gemeinsamkeiten begrenzen, wie weit die Aussage zum Transfer reicht. Claude Opus 5.5 löste 241 Aufgaben in allen 20 Versuchen, GPT-6 Astra 231. GPT-5.6 Sol erreichte mit 61,91 % gegenüber 60,78 % einen höheren pass@1-Wert, löste aber nur 82 Aufgaben bei jedem Versuch.
Die Aufschlüsselung nach Domänen zeigt, dass pass@1 und die beobachteten 20/20-Werte in allen fünf Domänen stiegen. Pass@20 stieg bei Neobank und Consulting, sank aber bei Retail, Reisen und Kfz-Versicherung. Die Kfz-Versicherung verlor mit 7,0 Punkten am meisten an Breite, während Retail mit 24,5 Punkten am stärksten bei den wiederholbaren Erfolgen zulegte. Ein Beispiel aus der Hotelbuchung veranschaulicht die Veränderung. Vor dem Training änderte das Basismodell in 15 von 20 Versuchen eine Buchung und veranlasste Rückerstattungen ohne die nötige Freigabe durch einen Manager. Nach dem Training blieben Buchungs- und Zahlungsstatus in allen 20 Versuchen erhalten. Laut Bildunterschrift stimmten allerdings in 19 dieser Versuche alle erwarteten Datensätze überein.
Die Kostenangaben sind Schätzungen. Nach derselben Methode wie in der früheren Analyse des Teams sanken die Kosten der Kampagne mit 507 mal 20 Durchläufen von 925,80 $ auf 855,58 $. Die Kosten pro erfolgreichem Versuch fielen von 0,177 $ auf 0,139 $. Die Kosten pro verlässlicher Aufgabe, also Kampagnenkosten geteilt durch die in allen 20 Versuchen gelösten Aufgaben, sanken von 24,36 $ auf 8,00 $. Das Team verglich dies mit GPT-5.4 (6,80 $), GPT-6 Astra (7,45 $) und Claude Opus 5.5 (7,80 $). Laut Team sind die Dollarwerte ein vergleichender Serving-Index und keine Rechnungsbeträge. Nicht enthalten sind die Kosten des Trainingslaufs und der Policy-Tests, mit denen der Pool aufgebaut wurde.
Was sich ändert
Art: Forschung · Betrifft: Qwen3.8-27B, ThinkingBox-Bench
Warum es wichtig ist
Überprüfbare, an den Datenbankzustand gekoppelte Ergebnisbelohnungen bieten einen Weg, Agenten für Unternehmen danach zu trainieren, ob Aufgaben tatsächlich erledigt wurden, und nicht danach, wie ihre Antworten klangen.
Was Sie tun können
Teams, die Agenten für den Zugriff auf Datenbanken entwickeln, können den veröffentlichten Trainingscode prüfen und testen, ob zustandsbasierte Belohnungen zu ihren Workflows passen.
Originalquelle
- huggingface.coTurning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox
- arxiv.org[2608.19741] One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
- github.comGitHub - microsoft/thinkingbox-training: Training integration with thinkingbox framework. · GitHub
Wo wir es gesehen haben
Demetrios from the AAIF
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es