AI News
Alle Meldungen
Berichtet

Test: KI-Coding-Agenten brauchten bei fast drei von vier Aufgaben menschliche Nacharbeit

In einem Test mit echten Arbeitsaufträgen mussten Menschen bei fast drei von vier Aufgaben nachbessern, was KI-Coding-Agenten abgeliefert hatten. Das zeigt: Code zu erzeugen ist nicht dasselbe, wie fertige Arbeit zu liefern.

KI in der Praxis · · 3 Min. Lesezeit

Laut dem Paper erledigte selbst der beste von zehn KI-Coding-Agenten nur 26,4 Prozent der Aufgaben in Co-Design Bench vollständig. Der neue Benchmark stammt von Forschenden von Alibaba und mehreren asiatischen Universitäten. Bei fast drei von vier Aufgaben blieb also mindestens eine Anforderung unerfüllt. Das Spitzenmodell GPT-6 Astra erfüllte im Schnitt rund 70 Prozent der Anforderungen einer Aufgabe, bei einer mittleren strikten Erfüllung von 69,9 Prozent. Entscheidend ist die Lücke zwischen diesen beiden Zahlen: Ein Agent kann den Großteil einer Arbeit erledigen und trotzdem etwas abliefern, das ein Mensch reparieren muss.

Die Autoren haben den Benchmark aus echtem Nutzerverhalten aufgebaut statt aus synthetischen Prompts. Er umfasst 273 Aufgaben, die aus 37.463 deduplizierten Anfragen in 26.314 realen Coding-Sessions von Nutzern stammen. In jeder Aufgabe erhält ein Agent eine bestehende Anwendung und die Anfrage eines Nutzers, manchmal mit einem Bild, einer Audiodatei, einem Video oder einem Dokument im Anhang. Fachkundige Annotatoren formulierten 2.331 verdeckte Abnahmekriterien, die der Agent nie zu sehen bekommt. Der Benchmark hat zwei Tracks: Multimodal Editing mit 100 lokal begrenzten Änderungen und Repository Editing mit 173 Aufgaben in Frontend-Projekten, die mehrere Dateien umfassen. Laut The Decoder bevorzugten die Forschenden Anfragen, bei denen Nutzer umformulieren oder Änderungen zurücknehmen mussten. Der Test ist also auf Aufgaben ausgerichtet, die in der Praxis bereits Probleme gemacht haben.

Die Bewertung ist bewusst streng. Jedes verdeckte Kriterium wird mit PASS, PARTIAL oder FAIL bewertet, und ein PARTIAL bringt bei der strikten Erfüllung keine Punkte. Der strikte Wert einer Aufgabe ist der Anteil ihrer bestandenen Kriterien, die Full-Pass-Rate zählt dagegen nur Aufgaben, bei denen jedes Kriterium besteht. Ein KI-Richter testet die fertige Anwendung im Browser und sammelt Belege für jede Anforderung. Ein separater Prüfer stellt anschließend jedes positive Urteil infrage und sucht nach Platzhaltern, fest einprogrammierten Ergebnissen und unerreichbaren Funktionen. Daher unterscheiden sich die Werte von 69,9 und 26,4 Prozent: Der Durchschnitt honoriert Teilarbeit, die Full-Pass-Rate zählt nur abgeschlossene Aufgaben.

Je mehr Arten von Änderungen eine Anfrage kombiniert, desto schlechter fallen die Werte aus. Laut Paper erreichen alle zehn Endpoints bei Repository-Änderungen mit drei oder vier Änderungstypen eine geringere Kriterienerfüllung als bei solchen mit einem oder zwei. The Decoder berichtet, dass GPT-6 Astra nur 41 Prozent der multimodalen Aufgaben und knapp 18 Prozent der Repository-Aufgaben vollständig löst. Die Autoren argumentieren, dass solche ineinander verschränkten Anforderungen in echten Projekten normal sind.

Mehr Aufwand führt nicht zuverlässig zu mehr Korrektheit. Die Seite zum Paper nennt einen Vergleich aus dem Multimodal-Track: GLM-5.2 brauchte pro Aufgabe im Median 69 Runden und 7,29 Millionen Token, GPT-6 Astra 32 Runden und 1,24 Millionen Token. Das erste Modell erreichte 57,2 Prozent strikte Erfüllung, das zweite 75,4 Prozent. The Decoder merkt an, dass GLM-5.2 für kleinere Änderungen fast sechsmal so viele Token verbrauchte und trotzdem deutlich schlechter abschnitt. Da die Seite diese Profile als Aufwand und nicht als kausalen Beleg beschreibt, zeigen die Token-Zahlen, wohin die Rechenleistung floss, nicht aber, warum sie nicht half.

Auch die Testumgebung verändert die Ergebnisse. The Decoder berichtet, dass Qwen3.8-27B in einem separaten Test bei größeren Umbauten je nach Harness entweder 75 oder 56 Prozent erreichte. Der Harness ist das Programm, über das ein Agent Code liest, schreibt und ausführt. Welches von zwei Modellen vorne lag, hing ebenfalls von der Umgebung ab. Die Autoren empfehlen, Modell und Arbeitsumgebung gemeinsam anzugeben. Die Seite zum Paper hält außerdem fest, dass das kleinere Qwen3.8-27B im Repository-Track vom fünften auf den zweiten Platz klettert, während ein anderer Endpoint zurückfällt. Ein einziges Gesamtranking kann also Stärken verdecken, die nur in bestimmten Settings zum Tragen kommen.

Der Benchmark hat auch Grenzen, wie The Decoder anmerkt. Er testet pro Aufgabe eine einzige feste Anfrage. Rückfragen und Korrekturen der Nutzer während der Arbeit fließen also nicht in die Bewertung ein, und die KI-Richter können sich irren. The Decoder verweist auf eine separate Studie von METR, nach der die tatsächliche Akzeptanzrate von KI-generiertem Code bei Projektverantwortlichen rund 24 Prozentpunkte unter den Werten auf SWE-bench Verified lag. Die Autoren von Co-Design Bench begründen den neuen Test mit älteren Benchmarks, auf denen Modelle Werte über 99 Prozent erreichten. Die Seite zum Paper zeigt allerdings auch, dass bei WebCompass-edit der Wechsel eines Modells von Single-Shot- zu agentischer Ausführung die bewertete Erfüllung von 73,6 auf 95,1 Prozent steigerte. Der Ausführungsaufbau hat also erhebliches Gewicht für die Ergebnisse.

Warum es wichtig ist

Teams, die Coding-Agenten allein am erzeugten Code messen, überschätzen womöglich den Produktivitätsgewinn, denn Review und Nacharbeit kosten weiterhin menschliche Zeit.

Was Sie tun können

Erfassen Sie, wie viel menschliche Nacharbeit die von Agenten erledigte Arbeit braucht, bevor Sie sie als geliefert verbuchen.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

1 Quelle

THE DECODER

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es