AI News
Alle Meldungen
Berichtet

Anthropic erläutert mehrstufiges KI-Code-Review für Claude Code, Theo greift es auf

Ein Engineering-Beitrag von Anthropic beschreibt KI-Reviews für jeden Pull Request, risikobasierte menschliche Freigaben und gestaffelte Rollouts mit schnellem Rollback.

KI in der Praxis · · 4 Min. Lesezeit

Laut einem Engineering-Beitrag von Anthropic darüber, wie das Claude-Code-Team Code prüft, übernehmen inzwischen überwiegend Maschinen das Lesen. Menschen bleiben für jene Entscheidungen zuständig, bei denen es sie braucht. Dem Beitrag zufolge hat sich die Zahl der gemergten Pull Requests für Claude Code von Juni bis September mehr als verdoppelt, während der Anteil, der per Revert zurückgenommen werden musste, um mehr als 40 Prozent sank. Einen Ausgangswert für diesen Revert-Anteil nennt der Beitrag nicht, die Größe des Rückgangs lässt sich allein anhand des Beitrags daher nicht beurteilen. Die Zahl der Änderungen, die in Anthropics Monorepo landen, stieg von etwa 2.500 pro Tag im Mai auf mehr als 30.000 im September. Theo, der den Kanal T3 betreibt, hat den Beitrag weiterverbreitet und Teile der Empfehlungen in Frage gestellt.

Jeder Pull Request muss zunächst die verpflichtende CI bestehen. Der Beitrag nennt dafür Lint, Typprüfungen, Tests auf allen Plattformen und einen Build. Danach folgt ein KI-Review, bei dem mehrere Agenten parallel nach Bugs suchen. Eigene Verifier-Agenten stimmen über jeden Fund ab, gepostet werden nur Funde, die genug von ihnen für echt halten. Was übrig bleibt, wird als Important, Nit oder Pre-existing markiert. Die Markierung Pre-existing ist wichtig, weil ein Bug, den der Pull Request nicht eingeführt hat, dadurch nicht wie ein Fehler des Autors aussieht. Ein Security-Review läuft als eigener Durchgang und kann einen Merge blockieren, solange einer seiner Funde oder einer aus dem Bug-Review offen ist. Autoren müssen jeden Fund entweder beheben oder den Thread mit Begründung schließen.

Über die Freigabe entscheidet ein Risiko-Klassifikator, der die Änderung liest und eine Stufe wählt. Änderungen mit geringem Risiko brauchen keinen Menschen, sobald die automatischen Prüfungen grün sind. Mittlere Änderungen benötigen eine Person, Änderungen mit hohem Risiko zwei. Laut Beitrag bestimmt die Änderung die Stufe, nicht der Autor. Manche Pfade erfordern immer einen Menschen, darunter alles, was die Code-Verantwortlichen als sensibel eingestuft haben, sowie jede CI-Workflow-Datei. Nur Autoren auf einer Vertrauensliste kommen in den Genuss der leichteren Wege. Die Freigabe eines Bots zählt nie als menschliche Freigabe. Eine Freigabe gilt für genau einen Commit, neue Commits, für die das System nicht bürgen kann, erfordern daher eine neue Freigabe.

Gemergte Änderungen laufen durch eine Merge Queue, die alle Prüfungen erneut gegen main mit der angewendeten Änderung ausführt. So können zwei Pull Requests, die einzeln bestehen, main nicht gemeinsam kaputtmachen. Neues Verhalten wird meist hinter einem Flag ausgeliefert, das zuerst für Mitarbeitende von Anthropic aktiv ist, weil intensive interne Nutzung Regressionen oft aufdeckt, bevor Nutzer sie bemerken. Öffentliche Releases erreichen den Kanal latest vor stable. Flags lassen sich ohne Deployment abschalten. Der Beitrag räumt auch eine Lücke ein: Ob ein fehlerhafter Merge auffällt, hängt weiterhin vom Autor, einer wöchentlichen On-Call-Rotation sowie Revert- und Incident-Dashboards ab. Circuit Breaker, die die Freigaberegeln verschärfen, wenn sich diese Zahlen bewegen, hat das Team noch nicht.

Die Adoptionszahl im Beitrag will genau gelesen werden. Als das Review-Tool in die Research Preview ging, stieg der Anteil interner Pull Requests mit substanziellen Review-Kommentaren von 16 auf 54 Prozent. Das misst, wie oft Reviews Kommentare erzeugen, nicht, wie viele Bugs sie finden oder wie viele durchrutschen. Um das Rauschen zu prüfen, ordnet das Team jeden Kommentar des Reviewers danach ein, wie der Autor darauf reagiert hat. Mithilfe von git blame ergab sich laut Beitrag, dass etwa 59 Prozent dessen, was der Reviewer wiederholt anmerkte, Code war, der schon seit dem ersten Durchgang existierte. Der Reviewer brachte also vor allem alten Code zur Sprache und fand nur selten neue Bugs. Die Gegenmaßnahmen: eine Obergrenze von drei Runden, nach den ersten Durchgängen nur noch ein Re-Review des Diffs und keine Wiederholung bereits geposteter Funde. Theo zitierte die Zahlen aus dem Beitrag, wonach die durchschnittliche Zahl der Reviews bis zur Freigabe nach diesen Änderungen von 2,08 auf 1,32 sank.

Mit der Reihenfolge der Korrekturen war Theo nicht einverstanden. Laut Beitrag hält das Team die Korrektur, wenn ein Review etwas übersieht, in einer CLAUDE.md-Datei, einem Skill oder einer neuen Prüfung fest. Theo argumentierte unter Berufung auf Laurens Empfehlungen, zuerst solle der Code selbst korrigiert werden. Danach komme statische Analyse, und Anweisungsdateien sollten nur dann zum Einsatz kommen, wenn beides versagt. Außerdem sei das Review-Produkt für die meisten realen Anwendungsfälle zu teuer. Seiner Ansicht nach können mehrere Modelle aus unterschiedlichen Familien, über einen lokalen Skill ausgeführt, ähnliche Arbeit genauso gut oder besser und günstiger erledigen.

Dem Beitrag zufolge bleiben Menschen dafür verantwortlich, zu entscheiden, ob etwas überhaupt gebaut wird. Sie prüfen riskanten Code wie Abrechnung, den Auto-Updater und CI-Workflows sowie Architektur, die andere Teams übernehmen werden. Genannt wird auch das Lesen der Belege: Testausgaben, der ausgeführte Befehl und sein Ergebnis sowie Screenshots. Für jede ausgelieferte Änderung ist ein Mensch verantwortlich, egal wer den Code getippt hat.

Was sich ändert

Art: Sonstiges · Betrifft: Claude Code

Warum es wichtig ist

Unternehmen, die Coding-Agenten in großem Umfang einsetzen, profitieren womöglich mehr von mehrstufigen automatischen Prüfungen, risikobasierten Freigaben und schnellem Rollback als von einem langsameren menschlichen Review. Die genannten Zahlen stammen aus internen Daten des Unternehmens und wurden nicht unabhängig überprüft.

Was Sie tun können

Prüfen Sie, ob Ihre Pull-Request-Regeln Bot-Freigaben als menschliche Freigaben werten, und legen Sie die Freigabeanforderungen nach dem Risiko der Änderung fest.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Theo - t3.gg

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es