AI News
Alle Meldungen
Berichtet

Microsoft-Ingenieure mergen mit eng begrenzten KI-Agenten 1.211 Pull Requests an einem Tag

Neun Microsoft-Ingenieure haben mit schriftlichen Specs und Agenten für jeweils eine einzige Aufgabe an einem Tag 1.211 Pull Requests gemergt und eine laufende Runtime von Python auf Rust umgestellt.

KI in der Praxis · · 4 Min. Lesezeit

Neun Microsoft-Ingenieure haben am 21. Oktober 1.211 Pull Requests in den Main Branch des Backends von Copilot Cowork gemergt. Das berichtet Bas Brekelmans, Partner Software Engineer im Team, in einem Microsoft-Blogbeitrag. Laut dem Beitrag kam das Team in rund viereinhalb Monaten von einem leeren Repository zur weltweiten allgemeinen Verfügbarkeit und stellte danach die laufende Runtime von Python auf Rust um. Copilot Cowork ist eine agentische Ausführungsschicht, die mehrstufige Workflows im Auftrag der Nutzer erledigt. Der erste Commit erfolgte am 13. Jänner. Am 30. März startete das Team bei ersten Unternehmenskunden im Frontier-Programm, am 16. Juni folgte die allgemeine Verfügbarkeit.

Die erste Lektion: Ohne Spec in Markdown wird kein Code geschrieben. Laut Brekelmans hält die Spec fest, was die Änderung bewirkt, woran das Team erkennt, dass sie funktioniert, und was sie nicht kaputt machen darf. Das Team stellte fest, dass selten die Agenten das Tempo bremsten. Der eigentliche Engpass war, nicht genau zu wissen, was man wollte. Eine vage Anfrage lieferte Code, der vernünftig aussah, ein schnelles Durchlesen überstand und dann das Falsche tat. Das zu beheben kostete mehr Zeit als eine saubere Anfrage. Viele Specs beginnen als gesprochenes Wort: Jemand erklärt ein Feature mündlich, ein Agent entwirft daraus die Spec, und ein Mensch überarbeitet sie. Brekelmans schreibt, das habe die Geschwindigkeit des Teams stärker erhöht als jedes einzelne Modell-Upgrade.

Die zweite Lektion betrifft den Umfang. Jeder Agent arbeitet in seiner eigenen Kopie des Repositorys an einer einzigen Aufgabe aus einer einzigen Spec. Die Zahl der gemergten Pull Requests stieg von 257 im Jänner auf 2.754 im Mai; in der geschäftigsten Woche vor der allgemeinen Verfügbarkeit waren es 783. Der Beitrag führt weniger Fehler auf eng gefasste Aufgaben zurück. Zudem habe das Team die Modelle je nach Aufgabe ausgewählt, als Abwägung zwischen Qualität und Kosten. Das Modell läuft in einem Container ohne Nutzer-Credentials und ohne direkten Netzwerkzugang zu Microsoft 365. Ein vertrauenswürdiger Host außerhalb des Containers kümmert sich um Identität, Richtlinien, Freigaben, Tools und Audit. Brekelmans schreibt, das Modell könne planen und alles anfordern, doch der Host entscheide, was tatsächlich passiert. Weil der Agent nur über eine definierte Schnittstelle mit dem Host kommuniziert, konnte das Team bei der Rust-Migration den gesamten Host austauschen, ohne den Agenten zu verändern.

Bei den Schwächen im Review wird der Beitrag konkret. Mehrere Ingenieure bauten eigene Review-Bots. Laut Team lernte jeder Reviewer Regeln aus dem, was er selbst übersehen hatte, und jeder durchlief mindestens 10.000 Generationen. Ein brauchbares erstes Review liegt meist nach wenigen Minuten vor; in einer Stichprobe aktueller gemergter Pull Requests lag der Median bei etwa viereinhalb Minuten. Der Beitrag räumt auch ein, dass Reviewer-Agenten Dinge übersehen. Bei einer heiklen Änderung fand eine Gruppe von ihnen kein Problem, während Menschen im selben Diff vier blockierende Fehler entdeckten. Befunde werden in die Stufen blockierend und beratend eingeteilt.

Der Beitrag erzählt von einer Prüfung, die nie fehlschlagen konnte. Es ging um ein Größenlimit für Instruktionsdateien. Das Limit wurde überschritten, die Prüfung blieb trotzdem die ganze Zeit grün. Das Skript leitete seine Ausgabe durch tail, und eine Shell-Pipeline gibt den Exit-Code ihres letzten Befehls zurück. Das Team stieß auf ähnliche Fälle, darunter eine Formatierungsprüfung, die eine leere Dateiliste erhielt. Die daraus abgeleiteten Regeln verlangen, dass jede Prüfung meldet, wie viele Dateien sie untersucht hat. Zu jeder neuen Prüfung gehört außerdem ein Test, der sie absichtlich fehlschlagen lässt. Brekelmans argumentiert, dass dies mit Agenten noch wichtiger sei, weil Agenten so lange weiterarbeiten, bis die Prüfungen bestanden sind. Eine Prüfung, die besteht, ohne etwas zu testen, wird früher oder später gefunden.

Die Arbeit an Rust veränderte auch die Codebasis. Die Agenten hatten einen Großteil des ersten Rust-Codes im größten Crate untergebracht, und das zentrale Runtime-Binary wuchs auf rund 290.000 Zeilen. Eine Prüfung des Teams im August ergab 86 Crates mit einer Abhängigkeitskette von 13 Ebenen. Das Team führte eine Regel ein: Jedes Crate ist ein Contract, ein Kit, eine Implementierung oder ein Binary, und Implementierungen dürfen nicht voneinander abhängen. Am 7. Oktober lag die Zahl der Crates bei etwa 176, die maximal erlaubte Abhängigkeitstiefe war von 10 auf drei gesunken. Offen räumt der Beitrag ein, dass die Gewinne bei der Build-Zeit kleiner ausfielen als erwartet, weil der Compile-Cache bei Pull-Request-Builds ohnehin in etwa 99 % der Fälle traf. Der messbare Gewinn, den er nennt, ist struktureller Natur: Die längste Kette von Crates, die nach einer Änderung an einem Basis-Crate neu gebaut werden muss, schrumpfte von 11 auf drei.

Die Gründe für die Migration stecken in den Python-Messungen des Beitrags. Jeder Python-Prozess hat genau eine Event Loop. Unter Last maß das Team Hänger von bis zu 11,9 Sekunden. Während eines solchen Hängers wartete alles in diesem Prozess, auch die Erneuerung von Locks, sodass manche Turns ihre Locks mittendrin verloren. Das Team stellte fest, dass 16,7 % der Session-Setups exakt 5,000 Sekunden dauerten. Wie sich zeigte, griff dabei ein Timeout, und es wurde keine echte Arbeit verrichtet. Ging der Speicher aus, traf es fast immer den Python-Prozess: 539-mal in einer Woche auf einem einzigen Cluster. Blockierende Arbeit aus der Loop auszulagern half, was das Team als Beleg dafür wertete, dass die einzelne Loop die eigentliche Grenze war. Die Zahl der Rust-Commits stieg von etwa 200 im Juli auf rund 3.900 im September. Die Umstellung lief vom 23. September bis 10. Oktober.

Den Vorbehalt des Beitrags selbst sollte man neben den Ergebnissen im Blick behalten: Die sechs Praktiken seien kein Rezept, um auf dieselbe Zahl an Pull Requests zu kommen.

Was sich ändert

Art: Sonstiges · Betrifft: Copilot Cowork backend

Warum es wichtig ist

Teams, die Coding-Agenten skalieren, finden hier konkrete Praktiken, die die Quelle mit hohem Output in Verbindung bringt: eine schriftliche Spec pro Änderung und eine Aufgabe pro Agent.

Was Sie tun können

Verlangen Sie für jede von Agenten erstellte Änderung eine schriftliche Spec und beschränken Sie jeden Agenten auf eine einzige Aufgabe, bevor Sie den Output hochfahren.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Demetrios from the AAIF

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es