AI News
Alle Meldungen
Offiziell

Northeastern und Stanford stellen Shepherd vor: ein Meta-Agent, der KI-Agenten beaufsichtigt

Shepherd speichert jede Aktion eines Agenten als versionierten Commit. So kann ein Meta-Agent fehlerhaft arbeitende Worker-Agenten abfangen, zurücksetzen und verzweigen.

Forschung · · 2 Min. Lesezeit

Die Northeastern University und die Stanford University haben Shepherd veröffentlicht, ein Framework, in dem ein KI-Agent andere Agenten überwacht. In der Darstellung von IEEE Spectrum sind die Worker-Agenten die Schafe, ein Meta-Agent übernimmt die Rolle des Hirten. Er beobachtet sie, greift bei fehlerhaften Aktionen ein und eskaliert bei Bedarf an einen Menschen. Weiyan Shi, Assistant Professor an der Northeastern, argumentiert, dass Agenten, die über lange Zeiträume laufen, Fehler machen oder gefährliche Schritte unternehmen können. Deshalb brauche es eine Zwischenschicht zwischen den Agenten und den Menschen, die sie beaufsichtigen.

Der Mechanismus ist der Versionskontrolle entlehnt. Shepherd speichert jede Aktion eines Agenten als Commit, zusammen mit dem Zustand des Agenten und seiner Umgebung, etwa einem E-Mail-Postfach oder einem Dateisystem. Diese Commits bilden einen Graphen. Ein Meta-Agent kann zu jedem Punkt in diesem Graphen springen, einen Worker beobachten, eine fehlerhafte Aktion abfangen, den Worker auf einen früheren Schritt zurücksetzen und ihn auf einen anderen Pfad verzweigen. Das arXiv-Abstract beschreibt jede Modellaktion, jeden Tool-Call und jede Änderung der Umgebung als strukturiertes Ereignis in einem, wie es dort heißt, umkehrbaren, Git-ähnlichen Ausführungsprotokoll. Shepherd ist in Python geschrieben und baut auf Prinzipien der funktionalen Programmierung auf.

Agenten wirken zudem auf die Außenwelt ein. Dafür setzt Shepherd auf eine Sandbox. Eine Aktion wie das Versenden einer E-Mail wird abgefangen: Für den Worker sieht es so aus, als sei die Nachricht verschickt worden, tatsächlich wird sie aber zurückgehalten, bis ein Meta-Agent oder ein Mensch über die Freigabe entscheidet. Derek Chong, Forscher in der Natural Language Processing Group in Stanford und Mitglied des Shepherd-Teams, bezeichnet die Sandbox als Guardrail- oder Governance-Komponente.

Das Team stellte drei Anwendungsfälle vor. Im ersten verhindert ein überwachender Meta-Agent Konflikte zwischen parallel arbeitenden Coding-Agenten. Er hebt die Erfolgsquote beim Pair-Coding auf CooperBench von 28,8 % auf 54,7 %. Im zweiten schlägt ein Optimierungs-Meta-Agent Änderungen an einem fertigen Workflow vor und spielt nur die Durchläufe ab dem Punkt erneut ab, an dem sich das Verhalten geändert hat. Laut Abstract übertrifft er MetaHarness auf Terminal-Bench 2.0 um 12,8 % bei 58 % kürzerer Gesamtlaufzeit. Im dritten wählt ein Trainings-Meta-Agent Verzweigungspunkte während des Reinforcement Learning. Dem Abstract zufolge verdoppelt das den Zugewinn von GRPO auf Terminal-Bench 2.0. IEEE Spectrum berichtet lediglich, dass der erste Anwendungsfall die Erfolgsquote auf einem bestimmten Benchmark verbessert. Die Zahlen stammen daher aus dem arXiv-Abstract und sind Ergebnisse der Autoren selbst.

Das Abstract behauptet außerdem, dass sich jeder frühere Zustand 5x schneller wiederherstellen lässt als mit docker commit und Fork. Für welche Workloads dieser Vergleich gilt, bleibt offen. Die README auf GitHub nennt zusätzlich eine Wiederverwendung des KV-Cache von rund 95 % beim Replay. Sie stuft Shepherd als frühe Alphaversion ein, deren APIs sich zwischen Releases ändern können. Laut README steht das Projekt unter MIT-Lizenz, setzt Python 3.11 oder neuer voraus und erzwingt Berechtigungen unter macOS und Linux; Windows wird nicht unterstützt.

Wie IEEE Spectrum berichtet, wird das zugehörige Paper im Dezember auf der NeurIPS präsentiert, der Code ist Open Source. Chong zufolge arbeitet das Team noch daran, das Projekt vom Alpha-Stadium zur vollen Produktionsreife zu bringen. Shepherd ist Teil der Agent Sciences Research Initiative, die Chong und Shi gemeinsam mit Forschenden von Northeastern, Stanford und UC Berkeley gegründet haben. Chong ist der Ansicht, dass Agenten andere Agenten inspizieren und steuern können sollten, ähnlich wie Führungskräfte ihre Mitarbeitenden beaufsichtigen.

Was sich ändert

Art: Neue Funktion · Betrifft: Shepherd

Warum es wichtig ist

Teams, die langlebige Agenten betreiben, könnten eine Aufsichtsschicht nutzen, die Aktionen von Agenten pausiert, zurücksetzt und erneut abspielt, statt sich nur auf eine abschließende Prüfung zu verlassen. Da sich das Projekt noch im Alpha-Stadium befindet, eignet es sich derzeit vor allem als Referenz für die Forschung.

Was Sie tun können

Teams mit lang laufenden Agenten könnten sich das Open-Source-Projekt Shepherd und das zugehörige Paper ansehen und prüfen, ob die Ansätze für Rollback und Sandboxing zu ihrer eigenen Aufsichtsstruktur passen.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

1 Quelle

IEEE Spectrum

Northeastern UniversityStanford University

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es