AI News
Alle Meldungen
Offiziell

IBMs JevAct prüft Tool-Aufrufe von Agenten zur Laufzeit, ohne Neutraining

IBM-Forscher stellen JevAct vor: eine Laufzeitkontrolle zwischen Agent und Tools, die Schreibaufrufe und Übergaben prüft, während Modell und Tools unverändert bleiben.

Forschung · · 2 Min. Lesezeit

Forscher von IBM haben JevAct vorgestellt, eine Laufzeitkontrolle, die zwischen einem Agenten mit Tool-Zugriff und seinen Tools sitzt. Sie prüft ausgewählte Aktionen, bevor sie ausgeführt werden, ohne das Modell des Agenten oder die Tools selbst zu verändern. Die Kontrolle zielt auf zwei Fehlerbilder, die die Autoren beschreiben. Zum einen geht es um folgenreiche Schreibaufrufe, die ohne unabhängige Prüfung auf Einhaltung der Richtlinien laufen. Zum anderen um Agenten, die eine Aufgabe beenden, bevor sie tatsächlich erledigt ist. Auf τ²-bench Telecom steigt laut Paper die Erfolgsquote von Opus 4.6 über alle drei Durchläufe von 39,5% auf 80,7%. Alle acht dort getesteten Agenten verbessern sich beim Erfolg über drei Durchläufe im Schnitt um 16,9 Punkte.

Das Design teilt die Arbeit in einen Offline-Schritt und einen Laufzeitschritt. Offline liest ein LLM die Domänenrichtlinie, die Tool-Schemata und ungelabelte Logs. Daraus erzeugt es Code-Prüfungen, Ja/Nein-Fragen, Regeln und eine Checkliste für Übergaben. Zur Laufzeit entscheidet die Kontrolle, ob ein ausgewählter Schreibaufruf oder eine Übergabe ausgeführt werden soll. Code gleicht Fakten deterministisch mit den Datensätzen der Tools ab. Ein separates Entscheidungsmodell beantwortet die Fragen zum Gesprächsverlauf. Dieses Modell arbeitet nur im Prefill, liefert also Wahrscheinlichkeiten statt generierten Text. Besteht ein Aufruf die Prüfung nicht, geht das Feedback an den Agenten zurück, der ihn überarbeiten kann.

Die Evaluierung umfasst elf LLM-Agenten auf τ²-bench Airline und Telecom sowie BFCL. Laut Abstract des Papers fallen die Verbesserungen bei Telecom und BFCL besonders konsistent aus, bei Airline gemischter. Im Detail ist das Bild uneinheitlicher. Auf BFCL verbessern sich alle neun Agenten beim Erfolg über drei Durchläufe. Beim Maß „mindestens einmal erfolgreich“ sind die BFCL-Ergebnisse jedoch gemischt. Bei Airline fallen die Veränderungen kleiner aus und schwanken je nach Agent. Die Autoren nennen auch selbst Grenzen. Der Zuwachs bei Telecom bleibt aus, wenn ein gpt-oss-120b-Modell als Nutzersimulator dient. Bei 260 gelabelten Schreibaufrufen aus dem Entwicklungsset verletzen 42 der 101 fehlerhaften Aufrufe keine einzige kompilierte Frage. Anders gesagt: Etwa zwei von fünf fehlerhaften Aufrufen in diesem Entwicklungsset passieren, ohne eine kompilierte Frage auszulösen.

Die Behauptung, dass die Verbesserungen allein vom Harness stammen, wurde an Benchmark-Aufgaben mit simuliertem Nutzer gemessen. Der eigene Hinweis der Autoren, dass der Telecom-Zuwachs mit einem gpt-oss-120b-Nutzersimulator ausbleibt, zeigt, dass das Ergebnis von diesem Setup abhängt.

Was sich ändert

Art: Forschung · Betrifft: Opus 4.6

Warum es wichtig ist

Teams, die Agenten mit Tool-Zugriff einsetzen, können ungültige Aktionen und vorzeitig beendete Aufgaben über eine Harness-Schicht abfangen, ohne das Modell neu zu trainieren.

Was Sie tun können

Führen Sie deterministische Prüfungen für folgenreiche Tool-Aufrufe und Übergaben ein, bevor Sie die Autonomie von Agenten ausweiten.

Originalquelle

Wo wir es gesehen haben

1 Quelle

DAIR.AI (Elvis Saravia)

IBM

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es