AI News
Alle Meldungen
Offiziell

EMMA schlägt Multi-Agenten-Baselines auf drei Benchmarks mit gezielten Gedächtnisänderungen

Forschende der UC San Diego und von Amazon berichten, dass EMMA auf KramaBench, AppWorld und BBEH über fünf Backbones hinweg insgesamt am besten abschneidet.

Forschung · · 1 Min. Lesezeit

Forschende der UC San Diego und von Amazon berichten, dass EMMA, eine Methode zur Verbesserung von Multi-Agenten-Systemen, auf KramaBench, AppWorld und BBEH insgesamt die beste Leistung erzielt. Verglichen wurde sie mit vier Baselines: ACE, GEPA, EvoMAS und ADAS. Der Vorsprung vor der stärksten Baseline beträgt bis zu 32,5 %. EMMA belegt in 17 von 20 Settings über fünf Backbones hinweg den ersten Platz und kommt dabei mit 17 bis 38 % weniger Trainingsdurchläufen aus als die effizienteste Baseline.

Die Grundidee: Die Konfiguration eines Multi-Agenten-Systems wird als episodisches Gedächtnis behandelt. In EMMA plant ein Controller jede Aufgabe Schritt für Schritt und greift dabei auf ein Routing-Gedächtnis zurück. Spezialisierte Agenten übernehmen einen generalistischen Prompt, und Skills enthalten kurze Anleitungen für einzelne Schritte. Alle drei Ebenen sind Text, den ein einziges, festes LLM ausführt. Die Konfiguration ändert sich also als Text, während dasselbe Modell sie ausführt. Die Autoren argumentieren, dass frühere Methoden zur Evolution von Multi-Agenten-Systemen dem Backbone-Modell überlassen haben, wo und wie stark sich das System verändert. Das Lernen folgt damit den Gewohnheiten des Modells: Ein Backbone sammelt Skills an, ein anderer erzeugt neue Agenten.

EMMA legt für jede Änderung fest, welcher Bereich dafür zuständig ist. Nach einem Fehlschlag ordnet ein Reflector den diagnostizierten Fehler jenem Bereich zu, der für seine Korrektur zuständig ist, und schlägt innerhalb dieses Bereichs genau eine Änderung vor. Vom Backbone unabhängige Schutzmechanismen sorgen anschließend dafür, dass jede akzeptierte Änderung auf ihren Bereich beschränkt, inkrementell und begrenzt bleibt. Weil diese Schutzmechanismen backbone-unabhängig sind, hängen sie nicht davon ab, welches Modell darunter läuft.

Multi-Agenten-Suchverfahren als Baselines brechen bei Open-Weight-Modellen deutlich ein. Bei der AppWorld-Challenge erreicht EvoMAS mit Opus 5 einen Wert von 89,0, mit GLM-5 nur 7,2. EMMA kommt selbst mit dem schwächsten Backbone noch auf 61,2.

Die Autoren weisen auf eine Einschränkung hin: Akzeptierte Änderungen bleiben auch dann bestehen, wenn eine Aufgabe ungelöst bleibt. Wirkungslose Einträge können daher im Gedächtnis verbleiben.

Warum es wichtig ist

Baselines, die auf Frontier-Modellen gut abschneiden, können bei Open-Weight-Modellen deutlich einbrechen. Methoden zum Tuning von Agenten müssen daher über verschiedene Backbones hinweg getestet werden. Die Autoren weisen darauf hin, dass akzeptierte Änderungen auch dann bestehen bleiben, wenn eine Aufgabe ungelöst bleibt.

Was Sie tun können

Bevor Sie eine automatisierte Methode zum Tuning von Agenten einführen, testen Sie sie mit den Open-Weight-Modellen, die Sie tatsächlich einsetzen würden.

Originalquelle

Wo wir es gesehen haben

1 Quelle

DAIR.AI (Elvis Saravia)

AmazonUC San Diego

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es