Skill++ schreibt Metadaten neuer Skills um, damit Agenten-Router ältere Skills nicht mehr verdrängen
Forschende der UIC, der McGill University und weiterer Einrichtungen stellen Skill++ vor: Das Verfahren schreibt die Metadaten eines neuen Skills um, damit Agenten-Router weiterhin die richtigen bestehenden Skills wählen.
Forschende der University of Illinois Chicago, der McGill University und mehrerer weiterer Einrichtungen haben Skill++ vorgestellt. Die Methode schreibt Namen und Beschreibung eines neuen Agenten-Skills um, bevor er in eine Bibliothek aufgenommen wird. So wählt der Router weiterhin jene älteren Skills, die er zuvor richtig zugeordnet hat. Die Autoren, darunter Hanrong Zhang und Philip S. Yu, beschreiben das Problem als lebenslanges Skill-Routing. Der Router ist in ihrer Darstellung jene Komponente, die entscheidet, welchen Skill ein Agent für eine bestimmte Anfrage verwenden soll. Skill++ trainiert den Router nicht neu.
Der Mechanismus hängt davon ab, wie Agenten Skills laden. Bei Progressive Disclosure sieht ein LLM-Router nur Namen und Beschreibung jedes Skills und lädt den vollständigen Inhalt nur für die ausgewählten Skills. Weil sich der Router auf diese knappen Metadaten stützt, kann ein neuer Skill mit ähnlicher Beschreibung Anfragen übernehmen, die bisher ein älterer Skill bearbeitet hat. Das passiert, obwohl sich weder der alte Skill noch der Router verändert hat. Laut dem Abstract auf arXiv ist diese Interferenz bei öffentlichen Skills stärker, deren Beschreibungen nicht unbedingt zu ihrem Inhalt passen.
Bestehende Lösungen greifen nach Ansicht der Autoren zu kurz. Ein laufendes Nachtrainieren des Routers birgt das Risiko des Catastrophic Forgetting, also des Verlusts früheren Verhaltens, wenn ein Modell Neues lernt. Methoden zum Umschreiben ignorieren laut Abstract entweder ähnliche Skills oder benötigen Feedback zu jedem einzelnen Skill. Skill++ ruft stattdessen die ähnlichsten früheren Skills ab und verfasst eine neue Beschreibung. Diese hält fest, was der Inhalt des Skills leistet, worin er sich von seinem nächsten Vorgänger unterscheidet und welche verwandten Aufgaben er ausschließt. Die Methode braucht weder Router-Training noch gelabelte Daten und ändert nur die Metadaten, nicht den Inhalt des Skills.
Im Szenario einer wachsenden Bibliothek wählt der Router mit Skill++ bei 76,3% der Anfragen alle benötigten Skills aus, mit den ursprünglichen Metadaten sind es 36,4%. Laut der Besprechung des Papers durch die DAIR.AI Academy beseitigt das Umschreiben Substitutionsfehler nahezu vollständig und halbiert Verdrängungsfehler. Die Autoren berichten über drei Benchmarks (SRA-Bench, SkillRet und SkillRouter) und fünf LLM-Router hinweg einen durchschnittlichen Zuwachs von 23,1 Punkten bei der Routing-Genauigkeit in der letzten Session. Nach eigenen Angaben übertrifft die Methode alle verglichenen Ansätze. Die Verbesserungen ließen sich auch auf den Agenten-Harness Codex CLI übertragen.
Diese Zahlen stammen aus den eigenen Benchmarks und Vergleichen der Autoren. Der Wert von 76,3% beschreibt ein bestimmtes Szenario mit wachsender Bibliothek, keine allgemeine Routing-Genauigkeit. Der Abstract nennt die fünf LLM-Router nicht. Auf dieser Seite lässt sich daher nicht erkennen, welche Router der Durchschnitt umfasst. Die Methode beginnt damit, die ähnlichsten früheren Skills zum Vergleich abzurufen. Wie gut dieser Abruf funktioniert, analysiert der Abstract nicht.
Der Kommentar von DAIR.AI leitet aus dem Paper eine praktische Lehre ab: Wer eine Skill-Bibliothek pflegt, kann die Kernidee umsetzen, indem er für jeden neuen Skill festhält, worin er sich vom ähnlichsten bereits installierten unterscheidet. Dieser Rat ist eine manuelle Variante dessen, was Skill++ automatisiert, und zielt auf dieselbe Lücke zwischen dem Inhalt eines Skills und den Metadaten, die der Router liest.
Warum es wichtig ist
Bei Unternehmen mit wachsenden Skill-Bibliotheken können Routing-Fehler zunehmen, je größer die Bibliothek wird. Schlecht formulierte Skill-Beschreibungen können die Interferenz zusätzlich verstärken.
Was Sie tun können
Beschreiben Sie beim Hinzufügen eines Skills zu einer Bibliothek, worin er sich vom ähnlichsten bereits installierten Skill unterscheidet.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es