Prosus: Schlanker Kontext und Model Router senken Agentenkosten um den Faktor 10
Ioannis Zempekakis von Prosus sagt, sein Team habe die Kosten für Agenten mit knapperem Kontext und einem einfachen Model Router um den Faktor 10 gesenkt.
Ioannis Zempekakis, Director of AI and Data Science bei der Prosus Group, sagt, sein Team habe die Betriebskosten seiner KI-Agenten auf ein Zehntel gesenkt. Dafür hat es den Kontext, den die Modelle erhalten, gestrafft und ihnen einen einfachen Model Router vorgeschaltet. In einem Video, aufgenommen bei einer Tandemfahrt durch Amsterdam, erklärt er, die frühere Gewohnheit, jede Aufgabe an das teuerste Modell zu schicken, habe nicht mehr skaliert. An diesen Punkt kam Prosus, nachdem das Unternehmen zunächst auf Cloud-APIs von GCP und OpenAI aufgebaut hatte. Dort wuchsen die Kosten Tag für Tag exponentiell. Agenten-Harnesses seien, so Zempekakis, so ziemlich die Token-hungrigste Software überhaupt, weil man ihnen einen ganzen Computer überlasse. Die Sandbox selbst sei günstig, da es vor allem um Speicher gehe. Sobald ein Agent aber auf viel mehr Integrationen zugreifen kann, kann eine einzige Anfrage Informationen aus Slack, E-Mail, Google Docs, Notion und anderen Tools abrufen, und der Job kann sich viele Male wiederholen. Jeder neue Anlauf nach einer fehlgeschlagenen Aufgabe, bei dem ein Team die Codebasis verwirft und neu promptet, treibt die Rechnung weiter in die Höhe. Sein Gegenmittel ist einfach: dem Agenten nur so viele Anweisungen geben, wie er braucht. Ein überfüllter Kontext koste mehr und funktioniere, so sein Argument, auch schlechter.
Der Router liefert die zweite Hälfte der Einsparung. Laut Zempekakis setzt das Team einen einfachen, keinen ausgefeilten Router ein, der entscheidet, welches Modell welche Aufgabe übernimmt. Grundlage dafür sind Evals, die er als Weg beschreibt, Engineering-Arbeit professioneller zu machen. Die Teams benchmarken Modelle pro Aufgabe, gruppieren die Evals in Cluster und wählen dann für jedes Cluster ein Modell. Wie der Faktor 10 gemessen wurde, geht aus dem Beitrag nicht hervor. Zempekakis sagt außerdem, die Optimierung habe gerade erst begonnen, und das Team baue zehn neue Features pro Monat. Das Tempo der neuen Arbeit läuft den Einsparungen davon.
Für wiederkehrende Aufgaben schlägt er vor, ein deutlich kleineres Modell per Fine-Tuning anzupassen. Bei einer Organisation mit Logistikdaten erwartet er, dass ein auf deren Traces trainiertes Modell mit größeren Modellen mithält, und zwar zu 20- bis 30-mal geringeren Kosten. Bei 5.000 Nutzern könne sich das rechnen, bei fünf nicht, und der Ansatz lasse sich nicht auf alles anwenden. Zur Governance regt er an, dass eine Person mit eigenem Budget die Token-Ausgaben verantwortet, ähnlich wie es ein CFO tun würde, und dass Teams erfahren, was ihre Jobs kosten. Als Quelle für Fehlnutzung nennt er die Zeitplanung: Agenten laufen alle fünf Minuten, und er stellt die Frage, ob Jobs überhaupt jede Woche oder jeden Samstag laufen müssen. Außerdem beschreibt er einen Marktplatz, auf dem Teams Apps, Agenten und Skills finden, die andere gebaut haben. Dieser diene vor allem Lernzwecken; er hoffe, dass er wiederverwendbare Arbeit irgendwann direkt im Chat sichtbar mache.
Warum es wichtig ist
Wer Aufgaben an günstigere Modelle weiterleitet und klare Budgetverantwortung festlegt, kann die Betriebskosten von Agenten senken, ohne auf Flexibilität bei den Modellen zu verzichten.
Was Sie tun können
Bestimmen Sie eine verantwortliche Person für das Token-Budget Ihrer Agenten und leiten Sie einfachere Aufgaben an günstigere Modelle weiter.
Originalquelle
Wo wir es gesehen haben
Demetrios from the AAIF
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es