AI News
Alle Meldungen
Offiziell

FrontierML prüft, ob KI-Agenten mehr Rechenleistung in bessere Modelle umsetzen können

FrontierML gibt Agenten 10, 50 oder 200 Dollar für 21 ML-Aufgaben, und laut den Autoren verbessern sich stärkere Agenten mit mehr Geld verlässlich.

Forschung · · 3 Min. Lesezeit

Agenten auf Basis von Frontier-Modellen können zusätzliche Ausgaben in bessere Machine-Learning-Modelle umsetzen, und stärkere Agenten verbessern sich mit wachsendem Budget verlässlicher. Das geht aus einem neuen Benchmark namens FrontierML hervor. Seine Autoren von Induction Labs geben jedem Agenten eine CPU-Sandbox für 12 Stunden, ein Guthaben von 10, 50 oder 200 Dollar, einige Validierungsbeispiele und eine Aufgabenbeschreibung. Anschließend bewerten sie die eingereichten Modelle anhand von 21 Aufgaben aus den Bereichen LLM-Training und Effizienz, Vision, Audio, Computer Use, angewandtes NLP sowie Mathematik und Spiele.

Die zentrale Messgröße ist die Veränderung des mittleren Scores über die 21 Aufgaben, wenn das Guthaben wächst. Ein menschlicher Forscher erzielte bei 10 Dollar einen Zuwachs von 56 Punkten und bei 200 Dollar von 66,1. Das beste getestete System, Claude Opus 5.5, kam auf 45,4 bei 10 Dollar und 58,8 bei 200 Dollar. Das beste Open-Weight-Modell, Kimi K3.1 Pro, erreichte 25,5 und 29,6. Der Abstand zwischen dem besten Agenten und dem Menschen ist beim kleinen Budget am größten und schrumpft mit wachsendem Guthaben, wobei der Mensch auf beiden Stufen vorne bleibt.

Ausgegeben wird das Guthaben über Spin, ein Open-Source-Kommandozeilenwerkzeug samt Dienst, mit dem Agenten GPUs bei 17 Compute-Anbietern auf Abruf buchen und abgerechnete Token von OpenRouter kaufen können. Die Autoren legen den Preis jeder GPU auf einen Stand vom 29. September 2026 fest, damit dasselbe Budget in jedem Durchlauf dieselbe Rechenleistung kauft. Das ist für die Vergleichbarkeit wichtig, denn Cloud-Preise schwanken. Die Aufgaben geben den Agenten wenig Richtung vor. Laut den Autoren dürfen die Agenten Architekturen wählen, Daten beschaffen, Rechenleistung bereitstellen und die Inferenz optimieren. In 28% der Trajektorien ergänzen Agenten vortrainierte Modelle um neu trainierte Teile oder trainieren ein neues Modell von Grund auf. Ein separater Overfitting-Test gibt dem Agenten nur wenige Validierungsbeispiele, während der Score aus einem großen, zurückgehaltenen Out-of-Distribution-Datensatz stammt, der von einer physisch vom Netz getrennten H100-Maschine bereitgestellt wird.

Die Ausgabenzahlen deuten darauf hin, dass Agenten einen Großteil ihres Geldes liegen lassen. Laut den Autoren geben Agenten im Schnitt 45% ihres Guthabens aus, selbst wenn man ihnen sagt, dass es keine Strafe gibt, wenn sie alles aufbrauchen, und kein einzelner Agent gibt bei irgendeinem Budget mehr als 80% aus. Agenten werden auch früh fertig: Frontier-Modelle nutzen im Schnitt etwa die Hälfte der 12 Stunden. Die eigene Analyse des Benchmarks verweist auf mangelnde Recherche vor dem Geldausgeben. Modelle zur Erzeugung synthetischer Daten wählten die Agenten meist aus dem Gedächtnis, und über 67% ihrer OpenRouter-Aufrufe für synthetische Daten gingen an Modelle, die mehr als ein Jahr alt waren. Über alle Durchläufe hinweg gab es nur zwei Websuchen dazu, welche GPU man verwenden sollte. Die Autoren werten diese Ergebnisse als Beleg für ineffizientes Ausgabeverhalten. Das ist eine plausible Lesart der Daten, allerdings sagt der Beitrag nicht, wie effizientes Ausgeben aussähe oder ob daraus ein höherer Score folgen würde.

Der Benchmark zeigt auch Grenzen, auf die die Ankündigung kaum eingeht. Die Autoren schreiben, dass manche Aufgaben mit diesen Budgets nicht zu schaffen sind, weshalb sie Aufgaben mit Budgets von 1.000 bis 100.000 Dollar entwickeln. Zudem lief jeder Agent nur mit einer einzigen Reasoning-Stufe. Die Scores werden über 21 Aufgaben gemittelt, sodass ein durchschnittlicher Zuwachs große Unterschiede zwischen den Aufgaben verdecken kann. Der Beitrag zeigt eine Aufgabe, die Screenshot-Generierung, bei der verschiedene Lösungsansätze sehr unterschiedlich abschnitten. Die Zahl von 28% beschreibt, wie oft Agenten neue Teile gebaut haben, nicht wie oft diese Teile geholfen haben. Für sich genommen belegt sie also nicht, dass eigene Architekturen bessere Modelle hervorbringen.

Warum es wichtig ist

Benchmarks wie dieser zeigen, ob Agenten Budget nutzen können, um ihr eigenes Training zu verbessern. Das betrifft die Frage, wie viel autonome KI-Forschung und -Entwicklung Unternehmen delegieren könnten. Der Abstand zwischen dem besten geschlossenen und dem besten Open-Weight-Modell ist zudem für Käufer nützlich, die offene Modelle in Betracht ziehen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Import AI (Jack Clark)

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es