AI News
Alle Meldungen
Berichtet

MLE-World sagt Ausgaben von ML-Trainingsläufen voraus, bevor der Code läuft, und trifft 77,9 % der Logs

MLE-World, ein feinabgestimmtes Qwen3.5-4B-Modell, sagt voraus, was ein ML-Programm ausgeben würde, darunter Logs, Fehler und Validierungswerte, noch bevor der Code ausgeführt wird.

Forschung · · 2 Min. Lesezeit

MLE-World, ein feinabgestimmtes Qwen3.5-4B-Modell, sagt voraus, was ein Machine-Learning-Programm bei der Ausführung ausgeben würde. Dazu gehören Trainings-Logs, Fehlermeldungen und Validierungswerte. Ein Agent kann diese Vorhersagen nutzen, um Code-Kandidaten zu vergleichen, bevor er für einen echten Trainingslauf bezahlt. Trainiert wurde das System mit Aufzeichnungen erfolgreicher und fehlgeschlagener Programmausführungen. Jede Vorhersage stützt sich auf vier Eingaben: das Kandidatenprogramm, eine Beschreibung der Daten der Aufgabe, die verfügbaren Softwarepakete und das Zeitlimit für die Ausführung. Heraus kommt ein vorhergesagter Ausführungsbericht.

Praktisch nützlich ist das in der Suchschleife eines Agenten, der mehrere Versionen eines Trainingsskripts schreibt. Herauszufinden, welche Version funktioniert, kann deutlich länger dauern als das Schreiben selbst, denn jeder Versuch muss ein Modell trainieren und einen Validierungswert liefern. Mit einem vorhergesagten Fehler-Trace kann der Agent fehlerhaften Code reparieren, ohne ihn vorher auszuführen. Mit einem vorhergesagten Validierungswert kann er funktionierende Kandidaten in eine Rangfolge bringen. Die Forscher bauen auf diesen Berichten drei Suchstrategien auf. Die erste wählt den Kandidaten mit dem höchsten vorhergesagten Wert. Die zweite überarbeitet ein Programm anhand des vorhergesagten Feedbacks vor der Ausführung. Die dritte kombiniert Ideen aus mehreren Kandidaten. Ein kombiniertes Programm ist neuer Code und erhält daher eine eigene Vorhersage, statt die Berichte seiner Ausgangsprogramme zu übernehmen.

Ein überzeugend wirkendes vorhergesagtes Log kann trotzdem falsch sein. Ein Agent, der wiederholt einem ungenauen Wert vertraut, könnte eine ganze Suche damit verbringen, ein Programm zu verbessern, das nie gut abschneidet. Zur Absicherung ist jede Vorhersage mit einem Konfidenzwert versehen, und bei niedriger Konfidenz wird eine echte Ausführung ausgelöst. Außerdem überprüft das System neue vorhergesagte Bestwerte, und die finalen Einreichungen werden anhand echter Validierungswerte ausgewählt. Der Prädiktor verringert die Zahl der Läufe, die tatsächlich stattfinden müssen. Die Messung ersetzt er nicht.

Die zentrale Kennzahl lautet 77,9 %. Bei 1.700 zurückgehaltenen Programmen aus 17 Aufgaben von MLE-bench Lite stimmte die vorhergesagte Terminalausgabe bei diesem Anteil der Programme mit der beobachteten Ausgabe überein, gemessen am Bewertungsverfahren der Forscher. Die stärkste Prompt-basierte Baseline kam auf 41,1 %. Das Übereinstimmungskriterium ist dabei entscheidend.

Der Haupttest verwendet neue Programme für Aufgaben, die bereits im Training vorkamen. Das Ergebnis stützt Vorhersagen innerhalb dieser Aufgabenumgebungen. Dieselbe Genauigkeit für einen unbekannten Datensatz oder ein fremdes Trainings-Setup ist damit nicht nachgewiesen. Zudem sind die vorhergesagten Berichte ein günstigeres, aber kein gemessenes Signal. Laut Quelle helfen sie dem Agenten zu entscheiden, welche Experimente eine echte Messung verdienen, und der finale Validierungswert stammt weiterhin aus einem tatsächlichen Lauf.

Was sich ändert

Art: Forschung · Betrifft: MLE-World, Qwen3.5-4B

Warum es wichtig ist

Teams, die ML-Experimente von Agenten durchführen lassen, könnten weniger Rechenleistung für Kandidaten aufwenden, die laut vorhergesagtem Feedback scheitern, sofern die Genauigkeit auch bei ihren eigenen Aufgaben Bestand hat. Die berichteten Verbesserungen gelten nur für Aufgaben, die im Training vertreten waren.

Was Sie tun können

Teams mit agentengesteuerten Experimentsuchen könnten einen solchen Prädiktor an ihren eigenen Aufgaben testen, bevor sie sich darauf verlassen und echte Läufe überspringen.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

AI Engineering

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es