AI News
Alle Meldungen
Berichtet

Physiker Suvrat Raju: GPT-6 Astra löste fast 90 Prozent seines Physik-Benchmarks

Laut Raju beantwortete GPT-6 Astra knapp 90 Prozent der unveröffentlichten Aufgaben aus der theoretischen Physik in TheoPhysEval. Den Benchmark hält er nun für ausgereizt.

Forschung · · 2 Min. Lesezeit

Suvrat Raju, theoretischer Physiker am International Centre for Theoretical Sciences in Bengaluru, berichtet, dass GPT-6 Astra knapp 90 Prozent der unveröffentlichten Aufgaben in TheoPhysEval gelöst hat, einem Benchmark, an dessen Aufbau er mitgewirkt hat. Er betrachtet den Benchmark inzwischen als ausgereizt. Diese Zahl nannte Kagan-Kans in Understanding AI. Der arXiv-Preprint beziffert das Ergebnis noch höher: Laut Abstract erreichte der beste Agent, GPT-6-Astra eingebunden in Codex, bei den 50 Aufgaben eine nahezu perfekte Genauigkeit von 98 Prozent, bei durchschnittlichen Kosten von unter 3 USD pro Aufgabe.

Der Benchmark sollte ein bekanntes Problem beim Testen von Sprachmodellen in der Physik umgehen. Modelle werden mit großen Teilen des Internets trainiert, eine online diskutierte Aufgabe könnte also bereits auswendig gelernt sein. Rajus Gruppe sammelte deshalb Aufgaben, die nie veröffentlicht worden waren. Andere Physiker steuerten kleinere, aber echte Ergebnisse bei, die sie nie niedergeschrieben hatten. Die Autoren beschreiben sie als Aufgaben, für deren Lösung Spitzenleute des Fachs etwa einen Tag brauchen. Raju schrieb, die Beitragenden hätten entweder auf eine mögliche Publikation an anderer Stelle verzichtet oder für den Benchmark ein kleines Forschungsprojekt durchgeführt. Bei einem Kolloquium im September präsentierte Raju vorläufige Ergebnisse, bei denen führende Modelle rund 60 Prozent der Aufgaben lösten. Als der vollständige Satz fertig war, löste Astra bereits knapp 90 Prozent.

Als das Team Astra die von Menschen verfassten Lösungen vorlegte und fragte, wo es danebengelegen habe, argumentierte Astra, die Fehler lägen bei den Menschen. Laut Kagan-Kans fand das Modell subtile Fehler in diesen Antworten. Eine der subtil falschen Lösungen von Menschen stammte von Andreas Karch, Physiker an der University of Texas at Austin. Kagan-Kans zufolge hatte Astra tatsächlich 49 von 50 Aufgaben richtig beantwortet, und die eine verfehlte Aufgabe war eher eine Fangfrage.

Raju rechnete die Kosten in Kaffee um. Laut Kagan-Kans kostete jede richtige Antwort im Schnitt weniger als 3 US-Dollar an Rechenleistung. In einem Vortrag sagte Raju, das sei weniger als der Preis eines Kaffees in Paris. Jede Antwort entstand nach einem einzigen menschlichen Prompt. Kagan-Kans berichtete zudem, dass Raju keine zweite Version des Benchmarks plant. Raju sagte zu Kagan-Kans: „Bei klar definierten Berechnungen, die Menschen durchführen können, haben wir sozusagen die Obergrenze erreicht.“ Offene Forschung lasse sich zwar weiter erkunden, fügte er hinzu, das sei aber keine Evaluierung.

Der Abstract nennt außerdem einen Befund, der für die Deutung der Ergebnisse relevant ist. Wurden den Agenten die Websuche und der Zugriff auf einschlägige Forschungsarbeiten verwehrt, änderte sich ihre Genauigkeit nur geringfügig. Die Autoren werten das als Hinweis darauf, dass die Modelle die Fachliteratur in erheblichem Maß auswendig gelernt haben. Das ist die Interpretation der Autoren zu ihrem eigenen Experiment. Der Beitrag beschreibt die Details dieser Ablation nicht.

Die Unterscheidung, die Raju trifft, ist wichtig für das Verständnis des Ergebnisses. TheoPhysEval prüft, ob Agenten die konkreten Berechnungen ausführen können, die in der Forschung der theoretischen Physik anfallen. Laut Abstract deuten die Ergebnisse darauf hin, dass aktuelle Spitzen-Agenten dazu präzise in der Lage sind. Der Abstract erörtert auch mögliche Gründe, warum es bisher keine von Agenten getragenen Durchbrüche in der theoretischen Physik gibt. Kagan-Kans berichtete, dass die Flut an Physik-Fachartikeln, soweit erkennbar, noch keine größere KI-gestützte Entdeckung hervorgebracht hat.

Was sich ändert

Art: Forschung · Betrifft: GPT-6 Astra, TheoPhysEval

Warum es wichtig ist

Von Fachleuten erstellte Forschungs-Benchmarks können schon wenige Monate nach ihrer Veröffentlichung ausgereizt sein. Wer sich bei der Beurteilung forschungstauglicher KI auf öffentliche Tests verlässt, misst womöglich weniger, als er annimmt.

Was Sie tun können

Pflegen Sie für spezialisierte technische Aufgaben eigene, nicht öffentliche und regelmäßig erneuerte Evaluierungssets, statt sich auf öffentliche Benchmarks zu verlassen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Understanding AI

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es