AI News
Alle Meldungen
Offiziell

Realtime-Bench: Führende KI-Modelle tun sich mit zeitkritischen Aufgaben schwer

Ein Benchmark mit 50 Spiel- und Webaufgaben zeigt: Unter realer Latenz bestehen Spitzenmodelle nur 36 % der Aufgaben, bei angehaltener Uhr sind es bis zu rund 80 %.

Forschung · · 2 Min. Lesezeit

Forschende der University of Texas at Austin, der Ohio State University, der University of Illinois at Urbana-Champaign, von NVIDIA, der Northwestern University und von Steadyworks haben Realtime-Bench entwickelt, eine Sammlung von 50 interaktiven Spiel- und Webaufgaben. Bei diesen Aufgaben kann eine verspätete Aktion darüber entscheiden, ob die Aufgabe gelingt. Laut Abstract der Studie liegt die beste Erfolgsquote unter Wall-Clock-Timing bei 44 %, der beste Pass^3-Wert bei 36 %. GPT-6 Astra (high) erreichte in dieser Wall-Clock-Einstellung 36 %.

Die 50 Aufgaben teilen sich in zwei Gruppen. Die 30 Webaufgaben decken Reisen, E-Commerce, Dienstleistungen und Sicherheit ab, die 20 Spielaufgaben Arcade, Puzzle, Strategie und Simulation. Die Autoren haben die Sammlung so angelegt, dass sie drei Fähigkeiten prüft. Die erste, RT-Perceive, ist das Bewusstsein für zeitliche Zustände: Ein Modell muss anhand seiner Beobachtungen Veränderungen in der Welt verfolgen. Die zweite, RT-Deliberate, ist adaptives Abwägen, bei dem das Modell Länge und Tiefe seines Reasonings an die verfügbare Zeit anpasst. Die dritte, RT-Act, ist zeitbewusste Aktionswahl, also die Entscheidung, wann gehandelt wird. Als Beispiel nennt die Studie einen Agenten, der ein Ticket kauft. Der Agent muss erkennen, ob der beobachtete Verkaufsstatus noch aktuell ist, weiteres Abwägen begrenzen, wenn sich das Kauffenster schließt, und entscheiden, ob er auf den Verkaufsstart wartet oder kauft, solange noch Tickets verfügbar sind.

Der Benchmark führt jede Aufgabe unter drei Uhr-Einstellungen aus. Bei Wall Clock schreitet die Umgebung entsprechend der realen Inferenzlatenz voran, ein langsames Modell kann also sein Zeitfenster verpassen. Paused Clock eliminiert diese Verzögerung vollständig und dient als idealisierter Referenzwert dafür, was ein Modell leisten kann, wenn Zeit keine Rolle spielt. Die dritte Einstellung, Token Clock, koppelt die simulierte Zeit an die Ausgabe. Laut Studie „bewegt sie die Umgebung mit einer festen Rate pro generiertem Token weiter“. Eine Aktion wird somit zu dem simulierten Zeitpunkt wirksam, an dem sie festgelegt wird, und ein Modell, das mehr Token schreibt, handelt später, selbst wenn seine Hardware schnell ist. Die Autoren haben diese Einstellung eingeführt, um die Echtzeitfähigkeit eines Modells von der Geschwindigkeit der Serving-Infrastruktur zu trennen. Die Wall-Clock-Werte allein können diese Unterscheidung nicht leisten.

Getestet wurden Modelle von OpenAI (GPT-6-Astra, GPT-5.6 Sol, GPT-Realtime-2 und OpenAI Decisions), Anthropic (Claude Fable 5.1 und Claude Opus 5), Google (Gemini 3.8 Flash, Gemini 3.1 Flash Live und Gemini 3.8 Live), Jev 1.13, DeepSeek (V4.1) und Moonshot AI (Kimi-K3). Die Studie kommt zu dem Ergebnis, dass zeitliche Kosten den Erfolg in sich verändernden Umgebungen begrenzen. Höherer Reasoning-Aufwand wirkt sich unter Zeitdruck uneinheitlich aus. Die Autoren deuten dies als Zielkonflikt zwischen Entscheidungsqualität und rechtzeitiger Ausführung. Als Richtungen für künftige Forschung schlagen sie adaptives Reasoning mit Zeitbewusstsein sowie kontinuierliche Wahrnehmung und Aktion vor.

Warum es wichtig ist

Die Lücke zwischen den Ergebnissen mit angehaltener Uhr und in Echtzeit deutet darauf hin, dass aktuelle Agenten überall dort unzuverlässig sind, wo Reaktionsgeschwindigkeit zählt, etwa beim Ticketkauf oder bei Auktionsgeboten. Teams sollten nicht davon ausgehen, dass starke Offline-Benchmark-Werte auf latenzkritische Live-Workflows übertragbar sind.

Was Sie tun können

Testen Sie jeden Agenten, der auf Live-Informationen reagieren muss, unter realistischer Latenz, bevor Sie ihn in zeitkritischen Workflows einsetzen.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

1 Quelle

Import AI (Jack Clark)

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es