SemiAnalysis startet GDPx-Benchmark: Bestes Modell erreicht 12 % bei agentischen Aufgaben
Der GDPx-Benchmark von SemiAnalysis umfasst 206 agentische Aufgaben aus 11 Bereichen. Das beste Modell kommt auf gerade einmal 12 %.
SemiAnalysis hat am 2. November 2026 GDPx veröffentlicht, einen Benchmark mit 206 agentischen Aufgaben aus 11 wirtschaftlich wertvollen Bereichen, darunter Chipdesign, Softwareentwicklung, Finanzwesen und Biologie. Das zentrale Ergebnis: Das beste Modell erreicht nur 12 %. In einem Beitrag auf X schrieb SemiAnalysis, GDPx sei ein echter Benchmark auf Frontier-Niveau, und selbst das beste Modell komme lediglich auf 12 %.
Laut SemiAnalysis orientiert sich GDPx weder am BIP-Anteil noch an der Berufssystematik SOC/O*NET. Die Begründung: Die erste Billion Dollar an KI-Umsatz werde sich auf Branchen konzentrieren, die Frontier-Intelligenz mit hoher Kapitalrendite einsetzen können, statt sich über die gesamte Wirtschaft zu verteilen. Jeder Bereich wurde mit mindestens einem spezialisierten Datenpartner aufgebaut. SemiAnalysis gibt an, die abschließende Qualitätssicherung verantwortet zu haben und stark an der Weiterentwicklung der Aufgaben beteiligt gewesen zu sein.
An der Spitze des Leaderboards geht es knapp zu. Opus 5.5 erreicht 12 %, Gemini 4 Carbon 10,9 %. Der Tech-Analyst Chubby argumentierte, Carbon büße zwar 1,1 Punkte ein, koste aber etwa ein Viertel von Opus 5.5 und gewinne damit beim Preis-Leistungs-Verhältnis. Eine Antwort unter demselben Beitrag rechnete den Abstand in Aufgaben um: Der Vorsprung von Opus 5.5 entspreche etwa zwei von 206 Aufgaben. Eine weitere Antwort wies darauf hin, dass Carbon nicht öffentlich verfügbar ist. Der Kostenvergleich betrifft also ein Modell, das Leserinnen und Leser womöglich gar nicht selbst testen können.
Die 12 % hängen davon ab, wie Sicherheitsklassifikatoren berücksichtigt werden. Laut SemiAnalysis wurden die Gesamtwerte von Opus 5.5 und GPT-6 Astra durch Sicherheitsklassifikatoren gedrückt, die bei Aufgaben aus den Bereichen Cyber, Biologie und Alignment eingreifen können. Das Unternehmen veröffentlichte eine zweite Ergebnisreihe ohne diese drei Bereiche, nennt die alternativen Werte in seinem Beitrag aber nicht. In einer separaten Analyse kommt Elie Bakouch zu dem Schluss, dass sich das Bild ändert, wenn man die von Schutzmechanismen betroffenen Benchmarks herausnimmt. Er vermutet zudem, dass OpenAI im Bereich Biologie strengere Schutzmechanismen einsetzt als Anthropic. SemiAnalysis selbst erklärt, dass Klassifikatoren bei der Modellwahl eine Rolle spielen, und bezeichnet Muse Wonder Full als das mit deutlichem Abstand beste verfügbare Modell für Cyber-Aufgaben.
Auch Vergleiche innerhalb einzelner Modellfamilien tauchen in der Diskussion auf. Carbon schlägt Argon durchgehend, Sol 6.1 und Astra liegen sehr nah beieinander. Einem separaten Bericht zufolge könnten einige Cybersecurity-Durchläufe von Argon durch einen Bug in Antigravity beeinträchtigt sein.
Die Reaktionen fallen gemischt aus. Demis Hassabis begrüßte den Benchmark. Der Account @dylan522p entschuldigte sich bei Google und beschrieb Carbon als ungleichmäßiger, in manchen Bereichen aber sehr stark. Ein satirischer Beitrag beklagte, GDPx sei nicht Open Source und teuer zu überprüfen.
Was sich ändert
Art: Forschung · Gilt ab: Montag, 2. November 2026 · Betrifft: GDPx
Warum es wichtig ist
Wer Frontier-Modelle für agentische Aufgaben vergleicht und einkaufen will, sieht bei realistischen wirtschaftlichen Aufgaben eine niedrige absolute Obergrenze, dazu einen Kostenunterschied, der womöglich mehr zählt als der Abstand bei den Ergebnissen.
Was Sie tun können
Testen Sie die Modelle in Ihrer engeren Auswahl mit eigenen, auf Ihre Domäne zugeschnittenen Agenten-Tests, bevor Sie Budget für Automatisierungsprojekte freigeben.
Originalquelle
Weitere Berichte
- x.comSemiAnalysis on X: "Today we’re releasing GDPx, a benchmark for measuring agentic capabilities across the most valuable domains. GDPx is a true frontier-level b
- x.comChubby♨️ on X: "Super interesting Benchmark. GDPx measures how well AI agents handle 206 challenging tasks across 11 economically valuable fields, including chi
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es