AI News
Alle Meldungen
Berichtet

SemiAnalysis: Fable 5.2 führt GDPx-Benchmark mit 16,4% an, kostet aber 31% mehr pro Aufgabe

Laut SemiAnalysis liegt Fable 5.2 im GDPx-Benchmark für professionelle Aufgaben mit 16,4% vorne, die Kosten pro Aufgabe steigen jedoch von 67,16 auf 88,15 Dollar.

Modelle · · 2 Min. Lesezeit

SemiAnalysis sieht Claude Fable 5.2 in seinem GDPx-Benchmark für professionelle Aufgaben mit 16,4% auf Platz eins. Dieselbe Analyse zeigt aber auch: Jede Aufgabe kostete 31% mehr als beim Vorgängermodell, nämlich 88,15 statt 67,16 Dollar. Und das, obwohl die Preise pro Token um 20% gesenkt wurden: von 10 auf 8 Dollar pro Million Input-Token und von 50 auf 40 Dollar pro Million Output-Token. Das neuere Modell ist pro Token günstiger, verbraucht aber mehr Token pro Aufgabe.

Der Grund liegt laut den Ausführungsprotokollen von SemiAnalysis, wie Latent Space sie zusammenfasst, im Umfang der Überprüfungen. Während Opus 5.5 und Fable 5.1 rund 20 Testfälle zu schreiben versuchten, schrieb Fable 5.2 mitunter Hunderte oder Tausende. Zusätzlich startete es Subagenten, die Ergebnisse unabhängig neu herleiteten. SemiAnalysis führt den Vorsprung im Benchmark auf diese breite Testabdeckung zurück. Die Zusammenfassung von Latent Space bringt den Kostenaspekt unverblümt auf den Punkt: Für die Überprüfungen zahlt man so oder so.

SemiAnalysis hat die Zugewinne über den Account seines Analysten @dylan522p nach Fachgebieten aufgeschlüsselt. Deutlich besser ist Fable 5.2 bei Chipdesign, Softwareentwicklung, Biologie und Materialwissenschaft, nicht besser hingegen bei Finanzen, juristischer Arbeit, Quant Trading, RSI und Hardwaredesign. Das RSI-Ergebnis sei laut dem Analysten auf einen ausdrücklichen Nerf durch Anthropic zurückzuführen, also auf eine bewusste Einschränkung in diesem Aufgabenbereich und nicht auf fehlende Fähigkeiten. Die Aufschlüsselung ist relevant, weil eine einzelne Benchmark-Zahl Aufgaben, bei denen sich das Modell verbessert hat, mit solchen ohne Verbesserung vermischt.

Wie hoch die Kosten ausfallen, hängt auch von der gewählten Effort-Stufe ab. Artificial Analysis kam laut derselben Übersicht zu folgendem Ergebnis: Bei High und Xhigh Effort erreicht Fable 5.2 einen Wert von 62 bei rund 98k Output-Token pro Aufgabe, verglichen mit 173k bei Opus 5.5 auf Max. Auf Max liegen die Kosten pro Aufgabe allerdings bei etwa 26,5 Dollar, rund das 2,6-Fache der 10,0 Dollar von Opus 5.5 und das Doppelte der 12,99 Dollar von Fable 5.1. Anthropic selbst gibt für FrontierCode 2.0 an, dass Fable auf High mit Opus 5.5 auf Max gleichzog, bei etwa der Hälfte der Kosten pro Aufgabe. Mehrere Evaluierungen zeigen, dass Max und Xhigh schlechter abschneiden als High, und @Yuchenj_UW rät von Fable 5.2 Max ab.

Das GDPx-Ergebnis ist nur eine von mehreren Ranglistenplatzierungen. Im Intelligence Index von Artificial Analysis erreicht Fable 5.2 auf Max Effort 65 Punkte, vor Gemini 4 Carbon mit 60 und Opus 5.5 mit 59. Schwächer schneidet es etwa bei AA-Briefcase ab, wo es innerhalb des Konfidenzintervalls von Opus 5.5 liegt, sowie bei GDP.pdf, wo es auf 24% All-Pass kam, gegenüber 26% bei Opus 5.5. Die gemischten Ergebnisse passen zum Kostenbild: Das Modell leistet pro Aufgabe mehr Arbeit, doch dieser Mehraufwand führt nicht überall zu besseren Resultaten.

Was sich ändert

Art: Preise und Limits · Betrifft: Fable 5.2

Warum es wichtig ist

Niedrigere Preise pro Token bedeuten nicht automatisch geringere Projektkosten, wenn ein Modell mehr Token für Überprüfungen aufwendet. Wer einkauft, sollte mit den Kosten pro Aufgabe aus den eigenen Workloads kalkulieren.

Was Sie tun können

Achten Sie auf die Kosten pro abgeschlossener Aufgabe statt auf den Preis pro Token, wenn Sie entscheiden, welches Modell Sie für Coding- oder Research-Agenten einsetzen.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

Latent Space

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es