MKA-Benchmark von Google DeepMind: Claude Fable 5.2 führt mit 57% Climb WSR
Artificial Analysis und Google DeepMind haben MKA vorgestellt, einen Benchmark mit 200 visuellen Aufgaben aus der Wissensarbeit. An der Spitze liegt Claude Fable 5.2 (max) mit einer Climb WSR von 57%.
Artificial Analysis und Google DeepMind haben die Evaluierung Multimodal Knowledge Agent (MKA) veröffentlicht, einen Benchmark mit 200 nicht öffentlichen Praxisaufgaben aus 10 Branchen. Claude Fable 5.2 (max) belegt mit einer Climb WSR von 57% den ersten Platz, vor Gemini 4 Carbon (high) mit 54% und Claude Opus 5.5 (max) mit 53%. Der Benchmark richtet sich an Agenten, die dichte visuelle Projektunterlagen lesen müssen, etwa Architekturpläne, technische Schaltpläne oder klinische Aufnahmen, und daraus ein Ergebnis erstellen: eine Foliensammlung, eine Tabelle, ein PDF, ein Word-Dokument oder ein annotiertes Bild. Laut Artificial Analysis sind diese Eingaben für die Lösung der Aufgabe zwingend nötig und nicht bloß ergänzender Kontext.
Bewertet wird jede Aufgabe anhand von Bewertungsrastern, die Fachleute erstellt haben. Sie umfassen durchschnittlich rund 70 gewichtete Punkte, die sich in zwei Gruppen aufteilen. Regression-Kriterien sind Basisprüfungen, die ein kompetentes Modell bestehen sollte. Climb-Kriterien sind anspruchsvollere Prüfungen, die starke von schwächeren Modellen trennen sollen. Die Hauptkennzahl, Climb WSR (Weighted Satisfaction Rate), gibt den gewichteten Anteil der Climb-Kriterien an, den ein Durchlauf erfüllt; die Regression-Prüfungen heben den Wert also nicht an. Die Durchläufe finden in Stirrup statt, dem Open-Source-Harness für Agenten von Artificial Analysis. Dort stehen Codeausführung, Websuche, Web-Fetch und Bildansicht für bis zu 250 Runden zur Verfügung. Anschließend bewertet GPT-6 Luna (medium) als agentischer Prüfer die eingereichten Dateien: Ein Sprachmodell liest das Ergebnis und benotet es anhand des Bewertungsrasters.
Spannend wird das Ranking bei den Kosten. Claude Fable 5.2 kostet im Schnitt 31,97 Dollar pro Aufgabe, mehr als das Fünffache der 6,29 Dollar von Gemini 4 Carbon, und das für rund zwei Punkte mehr Climb WSR. Gegenüber GPT-6.1 Sol mit 1,11 Dollar beträgt der Abstand etwa das 29-Fache. Artificial Analysis spricht von einer Spanne von fast dem 30-Fachen unter den Modellen, die höchstens 10 Punkte hinter dem Spitzenwert liegen. Die vier getesteten OpenAI-Modelle, GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra und GPT-6 Luna, liegen unterhalb von Carbon allesamt auf der Pareto-Front aus Kosten und Leistung: Kein anderes getestetes Modell ist zugleich günstiger und besser als sie bei ihrem jeweiligen Preis. Den Rest dieser Front bilden Claude Haiku 5.5 und MiMo-V2.6-Pro.
Schlüsselt man die Ergebnisse nach Kategorien auf, gibt es keinen eindeutigen Sieger mehr. Claude Fable 5.2 führt in fünf der 10 Branchen: Software & Data, Engineering, Logistics & Mapping, Business sowie Finance, wo es sich die Spitze mit Claude Sonnet 5.5 teilt. Claude Opus 5.5 (max) gewinnt Education und Construction. Gemini 4 Argon (high) holt Science, Gemini 4 Carbon (high) Healthcare, und Claude Sonnet 5.5 (max) entscheidet Law & Government knapp für sich. Laut dem Beitrag spielt das Ausgabeformat eine geringere Rolle als die Branche, verschiebt die Ergebnisse aber dennoch. Fable 5.2 führt bei vier Dateitypen: PDF, Word-Dokument, Tabelle (knapp) und Präsentation, wo es sich die Spitze mit Claude Opus 5.5 (max) teilt. Gemini 4 Argon und Carbon liegen bei Bildausgaben vorne, DeepSeek V4.1 Flash 1017 bei Textdateien. Am schwierigsten sind Aufgaben mit Word-Dokumenten und Textdateien: In keiner der beiden Kategorien kommt ein Modell über 52%.
Warum es wichtig ist
Unter den Modellen, die rund 10 Punkte oder weniger hinter dem Spitzenwert liegen, schwanken die Kosten pro Aufgabe um fast das 30-Fache. Für dokumentenlastige Wissensarbeit entscheidet die Genauigkeit allein daher nicht über die Modellwahl. Teams, die Agenten für visuelle Dokumente entwickeln, sollten die Kosten pro Aufgabe gegen die Leistung abwägen.
Was Sie tun können
Testen Sie infrage kommende Modelle mit Ihren eigenen visuellen Projektunterlagen und vergleichen Sie neben der Genauigkeit auch die Kosten pro Aufgabe, bevor Sie sich für ein Modell für Dokumentenarbeit entscheiden.
Wie sich die Meldung entwickelt hat
Ergänzt um die Kosten pro Aufgabe von 31,97 Dollar für Fable, 6,29 Dollar für Carbon und 1,11 Dollar für GPT-6.1 Sol sowie um Ergebnisse von Artificial Analysis zum visuellen Reasoning in den Life Sciences.
Originalquelle
Weitere Berichte
Wo wir es gesehen haben
Artificial Analysis, Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es