Artificial Analysis startet VIALS-AA: Gemini 4 Carbon (high) führt mit 64 %
Artificial Analysis hat mit VIALS-AA einen Benchmark für das Schlussfolgern über wissenschaftliche Bilder vorgestellt. An der Spitze liegt Gemini 4 Carbon (high), das 64 % der Aufgaben in allen drei Durchläufen richtig beantwortet.
Artificial Analysis hat VIALS-AA gestartet, die eigene Umsetzung des VIALS-Benchmarks von Handshake AI. Darin sollen Sprachmodelle wissenschaftliche Bilder wie Gel-Blots, Plasmidkarten und Durchflusszytometrie-Plots interpretieren und Fragen zu den darin enthaltenen Befunden beantworten. Gemini 4 Carbon (high) führt mit 64 %: Es beantwortet 103 der 161 Aufgaben in allen drei Durchläufen richtig, zwei mehr als GPT-6 Astra (max). Die zentrale Kennzahl ist pass^3, also der Anteil der Aufgaben, die ein Modell in allen drei Wiederholungen korrekt löst. Artificial Analysis setzt darauf, weil ein Ergebnis, das sich von Lauf zu Lauf ändert, nach eigener Aussage in der wissenschaftlichen Arbeit nicht verlässlich ist.
Jede Aufgabe läuft dreimal mit Stirrup, dem Open-Source-Harness von Artificial Analysis, der den Modellen Werkzeuge zur Codeausführung und Bildinspektion bereitstellt. Zusätzlich weist der Benchmark pass@3 aus, den Anteil der Aufgaben, die mindestens einmal richtig gelöst werden. Hier kommt es vor allem auf den Abstand zwischen beiden Werten an. Kimi K3.1 Pro (max) und GPT-6 Astra (max) lösen jeweils rund drei Viertel der Aufgaben mindestens einmal, doch Kimi kommt bei pass^3 nur auf 45 %, Astra auf 63 %. Laut dem Launch-Artikel lösen führende Open-Weights-Modelle etwa gleich viele Aufgaben mindestens einmal wie geschlossene Frontier-Modelle, arbeiten aber deutlich weniger konsistent. Kimi K3.1 Pro (max), MiMo-V2.6-Pro und MiniMax-M3.1-Flash (max) lösen jeweils 114 bis 119 Aufgaben mindestens einmal, bestehen aber nur bei 48 bis 73 Aufgaben alle drei Durchläufe. Die sieben bestplatzierten geschlossenen Modelle schaffen das bei 95 bis 103 Aufgaben.
Ähnliche Ergebnisse können auf sehr unterschiedliche Arbeitsweisen zurückgehen. Claude Sonnet 5.5 (max, mit Fallback) und GPT-6.1 Sol (max) erreichen 60 % und 59 %, Sonnet setzt pro Aufgabe aber 3,6-mal so viele Tool-Aufrufe ab. Der Launch-Artikel klassifiziert die Aufrufe über 19 Modelle und 9.177 Rollouts hinweg. Davon dienen 38,3 % dem Betrachten von Bildern und 47,3 % deren Aufbereitung oder Vermessung. Bei GPT-6 Astra (max) und GPT-6.1 Sol (max) entfallen 5 bis 6 % der Aufrufe auf Bildvermessung, bei Claude Opus 5.5 (max) und Claude Sonnet 5.5 (max) 25 bis 27 %. Mehr Aufrufe helfen nicht zuverlässig. Im durchgerechneten Gel-Beispiel brauchte Grok 4.7 (xhigh) 27 Runden und 20 Bildansichten und antwortete dennoch mit 50-70 kDa, während die Referenz bei 40-50 kDa liegt. Der Artikel vermutet, dass sich das Modell bei der Angabe des Bereichs am aufgedruckten Label und der Leader-Linie orientiert hat statt am schwachen Spot. Claude Sonnet 5.5 verortete das Label per Interpolation bei etwa 53 kDa und den Spot bei etwa 48,7 kDa, was zum Referenzbereich passt.
Auch die Kosten gehen weit auseinander. Pro Aufgabe reichen sie von 0,02 $ für GPT-6 Luna (max) bis 1,77 $ für Grok 4.7 (xhigh), ein Unterschied um den Faktor 99. Laut Artikel kostet Sonnet pro Aufgabe etwa 18-mal so viel wie GPT-6.1 Sol (max), bei ähnlichem Ergebnis. Als Grund nennt der Artikel die Output-Tokens: Sonnet verbraucht 63,5k pro Aufgabe, davon 54,6k Reasoning-Tokens, rund 25-mal so viel Output wie Sol für ein ähnliches Resultat. Reasoning macht bei jedem Modell den Großteil des Outputs aus. Artificial Analysis führt Gemini 4 Carbon (high), GPT-6 Luna (max), GPT-6.1 Sol (max), GPT-6.1 Terra (max) und GPT-6 Astra (max) als Pareto-Front von Ergebnis und Kosten unter den getesteten Modellen.
Nach Fachgebieten führt Gemini 4 Carbon (high) in drei von acht Domänengruppen allein oder gemeinsam: Plasmidkarten, Phylogenetik und Durchflusszytometrie. Die Spitze in der Durchflusszytometrie teilt es sich mit Gemini 4 Argon (high). Claude Opus 5.5 (max) liegt beim Blotting vorn, Claude Sonnet 5.5 (max) beim Zellzählen und GPT-6.1 Terra (max) bei Proteinstruktur und Bindung. Der Launch-Artikel testete außerdem GLM-5.3 (max), ein Modell ohne native Bildverarbeitung, indem er ihm Codeausführung auf denselben Bilddateien gab. Das Modell lud Bilder in Arrays, ließ OCR über per Schwellenwert binarisierte Bereiche laufen und gab Pixelkoordinaten aus. Die Frage zu Spot 22 beantwortete es nach 54 Runden und 57 Code-Aufrufen ohne eine einzige Bildansicht falsch. GLM-5.3-Flash (max) kombinierte Code mit zehn Bildansichten und lag nach 30 Runden richtig. Der Artikel merkt zudem an, dass manche Code-Aufrufe gar nichts analysieren: Ein Kommentar- oder No-op-Aufruf gibt lediglich Text aus, der in der nächsten Anfrage an das Modell zurückgeht.
Warum es wichtig ist
Ein Ergebnis aus einem einzigen Durchlauf kann bei bildbasierter wissenschaftlicher Arbeit große Unterschiede in Zuverlässigkeit und Kosten verdecken. Dort kann ein Ergebnis, das sich zwischen Läufen ändert, Teams zu falschen Schlüssen führen.
Was Sie tun können
Fordern Sie Ergebnisse aus wiederholten Durchläufen und die Kosten pro Aufgabe an, nicht bloß Einzeldurchlauf-Werte, bevor Sie ein Modell für die Analyse wissenschaftlicher Bilder auswählen.
Originalquelle
Wo wir es gesehen haben
Artificial Analysis
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es