AI News
Alle Meldungen
Offiziell

Artificial Analysis startet Decision Index v2 mit kalibrierungsgewichteter Bewertung

Artificial Analysis hat Version 2 seines Decision Index veröffentlicht: 45 % der Bewertung beruhen nun auf privaten Datensätzen, und die zentrale Kennzahl belohnt gut kalibrierte Konfidenz.

Forschung · · 4 Min. Lesezeit

Private Datensätze machen nun 45 % des Index aus, nach 25 % in Version 1. Laut Artificial Analysis soll der Index damit den praktischen Nutzen besser abbilden und vor Benchmark-Manipulation schützen.

Die neue zentrale Kennzahl, der Decision Score, beruht auf einer einfachen Überlegung. Auf die Antwort eines Entscheidungsmodells wird in der Regel nur reagiert, wenn seine Konfidenz einen bestimmten Schwellenwert überschreitet. Andernfalls geht die Frage an einen Menschen oder an ein leistungsfähigeres Modell. Laut Artificial Analysis misst der Score den durchschnittlichen Ertrag über alle solchen Schwellenwerte hinweg und hängt damit nicht von einem einzelnen Grenzwert ab. Pro Frage beträgt der Score 50 × (1 + c − (p − c)²), wobei p die Wahrscheinlichkeit ist, die das Modell seiner gewählten Antwort zuweist, und c den Wert 1 hat, wenn diese Antwort richtig ist, und 0, wenn nicht. Eine richtige Antwort erzielt zwischen 50 und 100 Punkten, wobei hohe Konfidenz den Wert erhöht. Eine falsche Antwort erzielt zwischen 0 und 50 Punkten, wobei hohe Konfidenz den Wert senkt. Über eine gesamte Evaluierung ergibt das 50 × (1 + Accuracy − Brier Score). Die Kennzahl ist also im Kern die Genauigkeit abzüglich einer Kalibrierungsstrafe.

Der Kalibrierungsterm verändert die Rangliste. Bei AA-Paperclip besteht Clef nach reiner Genauigkeit 36 % der Dokumente, Celeris-1.1 Decision 24 %. Dennoch liegt Celeris-1.1 Decision beim Decision Score gleichauf mit Clef, weil sein Brier Score bei 0,15 liegt, jener von Clef bei 0,27. Über den gesamten Index führt GLiDE v1.2 bei den Genauigkeitswerten mit 60 zu 58 vor Drex Max v1.1, während Drex Max v1.1 im Decision Index knapp vorne liegt.

Die größte neue Komponente ist AA-Paperclip mit einer Gewichtung von 30 %. Es handelt sich um einen privaten Satz von 1.500 Dokumenten, darunter Lebensläufe, Belege, Rechnungen sowie Forschungsarbeiten zu KI und Machine Learning. Zu jedem Dokument gibt es fünf Entscheidungen und zehn zu extrahierende Fakten. Das gesamte Dokument zählt als eine Entscheidung und gilt nur dann als richtig, wenn alle 15 Antworten stimmen. Diese Regel erklärt, warum die Gesamtgenauigkeit und die Bestehensquote bei Dokumenten auseinanderklaffen. Drex Max v1.1 beantwortet 97 % der einzelnen Fragen richtig und liegt damit nahe an Claude Haiku 5.5 (Max) mit 99 %. Drex Max v1.1 besteht aber nur 63 % der Dokumente, Haiku dagegen 92 %. Laut Artificial Analysis scheitern Entscheidungsmodelle bei den meisten Dokumenten an den Entscheidungen und nicht an der Extraktion. Drex Max v1.1 trifft bei 71 % der Dokumente alle fünf Entscheidungen richtig und bei 88 % alle zehn Extraktionen.

AA-Symmetry, gewichtet mit 15 %, prüft, ob die Antwort eines Modells einer Umformulierung standhält. Artificial Analysis erzeugt aus 120 Grundfragen 440 Varianten, indem es Antwortoptionen umordnet, Bezeichnungen vertauscht und Ja/Nein-Fragen verneint. Der Symmetry Score beträgt 0, wenn sich die wahrscheinlichste Option zwischen den Varianten ändert. Andernfalls wird er um das Maß verringert, in dem sich die Wahrscheinlichkeit dieser Option über die Varianten hinweg verschiebt. An der Spitze dieses Tests liegen Modelle von Baseten, was das Unternehmen auf eine hohe Enthaltungsquote zurückführt. Mammoth 27B erreicht 96 Punkte, Elephant 9B 93. Mammoth 27B wählt bei 99 % der Fragen über alle Varianten hinweg dieselbe Antwort, Drex Max v1.1 bei 91 %, GLiDE v1.2 bei 88 % und Clef bei 67 %.

Die älteren Benchmarks verlieren an Gewicht. AA-Omniscience-Decision v1.1 und HLE-MultiChoice v1.1 sinken jeweils von 25 % auf 15 %. AA-Omniscience-Decision variiert die Formulierung seiner Option „Ich weiß es nicht“ nun über zehn Alternativen. HLE-MultiChoice ergänzt eine Option zum Ablehnen mit denselben zehn Formulierungen. When2Call von NVIDIA fällt von 25 % auf 10 %. WildGuardTest wird entfernt, weil er stark gesättigt ist. Neu hinzu kommt EvalSafe-O*NET-AA mit 15 %, beschrieben als die Umsetzung des O*NET-Benchmarks von TypeSafe AI durch Artificial Analysis.

An der Spitze des Index erreichen Drex Max v1.1 von Nace AI und GLiDE v1.2 von Fastino Labs jeweils 73 Punkte. Mammoth 27B von Baseten kommt auf 72. Claude Haiku 5.5 (Max) erzielt 77 und GPT-6 Luna (Max) 76 Punkte. Beide liegen also rund drei Punkte vorn, sind im Betrieb aber deutlich teurer. GPT-6 Luna (Max) kostet 1.530 Dollar pro 1M Tasks, Drex Max v1.1 dagegen 102 Dollar. GPT-6 Luna (Max) benötigt 11,34 Sekunden pro Task, Drex Max v1.1 275 Millisekunden. Die Kosten pro 1M Tasks reichen von 14 Dollar für Celeris-1.1 Decision bis 859 Dollar für Clef. Laut Artificial Analysis liegen Celeris-1.1 Decision, Decider v1.2 und Drex Max v1.1 auf der Pareto-Grenze von Kosten und Index-Wert.

Die Kosten hängen nicht nur vom Token-Preis ab. Laut Artificial Analysis verrechnen die meisten Entscheidungsmodelle den Input eines Dokuments einmal für alle zugehörigen Fragen. GLiDE v1.2 und Decider Flash v1.2 bewerten dagegen jede Frage in einem eigenen Durchlauf und verrechnen den Input jedes Mal. Ein AA-Paperclip-Task verbraucht bei diesen Modellen rund 63k Input-Token, bei Drex Max v1.1 rund 9k. Deshalb kostet GLiDE v1.2 trotz nur 33 % höherer Listenpreise 780 Dollar pro 1M Tasks, fast das 8-Fache von Drex Max v1.1. Derselbe Mechanismus führt dazu, dass Decider Flash v1.2 196 Dollar kostet, fast das 3-Fache von Decider v1.2, obwohl sein Token-Preis nur halb so hoch ist wie jener von Decider v1.2.

Was sich ändert

Art: Forschung · Betrifft: Decision Index v2, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1, When2Call, WildGuardTest, EvalSafe-O*NET-AA

Warum es wichtig ist

Teams, die Entscheidungsmodelle auswählen, sehen hier, dass Kosten pro Task und Kalibrierung die Rangliste verändern können und dass eine Abrechnung pro Frage ein Modell um ein Vielfaches teurer machen kann als ein anderes mit ähnlichen Listenpreisen.

Was Sie tun können

Vergleichen Sie vor der Wahl eines Entscheidungsmodells dessen Decision Score, die Kosten pro 1M Tasks und die Zeit pro Task im neuen Leaderboard, statt sich allein auf die Genauigkeit zu verlassen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Artificial Analysis

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es