Artificial Analysis Endpoint Accuracy Index v1.1: 24 von 103 Endpoints hinter der Referenz
Laut Artificial Analysis schneiden im aktualisierten Endpoint Accuracy Index v1.1 24 von 103 Serverless-Endpoints statistisch schlechter ab als die selbst gehostete Referenz.
Artificial Analysis hat am 9. November 2026 berichtet, dass 24 der 103 getesteten Serverless-Endpoints in Version 1.1 des Endpoint Accuracy Index statistisch unter der selbst gehosteten Referenz liegen. Die übrigen 79 bewegen sich auf Referenzniveau. Der Index ist relativ angelegt: Jeder Endpoint durchläuft drei Evaluierungen, und jedes Ergebnis wird als Prozentsatz des Werts angegeben, den das Referenz-Deployment erzielt. Die drei Werte fließen gleich gewichtet in einen Mittelwert ein. Als unter der Referenz gilt ein Endpoint nur dann, wenn sein gesamtes 95-%-Konfidenzintervall unter 100 liegt. Die Zahl 24 umfasst also jene Abweichungen, die das Unternehmen für vom Rauschen unterscheidbar hält, nicht jeden Endpoint, der niedriger abgeschnitten hat.
Die drei Evaluierungen sind BFCL-500 für Tool Calling (500 Aufgaben), HLE-250 für wissenschaftliches Schlussfolgern (250 Aufgaben) und AA-LCR-25 für Long Context Recall mit rund 100k Input-Token pro Frage. Jede Referenz betreibt das Unternehmen mit den offiziellen Gewichten des jeweiligen Labors in der empfohlenen Präzision, über vLLM oder SGLang auf Systemen mit NVIDIA B200, B300 oder GB200. Verwendet werden jeweils der höchste unterstützte Reasoning-Modus des Modells sowie die größte unterstützte Ausgabelänge und das größte Kontextfenster des Endpoints. Die Ergebnisse für v1.1 wurden zwischen dem 8. Oktober und dem 4. November 2026 gemessen.
Die wichtigste Änderung in v1.1 betrifft AA-LCR-25. Diese Evaluierung wechselt auf Datensatzversion 1.1, die die Lösungsschlüssel für zwei Fragen korrigiert und ein aktualisiertes LLM zur Gleichheitsprüfung einsetzt. Rohwerte für AA-LCR-25 lassen sich daher nicht direkt mit v1.0 vergleichen. Zudem steigt die Zahl der Wiederholungen pro Frage von 10 auf 25. Laut Artificial Analysis ist das wichtig, weil AA-LCR-25 in v1.0 die breitesten Intervalle aufwies, im Schnitt ±4,6 Punkte, gegenüber ±2,9 bei BFCL-500 und ±1,6 bei HLE-250. Rauschen beim Long Context Recall konnte so echte Unterschiede in den beiden anderen Tests überdecken. Über 48 Endpoints und Referenzen, die unter beiden Versionen bewertet wurden, verengt sich das durchschnittliche AA-LCR-25-Intervall von ±4,7 auf ±2,6 Punkte. Beim Gesamtindex schrumpft das Intervall über 45 Endpoints von ±5,5 auf ±4,3 Punkte, und der Gesamtwert verschiebt sich im Schnitt um 1,6 Punkte.
Abgedeckt sind nun sechs Open-Weights-Modelle. Neu hinzu kommen GLM-5.3 Flash und Muse Spark Open, DeepSeek V4.1 Flash 1017 ersetzt DeepSeek V4 Pro, und GLM-5.2 fällt weg. GLM-5.3, Kimi K3 und gpt-oss-120b bleiben dabei. Laut Ergebnistabelle liegen 22 von 22 Endpoints für DeepSeek V4.1 Flash 1017 auf Referenzniveau. Bei GLM-5.3 sind es 16 von 26, 10 liegen darunter. Bei GLM-5.3 Flash liegen 17 von 22 Endpoints auf Referenzniveau und 5 darunter, bei gpt-oss-120b 11 von 16 bzw. 5 darunter. Bei Kimi K3 sind es 10 von 12 und 2 darunter, bei Muse Spark Open 3 von 5 und 2 darunter.
Das Unternehmen teilt die Ursachen für Ergebnisse unter der Referenz in vier Gruppen ein. Endpoints, die die Ausgabe auf 16K bis 32K Token begrenzen, schneiden lange HLE-250-Gedankengänge ab, bevor eine Antwort erscheint. Manche Endpoints erzeugen bei gleichen Einstellungen deutlich weniger Reasoning-Token als die Referenz, ohne dass etwas abgeschnitten wird. Endpoints, die Tool Calls anders parsen oder formatieren, scheitern an BFCL-500-Aufgaben, die die Referenz besteht. Feste Request-Timeouts und vorzeitig endende Streams kappen die längsten Reasoning-Antworten. Ein Endpoint liegt bei HLE-250 und AA-LCR-25 unter der Referenz, ohne dass das Unternehmen Abschneiden oder reduziertes Reasoning beobachten konnte. Endpoints mit bekannter Ursache erhalten auf ihrer Anbieterseite einen Hinweis, der das Beobachtete beschreibt.
Die Ergebnisse für GLM-5.3 Flash zeigen, wie sich diese Ursachen auswirken. Zwei Endpoints begrenzen die Ausgabe auf rund 32K Token, und etwa die Hälfte ihrer HLE-250-Antworten erreicht das Limit, bevor eine Antwort ausgegeben wird. Sie kommen bei HLE-250 auf 22,3 % und 28,5 %, die Referenz auf 55,4 %. Zwei weitere Endpoints erzeugen pro Antwort rund 30 % weniger Reasoning-Token, ohne dass abgeschnitten wird, und erreichen 48,4 % bzw. 48,6 %. Zwei Endpoints geben objekttypisierte Tool-Argumente als JSON-kodierten Text zurück, wodurch diese Aufrufe fehlschlagen. Alle drei Endpoints mit FP4-Gewichten liegen mit Werten zwischen 97,2 und 104,2 auf dem Niveau der FP8-Referenz.
Muse Spark Open wird an einer BF16-Referenz gemessen. Drei Endpoints liegen mit 99,5 bis 99,9 auf Referenzniveau, darunter einer mit FP4-Gewichten. Die anderen beiden scheitern nur beim Tool Calling: Sie geben Argumente, die das Tool als Text definiert, etwa Buchungs-IDs, als Zahlen zurück. Bei BFCL-500 erreichen sie 49,9 % und 50,7 %, die Referenz 59,1 %. Ihre Werte bei HLE-250 und AA-LCR-25 liegen innerhalb von 2 Punkten der Referenz.
Bei GLM-5.3 gehen die drei Werte unter 80 auf Ausgabelimits und Reasoning-Schleifen zurück. Ein Limit von 16.384 Token drückt HLE-250 auf 7,6 %, eines von 32.000 Token auf 24,8 %, gegenüber 63,6 % bei der Referenz. Auf einem dritten Endpoint geraten die meisten HLE-250-Antworten in repetitives Reasoning und erreichen das Ausgabelimit, was 19,6 % ergibt. Drei weitere Endpoints kommen bei BFCL-500 auf 50,7 % bis 51,9 %, gegenüber 57,3 %. Ursache sind Unterschiede in der Reihenfolge der Argumente, beschädigte Parameternamen oder Objektargumente, die als Text zurückgegeben werden. Fünf der sechs Endpoints mit FP4-Gewichten liegen mit 97,7 bis 99,3 auf dem Niveau der FP8-Referenz. Der sechste ist jener mit den Reasoning-Schleifen.
Kimi K3 zeigt zwei weitere Fehlerbilder. Wo Requests nach rund 10 Minuten abgebrochen werden, enden etwa 9 % der HLE-250-Requests, bevor das Modell antwortet. Ein Kimi-K3-Endpoint fällt auf 65,3 % gegenüber 72,1 %. Ein anderer Kimi-K3-Endpoint verwendet Tool-Call-IDs über mehrere Gesprächsrunden hinweg wieder, was dem Tool-Calling-Format von OpenAI widerspricht, und erreicht bei BFCL-500 42,1 % gegenüber 55,2 %. Alle 22 Endpoints für DeepSeek V4.1 Flash 1017 liegen mit 97,5 bis 101,4 auf Referenzniveau.
Zu den Ergebnissen für gpt-oss-120b merkt das Unternehmen selbst eine Einschränkung an. Die Konfidenzintervalle liegen im Schnitt bei rund ±7,5 Punkten und sind damit breiter als bei den anderen Modellen. Der Index drückt jeden Wert relativ zur Referenz aus, und diese erreicht hier niedrigere Werte, nämlich 17,0 % bei HLE-250 und 37,1 % bei BFCL-500. Dieselbe Schwankung zwischen Durchläufen macht daher einen größeren Anteil jedes Werts aus. Zwei Endpoints kommen bei BFCL-500 auf 21,3 % und 22,3 %. Einer gibt Funktionsaufrufe als reinen Text zurück, der andere befüllt optionale Argumente mit Platzhalterwerten wie 0 oder -1. Mit einem Ausgabelimit von 16.384 Token sinkt HLE-250 auf 11,0 %, gegenüber 17,0 %.
Artificial Analysis hat außerdem v1.0 und v1.1 auf denselben Endpoints verglichen. Von den 45 Endpoints, die unter beiden Versionen bewertet wurden, änderten 10 ihre Einstufung: Sechs rutschten von Referenzniveau unter die Referenz, vier stiegen von unter der Referenz auf Referenzniveau. Laut Unternehmen sind Ergebnisse verschiedener Indexversionen nicht direkt vergleichbar. Eine neue Version soll es geben, sobald sich die Testsuite ändert.
Was sich ändert
Art: Forschung · Betrifft: Endpoint Accuracy Index v1.1, AA-LCR-25, BFCL-500, HLE-250
Warum es wichtig ist
Zwei Endpoints, die dasselbe Open-Weights-Modell bereitstellen, können sich in der Genauigkeit spürbar unterscheiden. Preis und Geschwindigkeit allein sind daher keine solide Grundlage für die Wahl eines Anbieters. Laut Unternehmen sind Einstellungen für Tool Calling und Ausgabelänge die häufigsten Ursachen für Verluste.
Was Sie tun können
Testen Sie die konkreten gehosteten Endpoints, auf die Sie bei Tool Calling und langen Ausgaben setzen, bevor Sie sich festlegen. Gehen Sie nicht davon aus, dass sie die Ergebnisse des Modellanbieters erreichen.
Originalquelle
Wo wir es gesehen haben
Artificial Analysis
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es