AI News
Alle Meldungen
Berichtet

Carnegie-Mellon-Preprint: Jev ist schnell, aber schwach bei Mathe- und Logikurteilen

Laut einem Preprint, an dem Ramayya Krishnan von der Carnegie Mellon University mitgewirkt hat, liegt die Median-Latenz von Jev bei 150 ms. Bei Urteilen zu Mathematik und Logik sinkt jedoch die Genauigkeit.

Forschung · · 4 Min. Lesezeit

Ein Preprint, an dem Ramayya Krishnan, Professor für Informationssysteme an der Carnegie Mellon University, mitgewirkt hat, kommt zu dem Ergebnis, dass Jev von TypeSafe AI in Benchmarks wie RewardBench und JudgeBench mit einer Median-Latenz von 150 Millisekunden antwortete. Das damals leistungsfähigste Modell von OpenAI, GPT-6 Astra, lag im Median bei 1,89 Sekunden. Dieselben Tests zeigten allerdings auch: Die Genauigkeit von Jev sinkt, sobald ein Urteil erarbeitet werden muss, statt sich direkt aus dem Prompt ablesen zu lassen. Diese Grenze verraten die Geschwindigkeitswerte allein nicht.

TypeSafe AI hat Jev am 15. September veröffentlicht und bezeichnet es als „System One model“. Der Begriff ist dem schnellen, intuitiven Denken entlehnt, das Daniel Kahneman in Thinking, Fast and Slow beschrieben hat. Das Unternehmen argumentiert, große Sprachmodelle könnten zwar langsames, bedachtes Denken liefern, seien für schnelle Entscheidungen aber zu träge. Jev antworte laut TypeSafe Ende-zu-Ende in 70 bis 500 Millisekunden. Die Preise ergeben sich aus dem nötigen Rechenaufwand: TypeSafe verlangt 0,042 US-Dollar pro Million Input-Token und nichts für den Output, während IEEE Spectrum GPT-6 Astra mit 10 Dollar pro Million Input-Token und 50 Dollar pro Million Output-Token angab.

Die Geschwindigkeit hängt mit der Art zusammen, wie das Modell seine Antwort erzeugt. Michelle Chen, Group Product Manager bei Cloudflare, das selbst Entscheidungsmodelle veröffentlicht hat, erklärte, dass ein LLM seine Ausgabe Token für Token erzeugt, wobei jedes Token von den vorherigen abhängt. Entscheidungsmodelle führen dagegen einen einzigen Forward Pass aus, der alle Eingaben liest und dann eine einzige Ausgabe liefert. Bei Jev ist die Ausgabe zusätzlich eingeschränkt. Zhongyu Wei, Professor an der Fudan University und Mitautor einer Benchmark-Studie sowie einer Open-Weight-Alternative namens SII-Decision, beschrieb das Format: Das Modell erhält eine Frage und Optionen wie A, B und C, muss sich für eine davon entscheiden und gibt zu seiner Wahl Wahrscheinlichkeiten zurück.

Ganz neu sind Entscheidungsmodelle nicht. Klassifikatoren, die Daten in Klassen einordnen und etwa hinter Spamfiltern stecken, seien „nicht neu“, sagte Chen, und nannte Entscheidungsmodelle „fast so etwas wie ein Rebranding“. IEEE Spectrum sieht den Unterschied in der Generalisierung. Klassifikatoren wurden traditionell durch domänenspezifisches Training gebaut, Entscheidungsmodelle behalten hingegen das Allgemeinwissen eines LLM, sodass sich ein einziges Modell auf viele Probleme ansetzen lässt. Früher, so Chen, habe ein Team für einen Klassifikator „eine Menge Daten“ gebraucht und „ein Machine-Learning-Team aufbauen und feintunen“ müssen. Cloudflare nutzt heute ein einziges Entscheidungsmodell für Aufgaben, die vom Markieren von Spam-Pull-Requests bis zur Einschätzung reichen, ob E-Mails über Ausfälle die eigenen Dienste betreffen.

Die auffälligste Behauptung von TypeSafe lautet, Jev könne nicht halluzinieren, und IEEE Spectrum kam zu dem Schluss, dass die eng gefasste Version dieser Aussage standhält. LLMs wählen Token für Token aus riesigen Vokabularen, daher können sie in falschen Text abdriften. Ein Entscheidungsmodell bringt lediglich die vorgegebenen Optionen in eine Rangfolge. Krishnan warnte jedoch: „Halluzinationen in der Ausgabe zu beseitigen, beseitigt keine Fehler bei der Entscheidungsfindung.“ Der Blog von TypeSafe argumentiert in eine ähnliche Richtung: Dank typsicherer Ausgaben mache das Modell „niemals Typfehler“, diese seien sogar mathematisch unmöglich. Dass keine fehlerhaft formatierte Ausgabe mehr entsteht, macht die gewählte Option aber noch nicht richtig, und der Blog räumt selbst ein, dass seine Zahlen zu Geschwindigkeit und Kosten kritisch hinterfragt werden können.

Die Arbeit aus Carnegie Mellon, die Yubo Li, Yidi Miao, Ramayya Krishnan und Rema Padman am 22. September unter dem Titel „JEV-as-a-Judge: Accept When Confident, Escalate When Unsure“ auf arXiv veröffentlicht haben, beziffert diese Lücke. Überall dort, wo sich ein Urteil aus dem Text ablesen lässt, kommt Jev bis auf drei Punkte an GPT-6 heran, und das zu 0,36 % der Gebühr von GPT-6 und mit einer Median-Latenz von 0,15 Sekunden. Zurück fällt es dort, wo das Urteil hergeleitet werden muss, etwa bei Mathematik, Code und Logik. Die zentrale Idee des Papers: Die Konfidenz von Jev dient als Router. Sichere Urteile werden übernommen, der Rest wird an einen Reasoning-Judge eskaliert.

In dieser Kaskade sieht das Paper den größten Nutzen von Jev. Mit einem vorab festgelegten Schwellenwert war das kombinierte System auf 1.610 zurückgehaltenen Paaren um 0,9 Punkte genauer als GPT-6 und kostete dabei 41 % der Gebühr von GPT-6. In einem Live-Test mit zwei neuen Workloads erreichte es exakt die Genauigkeit von GPT-6. Im Abstract heißt es außerdem, dass das Konfidenz-Routing bei stil-adversarialen Paaren und referenzfreien Fließtexten schwächer wird. Abschließend liefert es eine Anleitung, wie sich Schwellenwerte lokal validieren lassen. IEEE Spectrum beschrieb dasselbe Ergebnis so, dass die Kombination GPT-6 allein knapp übertrifft, und das zu 41 Prozent der Kosten.

Weis Studie zeichnet über verschiedene Domänen hinweg ein ähnliches Bild. Die besten Entscheidungsmodelle übertreffen LLMs beim Dokumentverständnis knapp und kommen bei der Tool-Nutzung nahe heran, etwa bei der Wahl des passenden Software-Tools für eine Aufgabe, sagte er. Zurück liegen sie in Fachgebieten, die Expertenwissen erfordern, darunter Medizin, Finanzen und Recht. Reasoning sei „ein entscheidender Faktor“, so Wei, aber nicht die ganze Erklärung, da einige LLMs auch ohne Reasoning gut abschnitten. Er verwies zudem auf Trainingsmethoden: SII-Decision sei entscheidungsspezifisch trainiert worden.

Die plakativen Multiplikatoren von TypeSafe stammen aus den eigenen Workflow-Evaluierungen des Unternehmens. Die Angaben auf der Homepage, 193,6-mal schneller und 444,6-mal günstiger, beruhen auf diesen Tests, die den Durchschnitt von GPT-6 Astra und Fable 5.1 als Referenzantwort verwenden. TypeSafe räumt ein, dass diese Wahl die Ergebnisse zugunsten der Modelle von OpenAI und Anthropic verzerrt. Zudem stammen die LLM-Werte laut dem Unternehmen von OpenRouter, wo komplexere Anfragen womöglich an stärkere Modelle weitergeleitet werden. Die veröffentlichten Evaluierungen liefen überwiegend auf Laptops an der US-Westküste.

Wei rechnet damit, dass beide Modellarten kombiniert werden. „Das Entscheidungsmodell kann ein LLM aufrufen, um eine ausführlichere Erklärung zu liefern. Und ein LLM kann ein Entscheidungsmodell für ein schnelles Urteil aufrufen.“ Er nennt diese Anordnung eine „hybride Architektur“ und geht davon aus, dass sie gängig werden wird.

Warum es wichtig ist

Die Ergebnisse deuten darauf hin, dass Entscheidungsmodelle Latenz und Kosten bei klar definierten Urteilen senken können. Bevor sie mathematik- oder logiklastige Entscheidungen übernehmen, braucht es jedoch Kontrollen. Ein hybrides Design, das unsichere Fälle an ein LLM eskaliert, ist eine getestete Option.

Was Sie tun können

Leiten Sie nur Fälle mit geringer Konfidenz oder hohem Reasoning-Bedarf an ein vollwertiges LLM weiter, und messen Sie die Fehlerquoten bei Mathematik- und Logikfällen, bevor Sie sich auf ein Entscheidungsmodell verlassen.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

1 Quelle

IEEE Spectrum

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es