AI News
Alle Meldungen
Berichtet

Studie vergleicht Entscheidungsmodelle mit LLMs und stellt das Open-Weight-Modell SII-Decision vor

Forschende, darunter Zhongyu Wei von der Fudan University, testen Entscheidungsmodelle und stellen fest: In Medizin, Finanzen und Recht liegen sie hinter LLMs.

Forschung · · 3 Min. Lesezeit

Eine Studie, an der Zhongyu Wei, Professor an der Fudan University, mitgearbeitet hat, misst Entscheidungsmodelle an generativen LLMs. Das Ergebnis: Die schnellen Modelle, die mit einem einzigen Durchlauf auskommen, liegen bei Fragen, die Fachwissen verlangen, hinter den LLMs zurück, etwa in Medizin, Finanzen und Recht. Der Preprint, Anfang Oktober 2026 auf arXiv veröffentlicht, stellt zudem SII-Decision vor, eine Familie von Open-Weight-Entscheidungsmodellen in den Größen 4B und 27B. Die Arbeit untersucht die Welle von Entscheidungsmodellen, die auf Jev von TypeSafe AI folgte, und ihre Ergebnisse zeigen, wo diese Kategorie stark ist und wo sie noch Schwächen hat.

Ein Entscheidungsmodell ist ein LLM, dessen Ausgabe so eingeschränkt ist, dass es aus einer vorgegebenen Menge von Antworten wählen muss. Wei beschreibt den Aufbau so: Das Modell erhält eine Frage und Optionen wie A, B und C. Es wählt eine davon und liefert zusätzlich Wahrscheinlichkeiten zu seiner Wahl. Laut Projektseite von SII-Decision beschränkt das sogenannte First-Token Decision Readout die Wahrscheinlichkeiten für das nächste Token eines Open-Weight-LLM auf gültige Optionsbezeichnungen. Eine strukturierte Entscheidung entsteht damit in einem einzigen Forward Pass statt über eine lange generierte Antwort. Deshalb sind die Modelle schnell, und deshalb können sie auch keinen freien Text erzeugen.

Um das zu prüfen, entwickelten die Autoren JEVal, einen zweisprachigen Benchmark mit 11.257 Instanzen aus 36 Datensätzen in 10 Anwendungsbereichen. Sie evaluierten 25 Modellkonfigurationen, darunter Entscheidungsmodelle und generative LLMs. Die Gesamtzahlen sprechen nicht für die Entscheidungsmodelle. SII-Decision-27B erreicht eine Genauigkeit von 79,24 % und liegt damit nahe an Jev mit 78,38 %. GPT-6-Luna kommt ohne Thinking-Modus auf 80,93 %, GLM-5.3-Flash im Thinking-Modus auf 80,37 %. Allerdings weist SII-Decision-27B mit 0,0149 den niedrigsten erwarteten Kalibrierungsfehler aller 25 Konfigurationen auf. Das Fazit der Autoren: Entscheidungsmodelle sind am stärksten, wenn die nötigen Belege im Input stehen, während die besten generativen LLMs in Medizin, Finanzen und Recht im Vorteil bleiben.

Die Kalibrierung ist eine der Schwächen, auf die die Autoren hinweisen. Laut Abstract des Papers können diese Modelle zwar oft das wahrscheinlichste Ergebnis erkennen, überschätzen dessen Wahrscheinlichkeit aber deutlich. Die Projektseite nennt ein konkretes Beispiel: Bei Prior-Items weist Jev dem tatsächlichen Modus im Schnitt eine Wahrscheinlichkeit von 89,35 % zu, in der bekannten Verteilung sind es 35,60 %. Die Projektseite schließt daraus selbst, dass eine korrekte Rangfolge der Optionen noch keine zutreffenden Wahrscheinlichkeiten garantiert.

Bei mehrstufigen Aufgaben zeigen sich andere Kosten. In tau-bench wählt Jev die nächste Tool- oder Antwortaktion, während dasselbe Basis-LLM die Argumente und die Antworten an die Nutzer schreibt. Laut Projektseite erreichte das Basis-LLM 77,6 % Aufgabenerfolg bei einer medianen Episodendauer von 267,1 Sekunden. Jev plus LLM kam auf 66,1 % bei einem Median von 160,6 Sekunden. Die P95-Zeit stieg von 695,5 auf 816,0 Sekunden. Schnellere lokale Entscheidungen verkürzen die Episoden, doch wie es im Abstract heißt, summieren sich Entscheidungsfehler über lange Abläufe. Ein separater Preprint, an dem Ramayya Krishnan von Carnegie Mellon mitgearbeitet hat, berichtete von einem ähnlichen Muster: Jev schnitt gut ab, wenn sich die Antwort aus dem Prompt ablesen ließ, bei Mathematik- und Logikrätseln sank die Leistung jedoch. Krishnan warnt, dass das Ausschalten von Halluzinationen in der Ausgabe noch keine Fehler in der Entscheidungsfindung beseitigt.

Die Ergebnisse zur sozialen Simulation zeigen Stärken und Kosten. Bei 277.500 Befragten-Frage-Paaren aus SocioBench erreichte SII-Decision-27B eine Genauigkeit von 39,87 % bei 8,36 Sekunden pro Item. Damit kommt es nahe an DeepSeek-V4-Flash-0731 im Thinking-Modus heran, das 40,41 % bei 211,65 Sekunden erzielte. In ElectionSim lieferten rund 330.000 simulierte Wähler korrekte Prognosen für 47 von 51 Bundesstaaten und 12 von 15 Swing States. Laut Projektseite waren die Fehler bei den Stimmanteilen etwa doppelt so hoch wie bei der ursprünglichen generativen Pipeline, zudem überschätzt die Simulation den Anteil der Demokraten. Die Geschwindigkeit ist hier klar ein Vorteil, Genauigkeit und aggregierte Fehler fallen aber weiterhin ins Gewicht.

Wei sieht im Reasoning einen wichtigen, aber nicht den einzigen Faktor für die Unterschiede zwischen den Fachbereichen. Durch Reasoning kann ein LLM seine Antwort schrittweise erarbeiten, bevor es sich endgültig festlegt, und die SII-Decision-Methode des Papers versucht, diesen Vorteil in einen einzigen Durchlauf zu übertragen. Ihre Reasoning-to-Readout Self-Distillation trainiert das Readout darauf, jene Verteilung abzubilden, die dasselbe Modell nach dem Reasoning erreicht, ohne Gold-Labels und ohne stärkeres Lehrermodell. Wei merkt zudem an, dass einige LLMs auch ohne Reasoning gut abschnitten, Reasoning allein also nicht jeden Unterschied zwischen den Fachbereichen erklärt. Auch die Trainingsmethode der Entscheidungsmodelle spiele eine Rolle, sagt er.

Krishnan und sein Team testeten außerdem, Antworten von Jev mit geringer Konfidenz zur weiteren Prüfung an GPT-6 weiterzureichen, wie IEEE Spectrum berichtet. Diese Kombination übertraf GPT-6 allein knapp bei der Genauigkeit, und das zu 41 Prozent der Kosten.

Was sich ändert

Art: Forschung · Betrifft: SII-Decision

Warum es wichtig ist

Entscheidungsmodelle scheinen sich vor allem für Dokumentaufgaben und das Routing von Tools zu eignen, weniger für Expertenarbeit in regulierten Bereichen. Wer solche Modelle einkauft, sollte sie gezielt nach Aufgabentyp auswählen.

Was Sie tun können

Setzen Sie Entscheidungsmodelle in Workflows mit Expertenwissen wie Medizin, Finanzen oder Recht erst ein, wenn Sie sie mit Ihren eigenen Daten getestet haben.

Originalquelle

Wo wir es gesehen haben

1 Quelle

IEEE Spectrum

Fudan UniversitySII

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es