TypeSafe AI bringt Jev, ein „System One“-Entscheidungsmodell, das nie halluzinieren soll
TypeSafe AI zufolge ist sein Entscheidungsmodell Jev schneller und günstiger als LLMs und kann nicht halluzinieren. Unabhängige Tests stützen diese Aussagen nur teilweise.
TypeSafe AI hat Jev am 15. September veröffentlicht und bezeichnet es als „System One“-Modell, das günstiger und schneller sei als große Sprachmodelle und nicht halluzinieren könne. Das Unternehmen gibt eine End-to-End-Antwortlatenz von 70 bis 500 Millisekunden an, während typische LLMs mehrere Sekunden oder länger brauchen. Ein unabhängiger Pre-Print bestätigt den Geschwindigkeitsvorsprung, die Aussage zur Halluzinationsfreiheit gilt jedoch nur in einem engen Sinn. Das Startup hat kürzlich 870 Millionen Dollar bei einer Bewertung von 7,5 Milliarden Dollar eingesammelt. Konkurrenten wie Cloudflare, Amazon, OpenAI und Microsoft haben inzwischen eigene „Entscheidungsmodelle“ vorgestellt.
Mitverfasser des Pre-Prints ist Ramayya Krishnan, Professor für Informationssysteme an der Carnegie Mellon University. Die Studie ermittelte für Jev eine mediane Latenz von 150 Millisekunden über Benchmarks hinweg, die die Entscheidungsgenauigkeit messen, darunter RewardBench und JudgeBench. OpenAIs GPT-6 Astra, damals das leistungsfähigste Modell des Unternehmens, kam auf eine mediane Latenz von 1,89 Sekunden. Laut seinem Blog führt das Unternehmen seine eigenen veröffentlichten Evaluierungen in der Regel von seinen Laptops an der Westküste aus durch.
Eine schnellere Antwort ist oft auch eine günstigere, weil sie weniger Rechenzeit benötigt. Wie IEEE Spectrum anmerkt, spiegelt sich das in der Preisgestaltung von TypeSafe AI wider. Das Unternehmen verlangt 0,042 US-Dollar pro Million Input-Token und nichts für Output-Token. IEEE Spectrum nennt für GPT-6 Astra 10 Dollar pro Million Input-Token und 50 Dollar pro Million Output-Token, für GPT-6 Luna, eine auf schnelle und günstige Inferenz ausgelegte Variante, 0,10 bzw. 0,50 Dollar. In seinem Blog schreibt TypeSafe, man erwarte sinkende Preise, und räumt ein, nicht belegen zu können, dass diese nicht subventioniert sind. Die zentrale Werbeaussage, 193,6-mal schneller und 444,6-mal günstiger zu sein, beruht auf Workflows, die das hauseigene Capabilities-Team gebaut hat, gemessen am Durchschnitt aus GPT-6 Astra und Fable 5.1. Der Blog räumt ein, dass diese Referenz Modelle von OpenAI und Anthropic begünstigt.
Chen führt die Geschwindigkeit darauf zurück, wie das Modell seine Ausgabe erzeugt. Ein LLM generiert Text Token für Token, wobei jedes Token von allen vorherigen abhängt, bis ein End-Token erreicht ist. Michelle Chen, Group Product Manager bei Cloudflare, beschrieb den alternativen Ansatz, den Cloudflares Open-Weights-Modell Clef verfolgt: Das Modell durchläuft die Eingaben in einem einzigen Forward Pass und erzeugt dann eine einzige Ausgabe. TypeSafe AI hat nur wenige Details zum Innenleben von Jev preisgegeben, doch Clef, das auf Alibabas LLM Qwen basiert, veranschaulicht den Ansatz. Entscheidungsmodelle wie Clef behalten die Neuronen und die Transformer-Architektur eines LLM bei und nehmen weiterhin Token entgegen und geben Token aus. Anders ist die Ausgabestufe, die auf eine vordefinierte Menge an Optionen beschränkt ist. Zhongyu Wei von der Fudan University, Mitverfasser einer Studie, die Entscheidungsmodelle per Benchmark vergleicht, erklärte, Jev wähle aus Optionen wie A, B und C und liefere zu seiner Wahl Wahrscheinlichkeiten mit.
Chen bezeichnete Entscheidungsmodelle als beinahe ein Rebranding von Klassifikatoren, jener älteren Modellklasse, die Daten in Kategorien einordnet und etwa in Spamfiltern und bei der Gesichtserkennung zum Einsatz kommt. Der Unterschied liegt laut dem unabhängigen Entwickler Matt Mastracci in der Generalisierung. Klassifikatoren wurden traditionell für eine einzige Domäne trainiert, Entscheidungsmodelle behalten dagegen das Allgemeinwissen eines LLM, sodass sich ein einzelnes Modell auf viele Probleme ansetzen lässt. Teams, die früher Daten sammeln, ein Machine-Learning-Team aufbauen und einen Klassifikator feinabstimmen mussten, können laut Chen heute ein einziges Entscheidungsmodell für die verschiedenen Einsatzzwecke bei Cloudflare nutzen, darunter Spam-Pull-Requests, Phishing-Mails und die Erkennung von Prompt Injection.
Die Aussage zur Halluzinationsfreiheit gilt nur in einem engen Sinn. LLMs können halluzinieren, weil sie aus einem riesigen Vokabular samplen, sodass ein Token mit geringer Wahrscheinlichkeit eine Antwort vom Kurs abbringen kann. Ein Entscheidungsmodell berechnet Wahrscheinlichkeiten nur für vordefinierte Antworten und wählt die wahrscheinlichste aus, kann also keine erfundene Antwort liefern. Krishnan warnte: „Halluzinationen in der Ausgabe zu beseitigen, beseitigt keine Fehler bei der Entscheidungsfindung.“ In den Tests seines Teams schnitt Jev gut ab, wenn sich die Antwort leicht aus dem Prompt ableiten ließ, die Leistung brach jedoch ein, sobald das Urteil Mathematik oder ein Logikrätsel erforderte. Weis Gruppe stellte fest, dass die besten Entscheidungsmodelle LLMs beim Dokumentverständnis knapp übertrafen und bei der Tool-Nutzung nahe an sie herankamen. In Bereichen, die Fachwissen in Medizin, Finanzen und Recht verlangen, fielen sie zurück. Laut Wei ist Reasoning ein entscheidender Faktor, wobei manche LLMs auch ohne Reasoning gut abschnitten; auch die Trainingsmethoden spielten eine Rolle.
Krishnans Team testete zudem ein hybrides Design, bei dem Antworten von Jev mit geringer Konfidenz zur weiteren Prüfung an GPT-6 gingen. Das kombinierte System war etwas genauer als GPT-6 allein und verursachte 41 Prozent von dessen Kosten. Wei erwartet, dass sich dieses Muster verbreitet: Ein Entscheidungsmodell kann ein LLM für eine ausführliche Erklärung aufrufen, und ein LLM kann ein Entscheidungsmodell für eine schnelle Einschätzung heranziehen.
Was sich ändert
Art: Neue Funktion · Betrifft: Jev
Warum es wichtig ist
Teams mit großvolumigen Klassifizierungs- oder Prüfaufgaben könnten einen Teil ihrer LLM-Aufrufe durch deutlich günstigere und schnellere Entscheidungsmodelle ersetzen. Die Aussage zur Halluzinationsfreiheit betrifft nur das Ausgabeformat, nicht die Frage, ob das Urteil richtig ist.
Was Sie tun können
Vergleichen Sie ein Entscheidungsmodell per Benchmark mit Ihrem aktuellen LLM anhand Ihrer eigenen Klassifizierungsaufgaben und messen Sie dabei neben Latenz und Kosten auch die Genauigkeit.
Originalquelle
Weitere Berichte
Wo wir es gesehen haben
IEEE Spectrum
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es