OpenAIs Benchmark LifeVal prüft Assistenten an persönlichen Aufgaben aus echten Chats
OpenAI stellt LifeVal vor: 169 Agenten-Aufgaben auf Basis von 148 Alltagsaufgaben, die 3.837 US-Konsumenten in eine Rangfolge gebracht haben. Der häufigste Fehler ist eine falsche Antwort oder Empfehlung.
OpenAI hat LifeVal veröffentlicht, einen Benchmark mit 169 Agenten-Aufgaben, der misst, wie gut KI-Assistenten persönliche Alltagsorganisation bewältigen. Bei jedem getesteten Modell ist der häufigste Fehler eine falsche Antwort oder Empfehlung. Oft übersah das Modell dabei eine Information aus früheren Chats des Nutzers.
Grundlage des Benchmarks ist eine Umfrage unter 3.837 US-Konsumenten. Sie brachten 148 Kategorien von Konsumentenaufgaben, etwa Finanzen verwalten, umziehen, einen Job suchen oder Kinderbetreuung finden, danach in eine Rangfolge, wie viel sie einem Assistenten dafür bezahlen würden. Laut dem Paper, das am 4. November 2026 erstmals auf arXiv erschien, stehen diese Kategorien zusammen für eine jährliche Zahlungsbereitschaft von über 1,7 Billionen US-Dollar. Die Autoren glichen die Umfrage mit dem American Time Use Survey und der Multinational Time Use Study ab.
Wer Aufgaben erstellte, musste Mindestanforderungen an die eigene Expertise erfüllen. Dazu gehörte, die Aufgabe mehrmals selbst erledigt und die Ergebnisse über mehr als ein Jahr im eigenen Leben verfolgt zu haben. Jede dieser Personen schrieb dann eine personalisierte Aufgabe und nutzte dafür echte ChatGPT-Unterhaltungen und -Erinnerungen, Referenzdateien und persönlichen Kontext. Dazu kam eine Bewertungsrubrik, die das bestmögliche Ergebnis beschreibt. Jede Aufgabe durchlief mindestens drei Runden menschlicher Qualitätskontrolle. Laut der Zusammenfassung des Papers durch die DAIR.AI Academy gehören zu jeder Aufgabe außerdem ein Ausgangszustand, eine Reinforcement-Learning-Umgebung und ein Offline-Web. In einer zweiten Schleife versucht sich ein Modell an einer Aufgabe, während ein anderes die Fehler als Rubrik-, Prompt-, Umgebungs- oder Modellproblem einordnet.
Ergebnisse wurden für GPT-5.2, 5.4, 5.5, 5.6 und GPT-6 Astra berichtet, wobei die Belohnungswerte (Rewards) von Version zu Version stiegen. Bei Rubrikkriterien, die an eine einzige Quelle gebunden sind, nennt das Paper Gewinnraten von 33,3 % für frühere Unterhaltungen, 47,8 % für gespeicherte Erinnerungen und 55,8 % für den Aufgabenkontext. Frühere Unterhaltungen sind damit die schwächste der drei Quellen. Die 33 % aus der Ankündigung sind der gerundete Wert dieser Zahl.
Warum es wichtig ist
Persönliche Assistenten sind darauf angewiesen, sich an frühere Unterhaltungen zu erinnern, und genau dort liegt die berichtete Gewinnrate niedriger als bei gespeicherten Erinnerungen. Das beeinflusst Entscheidungen über die Einführung von Produkten mit Gedächtnisfunktion.
Was Sie tun können
Testen Sie, wie gut sich ein Assistent an frühere Unterhaltungen erinnert, und zwar getrennt von den gespeicherten Erinnerungen, bevor Sie einen persönlichen Assistenten einführen.
Originalquelle
Wo wir es gesehen haben
DAIR.AI (Elvis Saravia)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es