AI News
Alle Meldungen
Offiziell

OpenAI stellt LifeVal vor, einen Benchmark für KI-Hilfe im Alltag

OpenAI hat LifeVal veröffentlicht, einen Benchmark, der misst, wie gut KI alltägliche Aufgaben bewältigt, etwa Kinderbetreuung, private Finanzen oder Behördenwege.

Forschung · · 2 Min. Lesezeit

OpenAI hat LifeVal veröffentlicht, einen Benchmark, der erfasst, wie gut KI-Modelle Menschen bei praktischen Alltagsaufgaben unterstützen. Beispiele sind die Suche nach Kinderbetreuung, das Erstellen eines Budgets oder der Umgang mit Behördenleistungen. Laut dem Unternehmen wurden die Aufgaben danach ausgewählt, wobei sich Menschen am meisten Hilfe wünschen. OpenAI hat den Benchmark im Laufe des vergangenen Jahres genutzt, um die Leistung seiner Modelle bei Alltagsaufgaben zu verfolgen.

Ausgangspunkt für die Aufgabenliste waren zwei bestehende Zeitverwendungsstudien: der American Time Use Survey und die Multinational Time Use Study. Diese Datensätze halten fest, was Menschen tun, aufgeschlüsselt nach demografischen Gruppen, Tageszeiten und Jahreszeiten. Anschließend führte OpenAI eine neue Umfrage unter 3.995 Teilnehmenden durch und fragte, wobei sich ganz normale Menschen am meisten Unterstützung durch einen persönlichen Assistenten wünschen. Die daraus entstandenen Aufgaben umfassen Pflege und Betreuung, Gesundheit, Bildung, Haushaltsverwaltung, private Finanzen, Einkaufen und den Zugang zu Behördenleistungen.

Die Seite zeigt Beispiele, jeweils mit einem Prozentwert. Eine Aufgabe, bei der Kindergärten in der Nähe eines neuen Wohnorts verglichen und die passendsten in eine engere Auswahl genommen werden sollten, erreichte 93,1 %. Die Suche nach einem Zuhause in Luzerne County, das ins Budget passt und einen kurzen Arbeitsweg ermöglicht, kam auf 100 %. Weitere Beispiele sind die Organisation von Freiwilligen für die Hochwasservorsorge (98,0 %), die Einrichtung einer Möglichkeit, ein Spiel gemeinsam mit einer Großmutter aus der Ferne anzuschauen (96,3 %), und ein Speiseplan für einen Elternteil mit frisch diagnostiziertem Diabetes (90,4 %). Wie diese Werte berechnet werden oder auf wie vielen Versuchen sie jeweils beruhen, geht aus der Seite nicht hervor. Die Zahlen sind daher eher als Auswahl von OpenAI selbst zu lesen, nicht als vollständige Ergebnistabelle.

Die Seite stellt die Aufgaben als Handlungen dar, nicht als Antworten. ChatGPT solle „Aktionen ausführen, die tatsächlich etwas erledigen“, heißt es dort. Die Beispielantworten zeigen, wie das Modell einen Plan vorschlägt, eine Urkunde zur Prüfung in einen Warenkorb legt oder den Nutzer um Bestätigung einer Auswahl bittet, bevor es weitermacht. OpenAI verknüpft das mit jüngsten Trainingsarbeiten zu Browsernutzung, Computernutzung und Connectors. Laut dem Unternehmen helfen diese dabei, ChatGPT „über ein Chat-Werkzeug hinaus“ zu einem agentischen persönlichen Assistenten weiterzuentwickeln.

OpenAI präsentiert den Benchmark als Möglichkeit, Fortschritte bei Aufgaben zu messen, die für ganz normale Menschen zählen, und nicht nur bei akademischen Wissenstests. Auf der Seite selbst heißt es lediglich, das Unternehmen hoffe, dass LifeVal ein Schritt in diese Richtung ist. Wie die Aufgaben über die Prozentwerte hinaus bewertet werden, beschreibt die Seite nicht, und sie nennt auch nicht die Modelle hinter den Werten in den Beispielen.

Was sich ändert

Art: Forschung · Betrifft: LifeVal

Warum es wichtig ist

Unternehmen, die Assistenten für Endkunden entwickeln, hätten damit einen Benchmark, der auf praktische persönliche Aufgaben abzielt und nicht nur auf technische oder akademische.

Was Sie tun können

Vergleichen Sie die Aufgabentypen des Benchmarks mit Ihren eigenen Kundenanwendungsfällen, bevor Sie seine Ergebnisse zur Beurteilung von KI-Werkzeugen heranziehen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

OpenAI

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es