AI News
Alle Meldungen
Berichtet

Anthropics Fable 5.2 erledigt 41,3 % echter Freelance-Projekte im Remote Labor Index

Fable 5.2 hat im Remote Labor Index 41,3 % realer Freelance-Projekte auf professionellem Niveau abgeschlossen. Ein Jahr zuvor lag der Bestwert noch bei 2,5 %.

Modelle · · 3 Min. Lesezeit

Anthropics Fable 5.2 führt nun den Remote Labor Index an, einen Benchmark von Scale Labs und dem Center for AI Safety (CAIS), mit einer Automatisierungsrate von 41,3 %. Scale Labs gab das Ergebnis am 9. November auf X bekannt und sprach von „einem großen Sprung in der Fähigkeit von KI, reale Arbeit zu bewältigen“. Laut dem Unternehmen erreicht das Modell damit fast doppelt so viel wie das zweitbeste Modell, Opus 5.5, mit 21,25 %. Zum Start des Benchmarks lag der Bestwert bei 2,5 %, aufgestellt von Manus. Fable 5.2 schließt also mehr als 16-mal so viele Projekte auf professionellem Niveau ab wie der beste Agent zu Beginn.

Der Benchmark besteht aus 240 in sich abgeschlossenen Projekten von 358 verifizierten Freelancern auf Upwork. Jedes Projekt umfasst ein Briefing, die Eingabedateien, ein von einem Kunden akzeptiertes menschliches Arbeitsergebnis sowie die angegebene Bearbeitungszeit und die Kosten. Zusammen haben die Projekte einen Wert von 143.991 US-Dollar. Im Durchschnitt ist ein Projekt 632,60 Dollar wert, der Median liegt jedoch bei 200 Dollar. Menschen brauchten im Schnitt 28,9 Stunden, im Median 11,5 Stunden. Die Agenten arbeiten in einer virtuellen Arbeitsumgebung mit Software wie Blender, GIMP und Audacity sowie Werkzeugen zur Erzeugung von Bildern, Sprache und Video. Pro Aufgabe steht ein Generierungsbudget von 30 Dollar zur Verfügung. Als automatisiert gilt ein Projekt, wenn ein Gutachter das Ergebnis auf einer dreistufigen Skala mit mindestens 2 bewertet, es also ein vernünftiger Kunde akzeptieren würde. Die Hauptkennzahl ist schlicht der Anteil der Projekte, die diese Hürde nehmen.

Laut The Decoder lag Fable 5 im Juli bei etwa 16 %, der direkte Vorgänger Fable 5.1 liegt knapp unter 18 %. Fable 5.2 erreicht damit vier Monate später rund das Zweieinhalbfache des Juli-Werts von Fable 5. Im Leaderboard stehen GPT 6 Astra mit 20,83 % und Gemini Argon 4 mit 17,08 %. Das Leaderboard weist allerdings darauf hin, dass es für die Automatisierungsrate kein Konfidenzintervall gibt. Ein Unterschied zwischen zwei eng beieinanderliegenden Werten ist durch die veröffentlichten Zahlen also nicht belegt.

Die Fortschritte verteilen sich ungleich auf die Tätigkeitsfelder. Laut Scale Labs gab es die größten Verbesserungen bei Audio und Musik, Architektur und Innenarchitektur sowie 3D-Modellierung. Industrielles Produktdesign und Animation sind dagegen noch weit von einer Lösung entfernt. Fast 50 der erfolgreichen Projekte von Fable 5.2 hatte zuvor keiner der früheren Agenten abgeschlossen. Das Leaderboard nennt auch die Hauptgründe für das Scheitern der Agenten: mangelhafte Qualität, also amateurhaft wirkende Arbeit (45,6 %), unvollständige Ergebnisse wie abgeschnittene Videos oder fehlende Dateien (35,7 %), technische und Dateiprobleme (17,6 %) sowie Inkonsistenzen zwischen Dateien (14,8 %).

Jede Bewertung nehmen geschulte menschliche Fachleute vor. Sie öffnen die eingereichten Dateien in der jeweiligen Profi-Software und vergleichen sie mit dem menschlichen Arbeitsergebnis. CAIS versuchte, diese Prüfung mit einer anderen KI zu automatisieren, und scheiterte laut The Decoder. Die KI-Gutachter konnten die Software kaum bedienen, ließen sich von Einreichungen täuschen, die professionell wirkten, aber technische Mängel hatten, und bewerteten die Modelle viel zu großzügig. Scale gibt für die Automatisierungsrate eine Übereinstimmung zwischen den Annotatoren von 94,4 % an, ermittelt per Mehrheitsentscheid dreier unabhängiger Gutachter.

Teile der Freelance-Arbeit bildet der Benchmark nicht ab. Laut Leaderboard sind Projekte ausgeschlossen, die direkten Kundenkontakt erfordern, etwa Kundenservice und Nachhilfe, ebenso körperliche Arbeit und langfristig zu bewertende Aufgaben wie SEO. The Decoder beschrieb den Test als Messung einzelner Aufträge, nicht ganzer Berufe. Gewertet wird anhand eines privaten Sets von 230 Projekten. Die 10 öffentlichen Projekte dienen der qualitativen Analyse; das Leaderboard weist auf das Risiko hin, dass künftige Modelle darauf trainiert werden könnten.

Was sich ändert

Art: Forschung · Betrifft: Fable 5.2, Opus 5.5

Warum es wichtig ist

Klar definierte digitale Dienstleistungen, die sich leicht vergleichen und austauschen lassen, könnten als Erste unter Preisdruck geraten, da Agenten inzwischen einen beachtlichen Teil solcher Aufträge erledigen können.

Was Sie tun können

Prüfen Sie, welche Remote- oder Freelance-Leistungen sich leicht spezifizieren und überprüfen lassen und wo menschliche Verantwortung für das Ergebnis weiterhin Mehrwert schafft.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

1 Quelle

THE DECODER

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es