Tests: OpenAIs textGrain-Wasserzeichen schwächelt bei kurzen oder bearbeiteten Texten
Das neue textGrain-Wasserzeichen von OpenAI soll helfen, die Vorgaben des EU AI Act zu erfüllen. Laut Tests, über die IEEE Spectrum berichtet, übersteht es Bearbeitungen jedoch oft nicht und versagt häufig bei Texten unter 150 Wörtern.
OpenAI hat das Wasserzeichen textGrain im Oktober veröffentlicht. Es soll dem Unternehmen helfen, die neuen KI-Transparenzregeln der Europäischen Union einzuhalten. Tests, über die IEEE Spectrum berichtet, zeigen allerdings: Das Wasserzeichen übersteht Bearbeitungen oft nicht und versagt bei kurzen Texten häufig. Nach OpenAIs eigenen Zahlen erkannte der Detektor das Wasserzeichen in etwa 80 Prozent der Passagen mit 200 Token, das entspricht rund 150 Wörtern. Bei Passagen mit 400 Token, also rund 300 Wörtern, lag der Wert bei 95 Prozent. Der Detektor ist so eingestellt, dass er etwa eine von 100 Passagen ohne Wasserzeichen fälschlich markiert, was einer Falsch-Positiv-Rate von 1 Prozent entspricht.
Artikel 50 des EU AI Act ist am 2. August in Kraft getreten. Er verpflichtet Anbieter von Systemen, die synthetische Audioinhalte, Bilder, Videos oder Texte erzeugen, ihre Ausgaben in einem maschinenlesbaren Format zu kennzeichnen, damit sie als künstlich erzeugt oder manipuliert erkannt werden können. Laut Gesetz müssen technische Lösungen „wirksam, interoperabel, robust und zuverlässig sein, soweit dies technisch machbar ist“. Der Verhaltenskodex der EU bietet Anbietern einen freiwilligen Weg, die Einhaltung nachzuweisen. Er verlangt keine Wasserzeichen für Ausgaben unter 200 Token.
Text-Wasserzeichen setzen auf Token-Ebene an. Sprachmodelle wählen jedes nächste Wort oder Wortfragment aus einer Wahrscheinlichkeitsverteilung, die vom bereits geschriebenen Text abhängt. Ein Wasserzeichen erzeugt mit einem geheimen Schlüssel pseudozufällige Werte, die die Auswahl der Token leicht beeinflussen. So entsteht ein statistisches Muster, nach dem ein Detektor mit demselben Schlüssel suchen kann. Xiang Li, Mitautor des technischen Berichts zu textGrain und Postdoc an der University of Pennsylvania, erklärt, dass textGrain die Entropie, also das Maß dafür, wie unvorhersehbar die Wortwahl eines Modells ist, anders behandelt als andere Verfahren. Entwickler legen fest, wie viel Unvorhersehbarkeit zulässig ist, und textGrain passt sich an diesen Zielwert an. Laut Li erhalten Entwickler damit mehr Kontrolle über den Zielkonflikt zwischen einem erkennbaren Signal und der Vielfalt der Ausgabe.
Kurze Passagen enthalten offenbar zu wenig Spuren des Wasserzeichens. Li nennt das eine „grundlegende Einschränkung“ von Text-Wasserzeichen, die sich nur kompliziert lösen lasse. Selbst mit zusätzlicher Rechenleistung enthielten kurze Passagen womöglich nicht genug Signal für eine verlässliche Erkennung, längere Passagen lieferten dagegen in der Regel mehr. Die Werte von 80 und 95 Prozent beruhen auf Psychologiefragen aus der ELI5-Datenbank, die Fragen und Antworten aus dem Subreddit r/explainlikeimfive sammelt.
Bearbeitungen schwächen das Signal zusätzlich. In OpenAIs Auswertung von Passagen mit 400 Token sank die Erkennungsrate von 92 auf 66 Prozent, wenn nur 10 Prozent der Wörter durch Synonyme ersetzt wurden. Bei bis zu 25 Prozent ersetzter Wörter fiel sie auf 17 Prozent. Li erklärt, dass das Wasserzeichen jedes Tokens von den vorangehenden Token abhängt. Wird ein Wort geändert, kann das Signal daher an mehreren Stellen gestört werden.
Die Ergebnisse zeigen auch, was eine Erkennung belegt und was nicht. Ein positives Ergebnis sagt nichts darüber aus, wie viel ein Mensch zu einer Passage beigetragen hat, und ein negatives Ergebnis beweist nicht, dass ein Text von einem Menschen stammt. OpenAI selbst sagt, dass ein Wasserzeichen allein nicht ausreicht, um festzustellen, ob Inhalte KI-generiert sind. Laut OpenAI soll textGrain andere Herkunftsnachweise ergänzen, etwa Content Credentials in Metadaten und die SynthID-Wasserzeichen, die Google DeepMind für Bilder und Audio entwickelt hat.
OpenAI zufolge war textGrain in eigenen Tests gleichauf mit Googles SynthID Text oder besser, diese Ergebnisse wurden aber nicht unabhängig überprüft. Thomas Souverain, Postdoc-Fellow für KI-Ethik am Institute of Advanced Education in Paris, hält die frühe Methodik hinter textGrain für zuverlässig. Sie könne KI-generierten Text womöglich besser erkennen als die Konkurrenz. Zugleich sei das Gesetz auslegungsbedürftig. Da die Kriterien des AI Act noch keine messbaren Schwellenwerte enthielten, sei es zu früh, um zu sagen, ob textGrain die rechtlichen Anforderungen erfüllt. Sollte sich herausstellen, dass textGrain die Vorgaben nicht einhält, könnte OpenAI laut Souverain eine Strafe von bis zu 7 Prozent seiner jährlichen Einnahmen drohen.
Die unabhängige Prüfung steht noch am Anfang. OpenAI arbeitet mit einer begrenzten Gruppe zusammen, zu der John Thickstun, Assistant Professor für Informatik an der Cornell University, sowie Forschende des Kempelen Institute of Intelligent Technologies (KInIT) in Bratislava, Slowakei, gehören. Thickstun und Dominik Macko, Senior Researcher am KInIT, sagen, sie hätten gerade erst Zugang erhalten und mit der Evaluierung noch nicht begonnen. Macko will mit seinem Team die Robustheit von textGrain über Themenbereiche, Sprachen und Textlängen hinweg testen. Souverain weist darauf hin, dass bisher nur eine technische Studie vorliegt, kein begutachteter Fachartikel, und er noch keinen Zugang zu einem genauen Protokoll hat. Er fordert OpenAI auf, textGrain als Open Source freizugeben, damit Forschende außerhalb des Unternehmens versuchen können, es zu knacken. Er wünsche sich einen Zugang zu den Methoden, wie ihn Google bei SynthID gewährt hat.
Was sich ändert
Art: Neue Funktion · Betrifft: textGrain
Warum es wichtig ist
Unternehmen, die in der EU KI-Texte erzeugen oder veröffentlichen, können sich zum Nachweis der Konformität womöglich nicht auf ein einzelnes Wasserzeichen verlassen, vor allem bei kurzen Ausgaben oder nachträglich bearbeiteten Texten. Ein im Artikel zitierter Experte sagt, ein festgestellter Verstoß könnte mit einer Strafe von bis zu 7 % der jährlichen Einnahmen geahndet werden.
Was Sie tun können
Betrachten Sie ein Text-Wasserzeichen nicht als ausreichenden Nachweis für die Kennzeichnung von KI-Inhalten. Planen Sie mehrstufige Herkunftsnachweise ein und verfolgen Sie unabhängige Evaluierungen von textGrain.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Weitere Berichte
Wo wir es gesehen haben
IEEE Spectrum
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es