AI News
Alle Meldungen
Offiziell

OpenAI stellt zugelassenen Organisationen einen kostenlosen CSAM-Bildklassifikator in der Moderation API bereit

Mit dem neuen Modell omni-moderation-csam-latest können zugelassene Organisationen Bilder kostenlos auf Darstellungen sexuellen Kindesmissbrauchs prüfen.

Sicherheit · · 2 Min. Lesezeit

OpenAI hat seinem Moderation-Endpoint ein Modell hinzugefügt, das Bilder auf Darstellungen sexuellen Kindesmissbrauchs (CSAM) prüft. Für Organisationen, die das Unternehmen zulässt, ist es kostenlos. Ein Eintrag im API-Changelog von OpenAI vom 16. November führt das Modell omni-moderation-csam-latest unter v1/moderations und kennzeichnet es als Feature. Laut OpenAI soll der OpenAI CSAM Image Classifier zugelassenen Organisationen helfen, Bilder für die menschliche Prüfung zu priorisieren. Er liefert zwei getrennte Signale: eines für mögliche Darstellungen sexuellen Kindesmissbrauchs und eines für mögliche KI-generierte Darstellungen dieser Art.

Die Dokumentation grenzt diesen Klassifikator von der allgemeinen Moderation ab, die ein anderes Modell verwendet. Laut der CSAM-Klassifikator-Dokumentation von OpenAI nimmt jede Anfrage genau ein Standbild entgegen, übergeben als Element im input-Array mit type image_url. Das Feld image_url.url kann eine HTTP- oder HTTPS-Adresse oder eine base64-kodierte Data-URL enthalten. Bilder dürfen bis zu 20 MB (20.000.000 Bytes) groß sein. Text akzeptiert der Klassifikator nicht, Inline-Moderation unterstützt er nicht, und mit der Batch API funktioniert er ebenfalls nicht. Für den Zugang braucht es einen API Key einer zugelassenen Organisation; den Antrag stellen Organisationen über ein Formular. Die Dokumentation weist Organisationen außerdem an, ihren eigenen genehmigten Prozess für den Umgang mit Eingaben einzuhalten und kein bekanntes CSAM einzureichen.

Die Antwort ist ein results-Array. Dessen erster Eintrag enthält einen booleschen Wert flagged sowie ein categories-Objekt mit je einem booleschen Wert pro Kategorie, basierend auf einem konfigurierten Entscheidungsschwellenwert. Jede Kategorie erhält zudem einen category_scores-Wert zwischen 0 und 1 ohne Einheit. Die Dokumentation warnt davor, diese Werte als kalibrierte Wahrscheinlichkeiten zu lesen, und ebenso davor, 0,5 als universellen Schwellenwert anzunehmen. Höhere Werte bedeuten eine stärkere Übereinstimmung innerhalb derselben Kategorie und desselben Modell-Snapshots. Eine Markierung belegt nicht, dass es sich bei einem Bild um CSAM handelt. Der Klassifikator meldet nichts automatisch an Behörden; die Meldung bleibt Aufgabe des Kunden im Rahmen seiner eigenen Prüf- und Eskalationsprozesse. Im Beispiel der Dokumentation wird ein Bild von Seife gesendet: Das Ergebnis lautet flagged false, likely-csam liegt bei 0,12 und likely-csam/gen-ai bei 0,01.

Die Dokumentation zieht eine Grenze zwischen diesem Modell und omni-moderation-latest. Letzteres kann zwar sexuelle Inhalte in Bildern markieren, seine Kategorie sexual/minors gilt aber nur für Text. Für diese Art der Bildprüfung verweist die Dokumentation auf das separate, zugangsbeschränkte Modell statt auf das allgemeine.

Was sich ändert

Art: Neue Funktion · Betrifft: omni-moderation-csam-latest, v1/moderations

Warum es wichtig ist

Trust-and-Safety-Teams, die von Nutzern hochgeladene Bilder prüfen, können einen spezialisierten Klassifikator kostenlos einsetzen, sofern ihre Organisation zugelassen ist. Das separate Signal für KI-generierte Inhalte zielt auf eine Kategorie, die die allgemeine Moderation möglicherweise anders behandelt.

Was Sie tun können

Verantwortliche für Trust and Safety, die mit Nutzerbildern arbeiten, sollten prüfen, ob ihre Organisation für eine Zulassung zum Klassifikator infrage kommt.

Originalquelle

Weitere Berichte

Wo wir es gesehen haben

2 Quellen

Forward Future (Matthew Berman), OpenAI API changelog

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es