Forscher schleust 2 Millionen Canary-Secrets in KI-Router ein und findet Datenlecks
HD Moore hat 2 Millionen rückverfolgbare, gefälschte Secrets in Prompts versteckt, die über KI-Router liefen. Sein Befund: Sensible Informationen sind entlang der Kette in großem Umfang abgeflossen.
HD Moore hat rund zwei Millionen gefälschte, aber funktionierende Secrets in Prompts eingebaut, die über KI-Router verschickt wurden. Dabei stellte er fest, dass die Daten an mehreren Stellen der Kette abgegriffen und missbraucht wurden, unter anderem von Angreifern, die bei Hosting-Providern eingedrungen waren. Für den Test verwendete er AWS-Zugangsschlüssel zu leeren Konten, SSH-Passwörter, eindeutige URLs, DNS-Namen und Verweise auf private Git-Repositories. Keines dieser Secrets war je zuvor verwendet worden, und Moore kontrollierte die Systeme, die Anfragen damit entgegennahmen. Jedes Secret landete in genau einem Prompt an einen einzigen Anbieter. Jede spätere Verwendung ließ sich so auf das Glied zurückführen, über das es nach außen gelangt war. Genau das ist das Prinzip eines Canary: ein Wert, der nur an einer einzigen Stelle existiert. Taucht er irgendwo auf, steht diese Stelle als Quelle des Lecks fest.
KI-Router, auch KI-Gateways genannt, sitzen zwischen einer App und den Modellen, die ihre Anfragen beantworten. Dienste wie OpenRouter und Vercel nehmen einen Prompt über einen einzigen API-Endpunkt entgegen und leiten ihn an jenen Inferenz-Anbieter weiter, der ein bestimmtes Kriterium erfüllt, etwa den niedrigsten Preis oder die beste Eignung für die Aufgabe, und rechnen alles einheitlich ab. Wie der Bericht von Dragos erläutert, geht es Moore um Folgendes: Prompts sind während der Übertragung zwar verschlüsselt, werden aber an jeder Station entschlüsselt, weil der Router den Klartext lesen muss, um ein Ziel auszuwählen. Ein Prompt kann zudem von einem Router zum nächsten wandern, und jede Partei darf ihn so lange protokollieren, wie es ihre Richtlinien erlauben. Moore schrieb, jede Station könne den gesamten Prompt und die gesamte Antwort einsehen.
Der gravierendste Befund betraf Einbrüche bei drei Hosting-Providern. Laut Moore stahlen Angreifer dort aktiv Daten, und keiner der drei Anbieter wusste davon, bis er sie informierte. Der größte Vorfall umfasste ein paar hundert seiner AWS-Schlüssel, die jeweils in einer einzigen Anfrage an einen einzigen Anbieter gingen, und zwar innerhalb weniger kurzer Zeitfenster Ende Oktober. Einige Schlüssel stammten aus Anfragen, die der Anbieter abgelehnt hatte, bevor überhaupt ein Modell lief. Für Moore zeigt das, dass der Angreifer die Anfragen schon am Eingang des Anbieters kopierte und nicht erst tiefer im Inferenz-Stack. Bei den beiden anderen Einbrüchen waren einige der gestohlenen Anfragen als Zero Data Retention gekennzeichnet. Moore schrieb, ein Datenschutz-Flag helfe nichts, wenn der Angreifer bereits im System sitze. Sobald die Angreifer die Schlüssel hatten, testeten sie diese, durchsuchten S3-Buckets und Secret Stores, versuchten, gehostete Modelle in AWS Bedrock zu aktivieren, und legten eigene IAM-Benutzer an. Laut Moore wurden mit den Köder-Schlüsseln Zehntausende AWS-API-Aufrufe ausgeführt. Ein Angreifer hat offenbar zwei Anbieter gleichzeitig kompromittiert, denn Secrets, die an beide gegangen waren, wurden gemeinsam von einem einzigen gemieteten Server aus verwendet.
Ein zweiter Befund kam ganz ohne Exploit aus. Moore schrieb, manche Verkäufer auf Marktplätzen hätten ein Modell zum niedrigsten Preis angeboten, das Protokollieren der Anfragen aktiviert und abgewartet. Er identifizierte sie, indem er Anfragen an dasselbe Modell über verschiedene Verkäufer schickte. Wurden Zugangsdaten erst wiederverwendet, nachdem sie über einen bestimmten Verkäufer gelaufen waren, war dieser Verkäufer die wahrscheinliche Quelle, nicht der Modellanbieter. Moore beschrieb diese Personen als Einzelne, die offenbar von privaten Internetanschlüssen aus arbeiteten. Einer von ihnen versuchte, sich per Hand über SSH anzumelden, mit einem Passwort aus einem Prompt.
Der dritte Befund betraf Unternehmen, die Secrets abriefen, die sie nie hätten sehen sollen. Moore schrieb, die Systeme eines chinesischen KI-Labors hätten zwischen Juli und Oktober die geheimen URLs aus mehr als der Hälfte der an seine Modelle geschickten Prompts aufgerufen. Darunter waren rund zwei Drittel der Anfragen, die als „keine Datenerhebung“ oder Zero Data Retention gekennzeichnet waren, meist zwei bis drei Tage nach der Anfrage. Mehrere US-Hosting-Provider verkaufen die Modelle dieses Labors weiter. Prompts an diese Anbieter lösten denselben Scraper aus, was laut Moore bedeutet, dass die Prompts zurück zum Labor flossen. Moore schilderte außerdem einen Vorfall, bei dem ein präparierter Link in einen Feishu-Chat gepostet und von Geräten in Peking und Shanghai geöffnet wurde, mehr als drei Wochen nachdem der Prompt mit ZDR-Flag an einen Anbieter in den USA gegangen war. Seine Meldung an diesen Anbieter enthielt nach eigenen Angaben nur die ersten acht Zeichen des Links. Er schloss daraus, dass die Person, die den Link teilte, eine gespeicherte Kopie des vollständigen Prompts las.
Den wirksamsten Schutz bieten laut Moore, wie Ars Technica berichtet, selbst gehostete Modelle auf eigenen On-Premises-Servern, was er selbst als teuer bezeichnete. Allen anderen empfahl er einen Anbieter der ersten Reihe mit einem einzigen Vertrag und einer Datenschutzrichtlinie. Selbst dann gebe es aber keine Garantie gegen Lecks, merkte er an. Nutzer sollten die Standard-Pools von Anbietern oder Wiederverkäufern meiden und die vorgelagerten Anbieter selbst auswählen. Dan Goodin, Senior Security Editor bei Ars Technica, bezeichnete die Datenschutz- und Sicherheitspraktiken in weiten Teilen des KI-Ökosystems als nachlässig. Wer seine Secrets geheim halten wolle, stehe vor einer gewaltigen Aufgabe, die so bald nicht leichter werden dürfte.
Was sich ändert
Art: Sicherheit · Betrifft: OpenRouter, Vercel, AWS Bedrock
Warum es wichtig ist
Unternehmen, die Prompts über Router oder Gateways von Drittanbietern schicken, legen Zugangsdaten und private Daten womöglich Zwischenstellen offen, die sie nicht direkt kontrollieren. Das Experiment deutet darauf hin, dass solche Lecks entlang der Kette von Diensten entstehen können.
Was Sie tun können
Prüfen Sie, ob Ihre KI-Anwendungen Secrets oder sensible Daten über Router oder Gateways schicken, und halten Sie Zugangsdaten aus Prompts heraus.
Originalquelle
Weitere Berichte
Wo wir es gesehen haben
Ars Technica
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es