Ex-OpenAI-Forscher: Verbotene Blackwell-Chips trainierten Chinas führende KI-Modelle
Ein ehemaliger OpenAI-Forscher sagt, frei veröffentlichte Modelle der führenden chinesischen Labs trügen einen versteckten Fingerabdruck von Nvidia-Blackwell-Chips, deren Export nach China verboten ist.
Will DePue, ein ehemaliger OpenAI-Forscher, sagt, dass die Open-Weight-Modelle von vier der führenden chinesischen KI-Labs auf Nvidia-Blackwell-Systemen initialisiert wurden. US-Vorschriften verbieten den Export dieser Chips nach China. DePue arbeitete an Sora und am Training der OpenAI-Modelle, bevor er das Unternehmen verließ. Seine Behauptung legte er in einem Beitrag auf X und in einem ausführlicheren Bericht von Unemployment Labs dar, einer gemeinnützigen Organisation, die er leitet. Er nennt sechs Modelle: DeepSeek-V4-Flash und V4-Pro, Kimi K3 und K3.1-Pro von Moonshot, MiniMax-M3 sowie Ling-3.1-flash der Ant Group. Die Belege stammen laut DePue ausschließlich aus Gewichten, die die Labs selbst veröffentlicht haben, nicht aus Leaks oder von Insidern.
Die Methode beruht darauf, wie die Gewichte eines Modells vor Trainingsbeginn gesetzt werden. Labs füllen jedes Gewicht mit einem Wert, der zufällig wirkt, aber aus einer Formel stammt, die von einer einzigen Seed-Zahl ausgeht. Derselbe Seed liefert also immer dieselben Werte. Eine GPU verteilt diese Arbeit auf Tausende parallele Worker, und wie sie die Aufgabe aufteilt, hängt vom Design des Chips ab. DePues Bericht zählt 132 Rechenkerne auf Nvidias älteren Hopper-Chips, 148 auf B200 und B300 sowie 152 auf GB200 und GB300. Zwei Chips mit demselben Seed erzeugen dieselben Zahlen, aber in unterschiedlichen Mustern angeordnet. Dieses Muster ist der Fingerabdruck.
Laut dem Bericht übersteht der Fingerabdruck das Training, weil das Training zwar die meisten Gewichte verändert, aber nicht alle. Manche Gewichte werden nie angetastet, etwa jene, die zu Wörtern gehören, die in Trainingsdaten selten vorkommen. Andere behalten eine schwächere Spur, da Werte, die hoch begonnen haben, tendenziell relativ hoch bleiben.
Um den Fingerabdruck zu rekonstruieren, glich DePue mehr als sechs Billionen Kombinationen aus Seed und Chip-Layout mit den veröffentlichten Gewichten ab. Jeden Treffer prüfte er anschließend an einem separaten Satz von Gewichten, den er für die Suche nicht verwendet hatte. Danach ließ er gewöhnliches PyTorch auf echter Hardware laufen. Ein Blackwell B300 erzeugte die unberührten Startgewichte von DeepSeek-V4-Flash bitgenau neu. Ein H100 reproduzierte keines davon, und ein gemieteter GB200 reproduzierte jene von Kimi K3 mit einer Korrelation von 0,999995. Eine Änderung des Seeds um eins zerstörte die Übereinstimmung. Vier der sechs Modelle passen laut DePue zu den GB200- und GB300-Bausteinen, die in Nvidias Rack-Systemen der Spitzenklasse verbaut sind.
Zufall könne die Übereinstimmungen nicht erklären, argumentiert er. Bei sechs Billionen Versuchen sollte der beste zufällige Treffer nur etwa 8 Sigma erreichen, also acht Standardabweichungen über dem, was zufälliges Rauschen ergeben würde. Die tatsächlichen Treffer liegen zwischen 49 und 1.385 Sigma, und selbst der schwächste Einzeltest erreicht 20. Zudem habe die Methode in allen 24 Fällen, in denen ein Entwickler die verwendete Hardware öffentlich genannt hat, die richtige Hardware identifiziert, darunter Metas Llama 3.1, das auf H100s lief. Seine Zeitleiste zeigt DeepSeeks Modelle bis einschließlich V3, veröffentlicht im Dezember 2024, als Hopper und ab V4 im April als Blackwell.
Der Beitrag auf X und der Bericht unterscheiden sich im Ton. Der Beitrag bezeichnet die Belege als eindeutig. Der Bericht hält fest, dass der Fingerabdruck zeigt, welcher Chip die Startwerte eines Modells gesetzt hat, nicht welcher Chip das Training durchgeführt hat. Er räumt außerdem ein, dass ein speziell konfigurierter AMD-Chip die Layouts nachahmen könnte. DePue sagt, ein numerischer Test deute bei DeepSeek-V4-Flash auf Nvidia hin, und hält AMD bei den anderen fünf für sehr unwahrscheinlich. Die Methode funktioniert nur bei Modellen mit öffentlichen Gewichten. Die führenden US-Modelle hinter kostenpflichtigen Apps und APIs lassen sich auf diese Weise also nicht überprüfen.
Die Gewichte können nicht zeigen, wem die Chips gehörten oder wo sie standen. Laut dem Bericht beweist der Befund allein weder Schmuggel noch einen Gesetzesverstoß. Er weist darauf hin, dass Blackwell-Systeme in Rechenzentren außerhalb Chinas gemietet werden können und dass US-Vorschriften es chinesischen Firmen grundsätzlich erlauben, Chips im Ausland zu mieten, obwohl der Verkauf an diese Firmen verboten ist.
Die Behauptung liefert physische Chip-Belege für Vorwürfe, die US-Regierungsvertreter seit Monaten ohne technischen Nachweis erheben. Im April sagte ein hochrangiger Vertreter der Trump-Regierung, DeepSeek V4 sei auf einem Blackwell-Cluster in der Inneren Mongolei trainiert worden. DeepSeek bestritt das und erklärte, Nvidia H800 und Huawei Ascend 910C verwendet zu haben. Im Juli sagte Michael Kratsios, wissenschaftlicher Berater des Weißen Hauses, Moonshot habe GB300-Server erworben und GB300s in Thailand genutzt. Eine mit Moonshots Einkauf vertraute Person sagte Bloomberg, das Unternehmen habe über Südostasien Zugang zu Blackwell-Chips, wollte aber nicht sagen, ob es sich um Miete oder Kauf handle. CNBC berichtete später, Moonshot habe Gespräche über die Miete von Clustern mit mehr als 8.000 Blackwell-GPUs bei europäischen Cloud-Anbietern geführt.
DePue schätzt auf Basis einer Analyse von Veröffentlichungsplänen und Modelldetails, dass die beiden größten Trainingsläufe, Kimi K3 und DeepSeek-V4-Pro, jeweils 2.000 bis 3.000 Blackwell-GPUs nutzten. Die Kosten pro Cluster beziffert er auf 150 bis 200 Millionen US-Dollar. Insgesamt kommt er für diese Labs auf mehr als eine halbe Milliarde Dollar, noch ohne experimentelle Rechenleistung, und vermutet, dass die tatsächliche Summe im Milliardenbereich liegt.
Die Behauptung kommt zu einem Zeitpunkt, an dem Nvidia wegen China unter Beobachtung steht. Jensen Huang trat am Donnerstag nach 33 Jahren zurück, CFO Colette Kress führt das Unternehmen interimistisch. Huang hat zugestimmt, vor Thanksgiving hinter verschlossenen Türen vor drei Ausschüssen des Repräsentantenhauses auszusagen. Nicht alle teilen DePues Schlussfolgerungen. Dylan Patel, der als @dylan522p postet, nannte die Behauptung Unsinn und sagte, der von Moonshot und DeepSeek als Open Source veröffentlichte Code sei ausschließlich für Blackwell gedacht. Ein Beobachter der chinesischen KI-Szene, der als @teortaxestex postet, bezeichnete einige tausend Blackwells als „völlig unzureichend“, um an der Spitze mitzuhalten.
Die Offenheit, die diese Modelle so beliebt macht, hat die Analyse erst ermöglicht, denn jeder kann die Gewichte herunterladen und prüfen. DePue warnt in seinem Beitrag, dass nun, da die Methode öffentlich ist, jedes Lab viele dieser Signaturen tilgen kann. Seinen Code stellt er Prüfern auf Anfrage zur Verfügung, statt ihn zu veröffentlichen. Die leitenden Forscher bei OpenAI und Anthropic, die das Ergebnis laut DePue verifiziert haben, wurden nicht namentlich genannt. Weitere Erkenntnisse sollen folgen.
Was sich ändert
Art: Forschung · Betrifft: DeepSeek-V4-Flash, DeepSeek-V4-Pro, Kimi K3, MiniMax-M3, Ling-3.1-flash
Warum es wichtig ist
Sollte sich die Behauptung bestätigen, würde das nahelegen, dass beschränkte Hardware chinesische Labs erreicht und offene Modelle geprägt hat. Das könnte eine strengere Durchsetzung der Exportkontrollen und eine genauere Prüfung der Herkunft von KI-Modellen nach sich ziehen.
Wie sich die Meldung entwickelt hat
Ergänzt, dass der Forscher bei sechs chinesischen Modellen Spuren von Blackwell-Hardware sieht.
Ergänzt die konkreten Behauptungen: sechs namentlich genannte chinesische Modelle, die auf Blackwell-Systemen initialisiert wurden, 24 von 24 Treffern bei Modellen mit offengelegter Hardware, eine Schätzung von 2K bis 3K GPUs sowie die Einschätzungen von Kritikern zur Größenordnung.
Originalquelle
Weitere Berichte
- thestateofai.comAs Nvidia Faces Scrutiny Over China, a Researcher Says Banned Blackwell Chips Trained China's Top AI Models | State of AI
- letsdatascience.comDeepSeek V4 Trained on Smuggled Nvidia Blackwell Chips, U.S.…
- link.mail.beehiiv.comrebuttal
- link.mail.beehiiv.comrequest for verifiers
- link.mail.beehiiv.comteortaxesTex
- link.mail.beehiiv.comscale note
- link.mail.beehiiv.comzephyr
- link.mail.beehiiv.comeliebakouch
- the-decoder.comChinese models show signs of restricted chips (TD+)
Wo wir es gesehen haben
Latent Space, State of AI (Melissa Rosenthal), THE DECODER
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es