AI News
Alle Meldungen
Offiziell

Core Automation trainiert ein MoE-Modell auf zwei Clustern, die 9.000 Meilen voneinander entfernt sind

Core Automation hat nach eigenen Angaben ein Mixture-of-Experts-Modell mit insgesamt rund 32 Milliarden Parametern auf zwei Clustern trainiert, die etwa 9.000 Meilen auseinanderliegen und mit unterschiedlichen Beschleunigern arbeiten.

Forschung · · 3 Min. Lesezeit

Core Automation, ein Startup, das von hochrangigen Leuten von OpenAI und Google gegründet wurde, hat nach eigenen Angaben ein Sparse-Mixture-of-Experts-Modell mit insgesamt rund 32 Milliarden Parametern und 32-facher Sparsity auf zwei Clustern trainiert, die etwa 9.000 Meilen voneinander entfernt sind. Ein Cluster umfasst 160 B300-GPUs in den USA, der andere 160 GB300-GPUs in Asien. Die Details stammen aus einem Beitrag von Rohan Anil vom 2. November 2026 mit dem Titel „The Hitchhiker's Guide to Training on Compute Islands“. Die zentrale These des Unternehmens: Die eigentliche Schwierigkeit beim Frontier-Training ist nicht mehr die reine Rechenleistung, sondern verstreute Cluster zu einem einzigen nutzbaren Trainingslauf zusammenzuführen.

Ausgangspunkt des Beitrags ist das Angebot an Rechenleistung. Er argumentiert, dass Strom, Netzinfrastruktur und Grundstücke den Ausbau stärker begrenzen als Chips. Ein Großteil der verfügbaren Rechenleistung liegt in Clustern von einigen hundert bis einigen tausend GPUs vor, verteilt auf viele Anbieter. Die vorgeschlagene Lösung: Jeder Cluster arbeitet in seinem eigenen Takt. Innerhalb eines Standorts nutzt das Training den schnellen Interconnect intensiv, zwischen den Standorten werden Updates in einem langsameren Rhythmus ausgetauscht. Jeder Standort trainiert auf seinem eigenen Daten-Shard mit lokaler Expert-Parallelität; Microbatch- und Gradient-Accumulation-Einstellungen wurden getrennt abgestimmt, damit beide Standorte pro Schritt ähnlich lange brauchen. Die beiden Standorte unterscheiden sich bei Beschleuniger, Parallelisierungsschema und Gesamt-Batchgröße. Der Beitrag sieht darin einen Vorteil: So könne ein Team verschiedene Hardwaregenerationen kombinieren, um ein bestimmtes Rechenbudget zu erreichen.

Die Standorte tauschen alle 50 Schritte Updates aus. Das Verfahren ist auf die Verbindung zwischen ihnen ausgelegt, die der Beitrag als bidirektionale 25-Gbps-Leitung beschreibt. Statt das gesamte Modell auf einmal zu übertragen, schickte das Team es in Teilen: „Wir haben es Fragment für Fragment synchronisiert, gestaffelt über jedes 50-Schritte-Fenster.“ Auch ein verspätet eintreffendes Update kann noch übernommen werden. Jeder Standort nutzt eine Variante von Distributed Shampoo als lokalen Optimizer. Die zwischen den Standorten ausgetauschten Werte werden mit Stochastic Rounding und Error Feedback komprimiert. Die Idee der fragmentweisen, überlappenden Updates schreibt der Beitrag früheren Arbeiten zu, die er namentlich nennt: Streaming DiLoCo und Decoupled DiLoCo. Außerdem beschreibt er eine separate Netzwerkentwicklung, die auf die Tail Latency abzielt: Übertragungen staffeln, bereits aufgebaute Verbindungen wiederverwenden, Payloads in Chunks aufteilen, die jede funktionierende Verbindung transportieren kann, nur fehlende Teile erneut anfordern und redundante Übertragungen starten, wenn eine Frist verstreicht. Jede dieser Maßnahmen sei für sich einfach, so der Beitrag; die Verbesserungen entstünden erst aus ihrer Kombination.

Der Lauf über zwei Standorte wurde mit einem Standardtraining bei gleicher Rechenleistung verglichen. Laut Beitrag war dieser Standardlauf der größte, den das Team durchgeführt hat.

Der Beitrag prüft außerdem, ob paarweiser Austausch, von ihm Butterfly Mixing genannt, das All-Reduce ersetzen kann. In diesem Experiment wurden 64 GB300-GPUs an einem Standort in acht unabhängige Zellen zu je acht GPUs aufgeteilt. Jede Zelle trainierte ihre eigene Kopie des Modells mit 32 Milliarden Parametern. Die Zellen tauschten Fragmente paarweise aus, jedes Fragment sechsmal pro 50-Schritte-Fenster, also etwa alle acht Schritte. Nach drei Runden hatte das Update jeder Zelle alle acht Zellen erreicht. Jeder Austausch erzeugt ein Kandidaten-Update, das zwei Schritte später mit gleicher Gewichtung in die Trainingsgewichte eingemischt wird. Laut Beitrag entsprach die Trainingsqualität der Baseline. Er weist aber auch darauf hin, dass alle acht Zellen an einem Standort liefen; das Experiment zeigt also nicht, wie sich der paarweise Austausch über lange Verbindungen verhält.

Der Beitrag versteht all das als Vorarbeit für Training im Orbit. Er verweist auf Googles Project Suncatcher, ein Forschungsprogramm zu Konstellationen solarbetriebener TPU-Satelliten. Ein erster Schritt wäre, ein kleines Modell auf einigen Satelliten vorzutrainieren und mit einer Baseline am Boden zu vergleichen. Ein orbitaler Lauf mit einer Billion Parametern liege dagegen noch in weiter Ferne, heißt es. Eigenes Training im Orbit meldet der Beitrag nicht.

Was sich ändert

Art: Forschung · Betrifft: B300 GPUs, GB300 GPUs

Warum es wichtig ist

Wenn verteiltes Training auf gemischter Hardware ausreift, könnten auch kleinere Gruppen große Modelle bauen, ohne ein einzelnes Hyperscale-Rechenzentrum zu benötigen. Das Unternehmen argumentiert, dass Strom, Netzinfrastruktur und Grundstücke und nicht Chips die wichtigsten Engpässe sind.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Import AI (Jack Clark)

Core Automation

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es