AI News
Alle Meldungen
Berichtet

NVIDIA veröffentlicht neue offene Cosmos-3-Modelle für interaktive Weltsimulation

NVIDIA hat neue offene Cosmos-3-Modelle für interaktive Weltsimulation veröffentlicht, wie aus einem Beitrag auf Hugging Face hervorgeht, der keine weiteren Details nennt.

Modelle · · 3 Min. Lesezeit

NVIDIA hat seine Modellfamilie Cosmos 3 um vier Checkpoints mit offenen Gewichten erweitert. Alle sind nachtrainierte Varianten von Cosmos 3 Nano und auf interaktive Weltsimulation sowie Fahrdaten aus mehreren Sensoren ausgerichtet. Die Checkpoints heißen Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer und Cosmos3-Nano-Sim-Bimanual. Laut NVIDIAs Beitrag auf Hugging Face stehen sie unter der Lizenz OpenMDW1.1, die kommerzielle und nichtkommerzielle Nutzung zu ihren Bedingungen erlaubt.

Transfer-Auto ist der Offline-Generator. Dem Beitrag zufolge handelt es sich um ein bidirektionales Modell, das synchronisiertes Video aus bis zu 11 Kameraperspektiven erzeugt, Fischaugenkameras eingeschlossen, und RGB- und LiDAR-Daten gemeinsam generieren kann. Steuerungen über World Scenario Maps pro Kamera legen Szenenstruktur und Verkehrsbewegung fest, Text-Prompts bestimmen das Erscheinungsbild. Entwickler können so Wetter, Licht oder Tageszeit verändern, während Straßenverlauf und Fahrzeugtrajektorien gleich bleiben. NVIDIAs technischer Blog ergänzt, dass das Modell Ein- und Ausgabe mit 30 fps verarbeitet, bei bis zu 400 Frames in 480p oder 720p. Längere Sequenzen entstehen durch autoregressives Chunking. Im Referenzlauf auf vier GPUs entstanden sieben 720p-Videos mit je 297 Frames bei 30 FPS sowie 99 LiDAR-Sweeps.

Sim-Auto ist die Streaming-Version, eine kausal destillierte Variante von Transfer-Auto. Statt einen ganzen Clip auf einmal zu entrauschen, erzeugt es in wenigen Entrauschungsschritten aufeinanderfolgende kleine Abschnitte aus synchronisiertem Kameravideo und LiDAR. Dabei nutzt es seine bereits generierte Historie und aktualisierte Fahrsteuerungen. Laut Blog braucht ein Closed-Loop-Test eine Simulations-Runtime und einen WSM-Renderer, der diese Steuerungen aus den Fahreingaben aktualisiert; der Checkpoint allein betreibt also keinen geschlossenen Regelkreis. Wer das Modell an ein neues Sensor-Setup anpassen will, soll zuerst Transfer-Auto anpassen und es dann in Sim-Auto destillieren.

Sim-Transfer macht aus Simulatorausgaben Farbvideo. Als Steuerung dienen Tiefe, Segmentierung, Kanten und Unschärfe, kombiniert mit einem Text-Prompt. Laut Beitrag lenkt der Text das Erscheinungsbild, während Physik und Ground-Truth-Zustand beim Simulator bleiben. Sim-Bimanual funktioniert anders: Es sagt die nächste visuelle Beobachtung direkt aus den Aktionen eines Roboters voraus und unterstützt Zweiarm-Simulation für die Embodiments YAM und AgiBot. Gesteuert werden kann es von einer Policy oder über von Menschen bediente Joysticks. Das Beispiel nutzt 59 Steuerwerte, im Training auf 64 aufgefüllt, und der Beitrag weist darauf hin, dass T Aktionsübergänge T+1 Beobachtungen erfordern. Das veröffentlichte vLLM-Omni-Setup wurde auf einer einzelnen GB200 getestet, was laut Beitrag keine Angabe zum Mindestspeicher ist.

Das Mixture-of-Transformers-Backbone von Cosmos 3 verbindet getrennte Netze für Textverarbeitung und Bildgenerierung über Attention. Generiert wird auf komprimierten Repräsentationen, sogenannten Latents. Nach dem Ausgangsbild steht jeder latente Zeitschritt für vier RGB-Frames. Transfer sagt pro Abschnitt einen solchen Schritt voraus, das im Bericht optimierte Bimanual-Setup zwei. Je kleiner die Abschnitte, desto häufiger können neue Steuerungen die Generierung beeinflussen. Ein Key/Value-Cache bewahrt die Attention-Informationen früherer Abschnitte für die nächste Vorhersage.

Der Beitrag skizziert ein Trainingsrezept in vier Stufen. Stufe 0 passt das Basismodell mit vollständigen aufgezeichneten Clips an eine Domäne an. Stufe 1 nutzt Teacher Forcing: Jeder Abschnitt wird aus früheren aufgezeichneten Beobachtungen vorhergesagt, die Zukunft bleibt maskiert. Stufe 2 setzt auf Consistency Distillation, bei der ein eingefrorenes Teacher-Modell ein Student-Modell trainiert, das jeden Abschnitt in vier Entrauschungsschritten erzeugt. Stufe 3 ist Self-Forcing: Trainiert wird auf der selbst generierten Historie des Student-Modells, wobei ein eingefrorenes Teacher-Modell und ein zusätzliches Score-Modell das Distribution-Matching-Signal liefern. Als Begründung für die letzte Stufe heißt es, dass ein leicht falsch vorhergesagtes Objekt zum Kontext für spätere Frames wird und sich Fehler so aufschaukeln können.

Die Tabelle im Blog nennt für die Generierung mit Cosmos3-Nano 58 GiB in BF16, 44 GiB in FP8 und 31 GiB in FP8 mit Offloading. Die KI-generierte Zusammenfassung des Blogs gibt für FP8 mit Offloading 44 GiB an, was der Tabelle widerspricht; die Tabelle ist die genauere Quelle. Laut Blog wurden die Simulationsrezepte für Cosmos3-Nano auf NVIDIA-GPUs der Generationen Hopper und Blackwell mit PyTorch und vLLM-Omni getestet.

Unabhängig davon stellt der Blog die Cosmos-NIM-Microservices vor, die Quantisierung und Speculative Decoding ergänzen. Für Speculative Decoding berichtet der Blog gemessene durchschnittliche Beschleunigungen um etwa das 2- bis 3-Fache auf H200.

NVIDIA hat für Donnerstag, 5. November, einen Livestream zum Cosmos Framework angesetzt.

Was sich ändert

Art: Neue Funktion · Betrifft: Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer, Cosmos3-Nano-Sim-Bimanual

Warum es wichtig ist

Offene Modelle zur Weltsimulation könnten Teams aus Robotik und autonomen Systemen ermöglichen, Interaktionen in simulierten Umgebungen zu testen, doch Fähigkeiten und Lizenzbedingungen wurden noch nicht genannt.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Hugging Face

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es