AI News
Alle Meldungen
Offiziell

NVIDIA veröffentlicht Nemotron 3.5 Transcribe mit offenen Gewichten für 40 Sprachen

NVIDIAs Sprachmodell Nemotron 3.5 Transcribe mit offenen Gewichten verarbeitet eine Stunde Audio, folgt Anweisungen zur Gestaltung des Transkripts und unterstützt 40 Sprachen, Sprecherkennzeichnung und Zeitstempel.

Modelle · · 3 Min. Lesezeit

NVIDIA hat Nemotron 3.5 Transcribe veröffentlicht, ein Sprachmodell mit offenen Gewichten. Es verarbeitet bis zu eine Stunde Audio und nimmt eine Anweisung in natürlicher Sprache entgegen, die den gewünschten Stil des Transkripts beschreibt. Das Modell beherrscht 40 Sprachen und liefert auf Wunsch Sprecherkennzeichnungen und Zeitstempel auf Wortebene. Der technische Bericht von NVIDIA ist auf den 28. Oktober 2026 datiert, das Modell steht unter der Lizenz OpenMDW-1.1.

Der Bericht geht von der Prämisse aus, dass es nicht die eine richtige Form eines Transkripts gibt. Ob Zahlen ausgeschrieben oder als Ziffern dargestellt werden, ob Füllwörter bleiben oder entfernt werden, wie Fachbegriffe notiert werden und welche Schrift bei Sprachwechseln innerhalb einer Äußerung zum Einsatz kommt: All das hängt davon ab, wer das Transkript liest und wozu. Herkömmliche Spracherkenner, so NVIDIA, legen sich bereits im Training auf eine dieser Konventionen fest. Nemotron 3.5 Transcribe wählt die Konvention dagegen pro Anfrage über eine Anweisung, ohne neues Training.

Das System ist ein um Spracheingabe erweitertes Sprachmodell, ein sogenanntes SALM (Speech-Augmented Language Model). Ein Transformer-Sprachencoder und ein eingefrorenes Nemotron-3-Diarization-Modell speisen ihre Ausgaben in das LLM Nemotron 3.5 Lightning 30B-A3B ein, ein hybrides Mamba-Transformer-Modell mit Mixture-of-Experts-Architektur. Eingefroren bedeutet, dass die Gewichte des Diarisierungsmodells während des Trainings nicht verändert werden. Seine Signale zur Sprecheraktivität fließen in die Repräsentationen des Encoders ein. So kann das Sprachmodell Text mit Sprecherzuordnung erzeugen, ohne dass seine eigene Architektur geändert werden muss. Laut Bericht hat das LLM rund 4,3 Mrd. aktive Parameter, die Namen der Checkpoints lauten jedoch 30B-A4B, und der Bericht bringt die beiden Angaben nicht in Einklang. Die Wort-Zeitstempel stammen von einem separaten, schlanken CTC-Adapter. Er richtet das fertige Transkript nach dem Decoding am Audio aus, was laut NVIDIA auch bei langen Aufnahmen mit stark überlappender Sprache funktioniert.

Die zentrale Genauigkeitsangabe von NVIDIA ist eine mittlere Wortfehlerrate von 4,71 % über die neun öffentlichen Testsets des englischsprachigen Open ASR Leaderboard sowie 4,62 % in der mehrsprachigen Version. Die Wortfehlerrate zählt Ersetzungen, Auslassungen und Einfügungen, niedrigere Werte sind also besser. NVIDIA bezeichnet dies als bestes Ergebnis eines Modells mit offenen Gewichten auf diesen Leaderboards. Die Angabe zur Sprecherzuordnung ist spezifischer. Laut Bericht erreicht das Modell Spitzengenauigkeit bei überlappender Sprache mehrerer Personen, von einminütigen Abschnitten bis zu vollständigen Meetings und Telefonaten. Zudem sei es nach Wissen der Autoren das erste SALM, das bei dieser Aufgabe spezialisierte kaskadierte Systeme übertrifft. Eine weitere Angabe: Erhält das Modell eine Liste erwarteter Entitäten, sinken die Fehler bei Eigennamen auf ContextASR-Bench auf ein Sechstel. Der Auszug nennt für diesen Faktor keinen Vergleichswert. Alle diese Ergebnisse stammen von NVIDIA selbst, und der Auszug schlüsselt die Genauigkeit nicht nach Sprachen auf. Die Abdeckung von 40 Sprachen ist also nicht Sprache für Sprache belegt.

Die Angabe zum Durchsatz hängt von einer bestimmten Konfiguration ab. Laut Bericht transkribiert der NVFP4-Checkpoint in Kombination mit dem Draft-Modell DFlash2 bis zu 2.238 Sekunden Audio pro Sekunde auf einer einzelnen RTX PRO 6000 Blackwell GPU, bereitgestellt über den Nemotron Transcribe NIM. Beim spekulativen Decoding schlägt ein kleines Draft-Modell mehrere Token vor, die das große Modell anschließend prüft. Das kann die Generierung beschleunigen, wenn die meisten Vorschläge angenommen werden. Der Wert von 2.238 gilt für die Konfiguration aus NVFP4 und DFlash2, nicht für den BF16-Checkpoint in voller Präzision, und für die anderen Formate nennt der Auszug keinen Durchsatz.

NVIDIA veröffentlicht Checkpoints in BF16, FP8, NVFP4 und GGUF sowie das Draft-Modell DFlash2. NVFP4 ist auf Blackwell-GPUs ausgerichtet, die GGUF-Dateien sind für NeMo-Speech.cpp gedacht. Ein Toolkit für Fine-Tuning ist in NeMo Speech enthalten. Laut Bericht lässt sich das Modell auf einer einzelnen GPU an neue Sprachen, Domänen und Aufgaben anpassen, typischerweise in 0,5 bis 2,3 GPU-Stunden pro Aufgabe. Gezeigt wurde dies an 17 Aufgaben.

Was sich ändert

Art: Neue Funktion · Betrifft: Nemotron 3.5 Transcribe

Warum es wichtig ist

Unternehmen, die mehrsprachige Transkription benötigen, können eine Lösung mit offenen Gewichten selbst betreiben und so womöglich weniger von gehosteten Sprach-APIs abhängig sein.

Was Sie tun können

Teams, die lange Aufnahmen verarbeiten, könnten Nemotron 3.5 Transcribe anhand ihres eigenen Audiomaterials mit ihrem bisherigen Transkriptionsdienst vergleichen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Turing Post

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es