AI News
Alle Meldungen
Berichtet

NVIDIAs Nemotron-3.5-Bericht: Fortschritte bei Speicher, Dekodierung und Kompression für Agenten

Laut NVIDIAs Bericht zu Nemotron 3.5 beschleunigen hybride Layer, Dekodierung mit Draft-Tokens und Kompression Agenten-Modelle. Für die Vier-Bit-Version von Super nennt das Unternehmen den 2,43-fachen Durchsatz.

Modelle · · 2 Min. Lesezeit

Der technische Bericht von NVIDIA zu Nemotron 3.5 behauptet, dass eine Reihe von Änderungen an Architektur und Serving Agenten-Modelle beschleunigt. Der Bericht behandelt zwei Modelle. Super hat 120B Parameter, davon 12B aktiv pro Token, und verarbeitet Text, Bilder und Video. Lightning hat 30B Parameter, davon 3B aktiv pro Token, und verarbeitet Text. Zusätzlich veröffentlicht NVIDIA eine komprimierte NVFP4-Version von Super. Das Speicherargument beruht darauf, dass Attention- und State-Space-Layer unterschiedlich wachsen. Laut NVIDIA kombiniert das Design Attention mit Mamba-2-Layern. Attention hält einen Cache, der an frühere Tokens gebunden ist und daher mit der Länge einer Konversation wächst. Mamba führt einen laufenden Zustand mit fester Größe, sodass die Speicherkosten einer langen Sitzung langsamer steigen. Für einen Agenten, der über Dutzende Aufrufe hinweg Dateien und Tool-Ausgaben erneut liest, entscheidet dieser Unterschied mit darüber, wie viele Sitzungen ein Server gleichzeitig halten kann. Die aktiven Parameter betreffen einen anderen Kostenfaktor. Jedes Token durchläuft nur einen Teil des Modells, daher erfordert jeder Generierungsschritt weniger Rechenaufwand, auch wenn der Server weiterhin alle Gewichte speichern muss. Der Geschwindigkeitsgewinn bei der Dekodierung stammt aus spekulativem Dekodieren. Eine kleinere Vorhersagekomponente entwirft die nächsten Tokens, und das Hauptmodell prüft mehrere davon gemeinsam: Akzeptierte behält es, die übrigen ersetzt es. Bestehen viele Entwürfe eine einzige Prüfung, schreitet die Generierung voran, ohne dass ein weiterer vollständiger Schritt des Hauptmodells nötig ist. Laut dem Bericht hängt die Ersparnis von der Qualität der Entwürfe ab. NVIDIA trainiert die Vorhersagekomponente deshalb zusätzlich am fertigen Modell, damit ihre Entwürfe nahe an dem bleiben, was das Hauptmodell erzeugen würde. Die Qualitätsfragen drehen sich um die Kompression. In der NVFP4-Version von Super werden viele Gewichte mit vier Bit gespeichert. Das reduziert den Speicherbedarf und die Datenmenge, die während der Generierung bewegt wird. Da Kompression Antworten verändern kann, schließt NVIDIA ein Training an, das das komprimierte Modell wieder an das Original angleichen soll. Die Evaluierung prüft auch die Antwortlänge, denn ein Modell, das anfängt, unnötig lange Antworten zu schreiben, kann seinen Geschwindigkeitsvorteil durch zusätzliche Tokens zunichtemachen. Der Wert von 2,43 stammt aus einem Serving-Test. NVIDIA verwendete einen Workload mit 20 Turns, der frühere Gesprächsinhalte wiederverwendet und in jedem Turn neuen Input hinzufügt. Der Server musste pro Nutzer mindestens 50 Output-Tokens pro Sekunde halten. Unter den Konfigurationen, die diese Hürde schafften, lieferte die Vier-Bit-Version unter den getesteten Bedingungen den 2,43-fachen Durchsatz von BF16. Dieser Wert misst, wie viel Arbeit ein Server über viele Anfragen hinweg erledigt. NVIDIA weist darauf hin, dass damit nicht gemessen wird, wie viel schneller ein einzelner Agent eine Aufgabe abschließt.

Was sich ändert

Art: Forschung · Betrifft: NVFP4 version of Super

Warum es wichtig ist

Unternehmen, die Coding-Agenten mit vielen Aufrufen betreiben, könnten von geringeren Serving-Kosten pro Anfrage profitieren. Der berichtete Durchsatzgewinn bedeutet aber nicht direkt, dass Agenten ihre Aufgaben schneller erledigen.

Was Sie tun können

Messen Sie, wie lange ein vollständiger Agenten-Durchlauf dauert, einschließlich der Wartezeit nach jedem Tool-Ergebnis, und prüfen Sie, ob diese Wartezeiten mit wachsender Historie zunehmen.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

AI Engineering

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es