AI News
Alle Meldungen
Berichtet

NVIDIAs Nemotron 3.5 Bolt zielt auf lokale Agenten mit einem Speicherbudget von 24GB

NVIDIAs Nemotron 3.5 Bolt ist ein Vision-Language-Modell mit 74B Parametern insgesamt und 9B aktiven Parametern, das mit einem Speicherbudget von 24GB laufen soll und Tool Calling beherrscht.

Modelle · · 2 Min. Lesezeit

NVIDIAs Nemotron 3.5 Bolt ist ein Vision-Language-Modell mit insgesamt 74B Parametern, von denen pro Token 9B aktiv sind. Es ist für ein Speicherbudget von 24GB ausgelegt, verarbeitet Text, Bilder und Video und unterstützt Tool Calling. Unsloth hat mit IQ2_XXS einen GGUF-Build zum Download veröffentlicht, der 22GB groß ist und sich in Unsloth Desktop oder llama.cpp laden lässt. Lokaler Betrieb bedeutet: Die Inferenz muss nicht über eine gehostete API laufen.

Ausgangspunkt ist Nemotron 3.5 Super VL, ein Modell mit 120B Parametern. NVIDIA hat die Architektur auf 74B Parameter verkleinert, zusätzlich trainiert und anschließend die Gewichte komprimiert. Die Kompression ist dabei nicht einheitlich. Die Expert-Gewichte werden mit rund zwei Bit pro Gewicht gespeichert. Die linearen Mamba-Schichten nutzen NVFP4, während Attention, Embeddings und weitere ausgewählte Komponenten in höherer Präzision bleiben. Laut NVIDIA holt Quantization-Aware Distillation die durch die Kompression verlorene Genauigkeit zurück. Die 9B aktiven Parameter sind eine eigene Einsparung: Jedes Token durchläuft nur ausgewählte Teile des Netzes, was den Rechenaufwand pro Token senkt. Die Quantisierung wiederum verringert den Speicher, der nötig ist, um das gesamte Modell vorzuhalten.

Die Angabe von 24GB braucht etwas Kontext. Der 22GB große Download umfasst die Modellgewichte, nicht die gesamte laufende Anwendung. Unsloth nennt für den IQ2_XXS-Build 24 bis 32GB und empfiehlt, für kurze Kontexte rund 32GB einzuplanen. Bilder, Video und längere Konversationen brauchen mehr Speicher. Außerdem aktiviert Unsloth standardmäßig ein LiLiCorr-Draft-Modell zur Beschleunigung der Generierung, das etwa 1 bis 2GB zusätzlich belegt. So gerechnet sind 24GB das untere Ende dessen, was der Build benötigt, und ein Rechner mit 32GB lässt der Laufzeitumgebung mehr Spielraum.

Der Unsloth-Leitfaden beschreibt zwei Wege. In Unsloth Desktop installiert man die Anwendung, sucht in Chat oder Model Hub nach Nemotron 3.5 Bolt, wählt das Modell 74B-A9B, lädt den IQ2_XXS-Build herunter und startet mit einem kurzen Kontext statt des vollen Fensters von 128K Token. Der Leitfaden warnt, den vollständigen Modellnamen sorgfältig auszuwählen, da es auch ein separates, kleineres Modell namens Bolt E4B gibt. Für Anwendungsentwickler enthält der Leitfaden einen Befehl, mit dem sich ein lokaler Server mit einem Kontext von 4.096 Token starten lässt; dieser bearbeitet jeweils eine Anfrage. Der Server ist unter http://127.0.0.1:8001 erreichbar.

Bolt kann Tool Calls erzeugen, ausführen muss sie aber die Anwendung, in der das Modell läuft. Berechtigungen, Freigabeschritte und Ausführungsgrenzen liegen in der Laufzeitumgebung des Agenten weiterhin in der Verantwortung der Entwickler. NVIDIA meldet auf seinem Testsystem RTX Spark mit LiLiCorr rund 84 Output-Token pro Sekunde. Dieses System hatte allerdings 128GB Speicher, der Wert lässt sich also nicht auf jedes 24GB-Setup übertragen.

Was sich ändert

Art: Neue Funktion · Betrifft: Nemotron 3.5 Bolt, Nemotron 3.5 Super VL, Unsloth Desktop, llama.cpp, IQ2_XXS

Warum es wichtig ist

Teams, die lokale Agenten entwickeln, erhalten Bildverständnis und Tool Calls, ohne die Inferenz an eine gehostete API zu schicken. 24GB sind aber das untere Ende der Spanne, die die Quelle beschreibt.

Was Sie tun können

Bevor Sie Hardware für einen lokalen Agenten auswählen, testen Sie einen vollständigen Workflow auf dem Zielrechner, inklusive Bildverarbeitung, Tool Calls und Wiederherstellung nach Fehlern, und nicht nur die Generierungsgeschwindigkeit.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

AI Engineering

NVIDIAUnsloth

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es