ISTA veröffentlicht beschnittenen, quantisierten GGUF-Coder-Build von DeepSeek V4.1 Flash 1017
Der experimentelle Build des ISTA DAS Lab behält die Hälfte der Experten pro Schicht, setzt auf Low-Bit-Quantisierung und erreicht laut eigenen Angaben 98,7 % bzw. 94,8 % der Benchmark-Werte des Basismodells.
Das DAS Lab des ISTA hat einen experimentellen Coding-Build von DeepSeek-V4.1-Flash-1017 veröffentlicht. Er entfernt die Hälfte der gerouteten Experten des Modells und speichert den Rest mit sehr geringer Präzision. Die Transformer-Gewichte schrumpfen damit auf 72,1 GB, gegenüber 138,2 GB beim unbeschnittenen IQ2_XXS-Build. Das Basismodell hat 763,2 Mrd. Parameter, davon 551,9 Mrd. im Transformer, mit 384 gerouteten Experten pro Schicht und 6 aktiven pro Token. Die Model Card des Labs nennt 88,57 Punkte auf LiveCodeBench v6 gegenüber 89,71 beim Basismodell, was einem Erhalt von 98,7 % entsprechen soll. Auf SWE-bench Verified sind es 77,00 gegenüber 81,20, also 94,8 %.
Die beiden Techniken erfüllen unterschiedliche Aufgaben. Expert Pruning löscht ganze Feed-Forward-Blöcke. Das verkleinert sowohl die Datei als auch den belegten Arbeitsspeicher und schränkt die Auswahl ein, aus der der Router wählen kann. Quantisierung dagegen behält jeden verbleibenden Parameter, speichert ihn aber mit geringerer Präzision. Der Build kombiniert beides: In jeder Schicht werden 192 von 384 Experten entfernt, und die verbleibenden behalten die Quantisierungstypen pro Tensor aus dem IQ2_XXS-Release, für das die Card 2,00 Bit pro Gewicht angibt. Laut Card liegen die behaltenen 280,1 Mrd. Parameter im Schnitt bei 2,06 Bit, weil die dichten Tensoren mit höherer Präzision einen größeren Anteil am Rest ausmachen.
Die Card teilt die 72,12 GB an Transformer-Gewichten durch die ursprünglichen 551,9 Mrd. Transformer-Parameter und kommt so auf 1,05 Bit. Jeder entfernte Experte zählt dabei als null Bit. Über das gesamte Modell gerechnet, einschließlich der Engram-Lookup-Tabellen, nennt die Card 1,92 Bit pro Parameter. Die Engram-Tabellen umfassen 110,6 GB und werden mit dem unbeschnittenen Release geteilt. Pro Token wird jeweils nur eine Zeile daraus gelesen. Laut Card können sie auf dem Datenträger bleiben.
Welche Experten gelöscht werden, entscheidet RCO. Die Card beschreibt die Methode so: Sie optimiert die KL-Divergenz zwischen beschnittenem und unbeschnittenem Modell auf Kalibrierungsdaten, statt Experten anhand eines heuristischen Werts in eine Rangfolge zu bringen. Die Suche läuft direkt auf dem IQ2_XXS-Build und entfernt daher jene Experten, deren Fehlen die Ausgaben dieses Builds am wenigsten verändert. Die Card weist auf eine Einschränkung des GGUF-Formats hin: Es speichert eine einzige Expertenzahl für das gesamte Modell, daher muss jede Schicht gleich viele Experten behalten. RCO erzwingt deshalb ein eigenes Budget pro Schicht. Weil sich Experten spezialisieren, bestimmen die Kalibrierungsdaten, welche Fähigkeiten erhalten bleiben. Laut Card zielt dieses Release auf Code, agentische Tool-Nutzung, lange Kontexte und Bildverarbeitung. Verschlechterungen außerhalb dieser Bereiche seien ein bewusst in Kauf genommener Preis, und für den allgemeinen Einsatz empfiehlt die Card die unbeschnittenen GSQ-RCO-Releases.
Die Benchmark-Werte stammen aus eigenen Messungen des Labs bei Reasoning Effort 50. Die Card bietet nur zwei Coding-Benchmarks und einen informellen Test: ein generiertes SVG eines Pelikans auf einem Fahrrad, das die Card als animiert beschreibt. Den Abstand zwischen den beiden Benchmarks erklärt die Card damit, dass mehrstufige agentische Aufgaben Fehler über mehrere Runden anhäufen und Kapazitätsverluste daher schlechter verkraften als die Codegenerierung für ein einzelnes Problem. Die Card präsentiert das als Erwartung, nicht als Messung. Sie gibt weder an, über wie viele Durchläufe gemittelt wurde, noch welche Streuung die Werte aufweisen.
Die Diskussion in der LocalLLaMA-Community auf Reddit fiel skeptischer aus; die folgenden Punkte stammen von den Kommentierenden selbst. Einer argumentierte, die HTML-Demos in einer einzigen Datei seien keine aussagekräftigen Vergleiche mit dem unbeschnittenen IQ2_XXS-Modell. Ein anderer verwies auf Qwen3.8-27B mit 90,3 auf LiveCodeBench und Claude Opus 4.6 mit 81,42 % auf SWE-bench Verified und fragte, warum man ein viel größeres beschnittenes Modell betreiben sollte, wenn kleinere Modelle besser abschneiden. Ein dritter bezog sich auf Berichte, wonach Unsloth oder eine andere Gruppe die Werte des ISTA nicht reproduzieren konnte. Andere wünschten sich eine Zwischenvariante mit 90 bis 110 GB, mit höherer Präzision oder weniger entfernten Experten, die für Systeme mit 128 GB besser geeignet wäre als die insgesamt 182,72 GB auf dem Datenträger.
Für den praktischen Einsatz braucht es llama.cpp b11870 oder neuer, das DeepSeek-V4.1 unterstützt, oder die Strata-Engine des Labs. Die Download-Anleitung der Card setzt eine Engram-Datei voraus, die per Symlink in das Shard-Set eingebunden wird. Alle Dateien zusammen umfassen 182,72 GB, gegenüber 248,84 GB beim unbeschnittenen Build.
Was sich ändert
Art: Neue Funktion · Betrifft: DeepSeek-V4.1-Flash-1017, llama.cpp b11870 or newer
Warum es wichtig ist
Beschnittene und quantisierte große Coding-Modelle könnten auf kleinerer Hardware laufen. Die offenen Fragen zur Reproduzierbarkeit bedeuten aber, dass Interessierte die Ergebnisse prüfen sollten, bevor sie sich darauf verlassen.
Was Sie tun können
Reproduzieren Sie die angegebenen Benchmarks auf Ihrer eigenen Hardware und mit Ihren eigenen Aufgaben, bevor Sie diesen Build für lokales Coding in Betracht ziehen.
Originalquelle
- huggingface.coISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF · Hugging Face
- github.comGitHub - IST-DASLab/GSQ: Gumbel-Softmax post-training quantization for LLMs (1–3 bit scalar, INT/GGUF-compatible). · GitHub
- arxiv.org[2605.00649] Model Compression with Exact Budget Constraints via Riemannian Manifolds
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es