AI News
Alle Meldungen
Berichtet

Tencent veröffentlicht DSpine-Draft-Modell für Speculative Decoding mit Qwen3.8-27B

Tencent hat DSpine vorgestellt, ein fünfschichtiges spekulatives Draft-Modell für Qwen3.8-27B, und meldet den 2,9- bis 3,8-fachen Durchsatz gegenüber autoregressivem Decoding.

Open Source · · 2 Min. Lesezeit

Tencent hat tencent/Qwen3.8-27B-DSpine-b16 auf Hugging Face veröffentlicht, ein fünfschichtiges Draft-Modell, das Qwen3.8-27B beschleunigen soll. Das Modell arbeitet mit einer Blockgröße von 16 und einem Sliding Window von 8K. In Evaluierungen mit SGLang 0.5.22 meldet Tencent etwa den 2,9- bis 3,8-fachen Durchsatz im Vergleich zu autoregressivem Decoding, das jeweils nur einen Token erzeugt. Zudem soll DSpine DFlash2 bei der akzeptierten Draft-Länge und beim Durchsatz für Agenten übertreffen.

Beim Speculative Decoding schlägt ein kleines Draft-Modell mehrere Token vor, die das große Modell anschließend prüft. So kann das große Modell eine ganze Folge von Token in einem Durchgang akzeptieren, statt jeden einzeln zu erzeugen. Laut einer Zusammenfassung der Veröffentlichung auf r/LocalLlama entwirft DSpine Token parallel statt nacheinander. Dabei speist es vorhergesagte Features früherer vorhergesagter Token über die Tiefe hinweg ein, damit die Abhängigkeiten zwischen den Token erhalten bleiben. Ein verlinkter Thread zum Paper mit dem Titel „Draft in Parallel, Condition Through Depth“ nennt diesen Mechanismus Adjacent Causal Injection. Tencents Evaluierungen liefen mit BF16-Präzision, FlashAttention 3, dynamischer Verifikation und ReplaySSM. Welche Prompts und welche Hardware hinter der Spanne vom 2,9- bis 3,8-fachen Durchsatz stehen, geht aus der Zusammenfassung nicht hervor. Der Wert beruht also auf Tencents eigenem Evaluierungs-Setup.

Erste Tests von Dritten fallen unterschiedlich aus. Ein Kommentator, der die MegaCapybara-Engine auf einer RTX 5090 mit Gewichten in etwa Q5 laufen ließ, maß beim Coding ohne Thinking einen Anstieg von 420 tok/s mit DFlash2 auf 800 tok/s mit DSpine. Bei Reasoning-Ausgaben sank der Wert im selben Test dagegen von 320 tok/s auf 280 tok/s. Der Kommentator führte diesen Rückgang darauf zurück, dass die ersten ein oder zwei Draft-Token mit geringerer Konfidenz vorhergesagt werden, was sich mit weiterem Training womöglich beheben lasse. Ein anderer Tester, der in LumaBrowser Unterstützung für llama.cpp ergänzt hatte, berichtete, dass DSpine in keinem der getesteten Szenarien schneller war als DFlash2 und mehr Speicher benötigte. In SGLang könne das Ergebnis anders ausfallen, die eigenen Resultate mit llama.cpp zeigten jedoch „keinerlei Vorteile“.

Kommentatoren im selben Thread brachten die Veröffentlichung mit einem erwarteten Qwen4 in Verbindung und spekulierten über weitere Verbesserungen. Einer schätzte den Vorsprung gegenüber DFlash2 auf 15 bis 20% und rechnete mit weiteren Zuwächsen nach zusätzlichem Training und Optimierungen auf Engine-Seite. Dabei handelt es sich um eigene Prognosen des Kommentators, nicht um Messergebnisse. Die gemischten ersten Berichte stammen von unterschiedlichen Engines, und die Zusammenfassung belegt nicht, dass einem davon dieselbe Arbeitslast zugrunde lag wie Tencents SGLang-Evaluierungen.

Was sich ändert

Art: Neue Funktion · Betrifft: tencent/Qwen3.8-27B-DSpine-b16, Qwen3.8-27B

Warum es wichtig ist

Wie viel Speculative Decoding bringt, hängt stark von Arbeitslast und Inferenz-Engine ab. Teams sollten Draft-Modelle daher mit ihren eigenen Aufgaben testen, bevor sie sie einsetzen.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

Latent Space

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es