llama.cpp erreicht 1.0 mit Experten-Cache für MoE-Modelle, die größer als der GPU-Speicher sind
llama.cpp und ggml sind bei Version 1.0 angekommen, und das llama.cpp-Release bringt einen Cache für häufig genutzte Experten in Mixture-of-Experts-Modellen.
llama.cpp und ggml haben beide Version 1.0 erreicht. Das llama.cpp-Release bietet Nutzern von Mixture-of-Experts-Modellen, die größer als ihr GPU-Speicher sind, die Möglichkeit, häufig genutzte Experten in einem Cache vorzuhalten. Mit dem Label 1.0 kommen eine Stabilitätszusage und die Entfernung von 35 veralteten Funktionen aus dem öffentlichen Header von llama.cpp. Hugging Face kündigte das Release v1.0.0 für die ggml-org-Projekte an und nannte als Ziel, die breite Abdeckung von Plattformen und Modelltypen zu erhalten und die Runtime zugleich „robust und schlank“ für nachgelagerte Integrationen zu halten. Auch SGLang verkündete auf dem SGLang Summit seine eigene Version 1.0.
Die Cache-Funktion zielt auf einen bestimmten Engpass. Ein Mixture-of-Experts-Modell leitet jedes Token an eine kleine Teilmenge seiner Experten-Netzwerke weiter. Es wird also jeweils nur ein Teil der Gewichte genutzt, der vollständige Satz muss aber trotzdem gespeichert und bewegt werden. Passt das Modell nicht in den GPU-Speicher, müssen nicht residente Experten erst geladen werden, bevor sie laufen können. Ein Cache mit den Experten, die ein Workload am häufigsten auswählt, vermeidet wiederholtes Laden und Dispatch-Overhead, sofern sich das Routing tatsächlich wiederholt. Ein Kommentator in einer LocalLLaMA-Diskussion zum Release argumentierte, dieser Vorteil könne schrumpfen, je stärker die Modelle auf Sparsity ausgelegt sind, weil sich die Expertenauswahl dann weniger stark konzentriert. Im selben Thread wurde gefragt, ob MoE-Streaming-Methoden aus anderen Projekten in das Upstream-llama.cpp übernommen werden könnten, mit dem Argument, dass die vielen auf Performance ausgerichteten Forks Entscheidungen beim Deployment erschweren. Die Berichterstattung zur Ankündigung enthält keine Zahlen zu Geschwindigkeit oder Speicherbedarf des Caches. Wie viel er auf einem bestimmten Modell und einer bestimmten Hardware bringt, ist daher offen.
Auch die Wartung wurde in der Diskussion als Problem angesprochen. Ein Kommentator wies darauf hin, dass llama.cpp „jede Menge offene Issues und PRs“ habe, und wünschte sich mehr Maintainer. Hugging Face kündigte außerdem auf llama.cpp basierende Llama-Desktop-Apps an, die laut dem Unternehmen die Einrichtung lokaler Modelle auf wenige Klicks reduzieren sollen.
Was sich ändert
Art: Neue Funktion · Betrifft: llama.cpp, ggml
Was Sie tun können
Teams, die MoE-Modelle lokal betreiben, könnten den Experten-Cache von 1.0 auf ihrer eigenen Hardware testen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es