Zyphra meldet 9- bis 60-fache Beschleunigung bei 10M Token mit subquadratischer Attention
Zyphra hat nach eigenen Angaben mehrere Modelle auf seine subquadratische Attention umgestellt und meldet bei 10M Token eine 9- bis 60-fache Beschleunigung. Qwen habe dabei bei 1M Token weniger als zwei RULER-Punkte verloren.
Laut Zyphra laufen mehrere Modelle, die auf die subquadratische Attention des Unternehmens umgestellt wurden, bei 10 Millionen Token 9- bis 60-mal schneller. Außerdem habe Qwen im RULER-Benchmark bei 1 Million Token weniger als zwei Punkte eingebüßt. Beide Zahlen stammen von Zyphra selbst und werden als Ergebnisse der umgestellten Modelle präsentiert.
Was sich ändert
Art: Forschung · Betrifft: Qwen
Warum es wichtig ist
Sollten sich die Zahlen auch außerhalb der eigenen Tests des Teams bestätigen, könnten Workloads mit langem Kontext im Betrieb deutlich günstiger werden.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es