Hugging Face veröffentlicht kostenloses Handbuch mit rund 70k Wörtern zum Mixture-of-Experts-Training
Hugging Face hat ein kostenloses Handbuch zum Training von Mixture-of-Experts-Modellen veröffentlicht. Hinter den Empfehlungen stecken laut dem Unternehmen rund 800k GPU-Stunden an Experimenten.
Hugging Face hat ein kostenloses Handbuch mit rund 70.000 Wörtern zum Training von Mixture-of-Experts-Modellen veröffentlicht. Die Empfehlungen beruhen laut Hugging Face auf etwa 800k GPU-Stunden an Experimenten, deren Kosten das Unternehmen auf rund 2 Mio. US-Dollar beziffert.
Zu den Themen zählen die Anzahl der Experten und geteilte Experten, das Verbergen der All-to-All-Kommunikation sowie die Wahl des Routers zwischen Softmax, Sigmoid und Sqrt-Softplus. Dazu kommt fp32-Routing: Die Routing-Berechnungen laufen dabei in 32-Bit-Genauigkeit.
Weitere Themen sind Auxiliary Loss im Vergleich zum Loss-freien Bias-Ansatz, Upcycling sowie das Serving mit weniger aktiven Experten.
Thom Wolf weist darauf hin, dass 18 der 20 besten offenen Modelle MoE-Modelle sind.
Warum es wichtig ist
Teams, die große offene Modelle trainieren oder selbst hosten, erhalten eine konkrete Referenz zu Designentscheidungen und Abwägungen beim Serving von MoE-Modellen. Das wirkt sich auf Rechenkosten und Latenz aus.
Was Sie tun können
Technische Leiterinnen und Leiter, die MoE-Training oder -Hosting planen, könnten das Handbuch als Checkliste nutzen, um Routing- und Serving-Optionen zu vergleichen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es