Fireworks verarbeitet nach eigenen Angaben täglich über 40 Billionen Token für angepasste offene Modelle seiner Kunden
Auf seiner ersten Firmenkonferenz gab Fireworks an, täglich mehr als 40 Billionen Token für angepasste Modelle seiner Kunden auszuliefern. Dieses Segment sei seit dem Sommer auf mehr als das 2-Fache gewachsen.
Fireworks erklärte diese Woche auf seiner ersten Firmenkonferenz, täglich mehr als 40 Billionen Token für angepasste Modelle seiner Kunden auszuliefern. Dieser Geschäftsbereich sei seit diesem Sommer auf mehr als das 2-Fache gewachsen. Die Zahl betrifft nur einen Teil des Inferenzgeschäfts von Fireworks und ist daher kein Gesamtwert für das Unternehmen.
Was „angepasst“ genau bedeutet, gilt es zu klären. Nathan Lambert, der über die Zahl geschrieben hat, sagte in einem Beitrag auf X, er würde diese „spezialisierten Modelle“ als „jedes für einen Kunden nachtrainierte Modell“ definieren. Soumith Chintala ergänzte, dass KI-native Unternehmen wie Cursor und Decagon, die ihre Last auf Fireworks, Together und Baseten verteilen, in diese Kategorie fielen und einen großen Teil der Token-Zahlen ausmachen dürften. Chintalas Hinweis ist eine Vermutung darüber, welche Kunden das Volumen erzeugen.
Lamberts umfassendere Analyse zieht Baseten, Fireworks und Together AI als Gradmesser für die Inferenz offener Modelle heran, dazu den Anteil offener Modelle am Token-Volumen von OpenRouter, den OpenRouter über seine API veröffentlicht. Die Hyperscaler seien über Amazon Bedrock und den Model Garden von Azure vermutlich ebenfalls stark vertreten, sagte er, er habe aber noch keine Aufschlüsselung ihrer Nutzung nach Modellkategorien gesehen. Zudem schrieb er, dass all diese Messungen ungenau seien, und verwies auf verrauschte Plattformkennzahlen, marketingbezogene Zahlen von Startups und unvollkommene öffentliche Evaluierungen.
Lambert rechnet damit, dass das nächste Update einen deutlich höheren Gesamtwert zeigt. Da die 40 Billionen nur ein einzelnes Segment betreffen, das auf mehr als das 2-Fache gewachsen ist, erwarte er, dass Fireworks bis zum Herbst insgesamt „deutlich über 100 Billionen“ Token erreiche. Das ist seine Prognose, keine Zahl von Fireworks. Um die Volumina der Startups einzuordnen, will er sie mit jenen von Google vergleichen, das in seinen Quartalsberichten die Nutzung seiner gesamten Plattform und API ausweist.
Warum es wichtig ist
Gehostete Inferenz für angepasste offene Modelle wächst rasch. Unternehmen, die zwischen offenen und geschlossenen Modell-APIs abwägen, finden damit ein größeres und etablierteres Angebot an Hosting-Optionen vor.
Was Sie tun können
Vergleichen Sie Inferenzanbieter für offene Modelle mit Ihren aktuellen geschlossenen APIs anhand Ihrer eigenen Workloads in einem Benchmark, bevor Sie sich festlegen.
Originalquelle
Wo wir es gesehen haben
Interconnects (Nathan Lambert)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es