Airbnb: Feinabgestimmter 2B-Klassifikator erreicht Frontier-F1 bei 35 ms Median-Latenz
Laut Airbnb-Ingenieuren erreichte ein feinabgestimmtes Gemma4-E2B den F1-Wert von Frontier-Modellen, bei 35 ms Median-Latenz und rund 1 % der Kosten vergleichbarer API-Aufrufe.
Ingenieure von Airbnb berichten, dass ein feinabgestimmtes Gemma4-E2B, ein Modell mit rund 2 Milliarden effektiven Parametern, bei einem produktiv eingesetzten Inhaltsklassifikator den F1-Wert von Frontier-Modellen erreichte. Die Median-Latenz lag bei 35 ms, die Kosten bei etwa 1 % vergleichbarer API-Aufrufe. Clay Gibson und Adel Elmalaha haben den Benchmark im Airbnb Engineering Blog beschrieben. Getestet wird das Modell an einer realen Aufgabe: der Prüfung von Inhalten auf Verstöße gegen Airbnbs Richtlinie zur Transparenz bei Preisen und Zahlungen. Der Klassifikator wird tausende Male pro Minute aufgerufen und entscheidet in Echtzeit über die Veröffentlichung, ein Ergebnis muss also innerhalb von 200 ms vorliegen.
Der Vergleich stellt das feinabgestimmte Modell Open-Weight- und proprietären Modellen gegenüber, und zwar auf einem zurückgehaltenen Evaluierungsset mit 10.000 gewichteten Beispielen. Als Qualitätsmaß verwenden die Autoren den maximalen F1-Wert. Die meisten proprietären Modelle liefern nur ein Urteil (True oder False), es gibt also keine Precision-Recall-Kurve, über die man integrieren könnte. Für diese Modelle nennt der Blog den F1-Wert des Urteils selbst. Bei Open-Weight-Modellen variieren die Autoren den Schwellenwert und geben den besten F1-Wert an. Laut dem Beitrag ergeben PR-AUC und Accuracy nahezu dieselbe Rangfolge wie der maximale F1-Wert.
Ohne Anpassung kam Gemma4-E2B auf einen F1-Wert von 0,563. Nach dem Fine-Tuning mit Hunderttausenden domänenspezifischen Beispielen erreichte es 0,902. Das liegt gleichauf mit den besten proprietären Modellen, und die Median-Latenz blieb bei 35 ms. Ein ausführlicher Prompt mit 2.700 Wörtern hob proprietäre generative Modelle laut den Autoren um ein bis drei Punkte. Damit liegen sie ungefähr auf dem Niveau des feinabgestimmten Klassifikators, allerdings bei deutlich höherer Latenz. Bei Modellen, die schnell genug für den Einsatz sind, fielen die Zugewinne bescheiden aus, und es blieb ein großer Abstand. Zwei proprietäre generative Modelle, GPT-6.1 Sol und Claude Sonnet 5.5, hatten eine Median-Latenz von etwa 900 ms und einen p99-Wert von mehreren Sekunden, ein Vielfaches des Latenzbudgets. Der Blog weist außerdem darauf hin, dass ein Urteil einen einzigen, festen Punkt auf der Precision-Recall-Kurve ergibt. GPT-6.1 Sol landete mit dem knappen Prompt bei 0,82 Precision und 0,96 Recall. Um diesen Punkt zu verschieben, müsste man den Prompt umschreiben.
Das Kostenargument beruht auf den unterschiedlichen Abrechnungsmodellen. Eine selbst betriebene GPU kostet gleich viel, ob sie ausgelastet ist oder nicht, die Betriebskosten des feinabgestimmten Klassifikators bleiben also konstant, bis ein weiterer Worker nötig wird. Eine einzelne RTX Pro 6000 schafft tausende Anfragen pro Minute. Proprietäre APIs rechnen pro Token ab, die Kosten wachsen also mit dem Traffic. Die Zahlen für die proprietären Modelle beruhen auf Listenpreisen vom Oktober 2026 ohne ausgehandelte Rabatte. Sie unterstellen zudem eine Cache-Trefferquote von 71 %, laut den Autoren mehr als tatsächlich beobachtet, was nach eigener Aussage die gehosteten Modelle begünstigt. Bei hohem Volumen kosten die Frontier-Modelle zwei Größenordnungen mehr als eine einzelne selbst betriebene GPU. Unter etwa 15 bis 30 Anfragen pro Minute sind Claude Sonnet 5.5 und GPT-6.1 Sol günstiger als eine dedizierte GPU. Die Autoren halten außerdem fest, dass für Aufgaben mit geringem Volumen oder solche, die sich von Woche zu Woche ändern, ein Frontier-Modell mit gutem Prompt oft die richtige Wahl ist.
Der Beitrag beruht auf einem einzigen Benchmark für eine interne Aufgabe, was die Autoren auch selbst einräumen. Sie merken an, dass dieselben Abwägungen auch bei anderen von ihnen feinabgestimmten Modellen gegolten haben. Die Arbeit stützt sich zudem auf Airbnbs internes Framework GLOWC, das Fine-Tuning, Batch-Inferenz und Serving übernimmt, sowie auf Hunderttausende domäneninterne Beispiele. Die Latenzwerte bezeichnen die serverseitige Bearbeitungszeit, wie sie Airbnbs Serving-Gateway erfasst. Im Anhang des Beitrags heißt es, dass die Implementierung des Attention-Mechanismus die Latenz beeinflusst. Ähnlich große Modelle können sich in der Geschwindigkeit daher stark unterscheiden.
Was sich ändert
Art: Forschung · Betrifft: Gemma4-E2B, GPT-6.1 Sol, Claude Sonnet 5.5
Warum es wichtig ist
Klassifizierung mit hohem Volumen lässt sich auf kleine, feinabgestimmte Modelle verlagern, was im Vergleich zu Frontier-APIs sowohl die Latenz als auch die Inferenzkosten senkt.
Was Sie tun können
Testen Sie für jede Klassifizierungsaufgabe mit hohem Volumen einen kleinen, feinabgestimmten Klassifikator im Benchmark gegen Frontier-APIs.
Originalquelle
Wo wir es gesehen haben
Demetrios from the AAIF
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es