AI News
Alle Meldungen
Berichtet

Theo: Gemini 4 Carbon ist bei seiner Arbeit rund fünfmal langsamer als andere Modelle

Kommentator Theo sagt, seine eigene Auswertung habe ergeben, dass Gemini 4 Carbon etwa fünfmal langsamer ist als vergleichbare Modelle und dass über 11 Sekunden vergehen, bis eine Antwort beginnt.

Modelle · · 2 Min. Lesezeit

Kommentator Theo vom Kanal t3.gg sagt, Gemini 4 Carbon sei bei seiner täglichen Arbeit etwa fünfmal langsamer als vergleichbare Modelle. Einen Großteil des Problems verortet er in der Phase, bevor eine Anfrage das Modell überhaupt erreicht. In einem Video mit dem Titel „I was wrong...“ räumt er ein, den Geschwindigkeitsunterschied in seiner früheren Besprechung zu gering dargestellt zu haben. Er hat seine reale Nutzung über mehrere Modelle hinweg ausgewertet und festgestellt, dass Gemini bei gleichartiger Arbeit durchgehend rund fünfmal langsamer war als die anderen.

Die zentrale Behauptung betrifft die Zeit bis zur ersten Antwort. Laut Theo vergehen durchgehend über 11 Sekunden von dem Moment, in dem eine Anfrage Googles Server erreicht, bis das Modell überhaupt etwas tut. Er bringt das mit mehrstufigen Durchläufen von KI-Agenten in Verbindung. Das Modell braucht bei jedem Schritt den gesamten Gesprächsverlauf, also kommt mit jedem Schritt Overhead hinzu: Der Verlauf wird hochgeladen, geparst, einem Cache zugeordnet, per Prefill verarbeitet und geladen, bevor die Ausgabe beginnt. Eine Verzögerung von 11 Sekunden pro Schritt summiert sich über einen mehrstufigen Durchlauf. Theo argumentiert, dass die Latenzwerte von Artificial Analysis dies unterschätzen, weil sie ab dem Zeitpunkt, an dem der Server eine Anfrage annimmt, bis zur Antwort messen und viele ihrer Aufgaben weder agentisch noch mehrstufig sind.

Theos Belege im Video stammen größtenteils aus seiner eigenen Nutzung und einer Live-Demo. Als Gemini neunmal als Prüfer für Arbeitsergebnisse eingesetzt wurde, habe der übergeordnete Agent die Threads der Agenten nach den ersten drei Durchgängen abgebrochen. Danach passte er seinen Agenten-Skill so an, dass Agenten nicht mehr auf Gemini warten, wenn sie etwas zu beheben haben. Seine Zahlen unterschätzen die Verzögerung daher. In einer Live-Demo eines einzelnen Schritts wurde Gemini als Letztes fertig, noch nach einem anderen Modell, das einen langsamen Tool-Aufruf ausgeführt hatte. Das volle Ausmaß der Verlangsamung hat er nicht gemessen, weil das seine normale Arbeit ausgebremst hätte.

Einen Teil der Schuld sieht Theo bei Caching und Hosting. Ihm zufolge liest das Modell eine Datei im Schnitt acht- bis sechzehnmal. Außerdem schreibe Gemini in einen Cache und scheitere dann in etwa 30 Prozent der Fälle daran, den gerade geschriebenen Eintrag zu lesen, manchmal lese es stattdessen einen älteren. Zum Hosting sagt er, Vertex AI sei für dieses Modell unbrauchbar, und der funktionierende Weg führe über Endpunkte, die er als Verstoß gegen die Nutzungsbedingungen beschreibt. Zudem kritisiert er, dass der Reasoning-Aufwand im Modellnamen kodiert ist statt in einem eigenen Feld, was ihm zufolge Auswertungen unbrauchbar macht.

Theo verweist auch auf die Kosten. Ihm zufolge verdoppelt sich der Abo-Preis am 1. Dezember. Er räumt ein, dass manche argumentiert haben, Abos seien langsamer als die API, und sagt, eine Antwort an ihn habe auf das Gegenteil hingedeutet.

Theo zitiert eine Antwort von Verun, der zu DeepMind gewechselt ist. Verun sagte, das Team prüfe, wie sich das optimieren lasse, und merkte an, dass es zwar immer einen Zielkonflikt zwischen Latenz und Kosten gebe, man aber besser werden sollte. Die Aussagen zu Geschwindigkeit, Caching und Hosting sind Theos eigene Beobachtungen. Nach eigenen Angaben hat er keine vollständige Messung veröffentlicht, die Angaben wurden also nicht unabhängig überprüft.

Was sich ändert

Art: Sonstiges · Betrifft: Gemini 4 Carbon

Warum es wichtig ist

Teams, die mehrstufige Coding- oder Agenten-Workflows betreiben, könnten feststellen, dass die Gesamtdauer eines Durchlaufs und nicht die Token-Geschwindigkeit Kosten und Produktivität bestimmt. Falls die behauptete Verzögerung pro Durchlauf zutrifft, könnte sie mehr ins Gewicht fallen als Benchmark-Ranglisten.

Was Sie tun können

Messen Sie die Gesamtdauer pro Agenten-Durchlauf, einschließlich der Zeit bis zum ersten Token, mit Ihren eigenen Workloads, bevor Sie Gemini 4 Carbon für KI-Agenten in der Produktion einsetzen.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

Theo - t3.gg

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es