AI News
Alle Meldungen
Offiziell

Gemini API: Tools können Audio, Video und Office-Dateien an das Modell zurückgeben

Laut Google können Function Responses in der Gemini API jetzt Audio-, Video- und Office-Dateien enthalten und auf URIs der Files API verweisen.

Produkte · · Aktualisiert · 1 Min. Lesezeit

Google hat am 5. November 2026 mitgeteilt, dass Tools, die die Gemini API aufrufen, jetzt auch Audio-, Video- und Office-Dateien an das Modell zurückschicken können, nicht mehr nur Bilder, PDFs und reinen Text. Die Änderung betrifft Function Responses, also die Nachrichten, die der Code eines Entwicklers zurückgibt, nachdem das Modell die Ausführung eines Tools angefordert hat. Zusätzlich hat Google eine Möglichkeit geschaffen, statt der Bytes einer Datei eine URI der Files API zurückzugeben. In derselben Release Note wird außerdem ein Feld displayName für inlineData und fileData aufgeführt.

In der GenerateContent API erscheinen die neuen Dateitypen als Teile der Function Response. Die Option für die Files API ist ein fileData-Teil, der auf eine hochgeladene Datei verweist, statt sie in den Request einzubetten. Laut Release Note akzeptieren Video-Teile zudem eine Einstellung mediaProcessing mit zwei Werten: STATIC oder AGENTIC. Was die beiden Modi mit dem Video machen und wie sie verändern, was das Modell zu sehen bekommt, geht daraus nicht hervor.

Die Interactions API erhält eine entsprechende Änderung. Ihre function_result-Schritte akzeptieren nun neben den bisherigen Text- und Bildblöcken auch Content-Blöcke für Dokumente, Audio und Video, die ihre Daten jeweils inline oder als URI mitführen können. Video-Blöcke stehen in v1beta und v1alpha zur Verfügung und akzeptieren eine Option processing, die in der Note nicht beschrieben wird. Größenlimits, unterstützte Dateilängen oder Preise für Medien in Function Responses nennt die Release Note nicht. Klar ist daher nur, welche Typen und welche Felder akzeptiert werden, nicht aber der genaue Umfang der Änderung.

Was sich ändert

Art: Neue Funktion · Betrifft: GenerateContent API, Interactions API, v1beta, v1alpha

Warum es wichtig ist

KI-Agenten können reichhaltigere Medien jetzt direkt von Tools empfangen. Das macht einige Umwege in multimodalen Tool-Pipelines überflüssig. Wer mit den Beta-Endpunkten arbeitet, sollte prüfen, welche Felder in der eigenen API-Version verfügbar sind.

Was Sie tun können

Wenn Ihre Agenten Medien über Tool-Aufrufe weiterreichen, sollten Sie einen Umstieg auf URIs der Files API erwägen und prüfen, ob Ihre API-Version die neuen Felder unterstützt.

Wie sich die Meldung entwickelt hat

  1. Das Changelog ergänzt die URI-Option für fileData, die Einstellungen displayName und mediaProcessing sowie die passenden Content-Blöcke der Interactions API.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Gemini API changelog

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es