Box und NVIDIA integrieren eine Context-Retrieval-Engine in die Box-Plattform
Laut Box liefert die neue Context-Retrieval-Engine, entwickelt mit NVIDIA und auf Basis eines NVIDIA-Embedding-Modells, den Agenten relevantere und Token-effizientere Ergebnisse.
Box hat seine Plattform um eine Context-Retrieval-Engine erweitert. Sie entstand gemeinsam mit NVIDIA und nutzt ein Embedding-Modell von NVIDIA. Das Versprechen des Unternehmens: Agenten sollen relevantere Ergebnisse erhalten und dabei weniger Token lesen. Zur Sprache kam die Neuerung in einem Interview mit Box-CEO Aaron, das Forward Future veröffentlicht hat. Die genannten Details drehen sich vor allem darum, wie sich die Engine in bestehende Produkte einfügt. Zur gemessenen Leistung erfährt man wenig. Die Engine lässt sich auf zwei Arten nutzen. Kunden können sie unsichtbar im Hintergrund laufen lassen, sodass Suchergebnisse schlicht besser sortiert werden. Oder sie rufen eine API auf, die relevante Abschnitte aus einem Dokument zurückgibt. Laut Aaron wird die Engine in den kommenden Monaten in der Enterprise-Advanced-Edition von Box ausgerollt.
Der Mechanismus dahinter ist die Vorindizierung. Box berechnete Vektor-Embeddings bereits für einige spezifische Anwendungsfälle innerhalb des Produkts und erledigte weitere Arbeit dieser Art ad hoc, sobald ein Agent Informationen benötigte. Die neue Engine verlagert dies laut Aaron in eine Vorindizierungsphase, die seiner Beschreibung nach Ranking und Relevanz beim Retrieval verbessert. Derselbe Schritt mache die an einen Agenten zurückgegebenen Antworten zudem Token-effizienter. Die Logik, wie er sie darstellt: Ein Agent kann gezielt die benötigten Passagen abrufen, statt größere Teile jedes Dokuments zu lesen. Damit verbraucht er weniger Token für Material, das er nicht braucht.
Aaron verknüpfte dies direkt mit den Kosten, nach denen der Interviewer gefragt hatte. Auf die Frage, wie Kunden ihre Token-Ausgaben vorhersagen können, sagte er, das Beste, was Box tun könne, sei, das zu liefern, was er „die kostengünstigste Lösung, um den größten Nutzen aus Ihren Daten zu ziehen“ nannte. Als Ankündigung, die genau das leiste, verwies er auf die Retrieval-Engine. Sie ermögliche es Agenten, unstrukturierte Daten in großem Maßstab zu verarbeiten und nur die Teile herauszugreifen, die sie benötigen, sodass Kunden weniger Token für Material ausgeben, das sie nie verwendet haben. Das ist ein vernünftiges Designziel. Das Interview enthält allerdings keinen Benchmark, keinen Vorher-Nachher-Vergleich des Token-Verbrauchs und keinen Vergleich mit anderen Retrieval-Ansätzen. Die Effizienzbehauptung stützt sich daher allein auf die Beschreibung des Designs durch den CEO.
Was sich ändert
Art: Neue Funktion · Betrifft: Box platform, enterprise advanced edition
Warum es wichtig ist
Ein Retrieval, das weniger und besser sortierte Abschnitte liefert, kann den Token-Verbrauch von Agenten senken, die Unternehmensdokumente durchsuchen. Für Teams, die Agenten in großem Maßstab betreiben, ist das eine Kostenfrage. Beziffert wurden die Einsparungen bisher nicht.
Was Sie tun können
Teams, die dokumentenintensive Agenten auf Box betreiben, könnten den Rollout-Zeitplan für die Enterprise-Advanced-Edition erfragen und den Token-Verbrauch vorher und nachher messen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Forward Future (Matthew Berman)
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es