AI News
Alle Meldungen
Offiziell

DecisionRAG ersetzt den Retriever der ersten Stufe durch ein hierarchisches Entscheidungsmodell

Forschende von Cornell und ASAPP schlagen ein Entscheidungsmodell vor, das den Korpus von breiten Themen bis zu einzelnen Passagen durchläuft und Dense Retrieval mit einem 8B-Reranker übertrifft.

Forschung · · 2 Min. Lesezeit

Forschende von Cornell und ASAPP haben mit DecisionRAG ein Retrieval-Verfahren vorgestellt, das auf den Retriever der ersten Stufe ganz verzichtet. An seine Stelle tritt ein Entscheidungsmodell, das eine Dokumentensammlung von breiten Themen hinunter bis zu Dokumenten und Passagen durchläuft. Ganz ohne aufgabenspezifisches Training übertrifft es nach Angaben der Autoren Dense Retrieval mit nachgeschaltetem 8B-Reranker um 13,8 R@1-Punkte auf MultiDoc2Dial und um 17,4 Hit@1-Punkte auf Natural Questions. Den Anstoß gab, was die Autoren eine Fähigkeitsasymmetrie nennen: Übersieht der Retriever der ersten Stufe eine Passage, bekommt sie auch ein starker Generator weiter hinten in der Pipeline nie zu sehen. Die meisten Retriever stützen sich nach wie vor auf lexikalischen Abgleich oder auf Ähnlichkeit in festen Embedding-Räumen. Der Mechanismus arbeitet Ebene für Ebene. Auf jeder Ebene bewertet ein Entscheidungsmodell wie Jev alle Kandidatenzweige in einem einzigen Forward Pass, ohne Token zu generieren, und behält dann die vielversprechendsten Zweige für die weitere Suche. Laut dem Paper wächst die Zahl der aufeinanderfolgenden Entscheidungen bei einer ausgewogenen Hierarchie logarithmisch mit der Korpusgröße. Zudem argumentieren die Autoren, dass die gemeinsame Bewertung der Kandidaten in einem geteilten Kontext ihre Relevanzschätzungen vergleichbar macht. Diese Designentscheidung bringt gegenüber der getrennten Bewertung jedes Kandidaten 7,7 R@1-Punkte auf MultiDoc2Dial und 6,5 Hit@1-Punkte auf Natural Questions. Die Evaluierung umfasst vier Benchmarks, darunter einen Korpus aus 2,68 Millionen Wikipedia-Absätzen. Das Retrieval dauert 0,7 bis 1,8 Sekunden pro Anfrage und kostet 0,2 bis 2,3 Cent pro Anfrage. Die Zugewinne von 13,8 und 17,4 Punkten sind Ergebnisse ohne Training; verglichen wird dabei mit Dense Retrieval plus 8B-Reranker. Eine separate Angabe betrifft einen auf domänenspezifischen Daten trainierten Qwen3-8B-Judge, der auf MultiDoc2Dial 60,7 R@1 erreicht. Das sind 5,7 Punkte mehr als beim besten veröffentlichten, aufgabenspezifisch trainierten Retriever im Vergleich. Aus der Art der Suche ergibt sich eine strukturelle Schwäche: Weil der Durchlauf auf jeder Ebene Zweige verwirft, lässt sich ein früh verworfener Zweig im selben Durchgang nicht mehr zurückholen. Das Verfahren ist auf eine gut organisierte Korpushierarchie angewiesen. Ein verworfener Zweig bleibt verloren, es sei denn, die Suchbudgets steigen oder Dense Retrieval liefert zusätzliche Kandidaten. Die Ergebnisse hängen also davon ab, wie gut diese Hierarchie den Korpus abbildet.

Warum es wichtig ist

Retrieval-Pipelines, die auf Keyword-Abgleich oder festen Embeddings beruhen, übersehen womöglich Inhalte, die ein hierarchisches Entscheidungsmodell erreichen könnte, allerdings nur dort, wo der Korpus gut organisiert ist.

Was Sie tun können

Prüfen Sie, ob Ihr Dokumentenkorpus eine klare thematische Hierarchie hat, bevor Sie entscheidungsbasiertes Retrieval in Betracht ziehen.

Originalquelle

Wo wir es gesehen haben

1 Quelle

DAIR.AI (Elvis Saravia)

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es