AI News
Alle Meldungen
Berichtet

Benchmark mit 102 Verträgen: Volltextverarbeitung schlägt RAG bei der Vertragsextraktion

Eine Implementierung hat die Datenextraktion aus Verträgen an 102 zurückgehaltenen Verträgen getestet, Volltextverarbeitung mit RAG verglichen und das Design von MCP-Tools untersucht.

KI in der Praxis · · 5 Min. Lesezeit

Wer ganze Verträge an ein Modell schickt, extrahiert besser als mit Retrieval-Augmented Generation (RAG). Zu diesem Ergebnis kommt ein Benchmark zur Dokumentextraktion, den Vijay Bhore in einem am 26. Oktober 2026 veröffentlichten Beitrag und in einem begleitenden GitHub-Repository beschreibt. Retrieval senkte die Kosten nur um etwa 11 Prozent, kostete gegenüber der Verarbeitung mit vollem Kontext aber rund 3,4 bis 4,6 F1-Punkte. Die finale Konfiguration erreichte über 41 Felder auf 102 zurückgehaltenen Verträgen einen Micro-F1 von 84,0 (95-%-Konfidenzintervall 82 bis 86). Die Precision lag bei 79,0 Prozent, der Recall bei 89,7 Prozent; eine Keyword-Baseline kam auf 54,0. Die Verträge stammen aus dem Contract Understanding Atticus Dataset (CUAD) mit 510 kommerziellen Verträgen. Bhore teilte sie in 328 für das Training, 80 für die Entwicklung, eine Experiment-Teilmenge von 30 Verträgen und 102 für den Test auf. Laut Repository wurde das Test-Set nur einmal bewertet.

Das System extrahiert 33 Kategorien von Vertragsklauseln, etwa Kontrollwechsel, Prüfungsrechte und Haftungsobergrenzen. Dazu kommen acht typisierte Felder zu Vertragsparteien, Datumsangaben, Laufzeiten, anwendbarem Recht und Dokumentname. Jede Antwort enthält ein belegendes Zitat, das die Pipeline gegen den Quelltext prüft, bevor sie JSON über eine REST-API, Analyseabfragen und eine MCP-Schnittstelle ausgibt. Die Evaluierung baute Bhore aus rechnerischen Gründen zuerst. Eine durchschnittliche Klausel kommt nur in etwa 21,9 Prozent der Verträge vor. Ein System, das stets „nicht vorhanden“ antwortet, käme also auf rund 78 Prozent Genauigkeit, ohne irgendetwas zu extrahieren. Deshalb bewertete er Precision, Recall und F1 pro Feld. Zudem maß er zwischen identischen Konfigurationen eine Schwankung von etwa 1,6 F1-Punkten von Lauf zu Lauf. Bevor er eine Verbesserung als echt wertete, setzte er daher auf gepaarte Evaluierungen und Bootstrap-Konfidenzintervalle.

Der RAG-Vergleich dreht sich um eine Diskrepanz zwischen Retrieval und Aufgabe. Ein Retriever wählt Passagen aus, die zu einer Abfrage passend wirken. Für die Extraktion von 41 Feldern können aber Definitionen, Anlagen und Anhänge relevant sein, die über das ganze Dokument verteilt sind. Bhores Beispiel ist ein Abschnitt, der für ein Feld irrelevant erscheint, aber einen definierten Begriff enthält, der für die Auslegung eines anderen Feldes nötig ist. Er testete den vollständigen Dokumentkontext, abgerufene Abschnitte sowie abgerufene Abschnitte samt dokumentspezifischer Definitionen. Der volle Kontext wurde zum Standard; Retrieval blieb als Fallback für Dokumente, die nicht in ein einzelnes Kontextfenster passen. Den Preis dafür benennt der Beitrag: Voller Kontext erhöht die Zahl der Input-Token. Bei extrem langen Dokumenten kann das unerschwinglich teuer werden, und das Modell muss sich durch mehr irrelevantes Material arbeiten.

Außerdem verglich Bhore drei Arten, das Modell aufzurufen: ein Aufruf für alle 41 Felder, gruppierte Aufrufe nach Kategorie und ein Aufruf pro Feld. Die Qualität war bei allen dreien weitgehend vergleichbar. Der Einzelaufruf war etwa 3,2-mal günstiger als die gruppierte Extraktion, 18-mal günstiger als die Extraktion pro Feld und zudem am schnellsten. Ein Detail beim Prompt-Caching verkomplizierte die Kostenrechnung: Änderungen am Antwortschema wirkten sich auf die Wiederverwendung des Caches aus. Auch standardisierte Schemas garantierten bei parallelen Anfragen keine Cache-Treffer, weshalb Bhore mit konservativen Schätzungen ohne Cache kalkuliert.

Der zweite große Kostenfaktor war das Dokumentformat. Bhore testete pypdf, das die eingebettete Textebene ausliest, Docling, einen layoutbewussten Parser mit OCR, sowie ein multimodales Modell, das Seitenbilder liest. Bei nativ digitalen PDFs lagen die F1-Werte bei 83,6, 82,9 und 83,3, was er als innerhalb des experimentellen Rauschens wertete. Bei synthetischen Scans erzielte pypdf 0,0, weil es keine Textebene gibt. Docling kam auf 81,5, der multimodale Weg auf 83,0. Docling verschlechterte durch OCR zudem die Extraktion von Datumsangaben um etwa 11 F1-Punkte gegenüber den eigenen Ergebnissen bei nativ digitalen PDFs, und Datumsangaben sind im Betrieb wichtig. Die Pipeline prüft daher die Textabdeckung jeder PDF-Datei. Dokumente mit Textebene gehen an pypdf, reine Bilddokumente an den multimodalen Weg. Gescannte Verträge kosteten auf dem finalen Test-Set etwa 0,0149 US-Dollar, nativ digitale 0,0080 US-Dollar. Bhore weist darauf hin, dass synthetische Scans echte Scans schlechter Qualität nicht vollständig ersetzen.

Auf der Modellseite verglich Bhore gpt-5.6-luna, gpt-5.6-terra und gpt-5.6-sol im selben produktionsnahen Setup. Luna erreichte auf dem Experiment-Set 83,6 bei 0,0074 US-Dollar pro Vertrag, Terra 82,7 bei 0,0819 US-Dollar und Sol 82,6 bei 0,1597 US-Dollar. Die größeren Modelle kosteten also rund 11- bzw. 22-mal mehr, ohne insgesamt genauer zu sein. Bei Rechtsklauseln schnitt Sol schlechter ab, weil es Passagen markierte, die den Definitionen des Datensatzes nicht entsprachen. Der Beitrag fügt eine Einschränkung hinzu: Der Prompt wurde vor allem für Luna optimiert. Verglichen wurden also vollständige Konfigurationen aus Modell und Prompt, was nicht belegt, dass Luna generell besser ist. Die Arbeit am Prompt selbst hob den F1 auf dem Entwicklungs-Set von 81,52 auf 82,70, ein Plus von etwa 1,18 Punkten mit einem gepaarten 95-%-Intervall von +0,07 bis +2,38, bei rund 25 Prozent höheren Inferenzkosten.

Über der strukturierten Ausgabe liegt eine Validierung, denn, so Bhore, eine syntaktisch gültige JSON-Antwort ist nicht zwingend korrekt. Geprüft werden Schemakonformität, die Normalisierung von Werten bei Datumsangaben und Rechtsordnungen, die Verankerung der Zitate im Quelltext sowie fachliche Konsistenzregeln. Bei Bedarf gibt eine einzelne gezielte Nachfrage die Validierungsfehler an das Modell zurück. Der Abgleich der Zitate geht vom exakten Text über die Normalisierung von Leerzeichen und Satzzeichen und unscharfes Matching bis zum Abgleich über Seitenumbrüche und Fußzeilen hinweg. Laut Beitrag wurden die belegenden Zitate bei nativ digitalen Test-PDFs in 99,9 Prozent der Fälle in der Quelle gefunden. Das Repository meldet null halluzinierte Werte unter 640 False Positives. Der Blog berichtet, dass keiner von 316 False Positives aus den nativ digitalen Test-PDFs erfundene Belege enthielt. Die beiden Zahlen bringt der Beitrag nicht miteinander in Einklang. Der Lasttest in der Cloud ergab eine p95-End-to-End-Latenz von 63 Sekunden. Die Kosten beziffert der Beitrag auf etwa 0,008 US-Dollar pro nativ digitalem Vertrag.

Die MCP-Schnittstelle stellt vier Tool-Gruppen bereit. search_records führt gefilterte Abfragen aus und liefert pro gefundener Klausel ein Zitat. get_record gibt ausgewählte Felder samt Belegen zurück. run_analytics führt die festgelegten Analyseabfragen aus. submit_extraction und get_extraction_status dienen zum Hinzufügen von Dokumenten und zum Abfragen ihres Status. Das Repository enthält einen Befehl, der 25 aus den Referenzdaten abgeleitete Aufgaben durch einen Agenten laufen lässt, um Varianten bei Beschreibung und Granularität zu vergleichen, zu Kosten von etwa 0,05 US-Dollar pro Variante.

Was sich ändert

Art: Forschung · Betrifft: Contract Understanding Atticus Dataset (CUAD)

Warum es wichtig ist

Unternehmen, die Daten aus Verträgen extrahieren, müssen zwischen Volltextverarbeitung und RAG nach Kosten und Genauigkeit abwägen. Dieser Benchmark steckt diesen Zielkonflikt ab.

Was Sie tun können

Teams, die Daten aus Verträgen extrahieren, können denselben Vergleich mit eigenen zurückgehaltenen Dokumenten durchführen, bevor sie sich für eine Architektur entscheiden.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Demetrios from the AAIF

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es