Microsoft Research: LongCapHarness steigert Long-Context-Werte ohne Training
LongCapHarness von Microsoft Research verändert den Code rund um ein eingefrorenes Modell, zerlegt Aufgaben in kleinere Operationen und meldet deutliche Zugewinne bei Long-Context-Tests.
Microsoft Research gibt an, die Leistung bei langen Kontexten steigern zu können, ohne die Gewichte eines Modells anzutasten. Geändert wird stattdessen der Code rund um das Modell. Die Methode namens LongCapHarness baut Workflows für Agenten, die eine Aufgabe in kleinere Operationen zerlegen: Manche Schritte übernimmt das Modell, andere gewöhnlicher Code. Im Gesamtwert aus HELMET und RULER stieg die Punktzahl von Llama3-8B von 15,14 auf 79,32.
Ein Experiment betrifft das Ranking von Textpassagen. Ein Ansatz lässt das Modell jeder abgerufenen Passage einen Relevanzwert zuweisen und sortiert diese Werte anschließend per Code. Das funktioniert nur, wenn ein Wert über getrennte Aufrufe hinweg dasselbe bedeutet. Die Forscher ließen das Modell stattdessen Passagen innerhalb kleiner Gruppen vergleichen, und Code fügte diese Gruppenrankings zu einer vollständigen Reihenfolge zusammen. Bei Qwen2.5-3B stieg der mittlere Ranking-Wert von 40,50 auf 56,28, bei unveränderten Modellgewichten.
LongCapHarness definiert Operationen mit festgelegten Ein- und Ausgaben. Einige Operationen rufen das Modell auf, andere laufen als Code. Zwischenergebnisse werden außerhalb des Modellkontexts gespeichert und bei Bedarf an spätere Schritte weitergereicht. Im Ranking-Beispiel entscheidet das Modell, welche Passage einer Gruppe die Frage besser beantwortet. Das Programm sorgt dafür, dass die Passagen-IDs zugeordnet bleiben, und setzt die endgültige Reihenfolge zusammen. Das bloße Aufteilen von Text in Chunks würde diese Struktur nicht von selbst erzeugen, denn jeder Aufruf muss weiterhin genau festgelegt werden: was er erhält, wie er sein Urteil ausdrückt und wie seine Ausgabe in den nächsten Schritt einfließt.
Die Forscher nutzten GPT-5.6-Sol, um den Harness anhand von Beispielen mit Referenzantworten zu entwickeln. Der Optimierer überarbeitete die Operationen, die Zustandsdarstellung und die Steuerlogik. Danach wurden die Workflows fixiert und erst dann an unbekannten Eingaben getestet. Die berichteten Zugewinne stammen also nicht aus einer fortlaufenden Überarbeitung während der Evaluierung. Der Entwicklungsprozess hängt dennoch von Beispielen und Feedback ab, und das Etikett „ohne Training“ bezieht sich nur auf die Modellgewichte.
Die Zugewinne fielen ungleich aus. Die größten Verbesserungen brachten explizite Operationen wie Nachschlagen und Zählen, bei der Beantwortung von Fragen waren die Gewinne weniger konsistent. Laut dem Bericht half die Methode Qwen zudem deutlich mehr als Llama. Wie viele Eingaben der unbekannte Testdatensatz umfasste, geht daraus nicht hervor.
Was sich ändert
Art: Forschung · Betrifft: LongCapHarness, Llama3-8B, Qwen2.5-3B, GPT-5.6-Sol
Warum es wichtig ist
Teams, die an Long-Context-Retrieval arbeiten, können manche Fehler womöglich schon über das Workflow-Design beheben, bevor sie sich auf ein Fine-Tuning festlegen. Die Zugewinne hängen allerdings von Modell und Aufgabe ab.
Was Sie tun können
Prüfen Sie vor der Planung eines Fine-Tuning-Laufs, ob Ihr aktuelles Modell einzelne Urteile zuverlässig trifft, etwa indem Sie punktweise Bewertung und Gruppenvergleiche anhand derselben gelabelten Abfragen gegenüberstellen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
AI Engineering
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es