AI News
Alle Meldungen
Offiziell

LongCapHarness verbessert Long-Context-Reasoning eingefrorener Modelle ohne Training

Microsoft Research Asia stellt LongCapHarness vor: Statt ein eingefrorenes Modell per Post-Training weiterzutrainieren, baut das Verfahren einen Harness um das Modell herum.

Forschung · · 1 Min. Lesezeit

Tao Zhang und Yuhang He von Microsoft Research Asia berichten, dass ein eingefrorenes Llama3-8B über Long-Context-Benchmarks hinweg im Schnitt um 64,18 Punkte zulegt. Das gelingt ganz ohne Training, allein dadurch, dass das Modell in einem Harness läuft, den LongCapHarness automatisch erstellt. Das am 7. November 2026 eingereichte arXiv-Paper beschreibt eine Methode, die die Gewichte des Modells unangetastet lässt. Verändert werden nur der Code und die Steuerlogik rund um das Modell.

Am Anfang steht ein Harnessing-Agent, der ein Development-Set analysiert und jede Fähigkeit, die eine Aufgabe erfordert, in Primitive zerlegt. Als Beispiel nennt das Paper Reranking: Es zerfällt in Relevanzbewertung und Sortierung, verbunden durch eine sequenzielle Steuerlogik. Anschließend überarbeitet der Agent die Implementierungen der Primitive, den von ihnen verwalteten Zustand und die Steuerlogik in vielen Runden rekursiver Selbstverbesserung auf dem Development-Set. Ist ein Harness fertig, wird er eingefroren und in einer Bibliothek abgelegt, auf die das Modell zur Testzeit zugreift. Die Verbesserungen stammen also vom Gerüst, nicht von einer Veränderung am Modell.

Die Autoren grenzen ihren Ansatz von zwei verbreiteten Wegen zu besserem Long-Context-Reasoning ab: Datensynthese und anschließendes Post-Training. Beide bezeichnen sie als empirisch getrieben und rechenintensiv. In ihren Experimenten lässt sich der für Llama3-8B gebaute Harness zudem auf das kleinere Qwen2.5-3B übertragen, ohne dass er dafür neu erstellt werden muss.

Auf den Benchmarks HELMET und RULER schlägt LongCapHarness laut Paper NExtLong und PolicyLong, die auf Datensynthese und Training setzen. Die Entwicklungskosten beziffern die Autoren mit weniger als 50 % der geschätzten Trainingskosten dieser beiden Methoden. Außerdem vergleicht das Paper mit einer RRSI-Baseline zur Selbstverbesserung.

Eine Abhängigkeit benennen die Autoren offen: Die Harnesses wurden von GPT-5.6-Sol geschrieben, und die Leistung bricht laut den Autoren stark ein, wenn Llama3-8B oder Qwen2.5-3B ihre Harnesses selbst bauen. Aus dem Abstract geht nicht hervor, ob die Schätzung der Entwicklungskosten die Aufrufe dieses stärkeren Harnessing-Agenten einschließt.

Was sich ändert

Art: Forschung · Betrifft: Llama3-8B, Qwen2.5-3B, HELMET, RULER

Warum es wichtig ist

Bevor Teams ein kleines Modell per Post-Training für lange Kontexte fit machen, könnten sie zunächst versuchen, den Harness um das Modell zu verbessern. Das ist laut den Autoren günstiger, setzt aber weiterhin einen starken Harnessing-Agenten voraus.

Originalquelle

Wo wir es gesehen haben

1 Quelle

DAIR.AI (Elvis Saravia)

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es