AI News
Alle Meldungen
Berichtet

Theorem und Anthropic: Formale Verifikation mit LLMs wird billiger

Theorem und Anthropic beschreiben formale Verifikation, die mit LLMs skaliert. Opus 5.5 erreichte bei kleinen Aufgaben eine Lösungsquote von 50 % und brauchte dafür rund 40 % weniger Token als Opus 5.

Forschung · · 2 Min. Lesezeit

Große Sprachmodelle machen formale Softwareverifikation in viel größerem Maßstab möglich, sagen Theorem und Anthropic. In einem gemeinsamen Blogbeitrag mit dem Titel „LLMs are making formal software verification feasible at a much larger scale“ berichten die beiden Unternehmen: Bei 36 kleinen Verifikationsaufgaben erreichte Opus 5.5 eine Lösungsquote von 50 % und verbrauchte dabei rund 40 % weniger Token als Opus 5.

Formale Verifikation weist mit mathematischen Beweisen und Logik nach, dass Software oder Hardware eine exakte Spezifikation erfüllt. Tests, Patches und Scans finden zwar viele Fehler, lassen aber offen, ob noch welche übrig sind. Clark Barrett, Mitgründer und Co-CEO von &Truth, einem konkurrierenden Anbieter formaler Verifikation, beschreibt den Unterschied so: Die Frage sei, „woher man weiß, wann man fertig ist“. Einen Beweis dagegen prüft ein Programm.

Das Kostenproblem liegt bei den Token, also den Texteinheiten, die ein Modell liest und schreibt. Laut dem Beitrag bleibt formale Verifikation tokenintensiv. Die Kernaussage lautet jedoch, dass die Kosten sinken, und als Beispiel dient der Rückgang von Opus 5 auf Opus 5.5. Der Beitrag erwartet außerdem, dass sich der Trend fortsetzt, wenn mehr Modelle „mit langen Verifikationsaufgaben trainiert“ werden. Das ist allerdings eine Prognose und nichts, was die genannten Zahlen belegen.

Der Auszug verrät nicht, um welche 36 Aufgaben es sich handelte oder wie umfangreich sie waren, und die genannte Lösungsquote gilt nur für kleine Aufgaben. Absolute Tokenzahlen fehlen, sodass sich nicht sagen lässt, was eine einzelne Verifikation in Dollar oder Zeit kostet.

Theorem hat zudem eine Auswertung zur Beweiseffizienz veröffentlicht, die „KB verifizierten Maschinencodes pro Stunde“ nach Veröffentlichungsdatum der Modelle misst, mit 95-%-Intervallen. Auf der Startseite von Theorem steht eine weitergehende Behauptung: „Verifikation ist die einzige Verteidigung, die hält, während Angreifer skalieren.“ Das ist die Begründung des Unternehmens, warum Verifikation wichtig ist, kein Ergebnis aus dem Beitrag.

Das Diagramm von Anthropic im Beitrag zeigt den Ablauf „vom Code zu einer maschinell geprüften Garantie“ und setzt in diesem Beispiel auf Rocq statt auf Lean. Lean ist eine Open-Source-Programmiersprache und ein Beweisassistent; &Truth baut darauf auf. Wie stark die berichtete Kostensenkung vom verwendeten Beweissystem abhängt, lässt der Auszug offen.

Was sich ändert

Art: Forschung · Betrifft: Opus 5.5, Opus 5

Warum es wichtig ist

Formale Verifikation wird für Sicherheitsarbeit an echten Codebasen allmählich bezahlbar. Das könnte verändern, wie Teams KI-generierten Code prüfen.

Originalquelle

Für diese Meldung haben wir noch keinen Link zur Originalquelle.

Wo wir es gesehen haben

1 Quelle

Latent Space

AnthropicTheorem

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es