Theorem und Anthropic: Formale Verifikation mit LLMs wird billiger
Theorem und Anthropic beschreiben formale Verifikation, die mit LLMs skaliert. Opus 5.5 erreichte bei kleinen Aufgaben eine Lösungsquote von 50 % und brauchte dafür rund 40 % weniger Token als Opus 5.
Große Sprachmodelle machen formale Softwareverifikation in viel größerem Maßstab möglich, sagen Theorem und Anthropic. In einem gemeinsamen Blogbeitrag mit dem Titel „LLMs are making formal software verification feasible at a much larger scale“ berichten die beiden Unternehmen: Bei 36 kleinen Verifikationsaufgaben erreichte Opus 5.5 eine Lösungsquote von 50 % und verbrauchte dabei rund 40 % weniger Token als Opus 5.
Formale Verifikation weist mit mathematischen Beweisen und Logik nach, dass Software oder Hardware eine exakte Spezifikation erfüllt. Tests, Patches und Scans finden zwar viele Fehler, lassen aber offen, ob noch welche übrig sind. Clark Barrett, Mitgründer und Co-CEO von &Truth, einem konkurrierenden Anbieter formaler Verifikation, beschreibt den Unterschied so: Die Frage sei, „woher man weiß, wann man fertig ist“. Einen Beweis dagegen prüft ein Programm.
Das Kostenproblem liegt bei den Token, also den Texteinheiten, die ein Modell liest und schreibt. Laut dem Beitrag bleibt formale Verifikation tokenintensiv. Die Kernaussage lautet jedoch, dass die Kosten sinken, und als Beispiel dient der Rückgang von Opus 5 auf Opus 5.5. Der Beitrag erwartet außerdem, dass sich der Trend fortsetzt, wenn mehr Modelle „mit langen Verifikationsaufgaben trainiert“ werden. Das ist allerdings eine Prognose und nichts, was die genannten Zahlen belegen.
Der Auszug verrät nicht, um welche 36 Aufgaben es sich handelte oder wie umfangreich sie waren, und die genannte Lösungsquote gilt nur für kleine Aufgaben. Absolute Tokenzahlen fehlen, sodass sich nicht sagen lässt, was eine einzelne Verifikation in Dollar oder Zeit kostet.
Theorem hat zudem eine Auswertung zur Beweiseffizienz veröffentlicht, die „KB verifizierten Maschinencodes pro Stunde“ nach Veröffentlichungsdatum der Modelle misst, mit 95-%-Intervallen. Auf der Startseite von Theorem steht eine weitergehende Behauptung: „Verifikation ist die einzige Verteidigung, die hält, während Angreifer skalieren.“ Das ist die Begründung des Unternehmens, warum Verifikation wichtig ist, kein Ergebnis aus dem Beitrag.
Das Diagramm von Anthropic im Beitrag zeigt den Ablauf „vom Code zu einer maschinell geprüften Garantie“ und setzt in diesem Beispiel auf Rocq statt auf Lean. Lean ist eine Open-Source-Programmiersprache und ein Beweisassistent; &Truth baut darauf auf. Wie stark die berichtete Kostensenkung vom verwendeten Beweissystem abhängt, lässt der Auszug offen.
Was sich ändert
Art: Forschung · Betrifft: Opus 5.5, Opus 5
Warum es wichtig ist
Formale Verifikation wird für Sicherheitsarbeit an echten Codebasen allmählich bezahlbar. Das könnte verändern, wie Teams KI-generierten Code prüfen.
Originalquelle
Für diese Meldung haben wir noch keinen Link zur Originalquelle.
Wo wir es gesehen haben
Latent Space
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es