AI News
Alle Meldungen
Offiziell

Studie sieht fraktale Basin-Geometrie als Grenze der Vorhersagbarkeit von Deep Learning

Ly und Gong vertreten die These, dass fraktale Basin-Geometrie die Ergebnisse von Deep Learning schwer vorhersagbar und reproduzierbar macht, weil sich die Ergebnisse bis in beliebig feine Skalen ineinander verschränken.

Forschung · · 3 Min. Lesezeit

Ly und Gong argumentieren in Nature Machine Intelligence, dass eine bestimmte Geometrie der Trainingslandschaft die Ergebnisse von Deep Learning unvorhersagbar machen kann, selbst wenn äußere Zufallsquellen kontrolliert werden. Als Mechanismus schlagen sie eine Riddled-Basin-Geometrie vor: Jeder Startpunkt, der zu einer bestimmten trainierten Lösung führt, liegt beliebig nahe an Startpunkten, die zu einer anderen Lösung führen. Die Autoren bezeichnen die entstehende Struktur als fettes Fraktal, also als Struktur mit Details auf beliebig feinen Skalen. Deshalb bringt ein präziser gewählter Startpunkt kaum zusätzliche Vorhersagbarkeit. Die Arbeit erschien am 5. November 2026 online. Auf der Seite des Verlags ist eine frühere arXiv-Version vom Oktober 2025 verlinkt.

Ausgangspunkt ist ein empirisches Rätsel, auf das sich die Autoren berufen. Frühere Arbeiten führen mangelnde Reproduzierbarkeit auf äußeres Rauschen zurück, etwa zufällige Initialisierung, die Reihenfolge der Mini-Batches, Data Augmentation und numerische Fehler auf GPUs. Die Studie hält jedoch fest, dass nach dem Entfernen dieses Nichtdeterminismus schon die Änderung eines einzigen Parameters um ein Bit eine Streuung erzeugen kann, die mit jener mehrerer kombinierter Rauschquellen vergleichbar ist. Die Erklärung der Autoren stützt sich auf Einzugsgebiete (Basins of Attraction): Bereiche des Parameterraums, deren Startpunkte allesamt zum selben trainierten Ergebnis führen. In einem „riddled“ Basin ist das Einzugsgebiet eines Ergebnisses mit dem eines anderen verschränkt, sodass keine Umgebung eines Startpunkts sicher auf einer Seite liegt. Die Autoren grenzen dies von bereits untersuchten Trainierbarkeitsgrenzen ab, die auf dünnen Fraktalen beruhen. Diese haben Lebesgue-Maß null und werden vorhersagbar, sobald die Anfangsunsicherheit ausreichend reduziert ist. Ein fettes Fraktal ist dagegen untrennbar mit seinem Rand verbunden, weshalb eine geringere Unsicherheit die Vorhersagbarkeit nicht wiederherstellt. Die Arbeit unterscheidet das Phänomen auch von Chaos: Chaos lässt Trajektorien im Zeitverlauf auseinanderlaufen, Riddling hingegen erzeugt eine Unvorhersagbarkeit auf Ebene der Ergebnisse, die auf jeder Skala bestehen bleibt.

Um zu zeigen, dass der Mechanismus im Training auftreten kann, verwenden die Autoren ein Minimalmodell: ein zweischichtiges Netz mit tanh-Aktivierung, das per deterministischem Gradientenabstieg an acht zufällige Datenpunkte angepasst wird. Seine Symmetrien erzeugen invariante Ebenen. Bei einer Lernrate von 2,5 mündet die Trainingstrajektorie in einen chaotischen Attraktor innerhalb einer dieser Ebenen. Die Autoren berichten positive maximale Exponenten und durchweg negative transversale Lyapunov-Exponenten. Damit ist der Attraktor ein Milnor-Attraktor mit einem Einzugsgebiet von nicht verschwindendem Maß. Das Riddling selbst wird indirekt erschlossen: Positive Schwankungen der transversalen Exponenten über endliche Zeiträume treten bei T = 32, 128 und 512 in 25,3 %, 9,4 % bzw. 0,8 % der Segmente auf. Die Autoren werten dies als Hinweis auf transversal instabile periodische Punkte. Eine diffusive Skalierung dieser Schwankungen wird als Kennzeichen von Riddling beschrieben. Eine Kartierung der Endpunkte über ein Raster von 2.047 mal 2.047 Initialisierungen zeigt ein schmetterlingsartiges Muster, und vergrößerte Ausschnitte zeigen die beiden Ergebnisse über viele Skalen hinweg ineinander verwoben.

Die zentrale quantitative Aussage betrifft den Unsicherheitsexponenten. Die Autoren definieren f(ε) als Wahrscheinlichkeit, dass eine zufällige Störung der Größe ε das Einzugsgebiet wechselt, und passen f(ε) an ein Potenzgesetz in ε an. Für das Minimalmodell ergibt sich ein Exponent von 0,0126 ± 0,0002. Ein Potenzgesetz mit einem derart nahe bei null liegenden Exponenten bedeutet: Wird die Störung um den Faktor zehn verkleinert, sinkt die Wahrscheinlichkeit eines unvorhersagbaren Ergebnisses nur geringfügig. In diesem Sinn spricht die Arbeit davon, dass mehr Präzision nur marginale Gewinne bringt. Dieselbe Logik wenden die Autoren auf tiefe Netze an. Dort berichten sie über alle getesteten Architekturen, Optimierer und Trainingsprotokolle hinweg verschränkte Endpunkte und Exponenten nahe null. Zusätzlich führen sie funktionale Exponenten ein, die die Ähnlichkeit der gelernten Eingabe-Ausgabe-Funktionen statt der Parameter messen. Die Aussagen zu tiefen Netzen beruhen auf Signaturen, die als mit Riddling vereinbar beschrieben werden, nicht auf einem nachgewiesenen Riddled Basin in diesen Netzen. Laut der Arbeit ist eine direkte Stabilitätsanalyse hochdimensionaler Trainingsattraktoren nicht praktikabel, weshalb das Minimalmodell gewählt wurde.

Die Deutung früherer Beobachtungen, darunter nicht reduzierbare Modellvariabilität und Zielkonflikte zwischen Leistung und Reproduzierbarkeit, versteht die Arbeit als nachträgliche Erklärung dieser Phänomene, nicht als deren Überprüfung. Das im September 2026 überarbeitete arXiv-Abstract enthält dieselben Kernaussagen wie die veröffentlichte Fassung, die Formulierung zu den funktionalen Exponenten weicht jedoch leicht ab. Insgesamt stützt die Arbeit Riddling als mögliche Erklärung für mangelnde Reproduzierbarkeit im Deep Learning.

Warum es wichtig ist

Trifft die vorgeschlagene Geometrie zu, können Teams Trainingsläufe nicht allein durch höhere numerische Präzision reproduzierbar machen. Die Streuung zwischen einzelnen Läufen muss daher von vornherein eingeplant werden.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Nature Machine Intelligence

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es