Richter et al.: Ausrichten von Zelldaten integriert sie nicht vollständig
Ein Paper von Richter et al. in Nature Machine Intelligence berichtet, dass das Ausrichten unterschiedlicher biologischer Datentypen sie in Zell-Foundation-Models nicht vollständig integriert.
Richter et al. berichten in Nature Machine Intelligence, dass das Ausrichten (Alignment) verschiedener biologischer Datentypen allein nicht genügt, um sie in multimodalen Zell-Foundation-Models vollständig zu integrieren. Das Paper führt dafür eine Metrik ein, den Synergistic Information Score (SIS). Er prüft, ob die Fusion zweier Datentypen aufgabenrelevante Information liefert, die über den stärksten einzelnen Datentyp hinausgeht, oder ob sie bloß ein Signal wiederholt, das eine Modalität ohnehin schon enthält.
Unimodale Datensätze gibt es reichlich, gepaarte Messungen, die mehrere Modalitäten derselben Zelle oder desselben Gewebes erfassen, sind dagegen deutlich seltener. Diese Knappheit begünstigt kompositionelle Foundation Models: Sie nutzen für jede Modalität eingefrorene, vortrainierte Encoder und kombinieren deren Ausgaben über eine kleine gelernte Schnittstelle. Die Autoren argumentieren, dass die üblichen Alignment-Ziele gepaarte Repräsentationen mit kontrastiven oder Regressions-Losses in einem gemeinsamen Embedding-Raum zusammenziehen. Diese Ziele liefen letztlich darauf hinaus, lineare Redundanz zu erkennen. In ihrer Lesart kann Alignment-basierte Fusion an eine „spektrale Obergrenze“ stoßen, die durch das Eigenspektrum der vortrainierten Repräsentationen bestimmt wird. Sie erfasst die dominanten linearen Korrelationen, kommt aber womöglich nicht an synergistische Information heran, die erst durch gemeinsame nichtlineare Verarbeitung entsteht.
Der SIS ist der relative Zugewinn an Information eines linearen Probes über eine Zielvariable Y, wenn beide Modalitäten genutzt werden, gemessen an der besseren der beiden Einzelmodalitäten. Das Paper schätzt die Transinformation (Mutual Information) mit linearen Probes, bei Klassifikation über F1 Macro, bei Regression über R2. Ein positiver Wert zeigt zugängliche Synergie an. Ein Wert nahe null oder darunter deutet auf dominierende Redundanz oder ein Scheitern der Fusion hin. Die Autoren weisen darauf hin, dass der Score bei starkem Ungleichgewicht zwischen den Modalitäten konservativ ist. Die Fusion muss die dominante unimodale Baseline übertreffen, um positiv zu werden. Ein niedriger Wert bedeutet also keinen Zusatzgewinn gegenüber dieser Baseline, nicht aber, dass die schwächere Modalität nichts aussagt. Zudem hängt der Score vom Probe ab: Er misst, was eine Fusionsschnittstelle linear zugänglich gemacht hat, und ist keine vollständige Informationszerlegung.
Die Autoren haben zehn Fusionsschnittstellen auf drei Datensätzen der räumlichen Transkriptomik getestet: einem Lungenatlas zur Lungenfibrose, einem Datensatz zum sich entwickelnden menschlichen Thymus und einem Brustkrebs-Datensatz. Die Encoder blieben fixiert, UNI-25 für die Histopathologie und Nicheformer für die räumliche Transkriptomik, sodass Unterschiede in der nachgelagerten Leistung auf den Fusionsschritt zurückgehen. Beim Brustkrebs-Datensatz ergab die Nischenklassifikation nur kleine positive SIS-Werte: CCA erreichte 0,058 und CoMM 0,045, während einfache Konkatenation mit 0,011 nahe an der stärksten unimodalen Baseline blieb. Die Autoren deuten das als redundanzdominierte Aufgabe, bei der die Fusion nur wenig Signal hinzufügt, weil die einzelnen Modalitäten es weitgehend schon liefern. Die Nischenklassifikation in der Lunge verhielt sich laut Paper ähnlich.
Der Thymus-Datensatz steht für eine Aufgabe, die Synergie erfordert. Seine Genexpressionsdaten stammen aus räumlicher Visium-Transkriptomik, die Transkripte über grobe Spots erfasst, die jeweils mehrere Zellen umfassen. Sie decken sich nicht genau mit der feinen Struktur, die in Histologiebildern sichtbar ist. Laut den Autoren entsteht durch diese unterschiedliche Auflösung ein Bereich, in dem komplementäre räumliche Information über die Modalitäten hinweg kombiniert werden muss, und dort versage Aggregation. Die allgemeinere These des Papers: Synergiebewusste Ziele wie Contrastive MultiModal (CoMM) können die spektrale Obergrenze bei Aufgaben überschreiten, die von modalitätsübergreifenden Abhängigkeiten leben. Alignment-basierte Methoden erreichen dagegen typischerweise schon in der Nähe der unimodalen Leistung ihre Sättigung.
Warum es wichtig ist
Teams, die multimodale Biologiemodelle entwickeln, müssen womöglich prüfen, ob jede zusätzliche Datenquelle tatsächlich neue Information beisteuert, statt vorhandenes Signal nur zu verdoppeln.
Originalquelle
Wo wir es gesehen haben
Nature Machine Intelligence
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es