AI News
Alle Meldungen
Berichtet

Hugging Face Biology Research veröffentlicht offenes Modell Carbon-X mit 14,8 Milliarden Parametern für DNA und Text

Carbon-X wurde mit DNA-Sequenzen und gewöhnlichem Text trainiert. Laut seinen Entwicklern erreicht es im Schnitt 66,7 % über fünf DNA-Benchmarks.

Modelle · · 3 Min. Lesezeit

Hugging Face Biology Research hat Carbon-X veröffentlicht, ein offenes Modell mit 14,8 Milliarden Parametern. Es wurde zugleich mit DNA-Sequenzen und gewöhnlichem Text trainiert und steht unter der Lizenz Apache-2.0. Nutzer können rohen genetischen Code in einen Chat einfügen und auf Englisch fragen, ob eine Mutation harmlos oder pathogen ist, welche Regionen die Genaktivität steuern, zu welcher Organismengruppe eine Sequenz gehört oder wie die nächsten Basen lauten. Laut Model Card können die Antworten DNA und Fließtext mischen.

DNA und Text teilen sich laut Model Card einen gemeinsamen Token-Strom in einem einzigen Decoder, einen eigenen Encoder für Sequenzen gibt es nicht. Ein hybrider Tokenizer behält für Text ein Byte-Pair-Encoding-Vokabular bei und zerlegt DNA in nicht überlappende Abschnitte zu je sechs Buchstaben, sodass jedes DNA-Token sechs Basenpaare abdeckt. Folgen von mindestens sechs A-, C-, G- oder T-Basen werden automatisch markiert, Nutzer müssen sie also nicht selbst kennzeichnen. Jeder Sechserabschnitt, der ein Zeichen wie N enthält, wird zu einem einzigen unbekannten Token. Deshalb empfiehlt die Model Card, vorher auf die kanonischen Basen zu filtern, wenn es auf volle Auflösung ankommt.

Ausgangspunkt ist Qwen3-14B. Die Entwickler fügten zunächst die DNA-Token mit zufällig initialisierten Embeddings hinzu und trainierten nur diese über rund 10 Milliarden Token. Danach trainierten sie das gesamte Modell im Mid-Training mit 302 Milliarden Token. In dieser Mischung entfallen 55 % auf rohe DNA, 20 % auf Englisch und 15 % auf Biologietexte. Die Model Card beschreibt einen Zielkonflikt, der sich in Ablationsstudien zeigte: Eine niedrige Lernrate erhält das Englisch, lässt die DNA-Leistung aber auf Zufallsniveau. Mit einer hohen Lernrate lernt das Modell DNA, vergisst aber Englisch. Darauf folgen Supervised Fine-Tuning und Reinforcement Learning mit überprüfbaren Belohnungen bei DNA-Aufgaben.

Die Kernzahl ist ein Durchschnitt von 66,7 % über fünf DNA-Benchmarks bei deaktiviertem Thinking. Das liegt laut Model Card 27 Punkte über Qwen3-14B und vor jedem anderen dort evaluierten offenen Modell. GPT-6.1 Sol erreicht 67,5 %, allerdings bei maximaler Reasoning-Einstellung. Die Tabelle der einzelnen Benchmarks zeigt ein uneinheitliches Bild. Carbon-X führt bei BioReason Coding (74,9 gegenüber 71,0 für GPT-6.1 Sol) und NextBase (39,4 gegenüber 32,9). GPT-6.1 Sol liegt bei BioReason Non-SNV (91,7 gegenüber 85,1), GenomeQA (67,2 gegenüber 63,6) und FrontierVEP (74,9 gegenüber 70,4) vorn.

Zwei der fünf Benchmarks haben die Entwickler selbst erstellt: FrontierVEP und NextBase. BioReason und GenomeQA stammen aus der Fachliteratur. NextBase misst den Anteil korrekt vorhergesagter Basen über 600 Sequenzen, die 39,4 % von Carbon-X sind der beste Wert in dieser Tabelle. Auch die Aufschlüsselung von GenomeQA ist uneinheitlich. Die Unterscheidung zwischen Enhancer und Promotor erreicht 70,0 %, Spleißstellen dagegen 29,8 % und Histonmarkierungen 34,6 %. Laut Model Card wurden die Trainingsdaten auf drei Arten auf Überschneidungen mit den Benchmarks geprüft, unter anderem auf DNA-Überlappung ganzer Abschnitte und per Sequenzhomologiesuche.

Die Kostenangabe beruht auf einem Vergleich pro Aufgabe. Laut Model Card liegen die Inferenzkosten von Carbon-X pro Aufgabe bei etwa 1/1.800 jener von GPT-6.1 Sol. Die Analyse der 2,4 Millionen Varianten unklarer Bedeutung in ClinVar würde demnach rund 300 US-Dollar kosten, gegenüber 32.000 bis 4 Millionen US-Dollar bei den evaluierten Frontier-Modellen. Die anderen Modelle werden zu Standard-API-Preisen berechnet, der Wert für Carbon-X ergibt sich aus dem gemessenen Durchsatz pro H200-Stunde bei 5 US-Dollar pro Stunde. Da Carbon-X direkt und ohne ausgedehntes Reasoning antwortet, erzeugt es pro Aufgabe zudem wenige Output-Token.

Die Gewichte passen in bfloat16 auf eine einzige GPU mit 80 GB. Die Model Card führt das als Grund an, warum Forschende sensible oder unveröffentlichte Sequenzen auf der eigenen Infrastruktur behalten können. Sie beschreibt außerdem, wie sich Carbon-X als Werkzeug für andere Agenten nutzen lässt. Agenten beantworten DNA-Fragen oft selbst, statt das Werkzeug aufzurufen. Wer die Einschätzung von Carbon-X möchte, muss das daher ausdrücklich verlangen. Die Model Card empfiehlt, Sequenzen per Referenz zu übergeben, statt sie von einem Sprachmodell kopieren zu lassen. Ein fertiger Skill für Claude Code und Codex CLI liegt bei, und für llama.cpp gibt es GGUF-Quantisierungen.

Das Carbon-Projekt ist laut GitHub-Repository eine Zusammenarbeit von Hugging Face, der Zhongguancun Academy und TIGEM/Universität Neapel Federico II. Das Repository verweist auf einen technischen Bericht zu Carbon auf bioRxiv und einen separaten Blogbeitrag zu Carbon-X. Der Abschnitt zu den Einschränkungen in der Model Card bricht nach den Worten „It has not“ ab, das verfügbare Dokument führt seine Aussage zu den Einschränkungen also nicht zu Ende.

Was sich ändert

Art: Neue Funktion · Betrifft: Carbon-X

Warum es wichtig ist

Ein offenes Modell für die DNA-Analyse könnte die Kosten genomischer Arbeit für Life-Science-Teams senken. Die Angaben zu Leistung und Kosten stammen allerdings von den Entwicklern selbst und müssen unabhängig überprüft werden.

Originalquelle

Wo wir es gesehen haben

1 Quelle

Forward Future (Matthew Berman)

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es