AI News
Alle Meldungen
Offiziell

Robbyants LingBot-Touch bringt verschiedene Tastsensoren auf einen Nenner

Robbyant stellt LingBot-Touch vor: ein taktiles Foundation Model, das piezoresistive, magnetische und visuotaktile Sensoren auf eine gemeinsame virtuelle Fingerkuppe abbildet.

Forschung · · 1 Min. Lesezeit

Robbyant hat LingBot-Touch vorgestellt, ein taktiles Foundation Model, das drei Arten von Tastsensoren eine gemeinsame Repräsentation gibt. Das Modell wurde mit 4.983 Stunden echter Berührungsdaten vortrainiert und bildet piezoresistive, magnetische und visuotaktile Sensoren auf dieselbe virtuelle Fingerkuppe ab. Laut den Autoren funktioniert es auch auf der Roboterhand XHand1, deren Sensor das Modell im Training nie gesehen hat.

Das arXiv-Paper mit Bing Han als Erstautor bezeichnet die so erzeugten taktilen Token als Plug-and-Play. Sie lassen sich an unterschiedlichste Policies anbinden, von Diffusion Policy bis zu Vision-Language-Action-Modellen wie π0.5 und LingBot-VLA. Weil jeder Sensor auf dieselbe virtuelle Fingerkuppe abgebildet wird, können nachgelagerte Policies mit einer einzigen gemeinsamen Repräsentation arbeiten.

Auf der XHand1 erreichte ein eingefrorenes LingBot-Touch mit einem kleinen trainierten Zusatzmodul bei der Bestimmung des Kontaktzentrums einen durchschnittlichen Fehler von 0,16 mm. FTP-1 kam mit einem eigens auf die XHand1 zugeschnittenen Adapter auf 5,89 mm.

Bei sechs realen Aufgaben auf der XHand1 erzielte LingBot-VLA im Schnitt eine Erfolgsquote von 57,21 %, unabhängig davon, ob es rohe taktile Eingaben erhielt oder nicht. Mit den Features von LingBot-Touch stieg der Durchschnitt auf 75,04 %. Der Beitrag nennt weder die sechs Aufgaben noch die Zahl der Durchläufe pro Aufgabe. Die Streuung um diese Mittelwerte bleibt also unklar. Laut Abstract kommt die taktile Repräsentation zudem der Manipulation sowohl in der Simulation als auch beim Einsatz auf echten Robotern verschiedener Hardwareplattformen zugute und lässt sich leicht auf neue Sensortypen erweitern.

Was sich ändert

Art: Neue Funktion · Betrifft: LingBot-Touch, XHand1, π0.5, LingBot-VLA

Warum es wichtig ist

Robotik-Teams könnten, gestützt auf die von den Autoren berichteten Ergebnisse, ein einziges taktiles Modell für unterschiedliche Sensorhardware nutzen, statt für jeden Sensor einen eigenen Adapter zu trainieren.

Originalquelle

Wo wir es gesehen haben

1 Quelle

DAIR.AI (Elvis Saravia)

Robbyant

KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es