Der Sensor-Handschuh STAG besteht aus handelsüblichen Materialien im Wert von rund 10 US-Dollar und liefert mit seinen 550 Sensoren hochauflösende Messdaten. MIT Massachusetts Institute of Technology

Der Sensor-Handschuh STAG besteht aus handelsüblichen Materialien im Wert von rund 10 US-Dollar und liefert mit seinen 550 Drucksensoren hochaufgelöste Messdaten. Massachusetts Institute of Technology

Eine menschliche Hand, die einen mit 550 Drucksensoren gespickten Handschuh trägt und verschiedene Gegenstände greift, erzeugt dadurch typische Mess-Signale für diesen Vorgang und den jeweiligen Gegenstand. Mit diesen Mess-Signalen werden jeweils große Messdatensätze erzeugt. Ein neuronales Netzwerk verarbeitet diese Signale, um die charakteristischen Druck-Signalmuster dieser gegenstands-spezifischen Messdatensätze zu lernen. Ergreift die Hand mit dem Sensorhandschuh dann einen Gegenstand, dann verwendet das KI-System den so erzeugten Datensatz, vergleicht ihn mit dem Gelernten und kann so die gegriffenen Gegenstände klassifizieren und ihre Gewichte – nur aufgrund der sensorischen Messdaten – vorhersagen.

Das taktile Abtastsystem könnte in Kombination mit herkömmlichem Computer Vision- und bildbasierten Datensätzen verwendet werden, um Robotern ein menschenähnlicheres Verständnis der Interaktion mit Objekten zu vermitteln.

In einem in der Fachzeitschrift Nature veröffentlichten Beitrag beschreiben die Wissenschaftler einen Datensatz, den sie mit dem Sensorhandschuh STAG (Scalable Tactile Glove) für 26 gängige Objekte zusammengestellt haben – darunter eine Cola-Dose, eine Schere, ein Tennisball, ein Löffel, ein Stift und ein Becher. Anhand des Datensatzes prognostizierte das System die Identitäten der Gegenstände mit einer Genauigkeit von bis zu 76 %. Das System kann auch die korrekten Gewichte der meisten Gegenstände auf ungefähr 60 g genau vorhersagen.

Ähnliche Sensorhandschuhe, die heute verwendet werden, kosten Tausende von Dollar und enthalten oft nur etwa 50 Sensoren. Dagegen besteht STAG aus handelsüblichen Materialien im Wert von rund 10 US-Dollar und liefert mit seinen 550 Sensoren hochauflösende Messdaten. STAG ist mit einem elektrisch leitfähigen Polymer laminiert, das seinen Widerstand mit dem Druck ändert. Die Forscher nähten leitfähige Fäden durch Löcher in der leitfähigen Polymerfolie, von den Fingerspitzen bis zur Handflächenbasis. Die Fäden überlappen sich so, dass sie zu Drucksensoren werden. Wenn jemand, der den Handschuh trägt, einen Gegenstand fühlt, anhebt, hält und fallen lässt, erfassen die Sensoren den Druck an jedem Punkt. Die Fäden des Handschuhs sind mit einem externen Schaltkreis verbunden, der die Druckmessdaten in ‚taktile Landkarten‘ übersetzt, die im Wesentlichen kurze Videos von Punkten sind, die über eine Handabbildung wachsen und schrumpfen. Die Punkte stellen die Position der Druckpunkte auf der Handfläche dar, und ihre Größe stellt die Kraft dar – je größer der Punkt, desto größer der Druck.

Aus diesen taktilen Landkarten haben die Forscher einen Datensatz von etwa 135.000 Videobildern aus Interaktionen mit 26 Objekten zusammengestellt. Diese Bilder können von einem neuronalen Netzwerk verwendet werden, um die Identität und das Gewicht von Gegenständen (Objekten) vorherzusagen und Erkenntnisse über das menschliche Greifen zu gewinnen.

Um Objekte zu identifizieren, entwickelten die Forscher ein Convolutional Neural Network (CNN), das üblicherweise zur Klassifizierung von Bildern verwendet wird, um spezifische Druckmuster mit bestimmten Objekten zu verknüpfen. Aber der Trick war, Bilder (Frames) aus verschiedenen Arten von Greifern auszuwählen, um ein vollständiges Bild des Objekts zu erhalten.

Die Idee war, die Art und Weise nachzuahmen, wie Menschen ein Objekt auf verschiedene Weise halten können, um es zu erkennen, ohne es zu sehen. Ähnlich wählt das CNN bis zu acht halbzufällige Bilder aus dem Video aus, die die verschiedenen Greifbewegungen darstellen – zum Beispiel eine Tasse von unten, von oben oder am Henkel zu halten.