Roboter mit Gesten steuern

Bei dem Projekt zur Gestensteuerung eines Roboterarms dreht sich alles um die Frage ‚Was sind die Probleme, wenn man neben dem Touchdisplay auch die Bewegungssensoren eines Smartphones zum Bedienen nutzt?‘.Berner+Mattner

Da Bedienbarkeit ein Differenzierungsmerkmal ist, müssen sich HMIs künftig an den Konzepten von Tablets und Smartphones aus dem Consumer-Bereich messen. Zeigen, Wischen und Zweifinger-Zoom gehören zur alltäglichen Nutzererfahrung, die eine Erwartungshaltung auch gegenüber industriellen Bedienkonzepten erzeugt. Berner&Mattner hat als Dienstleister für Software- und Systementwicklung bereits Projekte des industriellen BYOD (Bring Your Own Device) abgeschlossen, beispielweise für einen international tätigen Messgerätehersteller. Die Entwicklung von Gerätesteuerungen, die die Hardware von Standard-Tablets nutzen, verlangt neue Methoden und Herangehensweisen. Ein Team bei Berner&Mattner fragte sich, was wohl die Probleme wären, wenn man noch einen Schritt weiter ginge und neben dem Touchdisplay auch die Bewegungssensoren eines Smartphones benutzte? Dies war der Startschuss für das Projekt ‚Smart Multi-Axis Control‘.

Die Idee des Projektteams war es, für die Steuerung eines Mehrachsgreifarms eine möglichst intuitive Bedienung zu entwickeln, die die menschliche Hand-Auge-Koordination nutzt. Als Hardware-Basis des Interfaces sollten dabei die Kreisel- und Beschleunigungssensoren eines iPhones dienen. Durch die Entwicklung einer Komplettlösung wollte das Team herausfinden, wo besondere Probleme eines solchen Interaktionsansatzes liegen und wie ihnen methodisch zu begegnen ist.

Aus Sicht des Roboters bedienen

Der Umgang mit dem Telefon als Bediengerät sollte so intuitiv wie möglich sein. Dreht der Anwender zum Beispiel das Telefon um die eigene Längsachse, rotiert auch der Greifarm. Berner+Mattner

Es stellte sich die Frage, mit welchen Gesten der mit fünf Achsen und einem Greifer ausgestattete Roboterarm gesteuert werden sollte. Um die Hand-Auge-Koordinationsfähigkeit des Bedieners optimal zu nutzen, muss der Bediener sich möglichst gut in den Demonstrator hineindenken können. So, wie man seinen eigenen Arm nicht zu sehen braucht, um seine Position in Bezug auf ein zu greifendes Objekt zu kennen, soll es dem Bediener mit einer optimalen Gestensteuerung möglich sein, die Bewegungen des Roboters zu verfolgen, während er das iPhone – ohne Hinsehen – intuitiv bewegt. In einem Workshop zur Entwicklung der Gesten zeigte sich, dass der Versuch, die Bewegungen des Greifarms, mit dem iPhone in der Hand, gestikulierend zu erklären, bereits sehr nah an das heranführte, was letztlich als Steuerungsgesten umgesetzt wurde. So war zum Beispiel sofort klar, dass ein Drehen der Greifzange durch das Rotieren des Handys um die Längsachse symbolisiert werden sollte oder dass das Neigen des Handys den Arm absenken muss. Es hat sich bewährt, ein solches Bedienkonzept mit einer heterogenen Gruppe von Testpersonen zu überprüfen. Das Entwicklerteam kam auf diese Weise zu einer interessanten Erkenntnis: Die Bewegungen waren zunächst auf ein Koordinatensystem im Raum bezogen. Es zeigte sich aber, dass nur Benutzer mit einem ausgeprägt mathematischen Denken die Bewegung mühelos entlang der Achsen umsetzen konnten. Das viel direktere Verständnis, das dann auch umgesetzt wurde, ist aber ein anderes. Der überwiegende Teil der Benutzer verstand die Bewegungsrichtungen aus Sicht des Roboterarms. Sie versetzten sich gewissermaßen in das Mehrachssystem hinein, sodass das Koordinatensystem relativ zur Position des Geräts gedacht werden musste.

Die Signale der Mobiletelefon-Sensoren gehen über Wlan an einen Java-Server und von dort an die Echzeitplattform, die die Bewegungsdaten in Steuerungsbefehle für den Greifarm umsetzt.Berner+Mattner

Eine Echtzeitplattform übersetzt in Roboter-Sprache

Die technische Umsetzung des Projekts sieht wie folgt aus: Eine App gibt die Sensordaten und Benutzereingaben über Wlan an einen Java-Server zur Sensorik-Vorverarbeitung. Diese hat zwei Aufgaben: Zum einen abstrahiert der Server die Hardware, indem er die Semantik der Befehle bildet, die dann an das Echtzeitsystem gehen. So wird aus den übermittelten Neigungsinformationen des Handys zum Beispiel der Befehl ‚Move up‘ oder ‚Move down‘ verknüpft mit einer Geschwindigkeit abgeleitet. Zum anderen überprüft der Server die Gültigkeit der Daten. Um Fehler aufgrund von Qualitätsschwankungen der Funkverbindungen zu vermeiden, überprüft er auch die Funkstrecke anhand von Ping und Zeitstempel. Verzögerte Befehle werden nicht ausgeführt. Die Echtzeitplattform Messina setzt die Bewegungsdaten dann verzögerungsfrei in Steuerungsbefehle für den Greifarm um. Bis auf Smartphone und Robotergreifarm sind alle Komponenten von Berner&Mattner entwickelt worden – von der Smartphone-App über den Java-basierten Server, die Controller des Roboterarms bis zur Plattform Messina für das modellbasierte Testen von Steuergeräten und Hardware-in-the-Loop-Echtzeitanwendungen.

Ebenfall ein ganz wesentlicher Bestandteil des Projekts ist das Modell im Kopf. Denn alle Menschen haben im Kopf ein Modell ihres eigenen Arms und der Umwelt. Alle Aktionen werden anhand dieses Modells gesteuert. Deswegen führt das Echtzeitsystem die inverse Kinematik durch und rechnet ständig ein Matlab/Simulink-Modell der Achsen und Längen mit. Das System erhält von dem Java-Server semantische Befehle wie ‚Drehe 32° nach links‘ oder ‚Fahre zu Position yxz‘. Die inverse Kinematik ist die Umrechnung von Koordinaten des Greifers in Winkel der einzelnen Gelenke des Arms, aus denen die Embedded-Systeme des Demonstrators wiederum die Servobefehle ableiten.

Da die Sensordaten des Telefons zu ungenau sind, musste sich das Entwickler-Team mit virtuellen Schiebereglern behelfen.Berner+Mattner

Vom Modell zum realen Zugriff

Berner&Mattner ist als Entwicklungspartner auf Anwendungen für das modellbasierte Testen spezialisiert, das für Software- und Hardware-in-the-Loop- sowie Produkttests, etwa bei Fahrerassistenzsystemen oder in ähnlichen sicherheitsrelevanten Systemen, unter anderem die Kosten senkt. Auch im Projekt der Gestensteuerung verfuhr das Team entsprechend und das erwies sich als empfehlenswert. Das Modell wurde in einer Simulation getestet, das heißt, statt der Hardware des Demonstrators wurde zunächst ein Matlab-Modell über die Bewegung des iPhones gesteuert. Die Kollisionsvermeidung, in diesem Fall mit der Plexiglasbox, konnte so zum Beispiel gefahrlos getestet werden. Aufgrund des modellbasierten Vorgehens erkannten die Entwickler ein Problem schnell: Es zeigte sich, dass die Sensorik keine eindeutigen Signale brachte, sodass das Signalrauschen über verschiedene Filterstufen eliminiert werden musste. Die Raumposition mithilfe der Beschleunigungssensoren eindeutig zu bestimmen war aber trotzdem nicht möglich. Hier musste das Team vom ursprünglichen Bedienkonzept abweichen: Die Bedienung des Greifers war bereits mit einem Schieberegler auf dem Display vorgesehen. Nun wurde auch das Vorstrecken und Zurückziehen des Arms mit einem virtuellen Schieberegler gelöst.

Fragen der Sicherheit im Voraus klären

Die Gestensteuerung erinnert an Spielkonsolen wie Wii oder Xbox und tatsächlich bieten sich spielerische Anwendungen per Smartphone an, etwa die Steuerung von Remote-Control(RS)-Modellen, zum Beispiel ein Quadrocopter. Ausgehend davon lassen sich zunächst Anwendungen für die Steuerung nicht-sicherheitskritischer Systeme erwägen, etwa die Bewegung einer Kamera. Bereits in der Machbarkeitsstudie wurde deutlich, dass Sicherheitsaspekten eine große Bedeutung zukommt. Der Demonstrator wurde beispielsweise im Rahmen einer Messe präsentiert. Dort war das 2,4-GHz-Wlan dermaßen überlastet, dass es dauernd zu Ausfällen kam, bis man auf das 5-GHz-Netz auswich. Ein solches Beispiel zeigt, dass bereits der erste Übertragungsweg gut abgesichert sein muss, um ein Fehlverhalten des angesteuerten Zielsystems zu vermeiden. Für die Betriebssicherheit ist es zudem wichtig, ungewollte Eingaben des Bedieners zu verhindern. Im Projekt ‚Smart Multi-Axis Control‘ wurde dies so gelöst, dass der Finger auf dem Touchscreen bleiben muss. Dies ist eine klassische Totmannschaltung. Die Übernahme der Steuerung wird zudem durch ein Vibrationsfeedback bestätigt. Ein weiterer Sicherheitsaspekt ist die bereits erwähnte Kollisionsvermeidung. Schon diese wenigen Beispiele aus der Studie zeigen: Es gibt reichlich Testbedarf, der nach Ansicht des Unternehmens am besten modellbasiert bewältigt wird. Wie das Beispiel der ungenauen Sensordaten beim Bestimmen der Raumposition zeigt, ergibt sich bei der Verwendung eines Standardmobilgerätes außerdem die Notwendigkeit zu evaluieren, was die gegebenen Sensoren leisten können und was nicht.

(mf)