Kamerabasierte Sensorsoftware vereinfacht Roboterhardware

Die Idee für eine kamerabasierte Sensorsoftware für intelligente Roboter entstand aus einer Doktorarbeit. Inspiriert von der Beobachtung, wie Roboterstaubsauger absichtlich und wiederholt auf Hindernisse für die taktile Kartierung stoßen, hat Dr. Nicolas Alt im Zuge seiner Promotion einen taktilen Sensor für mobile Roboterplattformen entwickelt. Das Besondere: der Sensor bestand aus einem einfachen Schaumstoffbalken, der von einer am Roboter vorhandenen Kamera beobachtet wird und zeitgleich als weicher Stoßfänger dient.

Dieses Konzept gilt auch für die taktilen Sensoren, die das von Dr. Alt und zwei Forschern der TU München gegründete Start-up Robot Vision (Rovi) an den Fingern von Greifern anbringt. Dr. Clemens Schuwerk, Control Engineering, Marketing and Sales beim Start-up Rovi, erläutert: „Das Konzept der Verwendung einer externen Kamera haben wir um die Kombination mit passiven Elementen erweitert, um weitere Sensoren, wie Kraft-Momentensensoren und Winkelsensoren, für Roboter zu bauen.“ Alle drei Konzepte sind patentiert oder zum Patent angemeldet.

Die Sensorsoftware ersetzt komplexe hardwarebasierte Sensorsysteme und ermöglicht Robotern quasi das Fühlen durch Sehen. Dabei umfasst die technische Innovation die robuste Messung von Gelenkstellungen, Positionen, Greifkräften, Kontaktprofilen und anderen taktilen beziehungsweise haptischen Kontaktinformationen durch Bildverarbeitung und extern um den Arm oder am Greifer angebrachten Kameras. So sind sensitive und kostengünstige Roboter denkbar.

Mehr als nur einen Sinn ­verwenden

Funktionsprinzip der kamerabasierten Sensorsoftware für das intelligente Greifsystem Rovi

Eine Analogie zum Menschen veranschaulicht das Sensorkonzept: Mit geschlossenen Augen kann ein Mensch den Arm nur ungenau positionieren, da unsere Wahrnehmung der Position unserer Gliedmaßen und deren Gelenkstellungen wenig präzise ist. Klassische Industrieroboter arbeiten in der Regel zwar blind, nutzen im Gegensatz zum Menschen jedoch eine hochgenaue Sensorik zusammen mit einer steifen Konstruktion, um trotzdem eine hochgenaue Positionierung des Endeffektors zu erreichen. Dagegen verwendet der Mensch zusätzlich die visuelle Wahrnehmung und somit eine multimodale Informationsverarbeitung, um eine präzise Manipulation von Objekten zu ermöglichen. Auf ähnliche Weise erfassen kostengünstige Kameras mit der softwarebasierten Sensorik die Gelenkstellungen eines Roboterarms sowie Positionen und Greifkräfte und ermöglichen so eine präzise und autonome Interaktion des Roboters mit Objekten.

Funktion der Sensorsoftware

Mit Bildanalyse-Algorithmen berechnet die Software Gelenkstellungen eines Roboterarms im dreidimensionalen Raum. Einfache passive flexible Elemente, wie kostengünstiger Schaumstoff, ersetzen Kraft-Momentensensoren und taktile Sensoren. Kontaktkräfte führen zu charakteristischen Verformungen dieser Elemente. Diese Verformung misst die Software ebenfalls mit Bildanalyseverfahren und berechnet anhand eines Materialmodells die anliegenden Kräfte und Momente. Anwendbar ist die Sensorsoftware auf komplette Robotersysteme, Roboterarme, Greifer oder mobile Roboterplattformen und sie ermöglicht die intelligente Steuerung der Systeme.

Die eingesetzten Kameras sind enorm verbreitet und daher günstig und leistungsstark. Zugleich sind sie für die Umgebungserkennung auf Robotern unverzichtbar und deshalb bereits auf vielen Robotern vorhanden. Da die aktuelle Roboterkonfiguration über externe Kameras und Software gemessen wird, müssen Verbindungselemente nicht zwangsweise möglichst steif konstruiert und hochpräzise gefertigt sein. Stattdessen eignen sich nachgiebige Elemente und Materialien sowie einfachere Fertigungsverfahren mit geringerer Präzision. Dadurch lassen sich Kosten sparen und komplexe Schutzsysteme vermeiden. Mit flexiblen Elementen kann jedoch die Position des Arms nicht mehr wie herkömmlich über die Gelenkstellungen und das starre Robotermodell berechnet werden. Die externe Kamera in Verbindung mit der Software ermöglicht allerdings die präzise Berechnung der Position von Arm und Endeffektor, da die Kamera auch Verformungen erfasst. Ein positiver Nebeneffekt: Durch das Wegfallen der Sensorik, sinkt der Verkabelungsaufwand.

Kennwerte im Vergleich zur traditionellen Robotik

In typischen Set-ups mit einfachen Kameras erreichen wir circa 1 mm relativer Genauigkeit zwischen Roboter und Zielobjekt. Dr. Clemens Schuwerk, Control Engineering, Marketing and Sales bei Rovi Rovi

Industrielle Roboterarme mit herkömmlichen Hardware-Sensoren weisen sehr hohe absolute Genauigkeiten von < 0,1 mm und hohe Gelenkgeschwindigkeiten auf, da sie speziell dafür konstruiert wurden. Hardware-Sensoren können Abtastraten von > 1 kHz liefern. „Es ist nicht das Ziel unserer Technologie, mit diesen Werten zu konkurrieren“, sagt Dr. Schuwerk. Ein relevantes Maß für Roboter in unbekannten und veränderbaren Umgebungen ist die relative Genauigkeit zwischen Roboter und Zielobjekt. „Und hier sehen wir unser Terrain. So wie jeder Industriearm, der mit einer Kamera ergänzt wird, sind wir durch die kamerabasierte Lageschätzung des Zielobjekts begrenzt. In typischen Set-ups mit einfachen Kameras erreichen wir circa 1 mm. Ultra HD-Kameras kommen auf < 0,3 mm. Wir streben außerdem eine Geschwindigkeit von < 45°/s an“, führt Schuwerk aus. Das sei für Roboter außerhalb des Käfigs eine sichere Wahl und wird ebenso von vielen existierenden Robotern verwendet. Die Genauigkeit der taktilen und Kraft-Momenten-Sensoren hängt stark von der Kameraeinstellung (Abstand, Auflösung) ab. In typischen Fällen wird eine Genauigkeit von unter 5 % erreicht, die mit der Genauigkeit von Hardware-Sensoren im mittleren Preissegment vergleichbar ist.

Intelligenter Greifer mit integrierter Kamera

Die am Roboterarm oder Greifer befestigte Kamera und die in der Steuerung integrierte Sensorsoftware ersetzen Sensoren und sparen Investitionskosten. Rovi

Da verschiedenen Disziplinen, wie Mechanik, Elek­tronik, Steuerung, Software und Computer Vision, in einem kleinen Team zu bewältigen sind, ist der Bau eines Roboters generell herausfordernd. Die Kernkompetenz der Jungunternehmer liegt hier im Bereich Software und so wurde bei der Hardware auf vorhandene Komponenten zurückgegriffen. „Es gibt nur eine sehr begrenzte Verfügbarkeit von offener und/oder modularer Hardware für die Robotik, was den Aufbau eines Demosystems erschwert“, sagt Dr. Schuwerk.

Für ein intelligente Greifsystem mit integriertem Stereo-Kamerasystem und kamerabasierter Sensorik wählte das Start-Up den Zweibacken-Greifer Typ MPLM1630HAN von Gimatic. Er passt zu den derzeitig umgesetzten Anwendungen, wie beispielsweise das Kommissionieren von Kleinteilen. Weiterhin ermöglicht er eine direkte Ansteuerung des Motors. Diese offene Schnittstelle ist wichtig, damit die Sensordaten aus der Software dazu verwendet werden können, den Greifprozess intelligent zu steuern und zu überwachen. Weiterhin ermöglicht sie die schnelle und einfache Entwicklung von Prototypen für Pilotprojekte.

Neue Einsatzfelder erschließen

Traditionelle Industrieroboter, wie sie zu Handhabung von Materialien, Montage oder in der Logistik Einsatz finden, sind zum Großteil auf bestimmte Anwendungen abgestimmte, vorprogrammierte Spezialisten. Sie erledigen meist 24 Stunden am Tag, sieben Tage die Woche verlässlich ihre Aufgabe. „Mit unserer Technologie zielen wir nicht auf traditionelle Anwendungen der Automatisierungstechnik ab, die sehr geringe Zykluszeiten für fest definierte beziehungsweise vorprogrammierte Aufgaben benötigen. Die Sensorsoftware ermöglicht neuartige Roboterarme und -greifer, die sensitiv und autonom agieren, dabei aber technisch stark vereinfacht und deshalb sehr kostengünstig sind“, schildert ein Mitbegründer die Einsatzvision. So will das Start-up den Einsatz von Robotern in neuen Märkten und Applikationen ermöglichen, die mit heutigen Technologien wirtschaftlich nicht realisierbar wären. Anwendungsbeispiele finden sich bevorzugt dort, wo eine flexible und sichere Handhabung von Objekten nötig ist. Logistik, Landwirtschaft, Nahrungsmittelindustrie oder auch Bereiche, wo sich Roboter an einen schnell veränderten Produktmix anpassen müssen, sind denkbare Einsatzgebiete. Mittelfristig sehen die Forscher Anwendungen für die Technologie aber auch für Haushaltsanwendungen, wo allgemein ein enormer Preisdruck herrscht.

Für die Zukunft ist das Team auf der Suche nach weiteren Partnern für bestimmte Teilsysteme, wie Robotergelenke und -getriebe, um die Software kontinuierlich mit Anwendern und Partnern weiterzuentwickeln.

(ml)