Bringt technischen Systemen eine räumliche Wahrnehmung bei: Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor (Bild: Andreas Heddergott / TU München)
Worum geht es bei räumlicher KI?
Beim Menschen läuft alles automatisch: Er erkennt Objekte und ihre Eigenschaften, kann Entfernungen und Gefahren einschätzen, mit anderen Menschen interagieren. Stefan Leutenegger spricht von einer "kohärenten 3D-Darstellung der Umgebung", einem einheitlichen Gesamtbild. Eine Drohne in die Lage zu versetzen, statische von dynamischen Elementen zu unterscheiden und andere Akteure zu erkennen: Das ist eine der Hauptaufgaben des Professors für Maschinelles Lernen in der Robotik an der TU München. Er leitet zugleich auch das Innovationsfeld Künstliche Intelligenz am Munich Institute of Robotics and Machine Intelligence (MIRMI).
Verpassen Sie keine News
Schritt 1: Position des Roboters im Raum schätzen und kartographieren
Leutenegger setzt auf „Spatial AI“, um einer Drohne die nötige Intelligenz an Bord zu geben, damit sie künftig durch einen Wald fliegen kann, ohne mit feinen Ästen zu kollidieren, um dreidimensional zu drucken oder Laderäume von Tankern oder Frachtern zu inspizieren. Spatial AI - übersetzt räumliche künstliche Intelligenz - setzt sich aus mehreren Bausteinen zusammen, die je nach Aufgabenstellung angepasst werden:
- Computer Vision: Über eine oder zwei Kameras nimmt die Drohne ihre Umgebung wahr. Für das Tiefensehen sind zwei Kameras nötig - wie beim Menschen zwei Augen. Leutenegger verwendet zwei Sensoren, deren Bilder er miteinander vergleicht, um eine Tiefenwahrnehmung zu erhalten. Es gibt auch Tiefenkameras, die das Bild direkt dreidimensional ausgeben.
- Inertial- oder Trägheitssensoren: Diese Sensoren messen Beschleunigung und Winkelgeschwindigkeit und erfassen so die Bewegung von Körpern im Raum.
„Visuelle und inertiale Sensoren ergänzen sich sehr gut“, sagt Leutenegger. Denn wenn ihre Daten fusioniert werden, entsteht ein sehr genaues Bild von der Bewegung der Drohne und der statischen Umgebung. Das Gesamtsystem kann so seine eigene Position im Raum abschätzen. Dies ist beispielsweise die Voraussetzung für den autonomen Einsatz von Robotern. Gleichzeitig kann die statische Umgebung sehr detailliert und dicht kartiert werden. Dies ist eine wichtige Voraussetzung, um Hindernissen ausweichen zu können. Hier kommen zunächst mathematische und probabilistische Modelle (aus der Wahrscheinlichkeitsrechnung) und noch keine künstliche Intelligenz zum Einsatz. Deshalb spricht Leutenegger hier von der untersten Stufe der „Spatial AI“.
Drei Projekte mit räumlicher KI:
In drei Forschungsprojekten setzt Professor Stefan Leutenegger die räumliche künstliche Intelligenz aktuell ein:
- Mauern bauen: In der Baurobotik kommt ein mobiler Roboter zum Einsatz, der mit Greifern (Manipulatoren) ausgestattet ist. Seine Aufgabe im Projekt SPAICR ist es, „Strukturen“ wie Mauern auf- und abzubauen. Die besondere Herausforderung besteht darin, dass die Arbeit des Roboters ohne Motion Tracking, also ohne externe Infrastruktur, funktionieren soll. Während in der bisherigen Forschung ein klar begrenzter Raum mit Orientierungspunkten im Labor genutzt wurde, soll der Roboter künftig auf jeder Baustelle präzise arbeiten können.
- Wald digitalisieren: Im EU-Projekt Digiforest schaffen die TUM und vier andere europäische Universitäten eine Datengrundlage für eine ökologische Forstwirtschaft. Dazu wird der Wald kartografiert. Wo steht welcher Baum? Wie ist sein Gesundheitszustand? Gibt es Krankheiten? Wo muss durchforstet, wo aufgeforstet werden? „Die Forschung soll dem Förster zusätzliche Informationen für seine Entscheidungen liefern“, erklärt Leutenegger. Die Aufgabe der TUM: Die KI-Drohnen sollen autonom durch den Wald fliegen und ihn kartieren. Dabei sollen sie trotz Wind und dünnen Ästen um die Bäume navigieren und so eine vollständige Karte des Waldstücks erstellen.
- Schiffe inspizieren: Im EU-Projekt AUTOASSESS geht es darum, Drohnen in das Innere von Tankern und Frachtern zu schicken, mit der Aufgabe, die Innenwände zu inspizieren. Dafür werden sie unter anderem mit Ultraschallsensoren ausgestattet, mit denen sie Risse in Wänden nachweisen können. Voraussetzung wird sein, dass sich die Drohnen autonom und bei schlechter Funkverbindung im Innenraum bewegen können. Auch hier ist ein Motion Tracking nicht möglich.
Schritt 2: Neuronale Netze für das Verstehen der Umwelt
Künstliche Intelligenz in Form von neuronalen Netzen spielt eine wichtige Rolle bei der semantischen Erfassung der Umgebung. Hier geht es um ein tieferes Verständnis der Umgebung des Roboters. Mit Deep Learning kann erfasst und digital auf der Karte dargestellt werden, welche für Menschen verständlichen Kategorien genau im Bild zu sehen sind. Dazu nutzen neuronale Netze die Bilderkennung von 2D-Bildern, die dann in einer 3D-Karte dargestellt werden.
Der Aufwand für die Erkennung durch Deep Learning hängt davon ab, wie viele Details erfasst werden müssen, um eine bestimmte Aufgabe zu erfüllen. Es ist einfacher, einen Baum vom Boden und vom Himmel zu unterscheiden, als den Baum selbst oder gar seinen Gesundheitszustand genau zu bestimmen. Für solch eine spezialisierte Bilderkennung fehlen oft die Daten, die die neuronalen Netze zum Lernen brauchen.
Ein Ziel von Leuteneggers Forschung ist es deshalb, maschinelle Lernverfahren zu entwickeln, die effizient mit spärlichen Trainingsdaten umgehen können und es den Robotern erlauben, während ihres Einsatzes kontinuierlich weiterzulernen. In einer noch weitergehenden Form der räumlichen KI geht es darum, Objekte oder sogar Teile von Objekten zu erkennen, auch wenn sie sich bewegen.
Spatial AI schafft Basis für Entscheidungen
„Wir arbeiten daran, in ganz verschiedenen Bereichen Menschen eine gute Datenbasis an die Hand zu geben, um die richtigen Entscheidungen zu treffen“, sagt Prof. Leutenegger, der betont: „Unsere Roboter sind komplementär, sie ergänzen den Menschen in seinen Fähigkeiten und nehmen ihm gefährliche und repetitive Aufgaben ab.“
