Räumliche Umfeldrekonstruktion anhand einer Monokamera

Marktübliche optische Fahrerassistenzsysteme, insbesondere im Automotive-Bereich, arbeiten oft mit einer zweidimensionalen Hinderniserkennung. Lage und Orientierung der Hindernisse werden hierbei meist nicht oder nur grob in räumlicher Relation zur eigenen Fahrzeugbewegung bestimmt. Fehlende Umgebungsdaten werden zusätzlich durch GPS ergänzt. Jedoch stehen diese Daten in geschlossenen Räumen wie Werkshallen, Tiefgaragen oder Tunneln nicht zur Verfügung. Auch in der Off-Highway-Mobilität, etwa bei Agrarmaschinen oder autonomen mobilen Robotern, ist eine präzise 3D-Umgebungserkennung in Relation zur aktuellen Fahrzeug- beziehungsweise Werkzeugposition unerlässlich für autonome Prozesse. Die Servicexpert Gesellschaft für Service-Informationssysteme bietet hier in Zusammenarbeit mit der Muttergesellschaft ESG mit der Structure-from-Motion-Technik einen kostengünstigen und robusten Ansatz.

Dreidimensionale Punktewolke

Bundle Adjustment: Die Grafik zeigt Merkmale und deren jeweiliger Sehstrahl zu verschiedenen Kamerapositionen. Aus sechs verschiedenen, verfolgten Merkmalen lässt sich die Kameraposition eindeutig bestimmen. Servicexpert

Durch den Einsatz einer Monokamera mit zweidimensionalen Aufnahmen errechnet das Structure-from-Motion-Verfahren die 3D-Umgebung nicht wie bei Stereokameras direkt aus den Aufnahmen zweier Kameras mit bekannter relativer Position. Vielmehr bestimmt es den fehlenden dritten Freiheitsgrad aus der Bewegung der Kamera zwischen zwei Bildern, ohne dass die Verwendung weiterer Sensoren nötig ist. Die Umgebung wird anschließend in Form einer Punktwolke dreidimensional und in Echtzeit rekonstruiert. Gleichzeitig lassen sich die Trajektorie der Kamera und damit die Bewegung des Fahrzeuges in der Umgebung errechnen. Man spricht von einem SLAM-Algorithmus (Simultaneous Localization And Mapping), also von simultaner Ortsbestimmung und Umgebungserkennung. Aus der Punktwolke werden in einem nächsten Schritt Fahrbahn-, Oberflächen- oder Objektinformationen extrahiert. Unbekannte Hindernisse wie überhängende Äste auf der Fahrbahn, Schlaglöcher oder ein nahendes Stauende lassen sich so frühzeitig detektieren und in Relation zur eigenen Fahrzeugposition setzen. Das autonom oder teilautomatisiert fahrende Fahrzeug beziehungsweise der Fahrer wird über die drohende Gefahr informiert und kann entsprechend in den Fahrbetrieb eingreifen, um Schäden an Material und Leben zu vermeiden.

Aufgrund der vielfältigen Möglichkeiten zur Weiterverarbeitung der Punktwolke lässt sich die Structure-from-Motion-Software in unterschiedlichsten Anwendungsgebieten einsetzen. So kann die Software im Automotive-Bereich neben der klassischen Fahrspurerkennung gleichzeitig zur Detektion und Positionsbestimmung von Hindernissen wie Ästen, Brücken oder verlorengegangenem Ladegut herangezogen werden. Analog ergeben sich im Agrarbereich Anwendungsszenarien, in denen aus der rekonstruierten 3D-Umgebung Führungsvorgaben für Aktoren, Werkzeuge oder die Fahrzeugtrajektorie hergeleitet werden, um eine möglichst effiziente und sichere Bearbeitung der Flur oder des Erntegutes zu erreichen. Für Fahrer großer Baumaschinen oder militärischer Fahrzeuge, in denen das Sichtfeld des Fahrers oftmals stark eingeschränkt ist, können Hindernisse wie Gruben oder Abhänge identifiziert werden.

Funktionsweise des Algorithmus

Kameraposition und als Punktewolke dargestellte, rekonstruierte Umgebung als Ergebnis einer Onroad-Parametrierung des Algorithmus. Servicexpert

Um eine genaue Umgebungs- und Bewegungsrekonstruktion zu ermöglichen, müssen zunächst sinnvolle Merkmale aus dem 2D-Bild extrahiert werden. Hierzu wird ein FAST-Algorithmus verwendet. FAST, kurz für „Features from Accelerated Segment Test“, ist ein gradienten-basiertes Kantenerkennungsverfahren. Der FAST-Algorithmus erkennt Bildmerkmale und ordnet jedem Merkmal einen Qualitätskoeffizienten zu. Diese Merkmale werden durch die nächsten Bilder, auch Frames genannt, verfolgt und die Bewegung errechnet. Um die Merkmale in den darauffolgenden Bildern wiederzuerkennen, kommt ein Matcher nach der Lucas-Kanade-Methode zum Einsatz. Lassen sich Merkmale in einer ausreichenden Anzahl an aufeinanderfolgenden Bildern identifizieren, werden die Merkmale mit den besten Qualitätskoeffizienten zu einer Bündelblockausgleichung herangezogen. Diese Bündelblockausgleichung bestimmt die Position der Kamera sowie die 3D-Koordinaten der Merkmale in Bezug auf das Kamerakoordinatensystem.

Hierzu wird jeder Sehstrahl vom Kameraobjektiv zu einem Merkmal mathematisch dargestellt. Die Gesamtheit der Sehstrahlbündel wird über die korrespondierenden, also aus dem alten Frame wiedererkannten Merkmale mit den Sehstrahlbündeln der vorherigen Frames verknüpft. Dabei entsteht ein überbestimmtes Gleichungssystem, das durch eine geeignete Ausgleichsrechnung gelöst wird. Dieses Verfahren liefert schon für etwa 200 Merkmale kinematisch hochwertige Bewegungs- und Umgebungsvektoren. Daher können die restlichen Merkmale, die nicht für die Bündelblockausgleichung herangezogen werden, über eine einfachere und Rechenzeit sparende Triangulation ortsbestimmt werden. Merkmale, die auf einem anderen bewegten Objekt liegen, lassen sich dabei automatisch identifizieren und aus der statischen Umgebung herausrechnen.

Zum Erproben der Structure-from-Motion-Technologie benötigt man lediglich eine handelsübliche Loch- oder Fischaugenkamera und ein ausdruckbares Kalibriermuster, mit dem sich die Kamera-intrinsischen Parameter bestimmen lassen. Servicexpert hat diese Auswertung bereits für einige Kunden übernommen. Je nach Anwendungsgebiet (Indoor/Outdoor, Onroad/Off-Highway) und kundenspezifische Problemstellung wird die Structure-from-Motion-Anwendung zugeschnitten und parametrisiert. Nach der Kamera-Kalibrierung werden die Video-Frames mit dem entsprechenden Zeitstempel der Aufnahme über das Interface an die Software übergeben. Das Structure-from-Motion-Verfahren liefert bereits nach wenigen bewegten Frames verlässliche und aussagekräftige Ergebnisse. Möchte der Anwender die entsprechende Szene einheitenbehaftet dargestellt haben, so kann zusätzlich noch ein korrespondierendes Geschwindigkeitssignal (CAN, GPS) eingelesen werden, das zur korrekten Skalierung der Umgebung und der Kamerabewegung herangezogen wird. Servicexpert bietet an, aufgezeichnete Videos zur ersten Erprobung zu analysieren.

Kosteneffiziente Absicherung

Einordnung der Structure-from-Motion-Software in die Prozesskette. Servicexpert

Durch den Einsatz der Structure-from-Motion-Technologie ist eine deutliche Kostenreduktion der Kamerahardware erzielbar. Der Preis für industrielle Stereokameras liegt oft ein Vielfaches über dem von bereits im Serieneinsatz befindlichen Monokameras. In mittleren und großen Serien sind die Auswirkungen entsprechend groß. Weitere Vorteile ergeben sich aus der Optimierung des Algorithmus auf Echtzeitberechnung. Durch kinematische Relationen und intelligente Systemreduktion liegt die Live-Performanz weit über SLAM-Algorithmen aus dem Bereich Open Source, die auf nachträgliche Rekonstruktion einer Umgebung (Architektur, Geodäsie) ausgelegt sind. Je nach Prozessor-Hardware und gewünschter Umgebungsauflösung sind im Structure-from-Motion-Technologieeinsatz Bildraten von 10 bis 30 Hz in weicher Echtzeit realisierbar.

Die Software hat sich durch hohe Genauigkeit auch bei langsamen Fahrzeuggeschwindigkeiten bewährt und ist dadurch insbesondere für Anwendungen in der Industrie für mobile Arbeitsmaschinen qualifiziert. Gerade im Off-Highway-Bereich lassen sich durch die kontrastreichen Bilddaten der Umgebung qualitativ sehr hochwertige Ergebnisse erzielen. Auch im Automotive-Sektor und der unbemannten Luftfahrt wurde die Anwendung dieser Technologie bereits erfolgreich erprobt.

Kopplung verschiedener Sensoren

Das Structure-from-Motion-Verfahren bietet für zahlreiche Anwendungsgebiete als alleinstehendes System genaue und zuverlässige Ergebnisse. Moderne Fahrzeuge besitzen inzwischen aber häufig bereits mehrere Sensoren wie optische Kameras, Ultraschall, Radar oder Lidar. Da einzelne Sensoren oft sehr spezielle Aufgaben übernehmen, ist es schwierig, Sensoren komplett zu ersetzen. In anderen Fällen sind redundante Informationen aus verschiedenen Sensoren zwingend notwendig, um gesetzliche Sicherheitsbestimmungen einzuhalten.

Sensorfusion ist deswegen in vielen Fällen möglich und sinnvoll. Durch Sensorfusion lässt sich die Umgebung noch genauer rekonstruieren. Weiterhin können sich Systeme gegenseitig ergänzen, etwa wenn GPS-Daten in geschlossenen Räumen ausbleiben oder das Structure-from-Motion-Verfahren bei längerem Fahrzeugstillstand nicht arbeiten kann.

Ausblick

Servicexpert leitet gemeinsam mit seinen Partnern weitere Entwicklungsschritte und Optimierungszyklen mit dem Ziel ein, Serienreife zu erreichen. Im Hinblick auf eine ISO-26262-Zertifizierung bedarf es zusätzlich einer sogenannten „Reasoning Engine“ zur situationsbedingten und automatisierten Absicherung und Qualitätsbewertung der Ausgangsdaten. Des Weiteren wird gerade die Portierung auf bestehende Systeme und ECUs evaluiert.

Servicexpert verfügt als hardware-neutral agierender Dienstleister über zahlreiche Projekterfahrungen in der Bewertung und Auswahl von Hardwarepartnern und evaluiert regelmäßig bestehende Angebote. Dazu wird auf Kundenwunsch aus einem Anforderungsprofil in Bezug auf das Anwendungsgebiet eine problemspezifische Parametrierung und Hardwareempfehlung zur Verfügung gestellt.

Die Structure-from-Motion-Software bietet also in einer Vielzahl von Anwendungsgebieten eine robuste Lösung zum Generieren von metrisch präzisen 3D-Umgebungs- und Bewegungsdaten für eine Vielzahl mobiler Plattformen. Dabei besticht die Technologie durch die Möglichkeit zur Verwendung unterschiedlicher und günstiger Monokameras und durch die Echtzeitberechnung der Umgebungsdaten und der Fahrzeugtrajektorie.

(ku)