3D-Flash-Lidar Objektdetektierung mit Lidar-Sensoren. Continental

Objektdetektierung mit Lidar-Sensoren. (Bild: Continental)

Im Gegensatz zu 3D-Flash-Lidar basiert bislang existierende Lasersensorik in der Regel auf sequenziell abtastenden Signalen, die durch mechanische Bewegung des Impulsgebers erzeugt werden. Continental entwickelt mit der hochauflösenden 3D-Flash-Lidar-Technologie (LiDAR: Light Detection And Ranging) eine Lösung zur Serienreife, die völlig auf mechanisch bewegte Komponenten verzichtet und zudem direkt ein dreidimensionales Bild der Fahrzeugumgebung erzeugt. In Fahrversuchen konnte nachgewiesen werden, dass sich die patentierten Lasersensoren für den Einsatz in hochautomatisierten Straßenfahrzeugen (SAE Level 3-4) eignet.

Sensorkonzepte für automatisiertes Fahren

3D-Flash-Lidar Objektdetektierung mit Lidar-Sensoren. Continental

Objektdetektierung mit Lidar-Sensoren. Continental

Die gesamte Automobilindustrie arbeitet mit Hochdruck daran, die Vision vom selbstfahrenden Automobil zu realisieren. Die Umsetzung erfolgt dabei schrittweise, indem der Grad der Automatisierung stufenweise erhöht wird. Als Maß für den Automatisierungsgrad hat sich die in der SAE-Norm J3016 beschriebene Fünf-Stufen-Systematik bewährt. Es gilt als Konsens in der gesamten Industrie, dass ab Level 3 (hochautomatisiertes Fahren) neue, besonders robuste Sensorkonzepte erforderlich sind, die dazu in der Lage sind, jederzeit und bei allen Wetterbedingungen eine zuverlässige Umfelderkennung zu ermöglichen.

Kein bekanntes Sensorprinzip kann allein diese Anforderung unter allen denkbaren Umwelt- und Fahrzuständen gewährleisten. Continental setzt daher darauf, die Stärken verschiedener Sensoren wie Kamera, Radar und jetzt auch High-Resolution-3D-Flash-Lidar (3D-Flash-Lidar mit hoher Auflösung) zu kombinieren. So gewähren die heute bereits für Fahrerassistenzsysteme verwendeten Radarsensoren eine hohe Messgenauigkeit – auch bei ungünstigen Sichtbedingungen und bei schlechtem Wetter. Nachteil der Radartechnik gegenüber optischen Messverfahren ist die relativ hohe Wellenlänge: Sie beträgt 12,5 mm bei 24-GHz-Sensoren und 3,9 mm bei 77-GHz-Sensoren. Dies führt in Kombination mit dem periodisch erzeugten Signal dazu, dass die Detektion bewegter Objekte zwar treffsicher möglich ist, aber die exakten geometrischen Konturen dieser Objekte nur mit einiger Unschärfe zu erfassen sind – es ergibt sich sozusagen ein „verwaschenes“ Bild.

Eckdaten

Warum sind Lidar-Sensoren für das automatisierte Fahren erforderlich? Wie funktioniert ein Lidar-Sensor? Welche Vorteile bietet ein 3D-Flash-Lidar und was lässt sich damit in welcher Auflösung detektieren? Wo kommt die 3D-Flash-Lidar-Technologie bereits seit langem in der Raumfahrt zum Einsatz? Antworten hierauf und auf viele andere Fragen liefert dieser Beitrag.

Um über die automatische Abstands- und Geschwindigkeitsregelung (ACC, Adaptive Cruise Control) hinaus weitere Fahrerassistenzsysteme zu ermöglichen, hat Continental frühzeitig die Entwicklung kamerabasierter Sensoren eingeleitet. So sind Kameras unabdingbar, um die Signalfarben einer Ampel und Verkehrsschilder zu erkennen. Bereits Monokameras ermöglichen in Kombination mit geeigneter Software zur Bildinterpretation auch die Erkennung von Bewegungsmustern bei Fußgängern. Eine Stereokamera erlaubt durch den Versatz zweier optischer Systeme sogar eine dreidimensionale Auflösung des Bildes. Doch obwohl Kameras mit deutlich kürzeren Wellenlängen arbeiten – sichtbares Licht hat ein Spektrum von 400 bis 720 nm – stoßen auch kamerabasierte Systeme an physikalische Grenzen. Insbesondere bei ungünstigen Licht- und Sichtverhältnissen wie Nebel oder direkter Sonneneinstrahlung leidet die Sensorreichweite deutlich.

Lidar

Als weiteres Sensorprinzip wird vor diesem Hintergrund seit Jahren an der Entwicklung von Lasersensoren gearbeitet, meist als „Lidar“-Technologie bezeichnet. Ein kontinuierlich ausgesendeter Laserstrahl mit kurzer Wellenlänge ermöglicht grundsätzlich auch ohne Tageslicht eine hohe Auflösung – allerdings zunächst nur für einen einzelnen Punkt. Um eine Umgebungserkennung aus einem fahrenden Fahrzeug heraus zu ermöglichen, sind daher die bislang vorrangig in Prototypen verwendeten Sensorsysteme so ausgelegt, dass sowohl die Laserquelle als auch das für den Empfang benötigte optische System mechanisch bewegte oder rotierende Komponenten haben. Auch wenn in den letzten Jahren eine fortschreitende Miniaturisierung solcher Systeme beobachtet werden kann, wäre für den Einsatz im anspruchsvollen Automobilbereich ein robustes System vorteilhaft, das vollständig auf mechanisch bewegte Teile verzichtet, gleichwohl aber über eine hohe Auflösung verfügt. Mit dem 3D-Flash-Lidar entwickelt Continental eine solche Lösung derzeit zur Serienreife.

Aber wie funktioniert eigentlich 3D-Flash-Lidar?

Das Messverfahren beim 3D-Flash-Lidar

Bild 1: Frequenzspektrum verschiedener Sensortypen für das automatisierte Fahren. 3D-Flash-Lidar

Bild 1: Frequenzspektrum verschiedener Sensortypen für das automatisierte Fahren. Continental

Für das 3D Flash Lidar-Verfahren wählte Continental bewusst einen für das menschliche Auge ungefährlichen Klasse-1-Laser, der mit einer Wellenlänge von 1064 nm im Infrarotbereich arbeitet. Dadurch führt auch direkte Sonneneinstrahlung nicht zu einer Signalüberlagerung – ob und in welcher Form Tageslicht vorhanden ist, spielt für die Güte des Signals keine Rolle. Kombiniert man diese Lidar-Sensoren mit Radar- und Kamerasensoren, so ergibt sich durch das breite, auf Systemebene abgedeckte Frequenzspektrum ein hohes Maß an Redundanz und Robustheit gegenüber Störeinflüssen jeglicher Art (Bild 1).

Entscheidender Unterschied des 3D-Flash-Lidar-Verfahrens gegenüber anderen Lasersensoren, die im Automobilmarkt bereits heute angeboten werden, ist der Verzicht auf jegliche Form mechanisch bewegter Teile. Möglich ist dies, indem jeder Laserpuls auf das gleiche Blickfeld aufgefächert wird, in dem die Empfänger-Optik arbeitet. Eine an der Quelle (Laseraustritt) angebrachte, speziell entwickelte Diffusor-Linse erlaubt es, durch einen einzelnen Laserpuls pro Messung die Szenerie vor dem Sensor zu beleuchten. Wenn die reflektierte Laser-Energie durch die Empfänger-Linse die Oberfläche des Sensors erreicht, wird das zurückkehrende Signal detektiert. Mit einer Auflösung von 64 Pixeln in der Höhe und 192 Pixeln in der Breite weist das 3D-Abbild mit insgesamt mehr als 12.200 Pixeln eine sehr hoher Punkt- und Winkelauflösung auf.

Bild 2: Grundsätzlicher Betrieb mit Laser-Einzelimpulsen. 3D-Flash-Lidar

Bild 2: Grundsätzlicher Betrieb mit Laser-Einzelimpulsen. Continental

Zudem steht dieses Bild (Punktewolke und Informationen über die Intensität) wie bei einer Kamera unmittelbar zur Verfügung und muss nicht erst aus nacheinander abgetasteten Einzelsignalen zusammengesetzt werden. Die zugrunde liegende, von Continental patentierte ROIC-Technologie (Read-out Integrated Circuit) erlaubt es, eintreffende Photonen unmittelbar in digitale Signale umzuwandeln. Eine weitere Verarbeitung der Punktewolke führt zu einer Objektliste, wie sie in der Automobilindustrie üblicherweise zum Einsatz kommt.

Die Grundlagen für diese an Bedeutung zunehmende Technik erforschte Advanced Scientific Concepts Inc. (ASC) seit Mitte der 1990er Jahre. Continental gab die Übernahme von ASC im März 2016 bekannt. Das kalifornische Unternehmen hat 3D-Flash-Lidar-Kameras bereits für Anwendungen außerhalb der Automobilindustrie – etwa für die Raumfahrt – entwickelt. So kommt die Kamera auf der NASA-Mission OSIRIS-Rex zum Einsatz, um die automatisierte Führung, Navigation und Steuerung bei der Entnahme vom Proben auf einem Asteroiden durchzuführen. Außerdem dient der gleiche Sensor auch zur Steuerung von Kopplungsmanövern auf der Internationalen Raumstation ISS.

Die Messgenauigkeit ist beachtlich. Wie sich das in der Praxis zeigt, sehen Sie auf der folgenden Seite anhand von einigen Bildbeispielen.

Messgenauigkeit beim 3D-Flash-Lidar

Die Geschwindigkeit, mit der die Umfelderfassung durch einen Lasersensor erfolgen kann, ist für hochautomatisiertes Fahren und andere Anwendungen entscheidend. Das für die Entfernungsbestimmung verwendete laufzeitbasierte Verfahren zeigt Bild 2. Die Zeit, die benötigt wird, um das gesamte Umfeld zu erfassen, ist entscheidend, um bewegte Objekte zuverlässig zu erkennen und zu verfolgen. Das 3D-Flash-Lidar sendet 30 einzelne Pulse pro Sekunde, was in 30 Bildern pro Sekunde resultiert. Der einzelne Puls dauert etwa 4 ns. Für den Hin- und Rückweg des Laserpulses zu einem 200 m entfernten Objekt benötigt das Laserlicht somit nur zirka 1,32 ms. In dieser Zeit wird das gesamte Umfeld innerhalb von 200 m erfasst, was eine sehr genaue Objektlokalisierung ermöglicht, ohne dass es bei hoher Fahrgeschwindigkeit zu Bildverzerrungen kommt.

Bild 3: Erkennung von Objekten mit geringem Reflexionsgrad; oben das Bild der Monokamera, unten das Bild des 3D-Flash-Lidars.

Bild 3: Erkennung von Objekten mit geringem Reflexionsgrad; oben das Bild der Monokamera, unten das Bild des 3D-Flash-Lidars. (Tipp: zum Vergrößern auf das Bild klicken) Continental

Da der Kamerasensor nur kurz Millisekunden geöffnet wird, beträgt die Wahrscheinlichkeit, dass es zu Störsignalen durch andere Laserquellen kommt, lediglich 1:42.000 für das Einzelbild. Dass zwei im Abstand von 33 ms aufeinander folgende Bilder gestört werden, ist mathematisch so unwahrscheinlich, dass dies für den realen Straßenverkehr ohne Bedeutung ist.

Die 3D-Flash-Lidar-Kameras von Continental, die ohne bewegliche Mechanik auskommen, bieten eine Messgenauigkeit, die allen anderen, auf mechanischen Scannern basierenden Lidar-Systemen für moderne Fahrerassistenzsystem überlegen sind.

Ergebnisse aus Fahrversuchen

Continental entwickelt die 3D-Flash-Lidar-Kameras zur Serienreife. In diesem Rahmen finden zahlreiche Fahrversuche mit Prototypen statt, die die Leistungsfähigkeit und die speziellen Fähigkeiten des Sensorprinzips untermauern. Der Schwerpunkt liegt auf der Erkennung von Fahrsituationen, die mithilfe bislang verfügbarer Sensoren schwer oder gar nicht aufzunehmen sind.

Bild 4a: Wiedergabe einer Situation bei Nebel; hier das Bild der Monokamera 3D-Flash-Lidar Continental

Bild 4a: Wiedergabe einer Situation bei Nebel; hier das Bild der Monokamera... Continental

Eine entscheidende Voraussetzung für hochautomatisiertes Fahren ist die Fähigkeit, das Fahrzeug jederzeit in einem sicheren Zustand zu halten. Dazu gehört eine sichere Freiraumerkennung, das Umfahren statischer Objekte sowie das Verfolgen von Objekten, die eine potenzielle Gefahr darstellen, um sowohl im regulären Fahrbetrieb als auch in Notsituationen stets die vorhandenen Handlungsoptionen zu kennen. 3D-Flash-Lidar-Kameras sind in einer Fülle von Fahrsituationen anderen Lidar-Sensorprinzipien überlegen.

Situation 1: Es befindet sich ein größerer Gegenstand mit geringem Reflexionsgrad – zum Beispiel ein Lkw-Reifen – auf einer markierten und ansonsten freien Fahrbahn. Wie bei jedem lichtbasierten Messverfahren ist es wichtig, die Oberfläche eines Objekts zuverlässig zu beleuchten, selbst wenn diese wenig Licht reflektiert. Ein 3D-Flash-Lidar ermöglicht es, einen Gegenstand mit einem Reflexionsgrad von nur zehn Prozent auf eine Entfernung von mehr als 100 m sicher zu erkennen (Bild 3). Der Reflexionsgrad lässt sich mit standardisierten und kalibrierten Messverfahren nachweisen und eignet sich daher nach Ansicht von Continental als Kriterium für die Erstellung eines Lastenheftes, das die Kundenerwartung spiegelt.

Bild_4b_3D Flash Lidar_Nebel jpg

Bild 4b: ... und hier das Bild des 3D-Flash-Lidars bei einer Situation im Nebel. Continental

Situation 2: Starker Nebel beeinträchtigt die Sicht in einer komplexen Verkehrssituation. Bei Nebel und anderen Formen der Sichtbeeinträchtigung ist das 3D-Flash-Lidar-Verfahren anderen Laser- sowie Kameraverfahren überlegen. Ein sehr kurzer Laserpuls, der sich aufgrund des speziell entwickelten Diffusors gleichmäßig durch den Raum bewegt, durchdringt Nebel, Dunst, Rauch und Regen (Bild 4). Die im Vergleich zu sichtbarem Licht größere Wellenlänge von 1064 nm erhöht zudem die Wahrscheinlichkeit, nicht mit einzelnen Tröpfchen zu interagieren, während Retroreflektoren wie Spurmarkierungen oder Kfz-Kennzeichen sowie andere Objekten sie reflektieren.

 

Wann kommen 3D-Flash-Lidar-Systeme auf den Markt und wie geht es weiter? Antworten hierauf finden Sie im letzten Teil dieses Beitrags auf der nächsten Seite.

Ausblick

Bild 5: Schematische Darstellung von Sensorvarianten mit verschiedenen Öffnungswinkeln und Reichweiten. 3D-Flash-Lidar Continental

Bild 5: Schematische Darstellung von Sensorvarianten mit verschiedenen Öffnungswinkeln und Reichweiten. Continental

Die hohe Auflösung und Echtzeitfähigkeit des 3D-Flash-Lidar-Verfahrens ermöglichen in Kombination mit Radar- und Kamerasensoren, Komfort und Sicherheit durch hochautomatisiertes Fahren zu steigern. Die Industrialisierung der Sensoren für das 3D-Flash-Lidar-Verfahren ist weit vorangeschritten und bewegt sich schnell in Richtung von Produktionsmustern. Je nach Abschluss der Serienentwicklung wird die Serienproduktion voraussichtlich 2020 beginnen. Da der Öffnungswinkel allein von der Gestaltung des aus einem Diffusor und einer Linse bestehenden optischen Systems abhängt, ist es möglich, verschiedene Varianten sehr einfach herzustellen und so eine Kostenreduktion zu beschleunigen. Ein sehr weiter Öffnungswinkel limitiert allerdings die Reichweite, da die Menge der mit jedem Puls ausgesendeten Photonen stets identisch ist. In der Praxis ist davon auszugehen, dass Sensoren verschiedener Reichweite und Öffnungswinkel zum Einsatz kommen – je nachdem, in welchem Umfeld die hochautomatisierte Fahrt erfolgen soll (Bild 5). Die übrigen technischen Komponenten wie Laserquelle, Infrarot-Detektor sowie die Hardware für Ansteuerung und Auswertung müssen für die Darstellung der Sensorvarianten nicht geändert werden.

Produktbild_3D Flash Lidar

Bild 6: Der 3D-Flash-Lidar-Sensor existiert bereits als Prototyp. Continental

Sobald sich Serienfahrzeuge mit 3D-Flash-Lidar-Sensoren im Straßenverkehr bewegen, besteht die Option, die erzeugten Daten über die Straßenbeschaffenheit mit anderen Verkehrsteilnehmern oder den für den Straßenbau zuständigen Behörden zu teilen. Denn die Auflösung des dreidimensionalen Bildes ist hoch genug, um jedes einzelne Schlagloch sicher zu detektieren. Sofern die entsprechende Kommunikationsinfrastruktur bereit steht, ist der Datenaustausch im Verbund mit anderen Continental-Technologien nahezu in Echtzeit möglich,.

Die 3D-Flash-Lidar-Technologie ist nicht nur für den Einsatz in Straßenfahrzeugen interessant. Wo immer eine genaue dreidimensionale Detektion des Umfeldes notwendig ist, bietet sich das neue Sensorkonzept an. So hat Continental versuchsweise Drohnen eines Energieversorgers mit 3D-Flash-Lidar-Sensoren ausgestattet. Sie ermöglichen es, bei einem Stromausfall in entlegenen Gebieten rasch zu detektieren, wo genau die Unterbrechung der Leitung – etwa durch einen umgestürzten Baum – erfolgt ist. Dabei ist die Unabhängigkeit von den Sichtbedingungen ebenso von großem Vorteil wie das geringe Gewicht und die Portabilität.

Ob auf der Straße oder „off road“: Die 3D-Flash-Lidar-Sensoren stellen eine wichtige Basisinnovation für die Mobilität der Zukunft dar, die zunehmend von hochautomatisierten oder gar autonomen Systemen geprägt sein wird.

Arnaud Lagandré

leitet das Segment 3D-Flash-Lidar von Continental in Santa Barbara/Kalifornien

Thomas Laux

leitet den Vertrieb von Continental Advanced Lidar Solutions in Santa Barbara/Kalifornien

Sie möchten gerne weiterlesen?