Mit CSPAD-Technologie für Lidar-Systeme das Umfeld erfassen

Im urbanen Straßenverkehr sind rund 90 Prozent aller Unfälle auf menschliches Versagen zurückzuführen. Demnach ist davon auszugehen, dass eine zunehmende Automatisierung von Fahrzeugen zu einer erheblichen Verringerung der Unfallzahlen führt. Eine zentrale Rolle nehmen bei dieser Annahme die eingesetzten Assistenzsysteme für das autonome Fahren (ADAS) ein. Der Entwicklung von robuster, fehler- und störungsfrei arbeitender ADAS-Technologie im Bereich des autonomen Fahrens kommt daher eine hohe Bedeutung zu, denn durch unzuverlässige Sensorsysteme können schnell neue Gefahrenquellen entstehen. Gerade der mittlere Entfernungsbereich ist sehr schwer zu erfassen, als Beispiel ist hier das Abbiegen eines Fahrradfahrers an einer Kreuzung zu nennen. Die dreidimensionale Umgebungserfassung spielt in diesem Zusammenhang eine Schlüsselrolle.

Dies gilt nicht nur für den Straßenverkehr, sondern insbesondere auch für die Bereiche Industrierobotik und Intralogistik. Bislang sind die industriellen Arbeitsbereiche, in denen stationäre Roboter zum Einsatz kommen, zum Beispiel durch Schutzgitter vom übrigen Produktionsbereich getrennt. Industrie 4.0 fordert jedoch kooperative und mobile Roboter, fahrerlose Transportsysteme und Gabelstapler sowie fest montierte Einheiten, die zu jeder Zeit und absolut zuverlässig in der Lage sind, mit dem Menschen sicher zu interagieren sowie Gefahren zu erkennen. Gleiches gilt für mobile Roboter in der Lagerlogistik. Diese kommunizieren bisher über Funknavigation untereinander und orientieren sich optisch anhand kooperativer Targets, beispielweise Reflektoren auf dem Hallenboden. Doch auch dort nimmt die Bedeutung der Autonomie der Systeme – und damit der Bedarf an zuverlässig funktionierender Sensorik – immer weiter zu.

Radar und Ultraschall – nicht die beste Lösung

Sowohl der Automotive- als auch der Robotikbereich setzen bislang auf Video, Radar, Ultraschall und Stereokameras zur Tiefenkartenermittlung: bei Autos zur Erkennung von Objekten in Fahrtrichtung, und wenn nötig zur Auslösung einer Bremsung oder Einleitung eines Ausweichmanövers, bei Industrierobotern zur Erkennung von Personen im Gefahrenbereich und zur sofortigen Abschaltung des Roboters in einer Gefahrensituation. Radartechnologie und Ultraschallsensoren sind zwar schon lange Stand der Technik, aufgrund ihrer mangelnden Lateralauflösung im mittleren und im Nahbereich (Radar) sowie ihrer kurzen Reichweite von rund 3 m (Ultraschall) jedoch ungeeignet, für sich alleine eine sichere dreidimensionale Tiefenkartierung zu liefern. Der naheliegende Gedanke ist daher, für die Umgebungserfassung das sichtbare Licht bis zum nahen Infrarotlicht zu nutzen, den Teil des elektromagnetischen Wellenlängenspektrums, der eine szenische Abbildung erlaubt. Den Weg dahin hat die Entwicklung der CCD- und heutzutage der CMOS-Bildsensorik geebnet, welche eine berührungslose, dreidimensionale Umgebungserfassung ermöglicht.

Time-of-Flight und Lidar

Bild 1: Links das klassische Scanning-Lidar-Prinzip, mit der Beleuchtung eines Punktes, rechts das Flash-Lidar-Prinzip, bei dem ein rechteckiges Messfeld beleuchtet wird. Fraunhofer IMS

Für die zu messenden Entfernungen im Automotive- und Robotikbereich kommt der aktive Ansatz der Laufzeitmessung (Time-of-Flight, ToF) zur Anwendung. Die Entfernung eines Objektes ermittelt sich dabei aus der Ausbreitungsgeschwindigkeit und der Zeit, die die Lichtwelle von der Emission über die Reflexion am Objekt zurück zum Detektor benötigt. Dieses spezielle ToF-Verfahren (ToF) nennt sich Light Detection and Ranging (Lidar) und bildet die Grundlage der auf der Ausbreitung von Lichtwellen basierenden Distanzmessung. Die Lidar-Technologie schafft in Kombination mit anderen Komponenten die Voraussetzung für das selbstständige Lenken, Bremsen und Beschleunigen eines Fahrzeugs. Beim automatisierten Fahren und in der Industrieautomatisierung ergänzt das System die bisher genutzte Kamera- und Radartechnik und ermöglicht so eine komplette Aufnahme des Umfelds. Dadurch ist es dann auch möglich, zuverlässig und frühzeitig Hindernisse zu erkennen. Technisch umgesetzt werden die Messungen mittels Flash- oder Scanning-Lidar. Über ein ToF-3D-Kamerasystem empfängt das Lidar-System schließlich die zurückgestreuten Signale und misst anhand der Laufzeit Abstand, Position und Geschwindigkeit von Fahrzeugen, Radfahrern, Passanten oder Baustellen.

Umgebungserfassung mit nur einem Laserblitz

Bild 2: Schematische Darstellung der direkten dreidimensionalen Tiefendetektion mittels Time-of-Flight. Eine hochpräzise elektronische Stoppuhr wird mit dem Aussenden eines Laserpulses gestartet und mit dem Empfang des reflektierten Pulses wieder gestoppt. Der dabei entstandene Zeitstempel repräsentiert die Photonenlaufzeit. Fraunhofer IMS

Beim traditionellen Lidar werden ein oder mehrere Laserstrahlen auf einen rotierenden Spiegel gelenkt, der die Umgebung im 360-Grad-Winkel erfasst. Diese Spiegelvarianten sind jedoch sehr voluminös und mechanisch fehleranfällig. Deshalb entscheiden sich viele Automobilhersteller gegen dieses System. Forscher des Fraunhofer-Instituts für Mikroelektronische Schaltungen und Systeme IMS in Duisburg verwenden bei ihrer Arbeit eine neue Generation von Lidar-Sensoren. Die sogenannten Flash-Lidar-Detektoren sind hochempfindlich und erfassen mit einem einzigen Laserblitz die gesamte Fahrzeugumgebung. Die Detektoren bestehen aus mehreren, speziell am Fraunhofer IMS entwickelten, Photodioden – den CMOS Single-Photon Avalanche-Dioden (CSPADs). Anders als beim klassischen Lidar wird hierbei nicht nur ein Punkt, sondern ein rechteckiges Messfeld beleuchtet (Bild 1). Dies hat den enormen Vorteil, dass keinerlei mechanische Komponenten wie rotierende Spiegel notwendig sind. Die Messung der Lichtlaufzeit zur Entfernungsbestimmung erfolgt dabei direkt oder indirekt.

Indirekte und direkte Laufzeitmessung, Vorteile sowie einen Ausblick auf die künftige Entwicklung finden Sie auf der nächsten Seite.

Indirekte Laufzeitmessung

Bild 3: Mult-Objekt-Peakfolge im Laufzeithistogramm. Fraunhofer IMS

Die indirekte Messung der Lichtlaufzeit kommt bei den bislang eingesetzten ToF-Sensoren bei ADAS- oder Robotiksystemen zur Anwendung. Bei dieser Messmethode sendet das System intensitätsmoduliertes Licht aus und bestimmt die Laufzeit aus der zeitlichen Verschiebung zwischen gesendetem und empfangenem Signal. Dies kann entweder durch Pulsmodulation (PM) oder Sinusmodulation (Continuous Wave, CW) geschehen. In beiden Varianten erfolgt die Bestimmung der zeitlichen Verschiebung durch das Erfassen der reflektierten Lichtmenge in mehreren Zeitfenstern. Da es in Abhängigkeit von der detektierten Lichtintensität zur unkontrollierten Sättigung eines oder mehrerer Messwertfenster kommen kann, erfolgt mitunter eine fehlerhafte Distanzberechnung. Dies ist der Tatsache geschuldet, dass beim indirekten Verfahren grundsätzlich eine Akkumulation der detektierten Photonen erfolgt. Es ist dann für die Auswertealgorithmik nicht mehr unterscheidbar, ob ein Photon vom tatsächlich zu messenden Objekt herrührt. Somit besteht keine Möglichkeit, semi-transparente oder hintereinanderliegende Objekte voneinander zu unterscheiden. Ebenso ist es auch nicht möglich, einen mehrfach reflektierten Laserpuls zu erkennen (Multipath-Effekt). Aufgrund der eingeschränkten Störlichtkompensation kann es durch Sonnenlicht, Blendeffekte aufgrund von Objektreflexen sowie Streuung bei Nebel oder Regen zu gefährlichen Fahrsituationen kommen.

Direkte Laufzeitmessung

Bei der direkten Laufzeitmessung wird eine hochpräzise elektronische Stoppuhr mit dem Aussenden eines Laserpulses gestartet und mit dem Empfang des reflektierten Pulses wieder gestoppt. Der dabei entstandene Zeitstempel repräsentiert die Photonenlaufzeit (Bild 2). Die Erfassung der Photonenereignisse erfolgt mittels einer Single-Photon-Avalanche-Diode (SPAD), die die Laufzeitmessung startet und/oder stoppt sowie eines Laufzeithistogramms, dessen Binbreite der Zeitauflösung eines Time-to-Digital-Converters (TDCs) entspricht. Für die Erstellung des Histogramms ist die Anzahl der Einzelmessungen, die Binbreite, die Laserrate, die Hintergrundereignisrate und die Reichweite zu beachten.

Von großer Bedeutung für die direkte Laufzeitmessung ist die adaptive Koinzidenz: Sobald mehrere SPAD-Detektoren gleichzeitig eine Anzahl von Photonen registrieren, liegt ein Ereignis vor, anderenfalls nicht. Mit der adaptiven Koinzidenz ist damit ein gezielter Reichweitengewinn verbunden. Bei 120 klx Hintergrundlicht, was der Sonnenstrahlung im Zenit von Zentralafrika zur Mittagszeit entspricht, lässt sich die Reichweite in Echtzeit bei 25 Frames pro Sekunde für Targetreflektivitäten zwischen fünf Prozent und 100 Prozent um 66 Prozent steigern.

Vorteile des direkten Messverfahrens und der IMS-Technologie

Bild 4: Grafische Benutzeroberfläche eines 192 × 2 Pixel CSPAD-Lidar-Doppelzeilensensors des Fraunhofer IMS. Fraunhofer IMS

Das direkte Lidar-ToF-Messverfahren weist gegenüber dem indirekten Verfahren aufgrund seines Prinzips diverse Vorteile auf. Durch die Detektion der Pulsankunft (first photon) kann die Pulsbreite unbegrenzt schmal sein, wodurch sehr hohe optische Leistungsdichten bei gleichzeitiger Augensicherheit möglich sind. Zudem verhindert die Einzelphotonendetektion Sättigungseffekte, was beim indirekten Verfahren nicht möglich ist. Ebenso ist die Detektion von mehreren hintereinanderliegenden Objekten möglich und zulässig, da diese im Laufzeithistogramm durch diskrete Peaks vertreten sind und somit dem nachfolgenden Bildverarbeitungssystem den vollen Informationsgehalt der Szene zur Verfügung stellen (Bild 3). Durch sogenanntes Time gating, was einer Vorverzögerung der Messbereitschaft der SPADs entspricht, lässt sich die Reichweite vergrößern und auch der Tiefenmessbereich staffeln. Alle genannten Funktionalitäten sind dazu in Echtzeit pixelweise einstell- und adaptierbar (Bild 4). Der Vorteil der CSPAD-Technologie für Lidar-Systeme des Fraunhofer IMS liegt darin, dass sowohl der SPAD-Detektor als auch die Auswertelektronik auf einem Chip integriert sind. Dadurch fällt der Formfaktor klein und flach aus. Automobilhersteller können sie zum Beispiel hinter der Windschutzscheibe oder im Scheinwerfer verbauen.

Fazit und Ausblick

Bild 5: Fraunhofer IMS CSPAD3000 Wafer-Technologie. Fraunhofer IMS

Die CSPAD-Technologie des Fraunhofer IMS ermöglicht eine dreidimensionale Umfelderfassung mit Lidar-Kameras, welche für die Fahrassistenz, autonom agierende Fahrzeuge sowie die industrielle Robotik prädestiniert ist. Diese Disziplinen benötigen hochdynamische Detektoren, die eine zuverlässige Erfassung des Umfeldes garantieren. Hierbei profitiert das Duisburger Fraunhofer-Institut von seiner jahrelangen Erfahrung im Design von CSPADs für Lidar-Anwendungen. Gegenwärtige Aktivitäten konzentrieren sich auf die Integration der Histogramm-basierten Signalverarbeitung in einem separaten Auswerte-IC, der in einem geeigneten CMOS-Prozess entwickelt und mittels der am IMS verfügbaren Wafer-zu-Wafer-Bondtechnologie mit dem Detektor verbunden wird. Dies ermöglicht eine hohe parallele Signalverarbeitung im Sensor. Diese neuartigen, rückseitenbeleuchteten (backside illuminated) SPAD-Flächensensoren mit pixelintegrierter Ausleseschaltung (Bild 5) zeichnen sich durch hohe Einzelphotonenempfindlichkeit mit einer geringen Dunkelzählrate und großem Dynamikbereich aus. Die entwickelte Chip-integrierte adaptive Auswertelogik erlaubt damit eine weitere Steigerung der Reichweite auch bei schwierigen Wetterverhältnissen. Der „erste Sensor seiner Art“ der neuen Generation ist der CSPAD3000 mit 64 × 48 Pixeln, welcher erstmalig im Wafer-zu-Wafer-Verfahren des Fraunhofer IMS hergestellt wurde und aufgrund seiner hohen Bildrate von bis zu 26 kHz ideal für Flash-Lidar geeignet ist.

(prm)