Neue Anwendungen für ToF-Lidar in Industrial und Automotive

Eine ToF-Kamera misst Entfernungen, indem sie ein Objekt aktiv mit einer modulierten Lichtquelle beleuchtet, und ein auf die Wellenlänge der Laserdiode abgestimmter Sensor erfasst anschließend das reflektierte Licht. Der Sensor misst die Zeit ∆T, die zwischen dem Aussenden des Lichts und dem Empfang des reflektierten Lichts mit der Kamera vergeht. Die Zeitverzögerung ist proportional zum doppelten Abstand zwischen Kamera und Objekt. Dabei ist die Aufgabe einer ToF-Kamera, die Verzögerung zwischen dem ausgesendeten Signal und dem Rücklaufsignal abzuschätzen. Es gibt verschiedene Methoden zur Messung von ∆T, von denen zwei am weitesten verbreitet sind: die CW- (Continuous Wave) und die pulsbasierte Methode.

CW-Methode

Bei der CW-Methode dient ein periodisch moduliertes Signal für die aktive Beleuchtung, und die Phasenverschiebung des reflektierten Lichts wird durch Homodyn-Demodulation des empfangenen Signals gemessen. CW-ToF-Sensoren messen die Laufzeit für jeden Bildpunkt separat, indem sie zwischen dem empfangenen Signal und einem demodulierenden Signal mit der gleichen Frequenz abtasten. Im Idealfall ist das demodulierende Signal ebenfalls eine Sinuswelle.

Pulsbasierte Methode

Bei der impulsbasierten Methode sendet eine Lichtquelle eine Reihe von kurzen Lichtimpulsen aus, die zu einem Sensor zurückreflektiert werden. Der Sensor ist mit einer elektronischen Blende ausgestattet, die die Erfassung von Licht in einer Serie kurzer Zeitfenster ermöglicht.

Beide Herangehensweisen an ToF haben je nach Anwendung Vor- und Nachteile. Kriterien wie die zu messenden Entfernungen, die Umgebungsbedingungen, Genauigkeitsanforderungen, Beschränkungen der Wärme-/Leistungsaufnahme, Formfaktor und Fragen der Stromversorgung sind zu berücksichtigen. Zu beachten ist, dass die überwiegende Mehrheit der CW-ToF-Systeme CMOS-Sensoren verwenden, während sich in gepulsten ToF-Systemen keine CMOS-Sensoren befinden, sondern andere Sensoren wie etwa CCD-Sensoren.

Vorteile von CW-Systemen:

• Für Anwendungen ohne hohe Präzi-sionsanforderungen kann ein CW-System einfacher zu implementieren sein als ein impulsbasiertes System, da die Impulse der Lichtquelle nicht extrem kurz sein und keine schnellen Anstiegs-/Abfallflanken aufweisen müssen.
• Wie bei allen Systemen mit CMOS-Bildsensoren können Entwickler Standard-Stromversorgungen mit +5, +3,3 oder +1,2 V verwenden.
• Je nach Konfiguration haben ToF-Sensoren in CMOS-Technologie tendenziell mehr Flexibilität und eine schnellere Auslesegeschwindigkeit, so dass Funktionen wie die Ausgabe von Bereichen von Interesse (Region-of-Interest, RoI) möglich sind.
• Die Kalibrierung eines CW-ToF-Systems über die Temperatur kann einfacher sein als die eines gepulsten ToF-Systems. Wenn die Temperatur eines Systems steigt, verschieben sich das Demodulationssignal und die Beleuchtung relativ zueinander.

Nachteile von CW-Systemen:

• Obwohl CMOS-Sensoren gegenüber anderen Sensoren höhere Ausgangsdatenraten bieten, benötigen CW-Sensoren zur Berechnung von Tiefe vier Abtastwerte der Korrelationsfunktion bei mehreren Modulationsfrequenzen sowie eine Mehrbildverarbeitung.
• Bei Messungen über größere Entfernungen oder in hellen Umgebungen ist eine höhere optische Dauerleistung im Vergleich zu gepulster ToF erforderlich. Diese kontinuierliche Beleuchtung durch den Laser könnte Wärme- und Zuverlässigkeitsprobleme verursachen.

Vorteile von Systemen mit impulsbasierter ToF-Technik:

• Pulsbasierte ToF-Systeme stützen sich oft auf hochenergetische Lichtimpulse, die in kurzen Bursts während eines Integrationsfensters emittiert werden.
• Die Einschaltdauer der Beleuchtung in einem impulsbasierten ToF-System ist im Allgemeinen kürzer als die bei einem vergleichbaren CW-Systems.
• Da Impulszeit und -breite nicht einheitlich sein müssen, lassen sich verschiedene Zeitschemata implementieren, um zum Beispiel einen größeren Dynamikbereich und automatische Belichtung zu ermöglichen.

Nachteile von impulsbasierten ToF-Systemen:

• Da die Pulsbreite des übertragenen Lichtimpulses und der Blende gleich sein müssen, muss die Zeitsteuerung des Systems hochgenau sein, und je nach Anwendung kann eine Genauigkeit im Pikosekundenbereich erforderlich sein.
• Für maximale Effizienz müssen die Beleuchtungsimpulse sehr schmal sein, aber eine hohe Leistung enthalten. Deshalb sind schnelle Anstiegs-/Abfallflanken (<1 ns) des Lasertreibers erforderlich.
• Die Temperaturkalibrierung kann im Vergleich zu der von CW-Systemen schwieriger sein, da Temperaturänderungen einzelne Pulsbreiten beeinflussen, was sich nicht nur auf Offset und Verstärkung, sondern auch auf die Linearität auswirkt.
• Gepulste ToF-Systeme benötigen aufgrund der verwendeten CMOS-Sensoren fast immer ein externes analoges Frontend, welches die Tiefendaten digitalisieren und ausgeben kann.
• Die Systemkonfiguration – insbesondere die Anforderungen an die Stromversorgung des ToF-Sensors – erfordert mehr Bauteile und Versorgungsschienen.

Bei der ToF-Technologie von Analog Devices handelt es sich um ein impulsbasiertes ToF-CCD-System (charge-coupled device) mit sehr leistungsfähigem ToF-CCD und der Frontend-Lösung ADDI9036. Im ADDI9036, einem vollständigen ToF-Signalverarbeitungsbauteil, befinden sich ein Tiefenprozessor, der die Rohbilddaten vom CCD in Tiefen/Pixeldaten verarbeitet, ein hochgenauer Taktgenerator sowie ein analoges Frontend. Der Taktgenerator erzeugt das Timing für CCD und LED. Der Präzisions-Timing-Core des Timing-Generators ermöglicht die Anpassung von Taktsignalen und LD-Ausgang mit einer Auflösung von etwa 174 ps bei einer Taktfrequenz von 45 MHz.

Das ToF-System von ADI unterscheidet sich von anderen Lösungen zum einen durch die Verwendung eines ToF-Sensors mit 640 × 480 Pixel. Dies entspricht gegenüber den meisten anderen ToF-Lösungen einer viermal höheren Auflösung.
Zudem nutzt ADI einen Sensor, dessen hohe Lichtempfindlichkeit bei einer Wellenlänge von 940 nm liegt. Wie schon erwähnt, verringert Umgebungslicht das SNR eines reflektierten Signals erheblich, speziell bei sehr hellem Licht. 940-nm-Laser haben sich durchgesetzt, da diese Wellenlänge einen Raum im Spektrum des Sonnenlichts einnimmt, in dem der Photonenfluss relativ gering ist. Das ToF-System von Analog Devices nutzt ein ToF-CCD, das für Licht mit 940 nm empfindlich ist, so dass es mehr Daten im Freien oder in Bereichen mit hellem Umgebungslicht erfassen kann.
Ein Pseudo-Randomisierungs-Algorithmus in Verbindung mit einer speziellen Bildverarbeitung, die im Tiefenprozessor integriert ist, ermöglicht die Interferenzunterdrückung. Dies ermöglicht mehreren ToF-Systemen den Betrieb in derselben Umgebung.

Das Hinzufügen von Tiefeninformationen zu einem 2D-Bild ermöglicht die Extraktion nützlicher Informationen und kann die Qualität der Informationen der Szene erheblich verbessern. Zum Beispiel kann die 2D-Abtastung nicht zwischen einer realen Person und einem Foto unterscheiden. Die Extraktion der Tiefeninformationen ermöglicht eine bessere Klassifizierung von Personen, indem sowohl ihre Gesichts- als auch ihre Körpermerkmale erkennbar sind. Für die Sicherheitsauthentifizierung kann die ToF-Tiefenmessung eine qualitativ hochwertige und zuverlässige Gesichtserkennung ermöglichen. Je höher Auflösung und Tiefengenauigkeit sind, desto besser kann der Klassifikationsalgorithmus arbeiten. Dies lässt sich für einfache Funktionen heranziehen, wie beispielsweise den Zugang zu Mobilgeräten, den persönlichen Heimbereich oder für High-End-Anwendungsfälle wie etwa sichere Türzutrittskontrolle in kommerziell sensiblen Bereichen.

Eine wichtige Anwendung der Tiefenmessung findet sich in den Branchen Industrie, Fertigung und Bauwesen. Die Fähigkeit, Objekte in einem Produktionsprozess in Echtzeit genau zu dimensionieren und zu klassifizieren, ist nicht trivial. So kann eine genaue Tiefenmessung etwa die Raumausnutzung von Lagerflächen ermitteln. In Produktionslinien kann die ToF-Technologie die Abmessungen von Produkten, die von einer Produktionslinie kommen, schnell für den Transfer erfassen. Hochauflösende Tiefenabtastung ermöglicht es, Kanten und Linien von Zielobjekten in Echtzeit zu bestimmen und Volumenberechnungen schnell durchzuführen. Ein Konzept mit neuronalen Netzen befindet sich bei einer solchen Volumenbestimmung bereits im Einsatz.

Autonome Fahrzeuge wie AGVs (Autonomous Guided Vehicles) werden künftig noch schneller selbständig durch die Fabrik und das Lager navigieren müssen. Die hochgenaue Tiefenmesstechnik ermöglicht Sensoren, die Umgebung in Echtzeit abzubilden, sich innerhalb der aufgenommenen Karte zu lokalisieren und dann den effizientesten Navigationspfad zu ermitteln. Eine der größten Herausforderungen beim Einsatz einer solchen Technologie in der Fabrikautomation sind Störungen durch andere Sensoren, die möglicherweise im gleichen Bereich arbeiten. Das IP von Analog Devices zur Unterdrückung von Störungen ermöglicht vielen solcher Sensoren, direkt in der Sichtlinie anderer Sensoren zu arbeiten, ohne die Leistungsfähigkeit zu beeinträchtigen.

Analog Devices hat die 3D-ToF-Entwicklungsplattform AD-96TOF1-EBZ entwickelt, die zur 96Boards-Anwendungsprozessorplattform von Arrow kompatibel ist. Das Board lässt sich direkt mit der Familie 96Boards von Arrow verbinden. Bei diesen Boards handelt es sich um Hardware-Prozessorplattformen, die Entwicklern die aktuellen ARM-basierten Prozessoren zur Verfügung stellen. Viele Anwender interessieren sich für ein einfaches Demonstrationsmodul, um zunächst die Leistungsdaten der Technologie zu evaluieren, bevor sie mit einem realen Projekt fortfahren. Analog Devices hat mit verschiedenen Hardwarepartnern zusammengearbeitet, um Hardware-Angebote unterschiedlicher Stufen anzubieten. Das Demonstrationsmodul DCAM710 aus dem Angebot des Hardwarepartners Pico unterstützt USB-Tiefenbild-Streaming direkt auf den PC.

Spezifikationen des ToF-Kameramoduls DCAM710

Das ToF-Kameramodul DCAM 710 basiert auf der ToF-Signalkettenprodukten und der Technologie von Analog Devices; es ist in der Lage, eine Tiefenkarte sowie ein ToF+RGB-Bild auszugeben. Dabei beläuft sich das Field-of-View des Moduls auf 70° × 54°. Eine Tiefenkamera unterstützt Bildgrößen bis 640 × 480 Pixel bei 30 fps, während die RGB-Kamera Bildgrößen bis 1920 × 1080 Pixel bei 30 fps unterstützt. Zusätzlich verfügt das Bauteil über eine USB-2.0-Schnittstelle. Als Betriebssystem wäre Android, Linux und Windows 7/8/10 möglich. Zur Entwicklungsunterstützung bietet ADI Muster-Code und Tools für den Pico-Tiefensensor SDK. Die Pico-SDK-Softwareplattform unterstützt die Be­triebs­systeme Windows und Linux sowie verschiedene Softwarefunktionen. Eine Punktwolke, die eine Reihe von Datenpunkten im Raum um ein Objekt herum erzeugen kann, und die häufig zur Erzeugung von 3D-Modellen verwendet wird, lässt sich mit dem SDK direkt generieren. Analog Devices bietet einfachen Beispielcode in Python zur Unterstützung von Kundenevaluierungen an.