ToF-Systeme im industriellen Umfeld mit Robotern

Im industriellen Umfeld ersetzen 3D-Tiefenbilder zunehmend die Standard-2D-Bildgebungsmethoden. (Bild: Analog Devices)

Viele Machine-Vision-Anwendungen erfordern heute 3D-Tiefenbilder mit hoher Auflösung, um die Standard-2D-Bildgebung zu ersetzen oder zu ergänzen. Entsprechende Lösungen vertrauen darauf, dass die 3D-Kamera zuverlässige Tiefeninformationen liefert, um Sicherheit zu gewährleisten. Insbesondere wenn Maschinen in unmittelbarer Nähe zu Menschen arbeiten, ist dies wichtig. Die Kameras müssen außerdem auch in schwierigen Umgebungen wie beispielsweise in großen Räumen mit stark reflektierenden Oberflächen oder in Gegenwart anderer sich bewegender Objekte zuverlässige Tiefeninformationen liefern. In vielen Produkten kamen bisher Lösungen wie Entfernungsmesser mit geringer Auflösung zum Einsatz, um Tiefeninformationen zur Erweiterung der 2D-Bildgebung zu liefern.

Dieser Ansatz bringt jedoch Einschränkungen mit sich. Für Anwendungen, die von 3D-Tiefeninformationen mit höherer Auflösung profitieren, sind Continuous-Wave-ToF-Kameras mit CMOS-Sensoren die leistungsstärksten Lösungen auf dem Markt. Systemeigenschaften, die CMOS-ToF-Systeme mit hoher Auflösung ermöglichen, sind in Tabelle 1 erläutert.

Die Systemfunktionen in Tabelle 1 lassen sich auch auf Anwendungsfälle im Consumer-Bereich übertragen wie beispielsweise der Bokeh-Effekt bei der Aufnahme von Videos, Gesichtsauthentifizierung und Messanwendungen, wobei der Hintergrund in einen Unschärfebereich übergeht. Auch Anwendungsfälle im Automobilbereich sind möglich, so wäre beispielsweise die Überwachung der Aufmerksamkeit des Fahrers und die automatische Einstellung einer Innenraumkonfiguration in der Fahrerkabine umsetzbar.

ToF-Systementwicklung in Kürze

Viele Computer- und Machine-Vision-Anwendungen erfordern heute 3D-Tiefenbilder mit hoher Auflösung, um die Standard-2D-Bildgebung zu ersetzen oder zu ergänzen. CW-ToF-Kameras bieten die höchste Tiefenpräzision auf dem Markt für diese Art von Endanwendungen. Während es beim Bildsensor viele Faktoren gibt, welche die Leistung vorgeben, gibt es auch viele Faktoren, die auf Systemebene zu berücksichtigen sind, um sicherzustellen, dass das höchste Leistungsniveau erreicht werden kann. Zu den wichtigen Überlegungen auf Systemebene gehören das Beleuchtungs-Subsystem, das optische Design, das Powermanagement und die Algorithmen zur Tiefenverarbeitung. Alle diese Elemente auf Systemebene sind zur Entwicklung eines hochpräzisen 3D-ToF-Kamerasystems entscheidend.

Continuous-Wave-ToF-Kamera mit CMOS-Sensoren

Eine Tiefenkamera ist eine Kamera, die für jeden Bildpunkt die Entfernung zwischen der Kamera und der Szene ausgibt. Eine Technik zur Tiefenmessung besteht darin, die Zeit zu berechnen, die das Licht benötigt, um von einer Lichtquelle auf der Kamera zu einer reflektierenden Oberfläche und zurück zur Kamera zu gelangen. Diese Laufzeit wird als Time of Flight (ToF) bezeichnet. Eine ToF-Kamera enthält folgende Elemente (Bild 1):

  • Eine Lichtquelle (VCSEL oder kantenemittierende Laserdiode), die Licht im nahen Infrarotbereich emittiert. Die am häufigsten verwendeten Wellenlängen sind 850 und 940 nm. Die Lichtquelle ist normalerweise eine diffuse Quelle (Flutlicht), die einen Lichtstrahl mit einer bestimmten Divergenz (auch bekannt als Beleuchtungsfeld oder FOI – Field Of Illumination) aussendet, um die Szene vor der Kamera zu beleuchten.
  • Einen Lasertreiber, der die Intensität des von der Lichtquelle emittierten Lichts moduliert.
  • Einen Sensor mit einem Pixel-Array, welches das reflektierte Licht aus der Szene sammelt und Werte für jeden Bildpunkt ausgibt.
  • Eine Linse, die das reflektierte Licht auf das Array fokussiert.
  • Einen Bandpassfilter, der mit dem Objektiv zusammen angeordnet ist und Licht außerhalb einer schmalen Bandbreite um die Wellenlänge der Lichtquelle herausfiltert.
  • Einen Verarbeitungsalgorithmus, der ausgegebene Rohbilder vom Sensor in Tiefenbilder oder Punktwolken umwandelt.
Leistungsmerkmale von CW-ToF-Systemen.
Tabelle 1: Leistungsmerkmale von CW-ToF-Systemen. (Bild: Analog Devices)

Man kann mehrere Ansätze verwenden, um das Licht in einer ToF-Kamera zu modulieren. Ein einfacher Ansatz ist die Verwendung einer kontinuierlichen Wellenmodulation (CW), beispielsweise eine Rechteckwellenmodulation mit einer Einschaltdauer von 50 Prozent. In der Praxis ist die Laserwellenform selten eine perfekte Rechteckwelle und kann eher einer Sinuswelle ähneln. Eine quadratische Laserwellenform ergibt ein besseres Signal/Rausch-Verhältnis für eine bestimmte optische Leistung, bringt jedoch auch Tiefen-Nichtlinearitätsfehler aufgrund von Hochfrequenz-Oberwellen mit sich.

Eine CW-ToF-Kamera misst die Zeitdifferenz td zwischen dem ausgesendeten Signal und dem Rücksignal, indem sie den Phasenoffset φ = 2πftd zwischen den Grundwellen dieser beiden Signale abschätzt. Die Tiefe kann aus dem Phasenversatz φ abgeschätzt werden mit der Gleichung

Formel zum Phasenversatz

Eine Takterzeugungsschaltung im Sensor steuert die komplementären Pixeltakte, die jeweils die Akkumulation von Photoladungen in zwei Ladungsspeicherelementen (Abgriff „A“ und Abgriff „B“) sowie das Lasermodulationssignal zum Lasertreiber steuern. Die Phase des reflektierten modulierten Lichts kann relativ zur Phase der Pixeltakte gemessen werden (Bild 1, rechte Seite). Die Differenzladung zwischen Abgriff A und Abgriff B im Pixel ist proportional zur Intensität des reflektierten modulierten Lichts und zur Phase des reflektierten modulierten Lichts relativ zum Pixeltakt.

Mit Methoden der kohärenten Detektion wird eine Messung mit mehreren relativen Phasen zwischen Pixeltakt und Lasermodulationssignal durchgeführt. Die Messungen werden kombiniert, um die Phase der Grundwelle im reflektierten modulierten Lichtsignal zu bestimmen. Die Kenntnis dieser Phase ermöglicht die Berechnung der Zeit, die das Licht benötigt, um von der Lichtquelle zum beobachteten Objekt und zurück zum Sensorbildpunkt zu gelangen.

Überblick über eine CW-ToF-Bildgebung
Bild 1: Überblick über eine CW-ToF-Bildgebung. (Bild: Analog Devices)

Vorteile von hohen Modulationsfrequenzen

In der Praxis gibt es Nichtidealitäten wie Photonenschussrauschen, Rauschen der Ausleseschaltung und Mehrweginterferenzen, die Fehler bei der Phasenmessung verursachen können. Eine hohe Modulationsfrequenz verringert die Auswirkungen dieser Fehler auf die Tiefenabschätzung.

Dies ist leicht zu verstehen, wenn man ein einfaches Beispiel nimmt, bei dem es einen Phasenfehler Εφ gibt, das heißt die vom Sensor gemessene Phase ist φ' = φ + Εφ. Der Tiefenfehler beträgt dann

Gleichung Tiefenfehler

und daher ist der Tiefenfehler umgekehrt proportional zur Modulationsfrequenz fmod (Bild 2).

Die Formel erklärt, warum CW-ToF-Kameras mit hoher Modulationsfrequenz ein geringeres Tiefenrauschen und kleinere Tiefenfehler aufweisen als CW-Kameras mit niedrigerer Modulationsfrequenz.

Ein Nachteil, den eine hohe Modulationsfrequenz mit sich bringt, ist ein schnelleres Phase Wrapping, das heißt der Bereich, der eindeutig gemessen werden kann, ist kürzer. Der übliche Weg, diese Einschränkung zu umgehen, sind mehrere Modulationsfrequenzen, bei denen ein Wrapping mit unterschiedlichen Raten erfolgt. Die niedrigste Modulationsfrequenz bietet einen großen Bereich ohne Unklarkeit, aber eine größere Tiefenunsicherheit, während höhere Modulationsfrequenzen zusammen verwendet werden, um die Tiefenunsicherheit zu verringern. Ein Beispiel für dieses Konzept mit drei verschiedenen Modulationsfrequenzen zeigt Bild 3.

Die endgültige Tiefenabschätzung wird durch Gewichtung der unwrapped Phasenabschätzungen für die verschiedenen Modulationsfrequenzen berechnet, wobei die höheren Modulationsfrequenzen höhere Gewichte erhalten.

Wenn die Gewichte für jede Frequenz optimal gewählt sind, ist das Tiefenrauschen umgekehrt proportional zum Effektivwert der gewählten Modulationsfrequenzen im System. Bei konstantem Gesamttiefenrauschen lässt sich durch Erhöhung der Modulationsfrequenzen die Integrationszeit oder die Beleuchtungsleistung verringern.

Einfluss des Phasenfehlers auf die Abstandsabschätzung.
Bild 2: Einfluss des Phasenfehlers auf die Abstandsabschätzung. (Bild: Analog Devices)

Kritische Systemaspekte für ToF-Systeme

Bei der Entwicklung einer leistungsstarken ToF-Kamera sind zahlreiche Systemmerkmale zu berücksichtigen. Lasertreiber moduliert die Lichtquelle (zum Beispiel VCSEL) mit hoher Modulationsfrequenz. Um die Menge nützlichen Signals am Pixel für eine bestimmte optische Leistung zu maximieren, muss die optische Wellenform schnelle Anstiegs- und Abfallzeiten mit sauberen Flanken aufweisen. Die richtige Kombination aus Laser, Lasertreiber und Leiterplattenlayout im Beleuchtungs-Subsystem ist entscheidend, um dies zu erreichen. Ebenso muss die optische Leistung auf eine sichere Art und Weise gewährleistet sein. Dazu müssen Entwickler einige Sicherheitsmechanismen auf der Lasertreiber- und Systemebene einbauen, um sicherzustellen, dass die Augensicherheitsgrenzen der Klasse 1 jederzeit gegeben sind.

Optisches Design

Bei der Entwicklung eines ToF-Kamerasystems müssen Entwickler viele Überlegungen zum optischen Design anstellen und Kompromisse finden. Erstens sollte das Beleuchtungsfeld der Lichtquelle für optimale Effizienz mit dem Sichtfeld des Objektivs übereinstimmen. Es ist auch wichtig, dass das Objektiv selbst eine große Blendenöffnung für eine bessere Ausbeute beim Lichtsammeln hat. Eine große Blendenöffnung kann andere Kompromisse in Bezug auf Vignettierung, geringe Schärfentiefe und Komplexität der Objektivkonstruktion erforderlich machen. Ein Linsendesign mit niedrigem Hauptstrahlwinkel kann auch dazu beitragen, die Bandbreite des Bandpassfilters zu verringern, was die Fremdlichtunterdrückung verbessert. Das optische Subsystem sollte ebenfalls für die gewünschte Betriebswellenlänge etwa hinsichtlich Antireflexionsbeschichtung, Bandpassfilterdesign und Linsendesign optimiert werden. Es sind auch eine Reihe mechanischer Anforderungen zu erfüllen, um sicherzustellen, dass die optische Ausrichtung innerhalb der gewünschten Toleranzen für die Endanwendung liegt.

Mehrfrequenz-Phase-Unwrapping.
Bild 3: Mehrfrequenz-Phase-Unwrapping. (Bild: Analog Devices)

Stromversorgung und Powermanagement

Auch das Powermanagement ist von entscheidender Bedeutung. Die Lasermodulation und die Pixelmodulation erzeugen kurze Bursts mit hohen Spitzenströmen, was Einschränkungen für die Powermanagement-Lösung mit sich bringt. Es gibt einige Funktionen auf IC-Ebene, die helfen können, den Spitzenstromverbrauch des Imagers zu verringern. Auch gibt es Powermanagement-Techniken, die auf Systemebene angewendet werden können, um die Wahl der Stromquelle  zu erleichtern. Die wichtigsten Versorgungsspannungen für einen ToF-Imager erfordern typischerweise einen Regler mit gutem Einschwingverhalten und geringem Rauschen.

Algorithmen und Software

Ein weiterer großer Teil der Systementwicklung ist der Algorithmus für die Tiefenverarbeitung. Der ToF-Bildsensor liefert Pixel-Rohdaten, aus denen die Phaseninformation extrahiert werden muss. Dazu sind verschiedene Schritte wie Rauschfilterung und Phase Unwrapping erforderlich. Der Ausgang des Phase-Unwrapping-Blocks ist ein Maß für die Entfernung, die das Licht vom Laser zur Szene und zurück zum Bildpunkt zurückgelegt hat. Dies wird oft als „Reichweite“ oder „radialer Abstand“ bezeichnet.

Systemarchitektur eines ToF-Systems.
Bild 4: Systemarchitektur eines ToF-Systems. (Bild: Analog Devices)

Normalerweise wird der radiale Abstand in eine Punktwolkeninformation umgewandelt, welche die Information für einen bestimmten Bildpunkt durch seine realen Koordinaten X, Y und Z darstellt. Oft verwenden Endanwendungen nur die „Z“-Bildkarte (Tiefenkarte) anstelle der vollständigen Punktwolke. Die Umwandlung der radialen Entfernung in eine Punktwolke erfordert die Kenntnis der Objektiv- und Verzeichnungsparameter. Bei der geometrischen Kalibrierung des Kameramoduls werden die Parameter abgeschätzt. Allerdings geben die Algorithmen zur Tiefenverarbeitung auch andere Informationen aus, wie beispielsweise aktive Helligkeitsbilder (Amplitude des reflektierten Lasersignals), passive IR-Bilder und Vertrauensstufen, die alle in den Endanwendungen verwendet werden können. Dabei kann die Tiefenverarbeitung auch auf dem Kameramodul selbst oder in einem Host-Prozessor erfolgen. Tabelle 2 gibt eine Übersicht über die verschiedenen Komponenten auf Systemebene. (prm)

Komponenten einer 3D-ToF-Kamera auf Systemebene.
Tabelle 2: Komponenten einer 3D-ToF-Kamera auf Systemebene. (Bild: Analog Devices)

Autoren

Nicolas LeDortz

System Engineering Manager bei Analog Devices

 

 

Paul O'Sullivan

Project Manager bei Analog Devices

Kostenlose Registrierung

Bleiben Sie stets zu allen wichtigen Themen und Trends informiert.
Das Passwort muss mindestens acht Zeichen lang sein.
*

Ich habe die AGB, die Hinweise zum Widerrufsrecht und zum Datenschutz gelesen und akzeptiere diese.

*) Pflichtfeld

Sie sind bereits registriert?

Unternehmen

Analog Devices GmbH

Otl-Aicher-Straße 60-64
80807 München
Germany