Im industriellen Umfeld ersetzen 3D-Tiefenbilder zunehmend die Standard-2D-Bildgebungsmethoden. (Bild: Analog Devices)
Viele Machine-Vision-Anwendungen erfordern heute 3D-Tiefenbilder mit hoher Auflösung, um die Standard-2D-Bildgebung zu ersetzen oder zu ergänzen. Entsprechende Lösungen vertrauen darauf, dass die 3D-Kamera zuverlässige Tiefeninformationen liefert, um Sicherheit zu gewährleisten. Insbesondere wenn Maschinen in unmittelbarer Nähe zu Menschen arbeiten, ist dies wichtig. Die Kameras müssen außerdem auch in schwierigen Umgebungen wie beispielsweise in großen Räumen mit stark reflektierenden Oberflächen oder in Gegenwart anderer sich bewegender Objekte zuverlässige Tiefeninformationen liefern. In vielen Produkten kamen bisher Lösungen wie Entfernungsmesser mit geringer Auflösung zum Einsatz, um Tiefeninformationen zur Erweiterung der 2D-Bildgebung zu liefern.
Dieser Ansatz bringt jedoch Einschränkungen mit sich. Für Anwendungen, die von 3D-Tiefeninformationen mit höherer Auflösung profitieren, sind Continuous-Wave-ToF-Kameras mit CMOS-Sensoren die leistungsstärksten Lösungen auf dem Markt. Systemeigenschaften, die CMOS-ToF-Systeme mit hoher Auflösung ermöglichen, sind in Tabelle 1 erläutert.
Die Systemfunktionen in Tabelle 1 lassen sich auch auf Anwendungsfälle im Consumer-Bereich übertragen wie beispielsweise der Bokeh-Effekt bei der Aufnahme von Videos, Gesichtsauthentifizierung und Messanwendungen, wobei der Hintergrund in einen Unschärfebereich übergeht. Auch Anwendungsfälle im Automobilbereich sind möglich, so wäre beispielsweise die Überwachung der Aufmerksamkeit des Fahrers und die automatische Einstellung einer Innenraumkonfiguration in der Fahrerkabine umsetzbar.
Time-of-Flight(ToF)-Systementwicklung kurz erklärt
Viele Computer- und Machine-Vision-Anwendungen erfordern heute 3D-Tiefenbilder mit hoher Auflösung, um die Standard-2D-Bildgebung zu ersetzen oder zu ergänzen. CW-ToF-Kameras bieten die höchste Tiefenpräzision auf dem Markt für diese Art von Endanwendungen. Während es beim Bildsensor viele Faktoren gibt, welche die Leistung vorgeben, gibt es auch viele Faktoren, die auf Systemebene zu berücksichtigen sind, um sicherzustellen, dass das höchste Leistungsniveau erreicht werden kann. Zu den wichtigen Überlegungen auf Systemebene gehören das Beleuchtungs-Subsystem, das optische Design, das Powermanagement und die Algorithmen zur Tiefenverarbeitung. Alle diese Elemente auf Systemebene sind zur Entwicklung eines hochpräzisen 3D-ToF-Kamerasystems entscheidend.
Continuous-Wave-ToF-Kamera mit CMOS-Sensoren
Eine Tiefenkamera ist eine Kamera, die für jeden Bildpunkt die Entfernung zwischen der Kamera und der Szene ausgibt. Eine Technik zur Tiefenmessung besteht darin, die Zeit zu berechnen, die das Licht benötigt, um von einer Lichtquelle auf der Kamera zu einer reflektierenden Oberfläche und zurück zur Kamera zu gelangen. Diese Laufzeit wird als Time of Flight (ToF) bezeichnet. Eine ToF-Kamera enthält folgende Elemente (Bild 1):
- Eine Lichtquelle (VCSEL oder kantenemittierende Laserdiode), die Licht im nahen Infrarotbereich emittiert. Die am häufigsten verwendeten Wellenlängen sind 850 und 940 nm. Die Lichtquelle ist normalerweise eine diffuse Quelle (Flutlicht), die einen Lichtstrahl mit einer bestimmten Divergenz (auch bekannt als Beleuchtungsfeld oder FOI – Field Of Illumination) aussendet, um die Szene vor der Kamera zu beleuchten.
- Einen Lasertreiber, der die Intensität des von der Lichtquelle emittierten Lichts moduliert.
- Einen Sensor mit einem Pixel-Array, welches das reflektierte Licht aus der Szene sammelt und Werte für jeden Bildpunkt ausgibt.
- Eine Linse, die das reflektierte Licht auf das Array fokussiert.
- Einen Bandpassfilter, der mit dem Objektiv zusammen angeordnet ist und Licht außerhalb einer schmalen Bandbreite um die Wellenlänge der Lichtquelle herausfiltert.
- Einen Verarbeitungsalgorithmus, der ausgegebene Rohbilder vom Sensor in Tiefenbilder oder Punktwolken umwandelt.
Das Wichtigste zum Time-of-Flight(ToF)-Verfahren
Was ist die Time-of-Flight-Technologie?
Die Time-of-Flight-Technologie, auch bekannt als ToF-Technologie, ist eine Methode zur Messung der Entfernung zwischen einem Sensor und einem Objekt durch die Messung der Zeit, die ein Lichtimpuls benötigt, um von der Quelle zum Objekt und zurück zum Sensor zu gelangen. Dabei wird ein Laserpuls ausgesendet und die Zeit gemessen, die das Licht benötigt, um die Strecke zu durchlaufen. Diese Technologie wird häufig in verschiedenen Anwendungen wie 3D-Bildgebung, Gestenerkennung, Robotik und Augmented Reality eingesetzt.
Wie funktioniert die Time-of-Flight-Technologie?
Die Time-of-Flight-Technologie arbeitet, indem sie einen kurzen Lichtimpuls, in der Regel einen Laserpuls, aussendet. Dieser Impuls trifft auf ein Objekt und wird von diesem reflektiert. Der Sensor erfasst dann das reflektierte Licht und misst die Zeit, die das Licht benötigt hat, um zum Objekt zu gelangen und zurückzukehren. Basierend auf dieser gemessenen Zeit kann die Entfernung zwischen dem Sensor und dem Objekt berechnet werden. Durch wiederholtes Senden von Impulsen und Messen der Laufzeit können 3D-Bilder oder Tiefenkarten des umgebenden Raums erstellt werden.
Welche Vorteile bietet die Time-of-Flight-Technologie?
Die Time-of-Flight-Technologie bietet verschiedene Vorteile, die sie zu einer attraktiven Option in verschiedenen Anwendungen machen. Hier sind einige der wichtigsten Vorteile:
- Genauigkeit: Die Time-of-Flight-Technologie ermöglicht präzise Messungen der Entfernung mit hoher Genauigkeit. Dadurch können detaillierte 3D-Modelle und Tiefenkarten erstellt werden.
- Geschwindigkeit: Die Time-of-Flight-Technologie ermöglicht schnelle Messungen, da die Laufzeit des Lichtimpulses in der Regel in Nanosekunden gemessen wird. Dies ist besonders wichtig in Anwendungen, die Echtzeit- oder Interaktionsfähigkeiten erfordern.
- Robustheit: Die Time-of-Flight-Technologie ist relativ unempfindlich gegenüber Umgebungslicht und anderen Störungen. Dadurch kann sie in verschiedenen Umgebungen und Bedingungen zuverlässig arbeiten.
Man kann mehrere Ansätze verwenden, um das Licht in einer ToF-Kamera zu modulieren. Ein einfacher Ansatz ist die Verwendung einer kontinuierlichen Wellenmodulation (CW), beispielsweise eine Rechteckwellenmodulation mit einer Einschaltdauer von 50 Prozent. In der Praxis ist die Laserwellenform selten eine perfekte Rechteckwelle und kann eher einer Sinuswelle ähneln. Eine quadratische Laserwellenform ergibt ein besseres Signal/Rausch-Verhältnis für eine bestimmte optische Leistung, bringt jedoch auch Tiefen-Nichtlinearitätsfehler aufgrund von Hochfrequenz-Oberwellen mit sich.
Eine CW-ToF-Kamera misst die Zeitdifferenz td zwischen dem ausgesendeten Signal und dem Rücksignal, indem sie den Phasenoffset φ = 2πftd zwischen den Grundwellen dieser beiden Signale abschätzt. Die Tiefe kann aus dem Phasenversatz φ abgeschätzt werden mit der Gleichung
Eine Takterzeugungsschaltung im Sensor steuert die komplementären Pixeltakte, die jeweils die Akkumulation von Photoladungen in zwei Ladungsspeicherelementen (Abgriff „A“ und Abgriff „B“) sowie das Lasermodulationssignal zum Lasertreiber steuern. Die Phase des reflektierten modulierten Lichts kann relativ zur Phase der Pixeltakte gemessen werden (Bild 1, rechte Seite). Die Differenzladung zwischen Abgriff A und Abgriff B im Pixel ist proportional zur Intensität des reflektierten modulierten Lichts und zur Phase des reflektierten modulierten Lichts relativ zum Pixeltakt.
Mit Methoden der kohärenten Detektion wird eine Messung mit mehreren relativen Phasen zwischen Pixeltakt und Lasermodulationssignal durchgeführt. Die Messungen werden kombiniert, um die Phase der Grundwelle im reflektierten modulierten Lichtsignal zu bestimmen. Die Kenntnis dieser Phase ermöglicht die Berechnung der Zeit, die das Licht benötigt, um von der Lichtquelle zum beobachteten Objekt und zurück zum Sensorbildpunkt zu gelangen.
Was ist eine Time-of-Flight-Kamera?
Eine Time-of-Flight-Kamera ist eine spezielle Art von Kamera, die auf der Time-of-Flight-Technologie basiert. Sie verwendet einen Time-of-Flight-Sensor, um die Entfernung zu Objekten in der Szene zu messen. Im Gegensatz zu herkömmlichen Kameras, die nur zweidimensionale Bilder erfassen, kann eine Time-of-Flight-Kamera auch Tiefeninformationen in Echtzeit liefern. Sie ermöglicht somit die Erstellung von 3D-Bildern, Tiefenkarten und anderen Anwendungen, die eine präzise Entfernungsmessung erfordern.
Was ist ein Time-of-Flight-Sensor?
Ein Time-of-Flight-Sensor ist ein elektronisches Gerät, das auf der Time-of-Flight-Technologie basiert. Er wird verwendet, um die Entfernung zwischen dem Sensor und einem Objekt zu messen. Der Sensor sendet kurze Lichtimpulse aus und erfasst dann das reflektierte Licht. Durch die Messung der Laufzeit des Lichtimpulses kann der Sensor die Entfernung zum Objekt berechnen. Time-of-Flight-Sensoren finden in verschiedenen Anwendungen wie 3D-Bildgebung, Robotik, autonomen Fahrzeugen und Augmented Reality Anwendung.
Was ist der Unterschied zwischen einer Time-of-Flight-Kamera und einem Time-of-Flight-Sensor?
Eine Time-of-Flight-Kamera und ein Time-of-Flight-Sensor sind eng miteinander verbunden, haben jedoch einige Unterschiede in ihrer Funktionalität und Anwendung. Eine Time-of-Flight-Kamera ist ein integriertes Gerät, das sowohl einen Time-of-Flight-Sensor als auch eine Bildverarbeitungseinheit enthält. Sie erfasst nicht nur Tiefeninformationen, sondern liefert auch zweidimensionale Bilder. Die Kamera ermöglicht die Erstellung von 3D-Bildern, Tiefenkarten und anderen Anwendungen, die eine präzise Entfernungsmessung erfordern. Time-of-Flight-Kameras werden häufig in Bereichen wie 3D-Bildgebung, Robotik und Augmented Reality eingesetzt. Ein Time-of-Flight-Sensor hingegen ist ein eigenständiges elektronisches Gerät, das speziell zur Entfernungsmessung entwickelt wurde. Er sendet Lichtimpulse aus und erfasst das reflektierte Licht, um die Laufzeit des Lichts zu messen und die Entfernung zu berechnen. Time-of-Flight-Sensoren werden in verschiedenen Anwendungen verwendet, wie z.B. Gestenerkennung, Objektverfolgung, automatischer Türsteuerung und Entfernungsmessung in Robotern.
Vorteile von hohen Modulationsfrequenzen
In der Praxis gibt es Nichtidealitäten wie Photonenschussrauschen, Rauschen der Ausleseschaltung und Mehrweginterferenzen, die Fehler bei der Phasenmessung verursachen können. Eine hohe Modulationsfrequenz verringert die Auswirkungen dieser Fehler auf die Tiefenabschätzung.
Dies ist leicht zu verstehen, wenn man ein einfaches Beispiel nimmt, bei dem es einen Phasenfehler Εφ gibt, das heißt die vom Sensor gemessene Phase ist φ' = φ + Εφ. Der Tiefenfehler beträgt dann
und daher ist der Tiefenfehler umgekehrt proportional zur Modulationsfrequenz fmod (Bild 2).
Die Formel erklärt, warum CW-ToF-Kameras mit hoher Modulationsfrequenz ein geringeres Tiefenrauschen und kleinere Tiefenfehler aufweisen als CW-Kameras mit niedrigerer Modulationsfrequenz.
Ein Nachteil, den eine hohe Modulationsfrequenz mit sich bringt, ist ein schnelleres Phase Wrapping, das heißt der Bereich, der eindeutig gemessen werden kann, ist kürzer. Der übliche Weg, diese Einschränkung zu umgehen, sind mehrere Modulationsfrequenzen, bei denen ein Wrapping mit unterschiedlichen Raten erfolgt. Die niedrigste Modulationsfrequenz bietet einen großen Bereich ohne Unklarkeit, aber eine größere Tiefenunsicherheit, während höhere Modulationsfrequenzen zusammen verwendet werden, um die Tiefenunsicherheit zu verringern. Ein Beispiel für dieses Konzept mit drei verschiedenen Modulationsfrequenzen zeigt Bild 3.
Die endgültige Tiefenabschätzung wird durch Gewichtung der unwrapped Phasenabschätzungen für die verschiedenen Modulationsfrequenzen berechnet, wobei die höheren Modulationsfrequenzen höhere Gewichte erhalten.
Wenn die Gewichte für jede Frequenz optimal gewählt sind, ist das Tiefenrauschen umgekehrt proportional zum Effektivwert der gewählten Modulationsfrequenzen im System. Bei konstantem Gesamttiefenrauschen lässt sich durch Erhöhung der Modulationsfrequenzen die Integrationszeit oder die Beleuchtungsleistung verringern.
Kritische Systemaspekte für ToF-Systeme
Bei der Entwicklung einer leistungsstarken ToF-Kamera sind zahlreiche Systemmerkmale zu berücksichtigen. Lasertreiber moduliert die Lichtquelle (zum Beispiel VCSEL) mit hoher Modulationsfrequenz. Um die Menge nützlichen Signals am Pixel für eine bestimmte optische Leistung zu maximieren, muss die optische Wellenform schnelle Anstiegs- und Abfallzeiten mit sauberen Flanken aufweisen. Die richtige Kombination aus Laser, Lasertreiber und Leiterplattenlayout im Beleuchtungs-Subsystem ist entscheidend, um dies zu erreichen. Ebenso muss die optische Leistung auf eine sichere Art und Weise gewährleistet sein. Dazu müssen Entwickler einige Sicherheitsmechanismen auf der Lasertreiber- und Systemebene einbauen, um sicherzustellen, dass die Augensicherheitsgrenzen der Klasse 1 jederzeit gegeben sind.
Optisches Design
Bei der Entwicklung eines ToF-Kamerasystems müssen Entwickler viele Überlegungen zum optischen Design anstellen und Kompromisse finden. Erstens sollte das Beleuchtungsfeld der Lichtquelle für optimale Effizienz mit dem Sichtfeld des Objektivs übereinstimmen. Es ist auch wichtig, dass das Objektiv selbst eine große Blendenöffnung für eine bessere Ausbeute beim Lichtsammeln hat. Eine große Blendenöffnung kann andere Kompromisse in Bezug auf Vignettierung, geringe Schärfentiefe und Komplexität der Objektivkonstruktion erforderlich machen. Ein Linsendesign mit niedrigem Hauptstrahlwinkel kann auch dazu beitragen, die Bandbreite des Bandpassfilters zu verringern, was die Fremdlichtunterdrückung verbessert. Das optische Subsystem sollte ebenfalls für die gewünschte Betriebswellenlänge etwa hinsichtlich Antireflexionsbeschichtung, Bandpassfilterdesign und Linsendesign optimiert werden. Es sind auch eine Reihe mechanischer Anforderungen zu erfüllen, um sicherzustellen, dass die optische Ausrichtung innerhalb der gewünschten Toleranzen für die Endanwendung liegt.
QTOF, Lidar, Massenspektroskopie – Begriffsklärung rund um ToF
Was ist ein QTOF-Massenspektrometer?
Ein QTOF-Massenspektrometer, auch Quadrupol-Time-of-Flight-Massenspektrometer genannt, ist ein leistungsstarkes Instrument zur Analyse chemischer Verbindungen. Es kombiniert die Vorteile eines Quadrupol-Massenspektrometers und eines Time-of-Flight-Massenspektrometers. Im QTOF-Massenspektrometer werden Ionen erzeugt und in den Quadrupol geleitet, wo sie nach ihrem Massen-zu-Ladungs-Verhältnis (m/z) gefiltert werden. Anschließend gelangen die Ionen in den Flugrohrabschnitt des Time-of-Flight-Massenspektrometers. Dort werden sie beschleunigt und fliegen unterschiedlich lange Strecken basierend auf ihrer m/z. Die Zeit, die die Ionen benötigen, um das Flugrohr zu durchqueren, wird gemessen und in ein Massenspektrum umgewandelt.
Was ist LIDAR?
LIDAR, auch bekannt als Light Detection and Ranging, ist eine Technologie, die zur Abstandsmessung ähnlich wie Time-of-Flight verwendet wird. LIDAR basiert auf der Auswertung von Laserlicht, das von einem Sender ausgesendet und von Objekten in der Umgebung reflektiert wird. Durch die Messung der Laufzeit des Laserlichts kann die Entfernung zu den Objekten bestimmt werden. LIDAR wird häufig in autonomen Fahrzeugen, Kartierungssystemen und Umweltüberwachung eingesetzt.
Entfernungsmessung per Ultraschall
Ultraschall ist eine Technologie, die bei der Entfernungsmessung ähnlich wie Time-of-Flight eingesetzt werden kann. Im Kontext von Time-of-Flight wird Ultraschall als eine Methode verwendet, um die Zeitmessung für die Entfernungsberechnung durchzuführen. Dabei sendet ein Ultraschallsender Schallwellen aus, die von einem Objekt reflektiert werden. Ein Ultraschallempfänger erfasst die reflektierten Schallwellen und misst die Zeit, die der Schall benötigt, um zum Objekt und zurück zum Empfänger zu gelangen. Basierend auf dieser Zeitmessung kann die Entfernung berechnet werden.
Was sind die Unterschiede zwischen Ultraschall und Time-of-Flight?
Obwohl sowohl Ultraschall als auch Time-of-Flight für die Entfernungsmessung verwendet werden können, gibt es einige Unterschiede zwischen den beiden Technologien. Ultraschall basiert auf der Auswertung von Schallwellen, die von einem Sender ausgesendet und von einem Objekt reflektiert werden. Time-of-Flight hingegen verwendet Laserlichtimpulse, die von einem Sender ausgesendet und von einem Objekt reflektiert werden.
Welche Rolle spielt Image Processing (Bildverarbeitung) bei ToF?
Die Verbindung zwischen Time-of-Flight (ToF) und Bildverarbeitung liegt in der Nutzung von ToF-Technologie zur Erfassung von Tiefeninformationen in Bildern und deren anschließender Verarbeitung. ToF-Kameras oder -Sensoren werden eingesetzt, um sowohl zweidimensionale Bilder als auch Tiefeninformationen gleichzeitig zu erfassen. Die ToF-Technologie basiert auf der Messung der Laufzeit von Lichtimpulsen, um die Entfernung zu Objekten zu berechnen. Dies ermöglicht die Erstellung von sogenannten Tiefenkarten, die die räumliche Tiefe einer Szene anzeigen.
In der Bildverarbeitung können die erfassten Tiefendaten genutzt werden, um verschiedene Aufgaben durchzuführen, wie beispielsweise Objekterkennung, Objektverfolgung, Segmentierung und 3D-Rekonstruktion. Durch die Kombination von Farbinformationen aus den zweidimensionalen Bildern und den Tiefeninformationen aus der ToF-Technologie können robuste und präzise Analyse- und Verarbeitungsmethoden entwickelt werden.
ToF-basierte Bildverarbeitung wird in verschiedenen Anwendungen eingesetzt, wie zum Beispiel in der Robotik, Augmented Reality, autonomem Fahren, Personenzählung und Überwachungssystemen.
Stromversorgung und Powermanagement
Auch das Powermanagement ist von entscheidender Bedeutung. Die Lasermodulation und die Pixelmodulation erzeugen kurze Bursts mit hohen Spitzenströmen, was Einschränkungen für die Powermanagement-Lösung mit sich bringt. Es gibt einige Funktionen auf IC-Ebene, die helfen können, den Spitzenstromverbrauch des Imagers zu verringern. Auch gibt es Powermanagement-Techniken, die auf Systemebene angewendet werden können, um die Wahl der Stromquelle zu erleichtern. Die wichtigsten Versorgungsspannungen für einen ToF-Imager erfordern typischerweise einen Regler mit gutem Einschwingverhalten und geringem Rauschen.
Algorithmen und Software
Ein weiterer großer Teil der Systementwicklung ist der Algorithmus für die Tiefenverarbeitung. Der ToF-Bildsensor liefert Pixel-Rohdaten, aus denen die Phaseninformation extrahiert werden muss. Dazu sind verschiedene Schritte wie Rauschfilterung und Phase Unwrapping erforderlich. Der Ausgang des Phase-Unwrapping-Blocks ist ein Maß für die Entfernung, die das Licht vom Laser zur Szene und zurück zum Bildpunkt zurückgelegt hat. Dies wird oft als „Reichweite“ oder „radialer Abstand“ bezeichnet.
Normalerweise wird der radiale Abstand in eine Punktwolkeninformation umgewandelt, welche die Information für einen bestimmten Bildpunkt durch seine realen Koordinaten X, Y und Z darstellt. Oft verwenden Endanwendungen nur die „Z“-Bildkarte (Tiefenkarte) anstelle der vollständigen Punktwolke. Die Umwandlung der radialen Entfernung in eine Punktwolke erfordert die Kenntnis der Objektiv- und Verzeichnungsparameter. Bei der geometrischen Kalibrierung des Kameramoduls werden die Parameter abgeschätzt. Allerdings geben die Algorithmen zur Tiefenverarbeitung auch andere Informationen aus, wie beispielsweise aktive Helligkeitsbilder (Amplitude des reflektierten Lasersignals), passive IR-Bilder und Vertrauensstufen, die alle in den Endanwendungen verwendet werden können. Dabei kann die Tiefenverarbeitung auch auf dem Kameramodul selbst oder in einem Host-Prozessor erfolgen. Tabelle 2 gibt eine Übersicht über die verschiedenen Komponenten auf Systemebene. (prm)
Autoren
Nicolas LeDortz
System Engineering Manager bei Analog Devices
Paul O'Sullivan
Project Manager bei Analog Devices
