Bild 2: Hochintegrierte 3D-Image-Sensoren Real3 für ToF-Anwendungen. (Bild: Infineon)
Eckdaten
Die 3D-Bildsensoren von Infineon erlauben die Herstellung sehr kompakter, hochpräziser monokularer 3D-Kamerasysteme. Solche Systeme sind für Anwendungen in Mobiltelefonen, Computern, Geräten der Unterhaltungselektronik, aber auch in innovativen Industrie- und Automobilapplikationen einsetzbar. Wichtige Kriterien der Bildsensoren sind Tiefendaten, die genau sind und gegen Umgebungseinflüsse robust, geringe Abmessungen, geringe Designkomplexität und die hohe, dynamisch konfigurierbare Skalierbarkeit.
Bild 1: Hochauflösende, robuste 3D-Kamera für vielfältige industrielle Bildverarbeitungsaufgaben auf Basis der 3D-Bildsensoren Real3 von Infineon. IFM
Der Trend in Richtung 3D ist unbestritten. Auf den diesjährigen Konsumgüter-Messen wie CES und Mobile World Congress nahmen Anwendungen zu Virtual Reality und Augmented Reality (computergestützte Erweiterung der Realitätswahrnehmung) einen großen Raum ein. Ein besonderes Augenmerk lag dabei auf der von Google unter dem Projektnamen Tango entwickelten Sensorik zur dreidimensionalen Umgebungserfassung. Dabei werden Mobiltelefone und Tablets mit einer speziellen optischen Sensorik ausgestattet, um Augmented-Reality-Anwendungen, Indoor-Navigation und Raumvermessung zu ermöglichen. Infineon ist gemeinsam mit dem deutschen Unternehmen Pmdtechnologies (PMD) Partner im Tango-Projekt; und zwar mit einer 3D-Tiefenkamera mit 3D-Bildsensorchip von Infineon. Das komplette Kameramodul mit 3D-Sensorchip und aktiver Infrarot-Laser-Beleuchtung ist auf einer Fläche von etwa 10 mm × 20 mm untergebracht. Ein erstes Smartphone mit Tango-Funktion soll in der zweiten Jahreshälfte 2016 auf den Markt kommen.
Hohe Empfindlichkeit
Bild 2: Hochintegrierte 3D-Image-Sensoren Real3 für ToF-Anwendungen. Infineon
Infineon präsentierte auf der CES 2016 die jüngste Generation der 3D-Bildsensorchips der Real3-Familie (Bild 1). Dabei hat sich die optische Empfindlichkeit der Bildsensoren verdoppelt und die Leistungsaufnahme reduziert.
Die 3D-Bildsensorchips arbeiten mit Infrarotlicht und nutzen das ToF-Messprinzip (Time-of-Flight): Für jeden einzelnen Bildpunkt (Pixel) misst der Sensorchip die Laufzeit des von einer Kamera abgestrahlten Infrarotlichts zu Objekten und zurück. Auf jedem Bildpunkt des Sensorchips befindet sich eine Mikrolinse. Dadurch wird der Großteil des einfallenden Lichts auf die sensitive Fläche eines Pixels gerichtet: Es geht so gut wie keine Lichtenergie auf inaktiven Flächen verloren und die optische Pixelempfindlichkeit ist signifikant höher.
Infineon hat die Bildsensorchips Real3 gemeinsam mit PMD entwickelt. Der maßgebliche Beitrag von PMD zur neuen Chipfamilie ist die ToF-Pixelmatrix. Infineon steuerte alle Funktionsblöcke zur SoC-Integration (System-on-Chip) bei und entwickelte den Fertigungsprozess. Produziert werden die Chips bei Infineon in Dresden in einem für ToF optimierten CMOS-Prozess mit Mikrolinsen-Technologie.
Das ToF-Laufzeitverfahren
Um 3D-Informationen zu erfassen, entwickelte man verschiedene Technologien. Bei der Stereo-Vision nehmen beispielsweise zwei Standard-2D-Kameras die Szene aus verschiedenen Blickwinkeln auf und berechnen so die Distanz (Tiefe) mittels Triangulation. Eine andere 3D-Technik nutzt strukturiertes Licht; hierbei wird ein bekanntes Muster (Pattern) auf die Szene projiziert und die Tiefe aus der Muster-Abbildung ermittelt. Beide Verfahren unterliegen gewissen Einschränkungen wie geringere Präzision oder aufwendiger Justierung und Kalibrierung. Zudem sind komplexe Algorithmen zur Tiefendatenbestimmung mit entsprechend höherem Rechenaufwand und CPU-Leistung erforderlich.
Eine kompakte, präzise und flexible Lösung für die 3D-Image-Erfassung sind Bildsensoren auf Basis des ToF-Laufzeitverfahrens (Bild 4). Bei einer ToF-basierenden 3D-Kamera wird die Szene mit amplitudenmoduliertem Infrarot-Licht aktiv ausgeleuchtet. Dabei misst die Kamera beziehungsweise der Bildsensor für jeden Bildpunkt die Phasenverschiebung, die sich aus der Zeit ergibt, die das Licht bis zum Objekt und wieder zurück benötigt. Die Kamera liefert somit für jeden Bildpunkt den Abstand und die Amplitude (Grauwert) des darauf abgebildeten Objektes. Das ToF-Verfahren hat weitere Vorteile. Dazu gehören der Betrieb unter allen Lichtverhältnissen, die kompakten Abmessungen aufgrund der monokularen Kameraarchitektur mit größtmöglicher Flexibilität im Endgeräte-Design sowie eine einfache Kalibrierung.
Die ToF-Technologie ist höchst skalierbar. So lassen sich Kameras im Entfernungsbereich von einigen Zentimetern bis 20 Meter und mehr einsetzen, eine entsprechende Beleuchtung vorausgesetzt. Eine Distanzauflösung von zirka 1 % der jeweiligen Entfernung ist typisch, die lateralen Auflösungen erreichen derzeit bis zu 352 × 288 Pixel und die Kameras liefern je nach Anwendung bis zu 100 Bilder pro Sekunde. Das Herzstück der ToF-Kamera ist der Sensor, der die Laufzeit für jeden Bildpunkt separat misst. Dabei sind die 3D-Bildsensoren von Infineon hoch integriert und beinhalten neben der Pixelmatrix die komplette Ansteuerlogik für die Beleuchtung sowie Analog- zu Digitalwandler und schnelle Schnittstellen auf nur einem Chip, um die digitalen Messdaten direkt an die Recheneinheit zu übermitteln. Diese ist für die 3D-Tiefendatenberechnung und Software (Middleware) zuständig, um letztendlich die Tiefendaten für die eigentliche Anwendung zu nutzen.
Unterdrückung des Umgebungslichtes
Obwohl optische Filter bereits den größten Teil des Hintergrundlichtes unterdrücken, müssen die Bildpunkte dennoch mit einer sehr großen Tiefendynamik zurechtkommen. Dafür hat PMD eine patentierte Unterdrückung des Umgebungslichts (Suppression of Background Illumination, SBI) entwickelt. SBI erweitert die dynamischen Fähigkeiten des Sensorchips und vermindert eine Sättigung des Pixels aufgrund von Umgebungslicht wie es etwa im Außenbereich bei direkter Sonneneinstrahlung vorkommt. Der Sensorchip sorgt so in einem entsprechend ausgelegten Kamerasystem für einen zuverlässigen Betrieb unter allen Lichtbedingungen.
Die 3D-Bildsensoren sind zudem über die I²C-Schnittstelle dynamisch konfigurierbar. So lässt sich während des Betriebs die Frame-Rate ebenso einfach anpassen wie die Belichtungszeit oder vordefinierte Betriebsmodi, was eine an die Licht- und Betriebsumgebung optimierte Funktionalität bei minimiertem Stromverbrauch ermöglicht. Zudem sorgt ein intelligentes Powermanagement für eine geringe Leistungsaufnahme. Außerdem lassen sich ToF-Kameras mit den Bildsensoren Real3 am Ende der Fertigung innerhalb weniger Sekunden zuverlässig kalibrieren.
Skalierbar für vielfältige Anwendungen
Bild 3: Skalierbare Lösungen mit den Bildsensoren Real3 – optimiert in Bezug auf höchste Auflösung oder geringe Chipfläche (Kosten) beziehungsweise Leistungsaufnahme. Infineon
Die drei Real3-3D-Bildsensorchips bieten nahezu den gleichen Umfang an optischer Empfindlichkeit und Funktionalität und unterscheiden sich hauptsächlich hinsichtlich der Auflösung: der IRS1125C arbeitet mit 352 × 288 Pixeln (100 k), der IRS1645C mit 224 × 172 Pixeln (38 k) und der IRS1615C mit 160 × 120 Pixeln (19 k). IRS1645C und IRS1615C sind dabei im Vergleich zum IRS1125C auf halber Chipfläche realisiert (Bild 3). Damit haben Kunden die Option, je nach Design auf höchste Auflösung oder geringere Abmessungen beziehungsweise Kosten bei reduzierter Auflösung zu optimieren. Außerdem dient der IRS1125C als Basis für einen nach AEC-Q100 qualifizierten Bildsensor für den Automobilmarkt, der in einem eigens entwickelten optischen BGA-Gehäuse geplant ist.
Zur ToF-Technologie-Evaluierung und -Entwicklung ist die 3D-Referenzkamera Cam-Board Pico Flexx von Pmdtechnologies erhältlich. Die Kamera wird über einen USB-Anschluss mit Strom versorgt und misst nur 68 mm × 17 mm × 67,25 mm. Cam-Board Pico Flexx nutzt einen IR-Laser als Beleuchtung und ist bei unterschiedlichen Frame-Raten (5 bis 45 fps) flexibel für eine Reichweite von bis zu 4 m bei einer durchschnittlichen Leistungsaufnahme von 300 mW für Sensorchip und Beleuchtung einsetzbar.
Vielseitig einsetzbar
Bild 4: Die 3D-Bildsensoren Real3 messen mittels ToF-Verfahren direkt die Tiefe und Amplitude (Grauwert) für jeden Bildpunkt. Infineon
Die präzise Erfassung der 3D-Daten mittels der skalierbaren Bildsensoren Real3 eignet sich für vielfältige Applikationen. Das Spektrum reicht von mobilen Geräten mit Augmented Reality, Indoor-Navigation, Raumvermessung, 3D-Scanning und Spielen über die Gebäudeautomatisierung und -sicherung, Objekterfassung, die industrielle Automatisierung und Robotik bis hin zur Automobilelektronik. Mit einer entsprechenden 3D-Kamera lassen sich Objekte präzise dimensionieren und positionieren. Überdies vereinfacht der 3D-Sensor zum Beispiel ein automatisiertes Be- und Entladen von Containern, Stauraum-Optimierung, Kollisionsschutz, die Navigation fahrerloser Transportsysteme oder auch die Personenzählung und Raumüberwachung. Selbst die Baumstammvermessung im Sägewerk ist kein Problem. Die Palette der Applikationsmöglichkeiten für die unterschiedlichen Industriebranchen ist damit äußerst weit gefächert.
Infineon bietet als Halbleiterhersteller die neuen Bildsensoren derzeit als blanke Chips (Bare Dies) an, während Partner das Systemdesign mit der Vielfalt an Applikationen und Anforderungen abdecken. Ein Beispiel aus der Industrieautomatisierung ist der am Markt bereits verfügbare 3D-Kamerasensor O3D von IFM Electronic (siehe Kastentext).
Hochauflösende 3D-Kamera erfasst Szenen und Objekte in Echtzeit
Auf einen Blick erfasst die neue 3D-Kamera O3D von ifm electronic unterschiedliche Gegenstände und Objekte in ihren räumlichen Dimensionen. Herzstück des Gerätes ist ein Bildsensor-Chip aus der Real-Familie von Infineon. Die Ausgabe erfolgt über Grauwert- und Distanzbild, die Auswertung ist mit marktüblichen Bibliotheken mühelos möglich. Im Gegensatz zu Laserscannern, die jeweils nur ein Empfangselement aufweisen, ist der Bild-Chip des neuen Gerätes mit 23.000 Bildpunkten ausgestattet. Daher besitzt die 3D-Kamera keine beweglichen Komponenten und ist somit verschleißfrei und robust. Die intuitiv bedienbare Parametriersoftware erlaubt die einfache und schnelle Einstellung der kameraspezifischen Parameter. Möglich ist eine Anbindung an Matlab, Halcon, PCL sowie ROS.
Der Sensor erfasst mittels der ToF-Technologie die Dimensionen von Objekten wie etwa Waren. Über Schwellwerte meldet er, wenn beispielsweise Paketparameter außerhalb definierter Bereiche liegen. Für die automatisierte Lagerplatzplanung über WMS- (Warehouse Management System) oder ERP-Systeme (Enterprise Resource Planning) liefert er Größe, Drehlage und Position der Objekte. Die Daten können dann zum Steuern von Robotern, Sortern und Weichen dienen. Neben der hohen Robustheit zeichnet sich der Sensor auch durch komfortable Bedienung und einfache Integrierbarkeit aus.
Martin Lass
(ah)
