Bild 1. Prinzipieller Aufbau der Beleuchtungseinheit zur Streifenprojektion mit einer GOBO-Scheibe.

Bild 1. Prinzipieller Aufbau der Beleuchtungseinheit zur Streifenprojektion mit einer GOBO-Scheibe. Fraunhofer IOF

Die industriellen Anwendungen für optische 3D-Sensoren sind vielfältig – sie reichen von einer einfachen Durchgangskontrolle bis zur Qualitätssicherung in der Serienproduktion. Entsprechend unterschiedlich sind die Anforderungen an die Sensorik in der Bildverarbeitung: Mal dominiert der Preis, mal sind Auflösungen im Mikrometerbereich und Belichtungszeiten unter einer Millisekunde gewünscht. Entsprechend unterschiedlich sind auch die technischen Lösungen. Die vermutlich populärsten Ansätze zur Erfassung dreidimensionaler Punktwolken sind das Time-of-flight- (TOF) Prinzip und die stereoskopische Aufnahme mit zwei oder mehr Kameras.

Eck-daten

Mit der GOBO-Scheibe haben die Forscher vom Fraunhofer IOF eine robuste, industrietaugliche Lösung für die Streifenprojektion entwickelt.

Die GOBO-Streifenprojektion erlaubt es, die Bildpunkte der beiden Aufnahmen einer Stereo-Kamera zuzuordnen und damit 3D-Datensätze zu erzeugen.

Die Kameratechnik ermöglicht die dreidimensionale Vermessung dynamischer Prozesse. Sie erreicht dabei hohe Messgenauigkeiten bei Datenraten von über 1.000 3D-Datensätzen pro Sekunde.

Das Fraunhofer IOF hat bereits mehrere Industrie-Anwendungen für diese Kameratechnik entwickelt.

Das Prinzip der TOF-Kameras ähnelt der Radar-Technik: Eine Infrarot Quelle sendet ein Lichtsignal aus und die Kamera erfasst zeitaufgelöst die vom Zielobjekt reflektierte Strahlung. Aus der Laufzeit des Lichtes lässt sich der zurückgelegte Weg und damit auch die Position reflektierender Oberflächen berechnen. Inzwischen können TOF-Sensoren auch die Phasenverschiebung des reflektierten Signals messen, was die Genauigkeit in den Sub-cm-Bereich bringt. Die laterale Auflösung von TOF-Kameras liegt meist bei Quarter VGA (QVGA, 320 x 240); die Kameras werden sowohl in Spielkonsolen (Microsoft Kinect v2) als auch von verschiedenen Assistenzsystemen im Automobilbereich genutzt.

Eine deutlich höhere Auflösung bieten 3D-Stereo-Kameras. Dabei wird das Messobjekt mit zwei Kameras aus leicht unterschiedlichen Blickwinkeln aufgenommen. Die Herausforderung ist hier, die korrespondierenden Bildpunkte aus beiden Aufnahmen einander zuzuordnen. Wenn das gelingt, lässt sich aus dem Abstand der Bildpunkte und dem Schnittpunkt der Sichtstrahlen durch die Bildpunkte die räumliche Position des Objektpunktes berechnen (Triangulation). Dabei sind Auflösungen bis in den Mikrometerbereich möglich. Die Zahl der Bildpunkte, und damit die der 3D-Messpunkte, wird im Wesentlichen durch die Kameraauflösung begrenzt. Dementsprechend sind hier 3D Sensoren mit mehreren Megapixeln verfügbar.

Bild 2: Streifenmuster und Intensitätsprofil der GOBO-Scheibe: Die scharfe Abbildung der Streifen (l.) gibt ein aperiodisches Rechtecksignal, bei leichter Defokussierung wird das Signal unschärfer (m.) und mit bewegter rotierender Scheibe (r.) ergibt sich das gewünschte aperiodische Sinusmuster.

Bild 2: Streifenmuster und Intensitätsprofil der GOBO-Scheibe: Die scharfe Abbildung der Streifen (l.) gibt ein aperiodisches Rechtecksignal, bei leichter Defokussierung wird das Signal unschärfer (m.) und mit bewegter rotierender Scheibe (r.) ergibt sich das gewünschte aperiodische Sinusmuster. Fraunhofer IOF

Schnelle 3D-Messdatenerfassung mit Musterprojektion

Die Zuordnung korrespondierender Bildpunkte aus einer Stereo-Aufnahme wird vereinfacht, wenn die Objektoberfläche viele spezielle Merkmale aufweist. Das ist aber bei industriellen Produkten selten der Fall. Um trotzdem korrespondierende Bildpunkte zuordnen zu können, kann man eine Folge von bestimmten Lichtmustern auf das Objekt projizieren, wodurch künstlich lokale Merkmale auf der Oberfläche erzeugt werden. Um die korrespondierenden Punkte schneller zu finden, wird eine Bildserie mit jeweils unterschiedlichen Mustern für eine 3D-Messung aufgenommen. Dieses Prinzip wird als aktives stereoskopisches 3D-Messverfahren bezeichnet.

Als Maß für die Ähnlichkeit der Musterfolgen in zwei Bildpunkten wird die normierte Kreuzkorrelation verwendet. Sie dient ebenfalls als Methode, um zu überprüfen, ob zwei Bildpunkte denselben Objektpunkt betrachten. Es müssen demnach alle Bildpunkte einer Kamera mit allen Bildpunkten einer zweiten Kamera verknüpft werden (normierte Kreuzkorrelation der Musterfolgen). Für die Punktpaare mit dem höchsten Korrelationswert werden mittels Triangulation die 3D-Messpunkte auf dem Messobjekt berechnet. Praktisch werden aber unterschiedliche Strategien angewendet, um die Anzahl der zu vergleichenden Punkte zu reduzieren.

GOBO-Projektion als robuste Lösung

Die Art der projizierten Muster hat einen großen Einfluss auf die Geschwindigkeit der Datenverarbeitung und die räumliche Auflösung der Datenerfassung. Üblich sind dabei periodische Streifenmuster oder rein stochastische (zweidimensionale) Muster. Die Experten vom Fraunhofer-Institut für Angewandte Optik und Feinmechanik (IOF) arbeiten seit vielen Jahren an der Perfektionierung von Mustern und Musterprojektionen. Ein neuer Ansatz ist die von ihnen entwickelte Methode der Projektion aperiodischer Sinusmuster. Bei aperiodischen Sinusmustern sind Amplitude und Periodenlänge ortsabhängig variabel. Dadurch lässt sich die Forderung nach möglichst unzweideutigen Strukturen auf der Objektoberfläche optimal erfüllen.

Für die technische Umsetzung haben sich die Fraunhofer-Spezialisten von der Bühnentechnik inspirieren lassen. Dort gibt es schon lange die Aufgabe, Muster mit hoher Lichtleistung zu projizieren (Schattenprojektion). Dafür wird oft eine sich drehende, teilweise lichtundurchlässige Scheibe (Maske) benutzt. Diese Scheibe heißt GOBO-Scheibe. Der Name GOBO kommt von Graphical Optical Black-Out‘ oder ‚GOes Before Optics‘; beide Interpretationen sind verbreitet.

Die GOBO-Scheibe mit Bildern, Texten oder Logos wird zwischen Lichtquelle und Abbildungsoptik platziert. Sie wird aus Glas oder Metall gefertigt, so dass ihr die hohe Wärmestrahlung der Scheinwerferlampen nicht schaden. Für die Projektion der aperiodischen Sinusmuster wird ein spezielles Filterrad mit unterschiedlich breiten Metallstreifen benutzt (Bild 1). Eine Synchronisation mit den Kameras ist nicht erforderlich. Die scharfe Abbildung der Streifen gibt ein aperiodisches Rechtecksignal (Bild 2, links). Leicht defokussiert wird das Signal unschärfer (Bildmitte) und mit bewegtem Rad ergibt sich schließlich das gewünschte Muster mit einem in Phase und Amplitude lokal variierenden Muster (rechts).

Diese Art der 3D-Messdatenerfassung bietet verschiedene Vorteile gegenüber anderen Verfahren: Sie ist robust in ihrer mechanischen Umsetzung, sie skaliert sehr flexibel sowohl in ihrer Größe als auch in der verwendeten Strahlungsleistung – und sie ist kostengünstig.

Bild 3: Transportabler 3D-Sensor mit zwei Hochgeschwindigkeitskameras, GOBO-Projektor und Steuereinheit.

Bild 3: Transportabler 3D-Sensor mit zwei Hochgeschwindigkeitskameras, GOBO-Projektor und Steuereinheit. Fraunhofer IOF

Highspeed-Anwendungen in der Industrie

Eines der ersten Ziele bei der Entwicklung des GOBO-Systems war, es für möglichst hohe Bildfolgefrequenzen zu optimieren. Ein Aufbau mit zwei Kameras vom Typ „FASTCAM SA-X2“ (Bild 3) erlaubt die Aufnahme von 12.500 fps mit je einem Megapixel. Mit geringerer Auflösung von zum Beispiel 512 x 512 Pixeln sind auch 45.000 fps möglich.

Als Leuchtmittel wird eine Halogen-Metalldampflampe mit einer Strahlungsleistung von etwa 250 W eingesetzt. Typische Parameter für das GOBO-Rad waren dabei eine Streifenbreite von 0,20 mm bis 2,59 mm, eine radiale Länge von 60 mm und ein Filterraddurchmesser von 390 mm. Die maximale Drehgeschwindigkeit lag bei 1.200 min-1. In den Versuchen wurden die Kameras mit 12.000 fps betrieben. Neun Bilder wurden jeweils für einen 3D Datensatz genutzt, so dass insgesamt eine 3D-Erfassung von 1.333 unabhängigen Datensätzen pro Sekunde möglich war. Das entspricht einer zeitlichen Auflösung von 0,75 ms. Rein rechnerisch war der GOBO-Projektor dabei noch lange nicht an seiner Grenze: Die liegt in dieser Konfiguration bei einer Belichtungszeit von 1/400.000 Sekunde.

Ein vergleichbares System zur 3D-Messdatenerfassung wird inzwischen bei Crashtests in der Automobilindustrie eingesetzt. Dort wurden die Aufnahmen bislang mit normalen Hochgeschwindigkeitskameras und Messmarken gemacht. Das GOBO-System liefert jetzt bis zu 1.500 3D-Datensätze pro Sekunde. Mit den Daten wird ein Abgleich zwischen Computersimulationen und experimentellen Ergebnissen bei der Entwicklung von Stützstrukturen für die passive Fahrzeugsicherheit realisiert.

Mit dem 3D Scanner lassen sich Mund- und Gesichtsbewegungen so exakt erfassen, dass derzeit die Machbarkeit geräuschloser Spracherkennung erforscht wird Fraunhofer IOF

Bild 4: Mit dem 3D Scanner lassen sich Mund- und Gesichtsbewegungen so exakt erfassen, dass derzeit die Machbarkeit geräuschloser Spracherkennung erforscht wird Fraunhofer IOF

Erfassung von menschlichen Bewegungen

Jenseits von fertigungsnahen Einsatzmöglichkeiten gibt es zahlreiche weitere von Anwendungen für die GOBO-Technik, beispielsweise wenn die Mimik von Menschen oder ihre Bewegungen aufgenommen werden sollen (Bild 4). Die mit der GOBO-Technik verbundene Musterprojektion darf dann aber keine Irritation oder Blendwirkung der beteiligten Personen verursachen. Für solche Anforderungen hat das Fraunhofer-IOF-Team ein Kamerasystem (Bild 5 und 6) basierend auf einer LED Beleuchtung im nahen Infrarot (NIR) um 850 nm entwickelt.

Bild 5: 3D-Scanner für Aufnahmen mit Licht im nahen Infrarot: Jeweils außen befinden sich zwei NIR-Kameras. In der zweiten Öffnung von links sitzt eine Farbkamera. In der zweiten Öffnung von rechts ist der GOBO-Projektor untergebracht. Oben rechts befindet sich ein optionaler Näherungssensor.

Bild 5: 3D-Scanner für Aufnahmen mit Licht im nahen Infrarot: Jeweils außen befinden sich zwei NIR-Kameras. In der zweiten Öffnung von links sitzt eine Farbkamera. In der zweiten Öffnung von rechts ist der GOBO-Projektor untergebracht. Oben rechts befindet sich ein optionaler Näherungssensor. Fraunhofer IOF

Mit einer Bildwiederholrate von 360 Hz und Folgen aus 10 Bildern lassen sich 36 3D-Datensätze pro Sekunde aufnehmen. Dafür reicht eine Strahlungsleistung von vergleichsweise geringen 4,5 W. Die Auflösung der Kameras liegt bei 4 Megapixeln und gibt damit auch die mögliche Zahl von 3D-Punkten pro Bild vor. Bei einem Arbeitsabstand von 1,5 m beträgt das Messfeld etwa 0,5 x 0,5 m2.

Die Anwendungsgebiete für das System reichen von der Sport- oder Telemedizin bis zur Sicherheitstechnik. Bei den Medizinern können Ganzkörper-Bewegungsabläufe in drei Dimensionen aufgenommen und analysiert werden.

GOBO-Rad im Sensorgehäuse des Infrarot-GOBO-Systems zur Echtzeit

Bild 6: Im NIR-Scanner lässt sich die GOBO-Scheibe wesentlich kompakter gestalten. Fraunhofer IOF

Eine interessante Möglichkeit bietet sich auch für die Analyse der menschlichen Mimik. Mit dem 3D-Scanner lassen sich Mund- und Gesichtsbewegungen so exakt erfassen, dass derzeit die Machbarkeit geräuschloser Spracherkennung erforscht wird.

Bislang wurden die 3D-Kamera-Systeme mit GOBO-Projektion in verschiedenen Anwendungen getestet. Unter anderem in Crash-Tests der Automobilindustrie, Graduierung von Gesichtslähmung (Facialisparese), Erkennung von Emotionen sowie zur Erfassung von Fuß- und Reifenspuren bei der Polizei. Je nach Anforderungsprofil können die Experten vom Fraunhofer IOF das System zu hohen Genauigkeiten, kurzen Belichtungszeiten oder auch als tragbares System weiterentwickeln. Die robuste Technik erlaubt dabei sowohl den 24/7 Industrieeinsatz als auch Aufnahmen im Außenbereich.

 

3Dsensation

… ist eine Forschungsallianz von 91 Partnern in etwa 210 Projekten.  Zu den Mitgliedern gehören unter anderem Audi, Carl Zeiss, Charité Berlin, Holoeye Photonics, Spectaris, TU Chemnitz, TU Ilmenau, Vitracom, Voice Inter connect, X-Fab semiconductor Foundries. Die Allianz wird von 2014 bis 2019 mit 45 Millionen Euro vom BMBF gefördert. Das nächste Treffen der Forschungsallianz 3Dsensation zum Thema „Mensch-Maschine-Interaktion“ findet vom 23. bis 25.10. 2017 in Jena statt. Die Website der Allianz ist www.3d-sensation.de.