IR-Technik erkennt Bewegungen und Blickrichtungen in Virtual-Reality-Systemen

Mit Infrarot-Sensortechnik können Virtual-Reality-Systeme ihre Nutzer immer besser erfassen und ermöglichen so sehr authentische Erlebnisse. Die Technik wird zunehmend interessant für industrielle Anwendungen. Osram

Vollständig in einer anderen Welt versinken, das ist das Versprechen von Virtual Reality. Die Technik baut digital eine künstliche Umgebung auf, in der die Anwender agieren. Zwar sind Computerspiele die derzeit wichtigste Anwendung für VR-Systeme, aber praktisch alle Industriezweige – von der Medizin über Bau- und Immobilienbranche, Städteplanung oder Reiseanbieter bis hin zur Automobilindustrie – arbeiten an der Technik, um sie für ihre Zwecke zu nutzen. Osram Opto Semiconductors arbeitet als Hersteller von Halbleiter-Bauelementen wie Infrarot-LEDs (IREDs) an der Entwicklung von VR-Systemen mit. Komponenten wie IREDs dienen der Erfassung des Nutzers, seiner Handbewegungen und Blickrichtung. IR-basierte Näherungssensoren erkennen, ob das Headset aufgesetzt ist und schalten das VR-System ein.

Industrie-Anwendungen kommen in Fahrt

Bei VR-Anwendungen geht es beispielsweise um die virtuelle Fahrt im Neuwagen, den virtuellen Aufenthalt im Urlaubsressort oder in der neuen Immobilie oder um neue Ansätze für Design und Konstruktion oder um Schulungen von Arbeiten an komplexen Anlagen. Industrie und Forschung betreiben heute teilweise technisch aufwendige VR-Lösungen, aber die Entwicklung von Systemen für VR-Spiele erschließt die Technik für einen deutlich breiteren Anwendungsbereich. So ist es keine Überraschung, dass der taiwanesische Hersteller HTC im Juni 2016 nur zwei Monate nach der Markteinführung seines Aufsehen erregenden VR-Systems HTC Vive eine Business Edition aufgelegt hat.

Funktionsweise von VR-Systemen

Eine der großen Herausforderungen für VR ist die Integration der Nutzer. Ein authentisches Erlebnis – in Form einer reibungslosen Interaktion zwischen Mensch und Software – stellt sich nur ein, wenn das Geschehen unmittelbar auf intuitive Aktionen der Anwender reagiert. Dafür muss das System deren Bewegungen erfassen und diese sozusagen in die Simulation hineinrechnen.

VR-Systeme für Consumer-Anwendungen beruhen auf Head-Mounted-Displays, die den Nutzer optisch vollständig von seiner realen Umgebung abschotten. Um eine räumliche Szenerie aufzuspannen, werden zwei Bilder aus unterschiedlichen Perspektiven erzeugt. Die Anwender blicken durch zwei Lupenlinsen, vor denen die jeweilige Perspektive dargestellt ist. Die einfachsten Lösungen sind Smartphone-Halterungen aus Pappe, in die zwei Okulare integriert sind. Die Sensoren im Telefon, unter anderem Gyroskop und Beschleunigungssensoren, erfassen die Drehung und Neigung des Kopfes. Das im Smartphone-Display gezeigte Bild passt sich entsprechend an und gibt den Anwendern das Gefühl, Teil der Szenerie zu sein. Allerdings sind die Sensoren von Smartphones – noch – nicht für VR-Anwendungen ausgelegt. Oft folgt das Bild dem Nutzer eher ruckelnd, manchmal ist leichte Übelkeit die Folge. Geschmeidiger funktionieren Smartphone-Adapter mit eigener Elektronik und speziell für VR ausgelegte Sensoren. Bedient oder gespielt wird die virtuelle Realität über Knöpfe oder Touchpads am Headset oder über sogenannte Gamepads.

Jetzt sind erste VR-Systeme auf den Markt gekommen, die ein Eingabe-Pad als Schnittstelle zwischen Mensch und Software komplett umgehen. Sie erfassen nicht nur die Kopfbewegung des Nutzers, sondern auch seine Position im Raum sowie seine Handbewegungen. Erst dann werden die eigenen Aktionen vollständig und direkt in der virtuellen Welt erfahrbar. Menschen berichten begeistert davon, wie sie ihre Hände in der Simulation sehen und „ganz einfach wie in der echten Welt“ agieren können, also zum Beispiel Gegenstände greifen und versetzen.

Infrarot-Technik hat den Nutzer im Blick

Bild 1: Um die Kopfbewegungen von Virtual Reality Anwendern optimal zu erfassen, sind in den Headsets infrarote LEDs oder Photodetektoren verteilt. Im ersten Fall beobachten Kamerasensoren das von den IREDs aufgespannte Muster, im zweiten Fall registrieren die Detektoren das Licht zweier speziell angeordneter Infrarot-Scheinwerfer. Osram

VR-Systeme, die den Nutzer selbst erfassen, arbeiten nicht mehr auf der Basis von Smartphones. Diese ausgereifteren VR-Systeme projizieren das Bild mithilfe hochauflösender Displays in das Blickfeld der Anwender. Die Geräte sind an leistungsstarke Gaming-Computer angeschlossen, um die Grafik synchron mit den Bewegungen der Nutzer aufzubauen. Diese werden dazu optisch erfasst. Realisiert ist das zum Beispiel mit einer externen Kamera, die den Nutzer innerhalb eines bestimmten Areals beobachtet. Noch besser lassen sich dessen Aktionen registrieren, wenn um das Headset herum IREDs montiert sind. Sie spannen ein bestimmtes Muster auf, das als Markierung für die Auswertung der Kamerabilder dient.

Andere Systeme arbeiten umgekehrt. Sie fluten den Raum aus zwei entgegengesetzten Richtungen mit infrarotem Licht. Als Infrarot-Scheinwerfer dienen Arrays von IREDs sowie ein infraroter Laser. Insgesamt spannt sich so ein Spielraum von 20 m² auf, in dem sich die Nutzer bewegen können.

Rund um das Headset sind viele Photodetektoren verbaut, um die infrarote Strahlung aus den verschiedenen Raumrichtungen zu empfangen. Aus der Stärke und der zeitlichen Abfolge der verschiedenen Detektorsignale berechnen sich die Position und die Orientierung des Nutzers im Raum. Handbewegungen werden mithilfe sogenannter Controller, die man in der Hand hält, erfasst. Die Controller sind ebenfalls mit Detektoren bestückt. Mithilfe der Laser werden auch imaginäre Grenzen festgelegt, um zum Beispiel zu vermeiden, dass die Anwender an reale Objekte stoßen. Bewegen sie sich zu nahe an eine solche Grenze, blendet das VR-System eine Barriere ein.

Bild 2a: Kompakte Chip-LED SFH 4053 für VR-Headsets, die mit externen IR-Kameras arbeiten. Osram

Infrarot-Komponenten für VR-Systeme

Für VR-Systeme, die mit IREDs am Headset und externen Kameras arbeiten, kommt es bei der Wahl der IR-Sender am Headset auf kleine Abmessungen, ein gutes Verhältnis von Stromverbrauch zu optischer Leistung und auf möglichst wenig Streulicht an. Als Wellenlängen kommen 850 oder 940 nm in Frage. Licht mit 850 nm wird von gängigen, für den sichtbaren Spektralbereich ausgelegten Kamerasensoren noch sehr gut registriert, ist aber auch für Menschen als schwacher roter Schein erkennbar. Sender mit 940 nm sind völlig unsichtbar, müssen aber mit höheren Strömen betrieben werden, um in den Kamerasensoren genügend Signal zu erzeugen. Derzeit ist zum Beispiel die außerordentlich kompakte Chip-LED SFH 4053 eine gute Wahl (Bild 2a). Der 850-nm-Sender ist sehr klein (Abmessungen: 1,0 x 0,5 x 0,45  mm³) und liefert bei 70 mA Stromstärke eine typische optische Leistung von 35 mW. Osram Opto Semiconductors arbeitet außerdem an Infrarot-LEDs, die für diese Anwendung optimiert sind.

Bild 2b: Leistungsstarke IR-LED (IRED) Baureihe Oslon Black für VR-Systeme, die mit Infrarot-Schweinwerfern arbeiten. Osram

Systeme mit Infrarot-Scheinwerfern und Detektoren im Headset brauchen IREDs mit hoher optischer Leistung und vor allem mit guter Effizienz, um den Aufwand für die Wärmeableitung möglichst gering zu halten. Die Wellenlänge sollte im maximalen Empfindlichkeitsbereich der verwendeten Photodetektoren liegen, um ein optimales Detektorsignal zu erhalten; das ist für Wellenlängen von 850 nm der Fall. Zu den effizientesten und leistungsstärksten IR-Sendern als IR-Scheinwerfer am Markt gehören derzeit IREDs der Oslon-Black Reihe (Bild 2b). Sie liefern je nach Chiptyp bei 1 A Strom typische optische Leistungen von 630 mW bis hin zu 1,34 W. Die IRED gibt es mit Abstrahlwinkeln von ±45° oder ±75°, die Strahlstärken betragen je nach Chip zwischen 150 und 780 Milliwatt pro Raumwinkel (mW/sr).

Bild 2c: Empfindliche Photodioden, hier das Modell BPW 34 S, dienen als Photodetektoren im Headset. Osram

Die wichtigsten Kriterien für die Photodetektoren im Headset sind gute Empfindlichkeit sowie gutes Signal-Rausch-Verhältnis. In Betracht kommen großflächige Photodioden wie der oberflächenmontierbare BPW 34S (Bild 2c).

In vielen VR-Systemen erkennt ein optischer Näherungssensor im Headset, ob es aufgesetzt ist. Dann schaltet sich das Display automatisch ein. Der integrierte Sensor besteht aus einem infraroten Emitter und einem Photodetektor, die optisch getrennt sind (Bild 2d). Das infrarote Licht reflektiert vom Kopf auf den Detektor. Aus der Höhe des Detektorsignals lässt sich ermitteln, ob das Headset auf- oder abgesetzt ist.

Eye-Tracking senkt Rechenaufwand

Bild 2d: Näherungssensoren wie das Modell SFH 7776 erkennen, ob das Headset aufgesetzt ist oder nicht. Osram

Große Hoffnung liegt im Moment auf der Integration von Systemen zur Erfassung der Blickrichtung des Nutzers, sogenannte Eye-Tracking-Systeme (Bild 3) in VR-Headsets. Die Technik bietet eine weitere intuitive Interaktionsmöglichkeit zwischen Mensch und Software, und sie kann helfen, die benötigte Rechenleistung zu senken. Eye-Tracker erfassen die Blickrichtung (Augenbewegungen) der Betrachter. Früher war diese Technik sehr aufwendig, aber kostengünstige Kamerasensoren, LEDs und leistungsfähige Prozessoren ermöglichen nun auch das Eye-Tracking in Consumergeräten.

Eye-Tracking-Systeme leuchten die Augenpartie der Nutzer mit IR-Licht aus, nehmen mit einem hochauflösenden Kamerasensor das von den Augen reflektierte Licht auf und berechnen daraus die Position der Pupillen. Anhand eines Referenzobjekts – dem Headset – ermittelt die Software die Blickrichtung des Betrachters. Diese Informationen ermöglichen eine sehr natürliche Eingabemethode für die virtuelle Welt. Nutzer können das System ausschließlich über ihre Blickrichtung steuern und beispielsweise durch Auswahlmenüs scrollen oder einzelne Bereiche anwählen.

Bild 3:Eye-Tracking in VR-Headsets: IR-LEDs leuchten die Augenpartie aus und eine Kamera registriert das von den Augen reflektierte Licht. Daraus berechnet sich die Position der Pupillen. Osram

VR-Bilder müssen sich extrem schnell neu aufbauen – rendern – um ein authentisches Erlebnis zu erzeugen. Bei Smartphone-Lösungen kostet das nicht nur Rechenleistung, sondern auch Batterielaufzeit. Systeme, die an einen Gaming-Computer angeschlossen sind, haben hohe Anforderungen an Grafikkarten und Prozessoren. Foveated Rendering kann diese Bedingungen abmildern: Dabei wird mit Eye-Tracking die Blickrichtung der Nutzer erfasst, aber nur der Bereich, der im Fokus der Augen liegt, wird hochaufgelöst dargestellt. Die weitere Umgebung ist entsprechend gröber gerechnet. Das entspricht unserem realen Sehverhalten, denn auch wir nehmen Objekte außerhalb unseres Fokusbereichs nicht mehr ganz scharf wahr. Diese Technik spart immens Rechenleistung – ein Anbieter spricht von Faktor zwei bis vier. Das ermöglicht längere Batterielaufzeiten, ein insgesamt höher aufgelöstes VR-System, schnellere Bildaufbauraten oder geringere Anforderungen und damit Kosten für die Hardware.

Bild 4: Eine kompakte IRED im Chip-LED-Gehäuse ermöglicht die Integration von Eye-Tracking in VR-Headsets. Osram

Im Head-Mounted-Display werden die IREDs für das Eye-Tracking innen um das Headset herum montiert. Sie müssen aus einem geringen Abstand heraus den gesamten Augenbereich abdecken. Dies gelingt zum Beispiel mit kompakten IREDs im Chip-LED-Gehäuse mit Linse (Bild 4). Mit ihrem engen Abstrahlwinkel können diese Sender beide Augen effizient und gleichmäßig ausleuchten.

Augmented Reality – die erweiterte Wirklichkeit

Augmented-Reality-Systeme (übersetzt „erweiterte Realität“) oder Datenbrillen blenden dem Nutzer zur betrachteten Szenerie zusätzliche Informationen ein. In fast allen Branchen gibt es Ansätze für solche Anwendungen: Das reicht von Werbeeinblendungen beim Stadtbummel oder Navigationskommandos für Fußgänger über virtuelle Montageanleitungen in der Industrie bis hin zum Pflegebereich, wo das Personal Informationen zu bereits am Patienten durchgeführten Tätigkeiten abrufen können soll. Manche Lösungen ermöglichen eine sogenannte vermischte Realität (Mixed Reality), also das Einspielen und Platzieren beliebiger Inhalte wie virtueller Bedienoberflächen oder 3D-Figuren im Raum. AR-Systeme projizieren die Informationen oder Bilder auf die Brille oder direkt auf die Netzhaut des Nutzers (Near-To-Eye Projektion).

Die Projektionseinheiten beruhen auf LEDs oder Lasern in den drei Grundfarben rot, grün und blau. Auch AR-Systeme erfassen mit Sensoren die Kopfbewegungen des Nutzers und passen die gezeigten Inhalte in Echtzeit an. Oft registriert ein Näherungssensor, ob die Brille aufgesetzt wird, damit das Display automatisch anschaltet. Manche Lösungen überwachen mithilfe von infraroten Lasern und leistungsstarken IREDs den Abstand des Nutzers zu den umgebenden Objekten, um Kollisionen zu vermeiden. Die Bedienung der Augmented Reality erfolgt über Tasten an der Brille oder mit 3D-Sensoren über Gesten. Solche 3D-Sensoren nehmen mithilfe einer Kamera und IR-Lasern ein räumliches Bild auf und ermitteln daraus die Gesten der Nutzer. Erste AR-Systeme wurden mittlerweile ebenfalls mit Blickrichtungserfassungssystemen (Eye-Tracking) kombiniert, um eine intuitivere Interaktion zu erreichen. So können Nutzer dann beim Blick auf ein bestimmtes Element wie QR-Codes bestimmte Informationen abrufen.

(dw)