Echte Gestenerkennung für alle

Spätestens seit dem Kinofilm Minority Report und Iron Man 2 ist die Steuerung von Geräten ohne erkennbare Eingabegeräte zum Inbegriff neuer HMI-Konzepte geworden. Diese freie Bewegung im Raum, ohne Eingabe- oder Bediengeräte, wie Maus oder Tastatur verspricht eine natürlichere und einfachere Bedienung komplexer Geräte. Hier stellt sich die Frage, ob diese Bedienung wirklich nur für futuristische Produkte möglich sein kann?

Sehr präsent in der Diskussion ist momentan das System Kinect der Xbox 360 von Microsoft. Hier führen zwei Kameras, in Verbindung mit rechenintensiver Bildverarbeitung, zu einer Benutzerschnittstelle, die schon deutlich in die Richtung der Filmvisionen weist. Etwas einfacher und oberflächengebunden zeigen iPhone und iPad von Apple seit wenigen Jahren erfolgreich, wie intuitiv und simpel die Bedienung eines Gerätes über Finger-(Gesten) auf einer Oberfläche sein kann. Die wohldosierte Erweiterung der herkömmlichen Eingabemöglichkeiten schafft hier ein neues und begeisterndes Bedienerlebnis und hat sehr schnell eine hohe Akzeptanz bei den Konsumenten erreicht.

Welche Applikationen und Konsumergeräte lassen sich aber darüber hinaus sinnvoll und mit Mehrwert durch Gesten steuern? Im Folgenden werden Beispiele beschrieben, die Applikationen einen Mehrwert und ein Differenzierungsmerkmal durch Gestensteuerung beziehungsweise drei-dimensionale Steuerung geben. Die Beispiele belegen, dass die dritte Dimension nicht nur einer kleinen Gruppe von Geräten zur Verfügung steht, sondern auch für die breite Masse von Produkten technisch und wirtschaftlich Sinn macht. Ermöglicht wird diese Bedienung durch die Halios-IC-Familie von Elmos. Ohne den Umweg über komplexe Bildverarbeitung bieten die ICs 909.05, 909.06 und der Vorverstärker 909.07 Gestensteuerung für viele Anwendungen.

Wer hat noch nicht nachts im Halbschlaf den Schalter der Nachttischleuchte gesucht, nur um anschließend vom hellen Licht geblendet zu werden oder bei dem Versuch, die Armbanduhr ohne Licht zu finden, etwas vom Nachttisch gestoßen? Mit etwas Glück hat man wenigstens den Partner nicht geweckt.

Die Vorteile mechanischer oder zumindest taktiler Schaltelemente geraten bei Dunkelheit leicht zum Nachteil, denn um etwas fühlen zu können, muss man es zuerst einmal finden. Es wäre doch viel angenehmer, wenn die Leuchte bereits erkennen könnte, was gewünscht ist und dann den weiteren Vorgang aktiv unterstützt. Frühzeitige Interaktion anstelle passiven Abwartens. Für diese angenehme, intuitive und praktische Funktion reichen bereits zwei einfache Gesten aus: Awareness und Proximity (Annäherung). Awareness bezeichnet ein einmaliges Event, das ausgelöst wird sobald ein Objekt in den Erfassungsbereich des Sensors eintritt. Im Gegensatz dazu stellt Proximity ein quasi kontinuierliches Signal dar, das den Abstand des Objekts zur Bedien- beziehungsweise Sensoroberfläche repräsentiert.

In der Praxis könnte dies aus Sicht des Verbrauchers folgendermaßen aussehen: Gerade aufgewacht, bewegt man die Hand in Richtung der Leuchte. Sobald der Erfassungsbereich erreicht wird, leuchtet die Lampe schwach auf (Awareness). Eine kontinuierliche Annäherung an die Leuchte lässt diese jetzt zunehmend heller werden bis hin zur maximalen Helligkeit. Ein Abbruch der Bewegung, ein Zurückziehen der Hand, lässt das Licht sofort wieder ausgehen.

Am Ende dieser Bewegung ist die Hand jetzt in Nähe der Lampe. Ein kurzes, ruhiges Verweilen schaltet die Leuchte dauerhaft an und fixiert dabei gleichzeitig die gewünschte Helligkeit. Da die wenigsten Leseleuchten über die Rechenleistung einer modernen Spielekonsole verfügen, sollte die verwendete Technik möglichst geringe Ansprüche an die technische Leistungsfähigkeit der Umgebung haben. Darüber hinaus legt das Produkt eine günstige, voll-integrierte Lösung nahe.

Keine lästigen Fingerabdrücke bei Smartphones und Co.

Die lästigen Fingerabdrücke und Schmierer auf den gestylten Hochglanzoberflächen von Smartphones oder eBooks stören einfach. Eine Lösung: Häufig verwendete Funktionen kontrolliert mit der Leichtigkeit der etablierten Fingergesten, allerdings ohne den Bildschirm berühren zu müssen. Eine kleine Bewegung der Hand blättert um, scrollt durch Listen oder vergrößert Bilder. Modisch gestylte Fingernägel sind zwar das Aus für Touchscreens, für die Gestensteuerung stellen sie jedoch überhaupt kein Problem dar.

Ein anderes Beispiel bietet der Bereich Videotelefonat mit dem Netbook., wenn die Lautstärke oder die Bildgröße angepasst werden soll,  ohne lange die entsprechenden Tasten suchen zu müssen. Einfache Gesten erlauben die bequeme Bedienung des mit etwas Abstand vor dem Benutzer stehenden Computers, ohne dabei in den Sichtbereich der Kamera zu kommen. Die Videoübertragung bleibt ungestört. Ähnlich einfach wechselt eine Handbewegung zur nächsten Präsentationsfolie. Einen hohen Mehrwert hat die Gestenerkennung bei an der Frontscheibe angebrachten Navigationsgeräten, die ansonsten nur durch Vorbeugen überhaupt zu erreichen sind.

Bei eBooks wird das Stromsparen großgeschrieben, auch hier helfen intelligente Sensor-Lösungen das Bedienerlebnis zu steigern, ohne dabei die Akku-Laufzeit spürbar zu verkürzen. Gerade diese mobilen Geräte sind zwangsweise wechselnden Umweltbedingungen, wie zum Beispiel wechselnde Umgebungshelligkeit, Staub und Schmutz oder Feuchtigkeit, ausgesetzt. Gleich bleibend hohe Reichweite und verzögerungsfreie Reaktion der eingesetzten Sensorik sind hier obligatorisch für ein ungetrübtes, komfortables Bedienerlebnis.

Komfortables Bedienerlebnis

Nebenbei ersetzen neue Sensoren den gerade bei Smartphones oft bereits vorhandenen Annäherungssensor mit geringer Reichweite und das auch durch halbdurchlässige Oberflächen hindurch. Aktuelle Lacke in Verbindung mit der großen Leistungsfähigkeit neuer IC-Lösungen erlauben sogar auf das sichtbare optische Fenster für diese Sensoren, das unschöne „Loch im Lack“, zu verzichten. Der Mikrocontroller der jeweiligen Geräte wird dabei kaum belastet, da die vollständige Auswertung der autark arbeitenden Sensorik nur die kurzen Events selbst überträgt.

5:30 Uhr morgens, noch leicht schlaftrunken in die dunkle Küche, beim Eintreten den Lichtschalter verfehlt, die bereitstehende Kaffeetasse in die Maschine gestellt und den Kaffewahlschalter glücklicherweise gerade noch getroffen. Das kurze Glücksgefühl während des Mahlgeräuschs weicht Verzweiflung, als der größte Teil des heiß ersehnten Kaffees neben die falsch platzierte Tasse plätschert. Wie wäre dieser Morgen mit einer Gesten-gesteuerten interagierenden Maschine verlaufen?

5:30 Uhr, ab in die dunkle Küche. Beim Eintreten den Lichtschalter verfehlt, trotzdem erkennt die Kaffeemaschine meine Annäherung und beleuchtet sich. Die bereitstehende Kaffeetasse in die Maschine gestellt. Prompt weist die Beleuchtung des Auslassbereichs darauf hin, dass die Tasse nicht korrekt steht. Die heller werdende Beleuchtung bestätigt die Korrektur der Tassenposition und gibt das Bedienfeld frei. Während die Hand sich dem Bedienfeld nähert, leitet die positionsabhängige Beleuchtung den Finger intuitiv ins Zentrum der gewünschten Taste. Nach der Entnahme der frischen Tasse Kaffee erlischt die Beleuchtung des Auslassbereichs und der Tag beginnt. Zugegebenermaßen: Eine derartige Häufung von Missgeschicken ist eventuell etwas drastisch beschrieben, aber diese Geschichte zeigt anschaulich, wie unterschiedlich ein und dasselbe Gerät durch eine Interaktion mit dem Anwender wirken und wahrgenommen werden kann.

Technische Herausforderungen

Wenden wir uns jetzt den technischen Hürden zu, die, unabhängig von der eingesetzten Technologie, auf dem Weg zu einem beeindruckenden HMI der nächsten Generation zu nehmen sind.

Im Gegensatz zu der bekannten oberflächenbasierten Eingabe fehlt bei diesen Bedienkonzepten jedes taktile Feedback. Dieser größere Freiheitsgrad sowohl in der Ausführung der Bewegung –  drei-dimensional – als auch die Geometrie des zu erfassenden Objekts – zum Beispiel unterschiedliche Handhaltungen oder die Position im für den Anwender unsichtbaren Erfassungsbereich – erschwert die scharfe Trennung unterschiedlicher Gesten. Auch die Einschätzung des Anwenders hinsichtlich der Korrektheit der ausgeführten Geste ist subjektiv. Klare, lineare Signalverläufe sind hier eher unwahrscheinlich. Beispielsweise muss eine Rotationsbewegung klar erkannt werden und darf nicht als Wischbewegung detektiert werden.

Darüber hinaus erfordert die vollständige Erfassung der Bewegung einen möglichst großen Erfassungsbereich, ohne dabei den Gerätekontext zu verlieren. Eine umgebungsunabhängige Konstanz dieses unsichtbaren Erfassungsbereichs ist dabei der einzige Orientierungspunkt für den Anwender. Daher ist es von großer Wichtigkeit, dass sich der Hersteller des Produktes auf die Eigenschaften des verwendeten Sensors unbedingt verlassen kann.

Von der Umgebung unabhängige Konstanz

Dazu kommt, dass alle Ansätze, die nicht kamerabasiert sind, die Objektoberfläche nicht exakt erfassen, sondern sie auf eine Art Schwerpunkt reduzieren. Der Zusammenhang zwischen diesem Schwerpunkt, dem was der Sensor „sieht“ und der Objektgeometrie (zum Beispiel Handhaltung) ist nicht immer direkt nachvollziehbar.

Hieraus folgen ein paar Rahmenbedingungen, die bei der Implementierung von Gestensteuerung mit nicht-bildgebenden Technologien beachtet werden müssen:

• Geringe Trennschärfe erfordert geeignete Gesten.
• Weniger (Gesten) ist in diesem Fall mehr (Benutzerakzeptanz).
• Kontinuierliches Feedback (visuell, akustisch) als Ersatz für die taktile Orientierung ist notwendig.
• Die Anzahl der technischen Hürden legt die Verwendung der besten verfügbaren Technologie nahe. Sie muss einen Fixpunkt in dieser unscharfen Situation darstellen und zwar hinsichtlich:
• Reproduzierbarkeit,
• Robustheit gegen Licht- und Temperaturveränderungen,
• Konstanz in Reichweite und Geschwindigkeit,
• Toleranz gegen Veränderungen der Einbauumgebung,
• (Roh-)Signalqualität.

Neben diesen Anforderungen an die Bedienkonzepte sind noch weitere Rahmenbedingungen zu erfüllen: Der Stromverbrauch muss gering sein, die Lichtverhältnisse dürfen die Erfassung nicht beeinträchtigen, Robustheit gegen Feuchtigkeit sollte je nach Applikation gewährleistet sein und schließlich sollte der Systempreis im besten Fall unter dem eines aktuellen kapazitiven Sensors liegen. Genau diese Bedingungen erfüllt die Halios-IC-Familie. Der Bauraum ist kompakt, die Stromaufnahme gering und sie ist sehr robust. Diese Eigenschaften erlauben die Integration in nahezu jedes Gerät bei gleichbleibend hoher Leistungsfähigkeit unter allen Umgebungsbedingungen.

Das patentierte Halios-Prinzip (High Ambient Light Independent Optical System) ist weltweit das einzige Verfahren, das mit echter optischer Kompensation arbeitet. Dadurch lassen sich parasitäre physikalische Effekte in der Fotodiode weitgehend neutralisieren, angefangen beim Ambient Light Effekt bis hin zu hoher Temperaturstabilität, weit über den Möglichkeiten der Einzelkomponenten.

Die geringe Stromaufnahme resultiert bei diesem System aus der Robustheit des Messprinzips. Kurze Messzeiten – langes Integrieren oder Filtern der Werte ist hier überflüssig –  in Verbindung mit dem integrierten 16-Bit-Mikrocontroller ist eine kontextspezifische Optimierung der Messfrequenz möglich und der mittlere Stromverbrauch senkt sich auf das applikationsspezifische Minimum. Die Gesamtkosten für das System liegen unter denen eines aktuellen kapazitiven Touchpads und somit im unteren einstelligen Eurobereich.

Anschlüsse für bis zu vier Sende-LEDs

Die ICs 909.05 und 909.06 bieten Anschlüsse für bis zu vier Sende-LEDs, um auch komplexeren Applikationen gerecht zu werden. Typischerweise reichen zwei bis drei LEDs für die meisten Anwendungen aus. Ein weiterer LED-Anschluss stellt den charakteristischen Kompensationskanal dar. In einem kompakten QFN 5×5 32-Ld-Gehäuse bieten die Bausteine von Elmos neben den vier voneinander unabhängigen Ausgangstreibern, einen speziell ausgelegten, differenziellen Empfangspfad. Hier kann eine Fotodiode (909.05), zwei Fotodioden (909.06) oder eine Fotodiode vollsymmetrisch angeschlossen werden (909.06).

Die Möglichkeit, bei Bedarf mehr als eine Fotodiode einsetzen zu können, vereinfacht das Design komplexer Applikationen teilweise erheblich. Verschiedene Erfassungsbereiche können so einfach und robust realisiert werden. Weiterhin stehen acht digitale Ein- beziehungsweise Ausgänge sowie eine I²C- und eine SPI- bzw. LIN-(UART)-Schnittstelle zur Verfügung.

Die Systeme werden durch extremen Lichteinfluss oder wechselndes Umgebungslicht nicht beeinflusst. Die neuartige Temperaturstabilisierung vermeidet zusätzlich Verfälschungen des Messergebnisses durch die typischen temperaturbedingten Intensitätsschwankungen üblicher Infrarot-LEDs. Die Reaktionszeit des Systems kann schnell und einfach per Software angepasst werden. Die eigentliche Messung besteht aus einem stromsparenden Pulspaket, welches pro Kanal nur ca. 250 µs dauert. Danach steht das erhaltene Signal im integrierten 16-bit Mikrocontroller für die kundenspezifische Auswertung bereit.

(ah)