Berührungslose Gestenerkennung statt Touchbefehlen

Schon immer stehen Automobilhersteller vor der Herausforderung, ein intuitiv bedienbares HMI (Human Machine Interface, Mensch-Maschine-Schnittstelle) zu implementieren, um die Ablenkung des Fahrers zu minimieren. Denn schließlich geht es darum, die permanent steigende Anzahl von Funktionen und Technologien innerhalb des Fahrzeugs beherrschbar zu machen. Mit dem Chip MGC3130 bietet Microchip jetzt eine hochintegrierte Lösung für Gestensteuerungen an.

Gestenerkennung im Auto.Microchip

MGC3130 ist der weltweit erste 3D-Gesten-Controller, der elektrische Felder zum Erfassen beziehungsweise Verfolgen der Handposition nutzt. Diese Gestenerkennung erfolgt im freien Raum, was besonders in der Automotive-Umgebung einige Vorteile bietet. Weil der Chip nur Veränderungen in nahegelegenen elektrischen Feldern erkennt, die von leitenden Objekten wie dem menschlichen Körper verursacht werden, haben Umwelteinflüsse wie Licht und Geräusche keinerlei Einfluss auf das Verfahren. Zusätzlich beträgt die Reichweite nur 15 cm, so dass der MGC3130 sicher stellen kann, dass ausschließlich Gesten des vorgesehenen Nutzers erkannt werden; für ausschließlich dem Fahrer vorbehaltene Funktionen lassen sich somit Falscherkennungen durch andere Fahrzeuginsassen verhindern. Andererseits gibt es innerhalb dieser 15 cm Reichweite – im Gegensatz zu anderen Technologien zur Gestenerkennung – keinerlei Blind-Spots (tote Bereiche, Empfangslöcher).

Ein weiterer großer Vorteil der GestIC-Technologie besteht darin, dass die für die Detektierung eingesetzten Elektroden unsichtbar bleiben können. Dazu benutzen sie die bereits existierende ITO-Beschichtung (Indium Tin Oxide) des Displays oder verwenden Elektroden, die hinter der Verkleidung beziehungsweise im Innern eines Gehäuses untergebracht sind. Diese Eigenschaft ist gerade im Automotive-Bereich von großem Vorteil, etwa beim Umschalten zwischen Menüs auf einem Schirm und beim Dimmen von Lichtern.

Vergleich mit Ultraschall, IR und Kameras

Im Vergleich zu Technologien zur 3D-Gestenerkennung auf Basis von Infrarotlicht, Ultraschall oder Kameras bietet die GestIC-Technologie in Automotive-Anwendungen einige zusätzliche Vorteile. So benötigen zum Beispiel kamerabasierende Systeme für einen ordnungsgemäßen Betrieb eine bestimmte Menge Licht, während gleichzeitig auch noch eine dynamische Lichtkompensation erforderlich ist. Außerdem arbeitet eine Kamera mit einem festen Blickwinkel, wodurch sich Blind-Spots ergeben – und zwar besonders in Fahrzeugumgebungen, wo Anwender sich sehr nahe an der Kamera befinden. Umgekehrt ist es für Kameralösungen schwierig, von Passagieren verursachte Falscherkennungen für fahrerspezifische Funktionen auszublenden. GestIC stellt zudem die Ausgangsdaten mit einer Update-Frequenz von 200 Hz bereit und nimmt gleichzeitig 90 % weniger Leistung auf als kamerabasierende Lösungen.

Die Physik der GestIC-Technologie

Bild 1: Ungestörtes elektrisches Feld. Die Äquipotenziallinien sind in unterschiedlichen Farben dargestellt, während die Pfeile die Feldlinien repräsentieren. Microchip

Bild 1 zeigt den prinzipiellen Aufbau des Sensorsystems. Eine Isolationsschicht trennt eine einzelne großflächige Sendeelektrode, die sich über einer Masseschicht befindet, von den Empfängerelektroden, die sich auf der oberen Schicht befinden. Die vom MGC3130 gesteuerte Sendeelektrode erzeugt ein elektrisches Feld mit einer Frequenz von 100 kHz. Wenn keine externen Störungen bestehen, sieht dieses Feld wie das gleichmäßig verteilte Feld in Bild 1 aus. Gelangt allerdings ein Objekt in dieses elektrische Feld, dann stört es die Feldlinien. Bild 2 zeigt eine typische Feldstörung.

Bild 2: Eine Hand stört das elektrische Feld. Die zuvor gleichmäßige Verteilung der Äquipotenziallinien sowie der Feldlinien hat sich signifikant verändert. Microchip

Aufgrund der Störung hat sich die vorher gleichmäßige Verteilung sowohl der Äquipotenziallinien als auch der Feldlinien signifikant verändert. Durch das Eindringen in das elektrische Feld absorbiert das leitende Objekt (in diesem Anwendungsfall: eine Hand) das elektrische Feld, weil es die elektrischen Ladungen nach Masse ableitet, was zu Veränderungen sowohl beim elektrischen Feld als auch bei den Äquipotenziallinien führt. MGC3130 misst diese von der Hand am Empfänger verursachten kleinen Signalabweichungen und verarbeitet die Ergebnisse. Je weiter sich die Hand der Empfangselektrode nähert, umso größer ist der lokale Einfluss der Hand.

Mit Hilfe von vier Empfangselektroden – Microchip nennt sie Nord-, Süd-, West- und Ost-Elektrode – kann der MGC3130 die Position der Hand in X-, Y- und Z-Richtung innerhalb des Sensor-Empfangsgebiets erfassen und verfolgen. In einem weiteren Verarbeitungsschritt identifiziert der Chip Gesten und verwendet dazu Algorithmen, die auf dem Hidden Markov Model (HMM) basieren. Das HMM ermöglicht eine außerordentlich hohe, vom Anwender unabhängige Gestenerkennung.

Bewegt sich beispielsweise die Hand in einer schnellen Bewegung von rechts nach links, dann kommt es zunächst rechts zu einer Signalveränderung. Während der Bewegung lässt die Signalstörung auf der rechten Seite nach, während gleichzeitig die Signalstörung auf der linken Seite zunimmt. Bewegungsmuster wie diese erkennt der Chip und berechnet sie, um dann vordefinierte Datensignale am Ausgang bereit zu stellen.

Bild 3: Standard-Elektrodendesign: Während die Nord-/Süd-/Ost-/West-Elektroden die X- und Y-Koordinaten der Hand liefern, stellt die in der Mitte befindliche Elektrode die Z-Koordinate bereit. Microchip

Dabei beträgt die Auflösung in X-, Y- und Z-Richtung abhängig vom Design der Elektrode und der Handposition jeweils bis zu 150 dpi. Je näher sich die Hand an der Sensorfläche befindet, umso größer ist der Singal-Rauschabstand und umso höher ist auch die Auflösung. Die GestIC-Technologie ermöglicht diese mausähnliche Genauigkeit fast ganz ohne Jitter. Zu Demonstrationszwecken hat das Designteam den Cursor eines Notebooks allein durch Handbewegungen und ohne Maus jitterfrei gesteuert.

Die Elektroden

Die Empfangselektroden befinden sich immer über der Sendeelektrode (Bild 3). So bestehen beispielsweise die Empfangselektroden in Microchips Demo-Setup zur Messe Electronica aus Kupferschichten, die sich auf der Oberseite einer Leiterplatte befinden. Elektroden lassen sich mit Hilfe jedes beliebigen festen leitenden Materials realisieren, beispielsweise mit festen oder flexiblen Leiterplatten (PCBs, FPCs), LDS-Elektroden (Laser Direct Structured), leitenden Folien und der bereits zuvor erwähnten ITO-Schicht in Displays.

Die GestIC-Technologie kann mit dünnen Sensorelementen arbeiten, so dass eine unsichtbare Integration hinter der Verkleidung beziehungsweise im Bildschirmgehäuse des Zielgeräts möglich ist, ohne dass sich dadurch die Gesamtdicke erhöht. Dieser Aspekt ist in der Automobilelektronik von großer Bedeutung, wo sich die Elektroden beispielsweise hinter dem Armaturenbrett befinden können.

Wie schon erwähnt, lassen sich bereits existierende leitende Strukturen wie beispielsweise die ITO-Beschichtung eines berührungsempfindlichen Displays mit verwenden, was GestIC auf Systemseite recht kostengünstig macht. Derzeit arbeitet Microchip mit großen Displayherstellern an der Vorintegration der Technologie in ein komplettes Displaymodul. Wenn man den MGC3130 mit der ITO-Beschichtung verbindet, dann verwandelt sich der berührungssensitive Bereich des Displays in eine Sensorelektrode für elektrische Felder – und zwar ohne dass es dabei zu einer Störung der Multitouch-Funktionalitäten des zugrundeliegenden Touchdisplays kommt. Sowie die Finger keinen Kontakt mehr mit der Oberfläche des Displays haben, sorgt die GestIC-Technologie auf Grund der nahtlosen Integration für die dritte Sensordimension. In Automotive-Anwendungen lässt sich diese Funktionalität beispielsweise dazu nutzen, unterschiedliche Inhalte anzuzeigen: jeweils abhängig von der Richtung, aus der sich die Hand nähert. Während eine vertikale Annäherung das Telefonmenü aktivieren könnte, ließe sich beispielsweise bei einer Annäherung von der unteren linken Seite das Setup-Menü des Navigationssystems aktivieren. Eine weitere Möglichkeit könnte das Umschalten zwischen Basis-Menüs durch Wischgesten in der Luft sein.

Die GestIC-Technologie ist sehr flexibel, weil sie nicht nur lineare Gesten, sondern auch symbolische, kreisförmige und andere Gesten erkennt. In der Automobilumgebung könnte diese Fähigkeit etwa dazu dienen, die Lautstärke des Infotainment-Systems durch Drehen eines virtuellen Knopfes in der Luft zu erhöhen oder zu verringern. Unabhängig von der einer bestimmten Geste zugeordneten Funktion sind sind Fahrer letztendlich besser in der Lage, ihre Augen auf der Straße zu lassen, wenn sie keinen bestimmten Knopf oder Bildschirm(teil) berühren müssen.

MGC3130, der GestIC-Chip

Beim MGC3130 handelt es sich um einen konfigurierbaren Mixed-Signal-Controller, der aus einem analogen Frontend mit einem Sende- und fünf Empfangskanälen sowie einer SPU (Signal Procesing Unit) genannten Prozessoreinheit zur Signalverarbeitung besteht. Vier dieser fünf Kanäle kommen zum Erkennen von Gesten oder zum Bestimmen der Handposition zum Einsatz, während der fünfte Kanal eine Berührungserkennung ermöglicht und die Genauigkeit über geringe Distanzen hinweg verbessert. Dabei erfolgt für jeden der einzelnen Kanäle eine Signalaufbereitung. Die entsprechend aufbereiteten Analogsignale werden dann digitalisiert und von der integrierten SPU verarbeitet.

Über Schnittstellen der Typen I²C oder SPI liefert die SPU die berechneten Ergebnisse an die Außenwelt. Microchip stellt hierfür mit dem API (Application Programming Interface) eine Schnittstelle zur Applikationsprogrammierung zur Verfügung, die auf der Applikation oder dem Hostcontroller läuft. Dieses API ermöglicht es dem Designingenieur, die entsprechenden Signale mit wenig Aufwand auf die Zielanwendung abzubilden. In der Praxis müssen sich Entwickler also nicht um die Signalaufbereitung kümmern, weil Microchip für die Vorverarbeitung der Daten sorgt – und zwar sowohl der Daten zur Bestimmung der Handposition mit ihren X/Y/Z-Koordinaten als auch der Daten zur umfassenden Gestenerkennung. Die entsprechende Software läuft auf dem Chip und trägt den Namen Colibri-Suite. Damit Entwickler aber auch hochgradig individuelle Spezialfunktionen über ein anwendungsspezifisches Post-Processing umsetzen können, leitet Microchip die gefilterten Elektrodensignale an die Ausgänge durch.

Die Software: Colibri-Suite

Bild 4: Prinzipieller Aufbau der Software zur Gestenerkennung. Microchip

Die Colibri-Suite nutzt zur Gestenerkennung Algorithmen, die auf dem Hidden-Markov-Modell basieren, sowie die X/Y/Z-Vektoren der Handpositon. HMM liefert die höchsten anwenderunabhängigen Erkennungsraten für 3D-Hand- und Fingergesten. Dadurch bietet GestIC konsistent außerordentlich hohe Gestenerkennungsraten – und zwar unabhängig davon, wer gerade das Fahrzeug fährt.

Am digitalen Ausgang des MGC3130 stellt die Colibri-Suite sowohl die X/Y/Z-Koordinaten beziehungsweise Tracking-Daten der Hand in hoher Auflösung als auch Datenworte zur Verfügung, die Wisch-, Kreis- und Symbolgesten repräsentieren. Bei den Wischgesten erkennt die Colibri-Suite – über die gesamte Fläche hinweg oder in Sensorteilbereichen – nicht nur die elementaren Bewegungen wie links, rechts, auf und ab, sondern auch komplexere Wischgesten wie von innen nach außen oder umgekehrt. Damit können Anwender Eingabebefehle wie „öffne Anwendung“, Point, Klick, Zoom, Scroll, Mouse-over und viele andere ausführen, ohne dabei die Einheit zu berühren.

Benötigt das Design eine bestimmte Geste, die nicht in der Suite enthalten ist, stellt Microchip kurzfristig ein Modul zur Gestenaufzeichnung und für das Gesten-Training zur Verfügung. Mit diesem Modul können Entwicklungsingenieure der Bibliothek ihre eigenen Gesten hinzufügen. Da MGC3130 auf einer Flasharchitektur basiert, lassen sich die Erkennungsparameter für diese neuen Gesten in das IC speichern.

Eine weitere programmierbare Funktion ist die Annäherungserkennung. Hierbei überprüft das System, ob es eine Anwenderaktivität gibt, während der Chip sich im Self-wake-up-Modus befindet, bei dem er sich selbständig aus dem Schlafzustand wecken kann: Beim Erkennen einer realen Anwenderaktivität schaltet das System automatisch in den Modus zur umfassenden Erkennung der Sensordaten. Wenn die Hand das Sensorgebiet verlassen hat, wechselt das System selbständig wieder in einen Self-wake-up-Modus mit sehr niedriger Verlustleistungsaufnahme.

Flexible Anpassung an die Umgebung

Die GestIC-Technologie arbeitet mit einer Trägerfrequenz von etwa 100 kHz. Wenn das System Störsignale erkennt, die beispielsweise von Motoren, Invertern, Ladegeräten und Treibern für Fluoreszenzlampen stammen können, dann passt MGC3130 automatisch seine Feldemissionsfrequenz an einen störsignalfreien Kanal im Bereich zwischen 70 und 130 kHz an, um so Hf-Interferenzen zu vermeiden und eine sehr robuste Lösung zur Verfügung zu stellen. Gleichzeitig ist das im Rahmen von GestIC ausgesandte Signal nur von sehr geringer Intensität und verursacht so keine Interferenzen mit anderen Systemen und Elementen. Entsprechende EMI-Tests wie IEC 61000-4-3 absolvierte GestIC problemlos. MGC3130 nimmt maximal 70 mW Leistung auf, aber den Großteil der aufgenommenen Energie benötigt das IC zum Interpretieren, Evaluieren und Klassifizieren der gestörten elektrischen Feldsignale – und nicht zur Abstrahlung des eigentlichen elektrischen Felds.

Gesten statt oder in Kombination mit Touchbefehlen.Microchip

Hinter den Kulissen

Über einen Zeitraum von mehr als zehn Jahren hat das Münchner Unternehmen Ident Technology Erfahrungen und Know-how rund um die Nutzung elektrischer Felder aufgebaut sowie zahlreiche Patente angemeldet. Zu diesem Know-how gehören auch die Anwendung der elektrischen Feldtheorien in der realen Umgebung, das Design der Sensorelektroden, das Chipdesign und die Algorithmen zum Verarbeiten der Sensorrohdaten. Im Jahr 2012 hat Microchip Technology das Münchner Unternehmen gekauft und in seine Human Machine Interface Division (HMID) integriert.

Die Wellenlänge des bei GestIC verwendeten 100-kHz-Signals beträgt etwa 3 km, so dass die Abmessungen der Sensorelektrodenfläche (in der Regel weniger als 15 cm x 15 cm) um einige Größenordnungen kleiner ist als die Wellenlänge des ausgesandten Signals. Auf Grund dieser Konstellation ergibt sich während des Betriebs ein sehr stabiles, quasi statisches elektrisches Feld, das sich zur Sensierung leitender Objekte wie dem menschlichen Körper eignet. Dabei ist die magnetische Komponente praktisch Null und es findet keine Wellenausbreitung statt.

Zukünftige Anwendungen ermöglichen

Um Anwendungsdesigns zu erleichtern, bereitet Microchips HMID-Team derzeit ein Dokument vor, das sämtliche relevanten Faktoren beim Design und der Positionierung von Sensorelektroden beschreibt. Damit werden Automotivekunden in der Lage sein, ihre eigenen Elektroden zu entwickeln oder mit Materialien zu implementieren, die bereits in ihren Designs vorhanden sind.

Microchip bietet außerdem ein Entwicklungskit namens Hillstar an, das Kunden während der Design-in-Phase unterstützt. Hierzu verbindet Hillstar die GestIC-Technologie inklusive Colibri-Suite über eine USB-Schnittstelle mit einem PC, so dass Ingenieure ihre Elektrodendesigns direkt anbinden und die Parameter des MGC3130 am PC einstellen können.

Die passende grafische Anwenderschnittstelle Aurea läuft unter dem Betriebssystem Windows 7 (Bild 4) und ermöglicht die Steuerung der Parameter sowie der Einstellungen des MGC3130. So lassen sich die Parameter direkt aktualisieren und speichern.

(av)