Evolution der Interaktion zwischen Mensch und Maschine im Auto

Inzwischen bekommt der Autofahrer bei seiner Basisfahraufgabe der Längs- und Querdynamiksteuerung zunehmend Unterstützung durch moderne Fahrerassistenzsysteme (ADAS) und Systeme zum automatisierten Fahren wie zum Beispiel ein teilautomatisierter Stauassistent. Sobald ein Fahrer beispielsweise sein ACC (Adaptiver Geschwindigkeitsregler) oder seinen Parkassistenten aktiviert, kann der frühere „Maschinist“ Teile seiner Basisfahraufgabe auf Streckenabschnitten oder bei Manövern abgeben. Auch wenn der Mensch dabei für die Fahrsicherheit (noch) verantwortlich bleibt, kann er sich auf die Überwachung des ADAS beschränken. Dieser Rollenwechsel wird mit der kontinuierlichen Evolution der Assistenzsysteme zum (hoch-) automatisierten Fahren die Bedeutung des HMI gerade auch für die Akzeptanz neuer Systeme erhöhen.

Grenzen zwischen Infotainment und „fahrrelevant“ verschwimmen

Noch etwas kommt hinzu: In bisherigen HMIs werden einzelne Inhalte weitgehend statisch einem einzigen Display zugeordnet. Hinter dieser „1:1-Zuordnung“ steckt neben der HMI-Strategie auch die jeweils zu dem einzelnen System zugehörige Software-Welt (siehe unten). Im Cockpit heißt das typischerweise, dass alle direkt fahrrelevanten Inhalte vom Kombi-Instrument verarbeitet und dargestellt werden. Maßgeblich unterstützt wird das Kombi-Instrument dabei in immer mehr Fahrzeugmodellen vom Head-up-Display (HUD). So gelangen direkt relevante Informationen in das auf den Straßenverkehr gerichtete Sichtfeld. Das gesamte Infotainment und die Connectivity werden dagegen in einer Head-Unit zusammengefasst, deren Ausgabefläche überwiegend das Central Information Display (CID) in der Mittelkonsole darstellt. Diese statische Trennung funktioniert in einem vernetzten Fahrzeug immer weniger. Daten aus dem Internet können situativ ebenso fahrrelevant sein, wie Meldungen aus dem Fahrzeug selbst. Die Grenzen verschwimmen hier zunehmend.

Bild 1: Die Rolle des Fahrers ändert sich mit zunehmender Vernetzung.Continental

Ein ganzheitliches HMI (Holistic HMI) berücksichtigt das: Ein ganzheitliches HMI beruht auf einem systemübergreifenden Ansatz, der Hard- und Softwarekomponenten vernetzt. Dies geschieht mit dem Ziel, dem Fahrer je nach Verkehrssituation, persönlichen Vorlieben und je nach seiner momentanen Verfassung stets die relevanten Informationen anzuzeigen, die in der Situation auf einem bestimmten Kanal (visuell, akustisch, haptisch) optimal wahrgenommen werden im Kombi-Instrument, im Head-up-Display (HUD), im Display der Mittelkonsole oder auch im verbundenen – und sicher montierten – mobilen Endgerät. Es geht um einen Dialog ohne Worte, bei dem beide Parteien sich „verstehen“. Der Fahrer wird Anzeigesysteme, Bedienelemente und andere Komponenten ohne Gebrauchsanweisung intuitiv erleben und nutzen können. Das Fahrzeug soll vorausahnen, welche Informationen der Fahrer in der jeweiligen Fahrsituation benötigt, und der Fahrer soll in der für ihn gerade am besten geeigneten Form Eingaben machen können.

Bild 2: Mögliche Bestandteile eines ganzheitlichen HMI-Konzepts.Continental

Aus dem „Maschinisten“ am Steuer wird immer mehr ein „Kapitän“ und gleichzeitig ein „Social Networker“ am Steuer (Bild 1). Aus der Maschine Auto wird ein Erlebnisraum, in dem Lösungen für ein gebrauchstaugliches Angebot an Sekundäraufgaben nötig sind. Das Fahrzeug wandelt sich dabei zum Helfer, Begleiter und in Teilen sogar zum Unterhalter. Für diese veränderte Form der Interaktion bedarf es eines intelligenten, ganzheitlichen HMI-Konzepts. Dieses koordiniert dynamisch die Informationen über die Umgebung, den Fahrer und die Fahrzeugfähigkeiten, so dass die sichere Fahrzeugführung im Wechselspiel zwischen Fahrzeug und Fahrer immer gewährleistet ist (Bild 2).

Neue Herausforderungen an das HMI

Zu den zahlreichen Fäden, die im HMI eines Fahrzeugs zusammenlaufen, gehören beispielsweise die Sensordaten über die Umgebung. Zusätzlich zu den Informationen aus dem Fahrzeug kommen in Zukunft Daten aus anderen Fahrzeugen (Vehicle-2-Vehicle Kommunikation, V2V) und aus dem so genannten Backend (Vehicle-2-Backend, V2B). Gerade die Backend-Informationen – die Daten aus der Cloud – sind wichtig, um die so genannte Sichtweite des Fahrzeugs über die physikalische Reichweite der Bordsensorik hinaus zu erweitern.

Bild 3: Die V2V-Kommunikation benötigt ebenfalls eine Schnittstelle zum Fahrer.Continental

Sobald Fahrzeuge untereinander vernetzt sind, können etwa Stockungen oder abrupte Bremsmanöver eines Fahrzeugs an nachfolgende Fahrzeuge gemeldet werden, so dass ADAS und/oder Fahrer der benachrichtigten Fahrzeuge frühzeitig reagieren können (Bild 3). Das erhöht nicht nur die Sicherheit, sondern auch den Fahrkomfort. Es unterstützt auch das Ziel, bequemer und effizienter mobil zu sein. Beim hochautomatisierten Fahren ist dieser weitere Horizont beispielsweise erforderlich, um mit einer ausreichenden Vorlaufzeit die Übergabeprozedur für die Rückübernahme der Längs- und Quersteuerung durch den Fahrer abwickeln zu können. Immer aber gilt: Das HMI muss geeignet sein, um den Fahrer zu informieren und ihm zu vermitteln, warum sein Fahrzeug womöglich autonom auf etwas reagiert, das der Mensch noch nicht sieht. Das passiert nicht von heute auf morgen. Das ist ein Prozess, den Continental als Industrie heute anstößt, damit die nächsten Fahrzeuggenerationen ihre Fahrer entsprechend auf diese neuen Funktionen vorbereiten können.

Bild 4: Eine ganzheitliche HMI-Strategie schließt Fragen der Connectivity mit ein.Continental

Ein ganzheitliches HMI geht deshalb weit über die Frage nach Displays und Bedienelementen hinaus und umfasst auch die Fahrzeugvernetzung (Bild 4). Aus diesem Grund kooperiert Continental mit etablierten Partnern, um die Herausforderungen der V2V- und V2B-Kommunikation zu meistern und damit auch die Wege für zukünftige intelligente Verkehrssysteme zu ebnen. Gemeinsam mit Cisco werden Lösungen für die Kompression der zu erwartenden Datenströme und deren sichere Übertragung auf unterschiedlichen drahtlosen Kanälen entwickelt. IBM ist der Partner für die Verarbeitung der großen Datenvolumen im Backend (Big Data). Der Partner Here wiederum stellt präzise und Cloud-basierte digitale Kartendaten bereit. Alle diese Datenströme müssen fusioniert und das Ergebnis im HMI vermittelt werden, um beispielsweise Echtzeit-Informationen zur aktuellen Verkehrssituation voraus im Kontext einer Karte darstellen zu können.

Mit der Einführung der höheren Stufen des automatisierten Fahrens muss die HMI-Strategie außerdem Antworten auf folgende Fragen liefern: Wer fährt gerade – Mensch oder Maschine? Worauf kann der Fahrer vertrauen? Auf welches Objekt/Merkmal regelt das Fahrzeug? Was wird bei der Rückdelegation der Längs- und Quersteuerung vom Fahrer erwartet? Für Klarheit und damit Vertrauen kann nur das HMI sorgen. Ein automatisiertes Fahren ohne ganzheitliches Interaktionskonzept ist schwer vorstellbar. Damit ein Fahrer vertrauensvoll mit einer neuen Technik umgeht, muss dieses Vertrauen zunächst aufgebaut werden. Informationen darüber, was ein Fahrzeug leisten kann, sind der erste Schritt. Die Bestätigung, dass das Fahrzeug diese Leistung auch tatsächlich erbringt, der zweite. Das HMI ist dazu der Schlüssel. Ein ganzheitliches HMI ist deshalb auch eine Vertrauen bildende Maßnahme.

Bild 5: Zum Interaktionskonzept gehört das Driver Modeling.Continental

Lösungsmerkmale eines ganzheitlichen HMI

Zu den zentralen Anforderungen, die ein ganzheitliches HMI abdecken muss, gehört es, den Fahrer einzubinden, ihn zu beteiligen. Die Kommunikation mit dem Fahrer folgt also in groben Zügen der Strategie eines „Regelkreises“, bei dem der Fahrer in der Regelschleife bleibt – „in the Loop“. Um das zu ermöglichen, muss das Fahrzeug die aktuelle Verfassung und wenigstens die visuelle Aufmerksamkeit des Fahrers „kennen“. Ein Modell des Fahrers zur Beschreibung von Fahrerzuständen (Driver Modeling) ist daher idealerweise Bestandteil eines ganzheitlichen HMI (Bild 5). Geeignete Ausgangsgrößen für ein solches Fahrermodell können Lenkverhalten und Kopfposition sein.

Als Beispiel für die künftige Kommunikation zwischen Fahrzeug und Fahrer und insbesondere der Ermittlung des Fahrerzustands hat Continental das Konzeptfahrzeug „Driver Focus Vehicle“ aufgebaut. Hier stellt eine auf den Fahrer gerichtete Infrarotkamera die Information über dessen Aufmerksamkeit bereit. Aufbauend auf dieser Information lassen sich Sicherheitsstrategien entwickeln. Ist der Blick des Fahrers beispielsweise zur Seite gerichtet, obwohl von vorne Gefahr droht, dann leitet ein rotes LED-Leuchtband die Fahreraufmerksamkeit nach vorne zurück. Tests haben gezeigt, dass die Augen der Laufrichtung des LED-Leuchtbandes intuitiv und vor allem sehr schnell folgen. Kaskadierte Warnstrategien (visuell, akustisch, taktil) bei möglicherweise kritischen Verkehrssituationen helfen so, die Aufmerksamkeit des Fahrers wieder auf die zu bewältigende Aufgabe zu lenken (Adaptive Warning).

Bild 6: Raumwinkelanaloge Warnung.Continental

Eine weitere Anwendung sind raumwinkelanaloge Warnungen (Spatial Warning, Bild 6). Dabei wird das LED-Leuchtband genau an der Blickrichtung aktiviert, in der ein relevantes Objekt zu sehen ist, etwa ein verzögerndes vorausfahrendes Fahrzeug oder sich nähernder Querverkehr an einer Kreuzung. Zur Sicherheit kann zudem die Ausblendung gezeigter Inhalte im Kombi-Instrument oder HUD beitragen, wenn eine Information mit Priorität übermittelt werden soll. Erkennt eine BSD-Kamera (Blind Spot Detection) etwa ein sich schnell von hinten näherndes Rettungsfahrzeug, kann diese Information für kurze Zeit über einen anderen Anzeigeninhalt überlagert werden (Functional Dimming).

Bild 7: Durch Augmentierung erhält der Fahrer relevante Information im direkten Kontext.Continental

Einen weiteren großen Beitrag zur Fahrsicherheit wird die Überlagerung der realen Außenansicht mit unterstützenden Informationen leisten können, die so genannte Augmentierung. Sobald ein Augmented-Reality-HUD (AR-HUD) zum HMI gehört, können von den Bordsensoren erfasste Objekte mit passgenauen virtuellen Kennzeichnungen in der realen Welt hervorgehoben werden (Bild 7). So kann der Fahrer unter anderem intuitiv erkennen, auf welches Fahrzeug sein ACC aktuell regelt und wann beispielsweise nach einem Spurwechsel ein neues Fahrzeug voraus erkannt wird. Sehen heißt in diesem Fall Verstehen. Und nur ein System, das der Autofahrer versteht, wird auch sein Vertrauen erwerben. Bei aktivierter Navigation integriert das AR-HUD passgenaue Hinweispfeile in den Straßenverlauf (Bild 8). Im Vergleich zur Turn-by-Turn-Navigation mit abstrakten Pfeilen in einer schematischen Darstellung muss der Fahrer hier keine geistige Transferleistung zwischen Symbolik im Display und realer Welt leisten, was ihn entlastet. Das AR-HUD unterscheidet sich daher grundlegend von heute im Fahrzeug realisierten HUDs. Während das heutige HUD in erster Linie eine ergonomisch optimale Anzeige für ausgewählte fahrrelevante Informationen ist, etabliert das kommende AR-HUD eine neue Interaktionsform und bringt ideale Eigenschaften für ein ganzheitliches HMI mit.

Bild 8: Anwendungsbeispiele für die Augmentierung.Continental

Durch Augmentierung der realen Welt besteht aber nicht nur die Möglichkeit, dem Fahrer im unmittelbaren Kontext der Fahrsituation hilfreiche und wichtige Hinweise zu geben. In ein ganzheitliches HMI mit AR-HUD lässt sich auch die umgekehrte Kommunikationsrichtung integrieren: Wenn die Aufmerksamkeit des Fahrers ohnehin auf die Straße gerichtet ist und er durch Augmentierung Hilfestellung bekommt, warum sollte er dann zur Bedienung von Systemen den Blick von der Straße lösen müssen? Wäre es nicht ergonomisch sinnvoller, ihm eine Möglichkeit zu geben, mit der er auf der Ebene der Augmentierung beispielsweise auch seine Manöverwünsche äußern kann? Tatsächlich lässt sich diese Interaktionsstrategie mittlerweile umsetzen. Das von Continental entwickelte und erstmals in der neuen Mercedes-Benz C-Klasse integrierte Touchpad kann auch dazu dienen, Eingaben zu machen, die im HUD dargestellt werden (Bild 9). Ein mögliches Anwendungsbeispiel wäre die Definition des erwünschten Abstands zum vorausfahrenden Fahrzeug, ab dem ein ACC reagiert. Dieses so genannte Gap-Setting kann der Fahrer mithilfe von Fingergesten auf der Oberfläche des Touchpads steuern – und im AR-HUD könnte der Fahrer dies direkt im relevanten Kontext nachverfolgen. Eine solche funktionale Verbindung von AR-HUD und Touchpad birgt großes Potenzial für ein ganzheitliches HMI.

Bild 9: Bedienen per Fingergeste: Das neue Touchpad.Continental

Höhere Integration durch Virtualisierung

Mit den neuen Anforderungen an künftige HMI-Strategien ergeben sich auch Fragen dahingehend, wie man geeignete HMI-Lösungen künftig auf der Ebene der Software und Hardware umsetzt. Eine treibende Kraft für neue Integrationskonzepte ist die zunehmende Heterogenität der Software-Welten im Fahrzeugcockpit. Aktuell koexistieren unmittelbar fahrrelevante Anwendungen mit sehr hohen Anforderungen an Echtzeiteigenschaften, Zuverlässigkeit und Verfügbarkeit einerseits mit sehr mächtigen Software-Welten andererseits, deren Stärke in einem enormen Funktionsreichtum und der Verarbeitung großer Datenvolumen besteht. Übersetzt man diese Anforderungen in typische Betriebssysteme, so stehen sich im Cockpit so verschieden Welten wie Autosar und Linux gegenüber. Die heutige Partitionierung in zwei getrennte Steuergeräte (Kombi-Instrument und Head-Unit) geht auf deren unterschiedliche Anforderungen zurück. Mit dem Einzug der mobilen Endgeräte ins Auto kommt jetzt noch die Welt des Android-Betriebssystems und seiner enormen Entwicklungsdynamik hinzu. Weil die Grenzen zwischen den einzelnen Betriebssystemen und deren Anwendungen im Cockpit immer mehr verschwimmen, stellt sich die Frage nach der künftigen Partitionierung.

Bild 10: Eine höhere Integration im Cockpit kann ganzheitliche HMI-Konzepte unterstützen.Continental

Grundsätzlich sind zwei Lösungswege denkbar: Zum einen ließe sich gemäß der bisherigen Integrationsstrategie ein drittes Steuergerät (ECU) ins Fahrzeug einfügen, das vorrangig die Android-Welt aufnimmt und kapselt. Auf diese Weise lassen sich unterschiedliche Betriebssysteme parallel nutzen, ohne dass sie sich gegenseitig beeinflussen. Zum anderen ließe sich die erfolgreiche Strategie einer zunehmend höheren Integration fortsetzen. Die technischen Voraussetzungen dafür sind inzwischen in Form von leistungsfähigen und wirtschaftlichen Multicore-CPUs sowie durch Hypervisor-Software zur Virtualisierung einer einzigen Hardware gegeben. Anstelle der physischen Partitionierung in mehrere Hardware-Einheiten stellt hier die Hypervisor-Software die sichere Trennung der Betriebssysteme sicher (Bild 10).

De facto haben beide Konzepte ihre Berechtigung: In High-End-Fahrzeugen, bei denen die hohe Ausstattung und der große Funktionsreichtum dazu führen, dass die einzelnen Cockpit-Steuergeräte bereits hoch ausgelastet sind, bietet sich eine höhere Integration mit Hypervisor-Technologie eher nicht an. In kompakteren Fahrzeugen dagegen, die in ihrem Funktionsumfang eher durch Software skaliert werden als durch Hardware-Unterschiede, eröffnet die höhere Integration in einer Interior-ECU mit Virtualisierung neue Potenziale, die unmittelbar relevant für ein ganzheitliches HMI sind.

Der größte Einzelvorteil der Virtualisierung mittels Hypervisor liegt darin, dass sich ausgereifte Systemwelten unverändert im Auto nutzen lassen und dabei sicher zwischen zertifizierten/sicheren und nicht zertifizierbaren/unsicheren Welten getrennt werden kann. In Verbindung mit einer ganzheitlichen HMI-Strategie lässt sich die Domänenintegration gezielt nutzen. Solange die einzelnen Software-Welten nämlich getrennt existieren und starr verschiedenen Displays zugeordnet werden, muss der Fahrer die Integration selbst leisten. Dazu muss er sich je nach Software-Welt, die er gerade bedient, an das Bedienkonzept anpassen. Diese geistige Eigenleistung steht in Konkurrenz zur Konzentration auf die Fahraufgabe. Deshalb scheint es angesichts der Zahl an elektronischen Systemen im Fahrzeug geboten, dem Fahrer diese Anpassungsleistung abzunehmen. Der Mensch am Steuer tut sich wesentlich leichter, wenn er oder sie bei jeder Bedienung und bei jeder Systemnutzung nach denselben einheitlichen Prinzipien vorgehen kann.

Wie eine technische Umsetzung dieses Grundgedankens aussehen kann, hat Continental 2014 erstmals auf der Messe International CES in Las Vegas gezeigt. Der dort vorgestellte Demonstrator integriert auf einer einzigen Hardware Autosar-, Linux- und Android-Anwendungen. Für die Aufteilung der Kerne auf der verwendeten Multicore-CPU dient die Hypervisor-Softwareschicht des Echtzeitbetriebssystems PikeOS von Sysgo.

Ausblick

Sowohl das Mobilitätsverhalten als auch die Erwartungshaltung von Autofahrern ändern sich. Fahrzeuge werden immer stärker ein Teil der vernetzten Welt. Hier ist die normative Kraft des Faktischen am Werk. Mit dieser Formulierung bezeichnete der Rechtsgelehrte Georg Jellinek Gewohnheiten des täglichen Lebens, die eine Realität schaffen, die ihrerseits Handlungsbedarf erzeugt – und das nicht nur auf der gesetzgeberischen Seite. Um Missbrauch und problematische Formen von Sekundäraufgaben am Steuer vermeiden zu können, bietet ein ganzheitliches HMI neue Lösungswege.

Multimodale Bedienung, eine situativ optimale Anzeige von Inhalten, ein neues Interaktionskonzept mit dem Fahrer, Innenraumkameras, neue Anzeige- und Bediengeräte (beispielsweise Halo, AR-HUD und Touchpad) sind Bestandteile zukünftiger HMI-Strategien. Einerseits entlasten sie den Fahrer, indem sie immer umfangreichere Systeme und heterogene Systemwelten ergonomisch bedienbar machen. Andererseits schafft ein ganzheitliches HMI grundlegende Voraussetzungen für Zukunftstrends wie das hochautomatisierte Fahren. Um ein sicheres, effektives und für den Fahrer angenehmes Fahrerlebnis anbieten zu können, berücksichtigt ein ganzheitliches HMI die Umgebung des Fahrzeugs, die Bedürfnisse des Fahrers, seine Verfassung und seine Präferenzen. Ein solcher Dialog zwischen Mensch und Maschine wird in Zukunft immer mehr eine Grundvoraussetzung dafür sein, dass beispielsweise leistungsfähige Assistenzsysteme und das automatisierte Fahren ihren vollen Nutzen entfalten können. Eine wesentliche Schlüsselstellung dafür nimmt die Mensch-Maschine-Schnittstelle ein.