Wie Auto-Innenraumsysteme eine neue Kontextebene schaffen

Gesetzlich vorgeschriebene Erkennungssysteme zur Fahrermüdigkeit oder -Ablenkung und zukünftige Euro NCAP-Anforderungen wie das Erkennen unbeaufsichtigter Kinder (Child Presence Detection, CPD) sorgen dafür, dass Kamera- und Radarsensoren nicht länger nur die Umgebung um das Auto herum analysieren, sondern auch den Fahrzeuginnenraum. S&P Global prognostiziert ein 3,5-faches Wachstum der Verbreitung von Innenraumsensoren im Zeitraum von 2024 bis 2032. Magna entwickelt verschiedene Möglichkeiten, wie sich mit integrierten Innenraumsensorsystemen (Interior Sensing Systems, ISS) neue Fahrzeugfunktionen realisieren und vorhandene Fahrerassistenzfunktionen (Advanced Driver Assistance System, ADAS) weiter verbessern lassen.

Integrierte Innenraumsysteme

Zu den im Fahrzeuginnenraum eingesetzten Sensoren zählen (Farb-)Infrarotkameras bzw. Time-of-Flight-Kameras, die auf den Fahrer (und Beifahrer) oder die hintere Sitzreihe gerichtet sind, im Fahrzeugdach montierte Radarsensoren, Ultraschallsensoren sowie biometrische Sensoren, die in das Lenkrad, den Sitz oder andere Kontaktpunkte integriert sind. Auch Gewichts- und Druckmatten in den Sitzen zählen zu den Innenraumsensoren, die entweder für zusätzliche Redundanzen sorgen oder aus Kostengründen durch Radar- und Kamerasensoren mittelfristig ersetzt werden können. Folgende Informationen können über Innenraumsensoren ausgewertet werden:

Fahrer

• Schläfrigkeit und Müdigkeit: Blinkrate, PERCLOS (Prozentsatz des Augenlidverschlusses), Häufigkeit des Kopfnickens
• Ablenkung: Blickvektor im Vergleich zu Straßenobjekten, Dauer des Blicks abseits der Straße, Smartphone-Nutzung
• Kognitive Belastung: Korrelation der Blickstreuung, Pupillenerweiterung, Mikroexpressionen, Variabilität der Lenkeingaben
• Fahreridentität und Verhaltensprofil: Gesichtserkennung zur Personalisierung, biometrische Basis-Signaturen
• Vitalzeichen: Herzfrequenz, Atmung, Mikrobewegungen und Hautleitfähigkeit

 Insassen

• Sitzbelegung: Anzahl der Passagiere, Sitznutzung, Sicherheitsgurtnutzung, ISOFIX-Kindersitze
• Haltung und Position: Neigungswinkel, Richtung des Vorbeugens, Out-of-Position-Haltungen
• Vitalzeichen: Herzfrequenz, Atmung, Mikrobewegungen 

Diese zusätzliche Auswertung der im Fahrzeuginnenraum integrierten Sensoren kann in Zukunft als weitere Kontextebene in der Entscheidungsfindung von ADAS-Funktionen genutzt werden. Die Umgebungserkennung der externen Sensoren wird um ein umfassendes Verständnis über Fahrer und Insassen ergänzt und in die ADAS-Entscheidungen einbezogen. Dazu werden zunächst die Signale der ISS-Sensoren fusioniert. Im „Interior Fusion Layer“ werden die Daten digitalisiert, synchronisiert und miteinander abgeglichen. Beispielsweise finden eine zeitliche Synchronisierung und Kalibrierung der heterogenen Signale aus Sensoren mit unterschiedlichen Bildraten statt (z. B. Kamerabilder mit 30 FPS und Radardaten mit 10 Hz). Gleichzeitig analysieren KI-basierte Algorithmen die Signale und gleichen sie miteinander ab. In Echtzeit werden die relevanten Merkmale aus den Sensordaten extrahiert, wie Blickvektoren, Kopfhaltung, Herzfrequenzvariabilität oder Sitzposition. Machine-Learning-Modelle interpretieren diese Daten: Der Fahrer ist aufmerksam oder müde, ein Insasse befindet sich außerhalb der optimalen Sitzposition zum Airbag (Out-of-Position). Diese Information wird zusammen mit den Zuverlässigkeitswerten an den ADAS-Domain-Controller geschickt.

 Im ADAS-Domain-Controller werden diese Informationen (z. B. der Fahrer ist abgelenkt) mit den Daten der externen Fahrzeugsensoren und Kartenmaterial fusioniert. Idealerweise findet die Datenfusion auf heterogenen SoCs (CPU + GPU + KI-Beschleuniger) mit integrierten Mechanismen zur Überwachung der funktionalen Sicherheit statt, um eine deterministische Steuerung zu erzielen. Allerdings variiert die Prozessorkapazität je nach Fahrzeugklasse. Bei Einstiegsmodellen mit nur einer Innenraumkamera kann die Datenfusion auf einem Microcontroller in der Kameraeinheit stattfinden, die dann die Fusionsergebnisse per CAN-Signal an die ADAS-Domain-Controller weiterleitet, um sie dort in der Entscheidungsalgorithmik zu berücksichtigen. Bei Premiumfahrzeugen, insbesondere bei Software-defined Vehicles (SDV), kommen multimodale Sensoren zum Einsatz, deren Daten in zonalen Steuergeräten ausgewertet werden, bevor sie an einen zentrale ADAS-Domain-Controller geschickt werden. Dieses Zentralsteuergerät ist in der Regel mit einem GPU-/KI-Beschleuniger ausgestattet, um die komplexen Berechnungen und Datenfusionen effizient durchzuführen.

Verbesserungen von ADAS-Funktionen & automatisiertem Fahren

Bislang haben ADAS-Funktionen lediglich die Fahrzeugumgebung in ihre Entscheidungsprozesse einbezogen. Mit den ISS-Daten bekommen sie jetzt Echtzeit-Einblicke in die Aufmerksamkeit des Fahrers, das Verhalten der Insassen und die Bedingungen im Innenraum. Damit erweitert sich das Kontextbewusstsein der ADAS-Algorithmen, sodass Situationen besser interpretiert werden können und die Systeme sicherer werden. Bild 3 zeigt eine Verkehrssituation, in der der Fahrer die Fußgänger auf der Straße erkennt, der von links kommende Fahrradfahrer allerdings außerhalb seines Blickfelds ist. Werden interne und externe Sensordaten fusioniert, weiß die ADAS-Funktion, dass die Kreuzung zwei potenzielle Gefahrenquellen beinhaltet und der Fahrer nur eine davon erkannt hat. Je nach Systemauslegung kann eine gezielte Warnung an den Fahrer zur Erkennung einer potenziellen Kollision erfolgen, oder ADAS-Funktionen wie die automatisierte Notbremsfunktion (AEB) eingreifen und zum Beispiel auch vorbeugende Insassenschutzmaßnahmen wie eine Gurtstraffung vorgenommen werden.

Weitere Beispiele für die Auslegung von ADAS-Funktionen unter Beachtung der aktuellen Aufmerksamkeit des Fahrers sind: Lässt er seinen Blick schweifen, können die Warnungen des Spurhalteassistenten verstärkt werden, ist er hingegen aufmerksam, können die Warnungen unterdrückt werden. Eine AEB kann bei einem abgelenkten Fahrer früher eingreifen als bei einem aufmerksamen. Wirkt der Fahrer müde, kann die adaptive Geschwindigkeitsregelung den Abstand zu den vorausfahrenden Fahrzeugen vergrößern.

Für automatisierte Fahrfunktionen ab Level 2+, bei denen die Hände unter bestimmten Bedingungen vom Lenkrad genommen werden dürfen (Hands-off), gibt es mittlerweile gesetzliche Regularien, welche eine Überwachung der Fahreraufmerksamkeit und dessen Blick auf die Straße erfordern. Denn die Fahrerüberwachung (Driver Monitoring System, DMS) stellt sicher, dass dieser in der Lage ist, die Steuerung des Fahrzeugs wieder selbst zu übernehmen und hilft dabei, die Übergabeprozesse zu gestalten. Mehrere Innenraumsensoren sorgen für zusätzliche Redundanzen: Eine Kamera beobachtet, was der Fahrer während der Hands-off-Phasen macht, während ein Radarsensor dies mit der Überwachung seiner Vitalzeichen bestätigt. Abhängig davon, wie zukünftige Gesetze zur Verantwortung bei autonomen Fahrzeugen aussehen, kann auch die Insassenüberwachung wichtig werden, falls Passagiere als Rückfallebene bei Robotaxis vorgesehen werden.

Zusätzlich ermöglichen integrierte Innenraumsensorsysteme auch neue ADAS-Funktionen:

• Kognitiv adaptive Mensch-Maschine-Schnittstelle (HMI): Warnungen und Benachrichtigungen werden an die kognitive Auslastung des Fahrers in der aktuellen Situation angepasst, um die Interaktion zwischen Fahrzeug und Fahrer zu verbessern. Dazu werden Augenbewegungen, Mimik und physiologische Signale wie Herzfrequenzvariabilität KI-gestützt und in Echtzeit interpretiert, um das aktuelle Stresslevel des Fahrers zu bestimmen. Das adaptive Warnsystem passt daraufhin die Häufigkeit, Intensität und Modalität (z. B. akustisch, visuell oder haptisch) von Warnungen dynamisch an. Beispielsweise kann das System bei einem hochkonzentrierten Fahrer die nicht-kritischen Benachrichtigungen reduzieren, um ihn nicht unnötig abzulenken.

• Adaptiver Unfallschutz: Mithilfe der ISS-Daten können vor einer Kollision die Rückhaltesysteme wie Airbags und Gurtstraffer in Echtzeit an die tatsächliche Sitzposition und Statur der Insassen angepasst werden. Lehnt sich beispielsweise ein Passagier nach vorne, kann die Spannung des Sicherheitsgurts erhöht werden, um ihn effektiver zu sichern. Auch Out-of-Position-Fälle können berücksichtigt werden: Hat der Beifahrer zum Beispiel seine Füße auf dem Armaturenbrett liegen, kann ihn ein normal auslösender Airbag im Zweifelsfall mehr schaden als helfen.

• Medizinische Notfallintervention: Sensoren, die in das Lenkrad, den Sitz oder andere Kontaktpunkte integriert sind, können kontinuierlich die Vitalzeichen des Fahrers überwachen. Wird dabei ein medizinischer Notfall (z. B. Herzrhythmusstörungen oder Bewusstlosigkeit) erkannt, kann das System die autonome Steuerung initiieren, um das Fahrzeug sicher zum Stillstand zu bringen. Auch die Warnung der anderen Verkehrsteilnehmer durch die Warnblinkanlage, das Lenken des Fahrzeugs an den Straßenrand sowie das Kontaktieren von Rettungsdiensten sind möglich.

• Erkennung unbeaufsichtigter Kinder (CPD): In den USA sterben laut der Organisation „Kids and Car Safety“ jährlich fast 40 Kinder an den Folgen von Hitzschlägen in überhitzten Autos. Initiativen in den USA und Euro-NCAP fordern deshalb den Einsatz von CPD-Systemen: Kamera-, Radar- und Gewichtssensoren in den Sitzen können überwachen, ob sich Insassen im Fahrzeug befinden und anhand von Gewicht und Größe ein Kind klassifizieren. Beim Parken kann das System durch den Fahrzeugzustand, wie abgeschlossene Türen und abgeschalteter Motor, feststellen, ob ein Kind unbeaufsichtigt zurückgelassen wurde. Wird ein Kind im Fahrzeug erkannt, nachdem der Fahrer ausgestiegen ist, löst das System Warnungen z.B. über das HMI des Fahrzeugs aus. Möglich ist auch das Kontaktieren von Rettungsdiensten, wenn innerhalb eines bestimmten Zeitrahmens nicht auf die Warnungen reagiert wird.

ISS-Technologien für mehr Sicherheit und Personalisierung

Integrierte Innenraumsensorsysteme helfen den Fahrzeugherstellern nicht nur bei der Erfüllung gesetzlicher Vorschriften und Anforderungen von NCAP-Ratings, sie sind auch für die Markendifferenzierung entscheidend. Gerade der Fokus auf Sicherheit und zuverlässige Systeme hat in einigen Märkten eine hohe Bedeutung. Gleichzeitig können ISS-Daten dazu beitragen, die Akzeptanz von ADAS-Systemen und dadurch die Kundenbindung zu verbessern. Denn die gesammelten Daten können zur kontinuierlichen Verbesserung und Anpassung von Fahrzeugfunktionen und -leistungen genutzt werden, um den Bedürfnissen und Vorlieben der Fahrer besser gerecht zu werden und Systeme zu personalisieren.

Durch den hohen Komplexitätsgrad der Integration von ADAS und ISS profitieren OEMs von einem Systemlieferanten. Magna ist als Tier-1-Zulieferer sowohl für Innenraumsensoren als auch für externe ADAS-Sensoren mit umfangreicher Erfahrung in der Sensordatenfusion und Gesamtfahrzeugkompetenz einzigartig aufgestellt. Dieser ganzheitliche Ansatz sorgt für hochqualitative, zuverlässige Lösungen, die den hohen Anforderungen der OEMs und Regulierungsbehörden gerecht werden. Ziel ist dabei eine skalierbare Architektur zu schaffen, die an die verschiedenen Fahrzeugsegmente flexibel adaptiert werden kann. Dazu wird vom Einstiegsmodell bis zum Premiumfahrzeug dieselbe Software verwendet, um Konsistenz in Performance und Zuverlässigkeit zu erzielen. Die Hardware-Architektur hingegen lässt sich über verschiedenste Prozessoren von einfachen Microcontrollern bis hin zu zentralen Domain-Controllern skalieren.

Durch die Kompetenz von kamerabasierten Fahrer- und Insassenüberwachungssystemen und Radarsensoren unter einem Dach, erzeugt Magna ein nahtloses ADAS-System, das kontextbezogene und bessere Entscheidungen treffen kann, um die Fahrzeugsicherheit weiter zu erhöhen. Zum Beispiel im Bereich DMS hat Magna ein einzigartiges System auf dem Markt, das in den Rückspiegel integriert ist. Diese Position ermöglicht einen ungehinderten Blick auf den Fahrer und ein großes Sichtfeld, das auch andere Insassen abdeckt, ohne das Design im Innenraum zu verändern. (na)

Autor

Amit Bhandare, Product Manager - Interior Sensing Systems, Magna