In-Cabin-Sensing: Systeme, Sensoren und KI

In-Cabin-Sensing beschreibt das Zusammenspiel von Fahrerüberwachung, Insassenüberwachung und weiteren Komfort- oder Gesundheitsfunktionen. Es wird üblicherweise in Fahrerüberwachungssysteme, Driver Monitoring Systems (DMS), und Insassenüberwachungssysteme, Occupant Monitoring Systems (OMS), unterteilt. DMS überwacht den Zustand des Fahrers, OMS konzentriert sich auf die Erfassung der Fahrzeuginsassen. Dabei können folgende Informationen ausgewertet werden:

Kamera-, Radar-, 3D- und Umweltsensoren im Innenraum

Um die Sicherheit und den Komfort für alle Insassen garantieren zu können, sind mittlerweile mehrere Sensoren im Innenraum notwendig: Kameras, Radar, 3D-Sensoren und Umweltsensoren.

Driver Monitoring Systems (DMS):

• Schläfrigkeit und Müdigkeit: Blinkrate, PERCLOS (Prozentsatz des Augenlidverschlusses), Häufigkeit des Kopfnickens

• Ablenkung: Blickvektor im Vergleich zu Straßenobjekten, Dauer des Blicks abseits der Straße, Smartphone-Nutzung

• Kognitive Belastung: Korrelation der Blickstreuung, Pupillenerweiterung, Mikroexpressionen, Variabilität der Lenkeingaben

• Fahreridentität und Verhaltensprofil: Gesichtserkennung zur Personalisierung, biometrische Basis-Signaturen

• Vitalzeichen: Herzfrequenz, Atmung, Mikrobewegungen und Hautleitfähigkeit

Occupant Monitoring Systems (OMS):

• Sitzbelegung: Anzahl der Passagiere, Sitznutzung, Sicherheitsgurtnutzung, ISOFIX-Kindersitze

• Haltung und Position: Neigungswinkel, Richtung des Vorbeugens, Out-of-Position-Haltungen

• Vitalzeichen: Herzfrequenz, Atmung, Mikrobewegungen 

  
  

Welche Vorgaben treiben Fahrerüberwachung voran?

Wegen regulatorischer Vorgaben dürfte DMS künftig verpflichtend werden. Vorschriften wie die Advanced Driver Distraction Warning (ADDW) und die General Safety Regulation (GSR) erhöhen die Bedeutung von In-Cabin-Sensing, insbesondere von Fahrer- und Insassenüberwachungssystemen. In Europa ist die Driver Drowsiness and Attention Warning, kurz DDAW, seit 2022 regulatorisch verankert. Für die Advanced Driver Distraction Warning, ADDW, gelten weitere Anforderungen.

Die Euro-NCAP-Bewertung verstärkt den Druck zusätzlich. Sie betrachtet neben Geschwindigkeitsassistenz, Spurhaltesystemen und Notbremsfunktionen auch die Zustandsüberwachung der Insassen. Dabei unterscheidet Euro NCAP zwischen Regelverstößen wie zu hoher Geschwindigkeit oder Fahren unter Alkohol- beziehungsweise Drogeneinfluss und menschlichen Fehlern wie Unaufmerksamkeit, Müdigkeit, Ablenkung oder mangelnder Erfahrung.

NIR- und RGB-Kameras für Driver Monitoring

Anfang 2025 war die Kombination aus NIR- und RGB-Kamera die führende DMS-Technologie, da Nahinfrarotlicht den Fahrer nicht ablenkt. In Verbindung mit Computer-Vision-Software können diese Systeme Merkmale wie Augenlidbewegungen und Blickrichtung erfassen und dadurch Hinweise auf Müdigkeit oder Ablenkung erkennen. Darüber hinaus können sie Gesichter erfassen und unter bestimmten Voraussetzungen Personen identifizieren. Zu den zentralen Anwendungen zählen die Erkennung von Ablenkung und Müdigkeit. Gleichzeitig können kamerabasierte Systeme Datenschutzbedenken auslösen, weil sie bildbasierte Informationen über Fahrer und Insassen verarbeiten.

NIR-Kameras bestehen aus zwei wesentlichen Komponenten: einer NIR-Beleuchtung, üblicherweise einer LED, strahlt Licht in den Innenraum oder gezielt auf das Gesicht. Das reflektierte Licht wird von einem IR-Bildsensor erfasst. Dieser NIR-Bildsensor besteht meist aus Silizium für kürzere Wellenlängen oder InGaAs für den erweiterten NIR-Bereich. Über den inneren photoelektrischen Effekt wandelt der Sensor die Strahlung in elektrische Signale um. Auf diese Weise lassen sich Pupillenbewegungen, Blinzelfrequenz, Dauer des Lidschlusses, offene oder geschlossene Augen, Blickrichtung und Kopfposition bestimmen.Der IR-Bereich beginnt oberhalb des sichtbaren Spektrums bei etwa 780 nm und reicht bis rund 15.000 nm. Weil Menschen diese Strahlung nicht sehen, lässt sich das Gesicht des Fahrers kontinuierlich beleuchten, ohne ihn abzulenken. Die Systeme funktionieren weitgehend unabhängig vom sichtbaren Umgebungslicht. NIR kann Augen häufig auch durch Brillen oder Sonnenbrillen hindurch erkennen.

Radarbasierte In-Cabin-Monitoring-Systeme implementieren

Mit dem Euro-NCAP-Protokoll 2026 wird die Kinderanwesenheitserkennung für höchste Sicherheitsbewertungen verpflichtend. Radarbasierte Lösungen wie ACAM von Novelic, entwickelt mit optimierten Embedded-Software-Tools von HighTec, zeigen, wie sich diese Anforderungen umsetzen lassen.

Mario Cupelli

Jure Galic

IR-Kameras gelten als reife Technik. Sie bieten eine hohe Bildauflösung, geringe Kosten und eine zuverlässige Funktion bei Tag und Nacht. Ihr Nachteil besteht darin, dass sie von sich aus keine Tiefeninformation liefern. Diese kann inzwischen teilweise über KI-Algorithmen geschätzt werden. In Europe wird im Durchschnitt gegen Ende 2026 oder Anfang 2027 etwa eine IR-Kamera pro Neufahrzeug vorhanden sein. China und die USA folgen einem ähnlichen, jedoch regional unterschiedlich schnellen Verlauf. Gegen Ende des Jahrzehnts sollen nahezu alle neuen Fahrzeuge in China und mehr als 80 Prozent der Neuwagen in den USA mit einer IR-Kamera ausgestattet sein.

Ereignisbasierte Kameras bilden eine aufkommende Alternative. Sie erfassen nur Veränderungen beziehungsweise Augenbewegungen, statt jedes vollständige Bild auszuwerten. Das verspricht geringere Latenz und niedrigeren Energieverbrauch. Die Technologie wurde zunächst für einzelne Industrieanwendungen kommerzialisiert und könnte perspektivisch auch in ADAS und Eye-Tracking eingesetzt werden.

Als weitere Alternative erzeugen laserabtastende MEMS-Systeme optische Pulse und verfolgen deren Reflexion am Auge. Dadurch lassen sich Augenbewegungen erfassen. Das Verfahren soll geringere Latenzen als klassische Kameras ermöglichen. Ein sehr frühes Forschungskonzept nutzt außerdem extrem empfindliche kapazitive Sensoren. Prototypen aus dem Umfeld der University of Washington sollen Augenbewegungen ohne Optik erkennen. Als Sensormaterial werden in Papier ausgerichtete Kohlenstoffnanoröhren verwendet. Optisch gepumpte Magnetometer stellen eine neuere Entwicklung dar. Sie arbeiten bei Raumtemperatur und können in Helme integriert werden, wodurch sich der Hautabstand verringert und die Auflösung verbessern lässt.

Kapazitive Sensorik für die Hands-on-Erkennung

Neben der Müdigkeitserkennung spielt die Hands-on-Erkennung, kurz HOD, eine wichtige Rolle. Herkömmliche HOD-Systeme verwenden Lenkmomentsensoren. Meist erfassen diese eine geringe Verdrehung einer Torsionswelle in der Lenksäule. Je nach Sensortyp geschieht das beispielsweise magnetisch, induktiv oder optisch. Aus der gemessenen Verdrehung berechnet die Elektronik das anliegende Drehmoment samt Drehrichtung. Allerdungs neigen diese Sensortypen zu Fehlinterpretationen. Daher kommen zunehmend kapazitive Berührungssensoren zum Einsatz, die eine bessere Erkennungsleistung bieten.

Das kapazitive Verfahren erkennt die Änderung der eleSktrischen Kapazität des Lenkrads, wenn eine Hand die Oberfläche berührt. Da der menschliche Körper elektrische Ladung beeinflusst, kann das System den Kontakt direkt erfassen. Dafür genügt ein Sensorchip, der mit einem in das Lenkrad integrierten Sensorelement verbunden ist. Der Aufbau umfasst eine Sensorelektrode, eine isolierende Zwischenschicht, eine Guard-Elektrode und den Lenkradkranz. Die Elektroden erzeugen definierte Erfassungsrichtungen und sollen Störeinflüsse reduzieren. Bis 2023 gab es bereits Pilotprojekte und einzelne Serienfahrzeuge mit kapazitiven Sensoren in Lenkrädern oder Sitzen. Um die Kosten zu senken, kombinieren viele Automobilhersteller NIR- und RGB-Kameras allerdings weiterhin mit Lenkmomentsensoren. Beide Komponenten werden bereits für andere Fahrzeugfunktionen benötigt, sodass keine zusätzlichen kapazitiven Sensoren erforderlich sind.  Elektrokardiografie-Sensoren könnten theoretisch ebenfalls in ein Lenkrad integriert werden, um etwa den Herzschlag zu erfassen.

Ungeplante Bedarfe kurzfristig decken

Neben Händler ist Conrad auch Plattform, Partner und High Service Distributor, und zwar in Deutschland und europaweit. Kurzfristig liefern, wenn ungeplante Bedarfe entstehen? Wie genau das aussehen kann, zeigt die Zusammenarbeit mit dem österreichischen Technologieunternehmen 4activeSystems, kurz 4a.

Sabine Synkule

Es gibt auch verschiedene Arten von Umweltfaktoren, deren Messung Anwendung innerhalb des Fahrzeugs finden; das Spektrum reicht hierbei von der Luftqualität über Rauch und Dampf bis zu giftigen Chemikalien wie VOCs, aber auch zu Alkohol und Drogen.

Luftqualität und CO₂-Gehalt wirken sich auf die Konzentrationsfähigkeit des Fahrers aus. Rauchen oder Vapen lenkt den Fahrer möglicherweise ab, sorgt für schlechte Luftqualität und beeinträchtigt die Sauberkeit des Fahrzeugs. Giftige Chemikalien oder Gase können dazu führen, dass der Fahrer nicht mehr in der Lage ist, das Fahrzeug sicher zu fahren. Alkohol- oder Drogeneinfluss beeinträchtigt den Fahrer und gefährdet die Sicherheit aller Verkehrsteilnehmer.

Um gefährdende Umweltfaktoren frühzeitig zu erkennen, arbeiten Zulieferer und Automobilhersteller an entsprechenden Sensoren. Fahrzeuge sollen zukünftig mit einem digitalen Geruchssinn ausgestattet werden, der aus verschiedenen Sensoren wie standardmäßigen photoelektrischen Rauchmeldern und Sensoren zur Erkennung von Chemikalien mithilfe von Nanofasern bestehen soll.

Radar und ToF für die Insassenüberwachung

OMS ist in der Regel nicht gesetzlich vorgeschrieben. Dennoch integrieren viele Automobilhersteller zur Insassenüberwachung Sensoren wie Radar oder Time-of-Flight-Kameras.

Radarmodule eignen sich dafür, zurückgelassene Personen oder Tiere zu erkennen oder Vitalparametern der Insassen, beispielsweise Herz- und Atemfrequenz zu überwchen. Sie senden hochfrequente elektromagnetische Wellen in den Fahrzeuginnenraum und bestimmen die Phasenverschiebung zwischen der ausgesendeten Welle und der Reflexion. Über den Doppler-Effekt lassen sich Atmung und Herzschlag bestimmen, denn selbst sehr kleine Bewegungen des Brustkorbs verändern die Phase beziehungsweise Frequenz des reflektierten Signals.

Die EntfernunSgsauflösung verbessert sich mit zunehmender Bandbreite. Ein In-Cabin-Radar mit vier Gigahertz Bandbreite erreicht gegenüber einem System mit 0,25 GHz eine etwa 16-fach bessere Auflösung. Innenraumradar arbeitet meist bei 60 GHz. In den USA erlaubt die FCC einen Frequenzbereich von 57 bis 64 GHz, wodurch sich mehrere Gigahertz Bandbreite nutzen lassen. Einige Kurzstreckenradare arbeiten noch im unlizenzierten 24-GHz-Band, das lediglich etwa 0,25 GHz Bandbreite bietet.

Was macht Radar zur Schlüsseltechnologie der Zukunft?

Radartechnologie hat sich von einem militärischen Ortungssystem zur Schlüsseltechnologie aktueller Industrieanwendungen entwickelt. Ob in Fahrzeugen, der Prozessautomatisierung oder im Gesundheitswesen – Radar liefert präzise Daten unter extremen Bedingungen.

Welche Vorteile bietet 60-GHz-Radar im Innenraum?

Ein wesentlicher Vorteil des 60-GHz-Radars besteht darin, dass es nicht zwingend freie Sicht benötigt. Die Strahlung kann bestimmte Materialien und Fahrzeugsitze durchdringen. Dadurch lässt sich beispielsweise ein Kind in einem rückwärtsgerichteten Kindersitz erkennen, selbst wenn eine Kamera keine direkte Sicht auf den Körper hat. Ein Nachteil gegenüber NIR- und RGB-Bildgebung ist die geringe räumliche Bildqualität. Außerdem sind Radarmodule vergleichsweise teuer, weshalb sie bislang vor allem in Fahrzeugen der Mittel- und Oberklasse zum Einsatz kommen. Ende 2024 kostete ein Innenraumradar laut Webinar etwa 30 bis 40 US-Dollar. Dieser Preis resultierte vor allem aus den noch vergleichsweise niedrigen Stückzahlen. Mit wachsender Verbreitung sollen die Kosten sinken und sich langfristig dem Niveau von ADAS-Radaren annähern.

Calterah bringt Imaging-Radar in Europas Fahrzeuge

Mit Radarlösungen und einem Fokus auf europäische Anforderungen etabliert sich Calterah als technologieorientierter Partner für OEMs und Zulieferer. Peter Wiese, Managing Director bei Calterah, gibt Einblicke in Strategie, Technologien und Marktzugang.

ToF-Kameras können mit bestimmten lichtdurchlässigen Materialien besser umgehen als klassische IR-Kameras. Sie besitzen meist ein größeres Sichtfeld als IR-Kameras und liefern präzise Tiefeninformationen. Dazu sendet die Kamera meist Infrarotlicht aus und erfasst, wie lange es dauert, bis das reflektierte Licht zum Sensor zurückkehrt.

Wie ergänzt KI das In-Cabin-Sensing?

Ein aktueller zentraler Trend ist die Verbindung von In-Cabin-Sensing mit KI, intelligenten Funktionen und Infotainment. Weil Fahrzeughersteller ohnehin IR-Kameras zur Blickerfassung integrieren, suchen sie nach zusätzlichen Anwendungen, mit denen sich die Sensorhardware besser ausnutzen oder monetarisieren lässt.

Eine naheliegende Funktion ist die Identifikation des Fahrers. Nach dem Einsteigen lädt das Fahrzeug automatisch Sitzposition, Spiegelstellung, Klimatisierung, Radiosender und weitere persönliche Einstellungen. Solche Funktionen lassen sich vergleichsweise einfach als kostenpflichtige Ausstattung anbieten.

Mit der Integration in vernetzte und softwaredefinierte Fahrzeuge werden komplexere Dienste möglich. Das Fahrzeug könnte anhand von Sitzdruckdaten Verschleiß prognostizieren und selbstständig einen Servicetermin buchen. Bei Elektrofahrzeugen könnten Kalenderinformationen, Ladezustand und erkannte Anzeichen von Reichweitenangst genutzt werden, um Ladestopps vorzuschlagen. Versicherungsprämien könnten anhand von Daten zur Aufmerksamkeit des Fahrers dynamisch angepasst werden. Im Bereich Gesundheit und Wohlbefinden sollen IR-Sensoren und KI biometrische Informationen wie Herzratenvariabilität, Atmung und Ermüdung analysieren.

Generative KI soll außerdem emotional intelligentere Mensch-Maschine-Schnittstellen ermöglichen. Erkennt das Fahrzeug Frustration anhand von Griffdruck oder Stimme, könnte es eine alternative Route anbieten. Bei hohem Stress könnte die Benutzeroberfläche vereinfacht und die Kommunikation angepasst werden. Denkbar sind auch Systeme, die aus Augenbewegungen emotionale Zustände ableiten und daraufhin bevorzugte Routen, Musik oder Podcasts empfehlen.

Besonders weit reichen die Überlegungen zur Datenmonetarisierung. Hersteller könnten aggregierte Müdigkeitsmuster an Flotten- und Logistikunternehmen verkaufen. Anonymisierte Blickverläufe könnten für Verkehrsplanung und Straßenraumgestaltung genutzt werden. Im Einzelhandel wären personalisierte Werbeangebote denkbar, wenn Insassen bestimmte Produkte oder Marken länger betrachten. (bs)