Wie verbessert Künstliche Intelligenz Fahrerassistenzsysteme?

Künstliche Intelligenz (KI) ist in aller Munde. Spätestens mit Chat GPT ist das Thema in der breiten Öffentlichkeit angekommen. Die Automobilindustrie ist schon länger dabei, die Einsatzmöglichkeiten von KI zu analysieren. In den letzten Jahren haben einige Entwicklungen dafür gesorgt, dass diese Nischenaktivität zunehmend in den Fokus rückt. Dazu gehören Investments der großen Chiphersteller, die dafür gesorgt haben, dass KI-Funktionen sowohl in neue, auf KI ausgelegte Chip-Generationen als auch in leistungsstarke Backend-Trainingszentren integriert wurden. Während die Rechenleistung von Graphikprozessoren früher sehr begrenzt war, sind diese heute riesige Trainingsmaschinen, in deren Weiterentwicklung kontinuierlich investiert wird.

Aber auch Bereiche wie Internet-of-Things und Open-Source-Communities haben dazu beigetragen, dass es heutzutage viele Ingenieure gibt, die sich zunächst in ihrer Freizeit mit KI-Themen beschäftigt haben und jetzt über die notwendigen Erfahrungen verfügen, die Technologien zu verstehen. Die Kompetenzen im Bereich KI sind gestiegen und gleichzeitig wurden einige Probleme im Entwicklungsprozess gelöst. Beispielsweise sind Techniken wie Unsupervised Learning weniger anfällig für Verzerrungen in der Trainingsphase, leichter zu verstehen und zu belegen.

All das sorgt dafür, dass der Zeitpunkt noch nie so günstig war, die Vorteile von KI auch in der Fahrzeugentwicklung zu nutzen. Magna gibt im Folgenden einen Überblick über Einsatzmöglichkeiten von KI im Bereich Fahrerassistenzsysteme (Advanced Driver Assistance Systems – ADAS).

KI in der Entwicklung von ADAS

Der Anteil an Softwarefunktionen in den Fahrzeugen steigt kontinuierlich. Es gibt stetig mehr Komfort- und Sicherheitsfunktionen. Dies sorgt für eine steigende Komplexität, aber auch für höhere Entwicklungskosten und Validierungsaufwände. Die Kombination aus Sensoren am Fahrzeug und im Fahrzeuginnenraum zusammen mit der steigenden Vernetzung und V2X-Kommunikation (Vehicle-to-Everything) führt nicht nur zu einer höheren Komplexität der Systeme, sondern zu einer riesigen Datenmenge. KI kann dabei unterstützen, die Performance und Zuverlässigkeit der Funktionen zu verbessern und mehr Informationen aus den bereits vorhandenen Daten zu gewinnen.

Fahrerassistenzsysteme benötigen Sensoren zur Umgebungserkennung als Input für die verschiedenen ADAS-Funktionen (wie automatische Notbremsung oder Spurhalteassistent). Am gängigsten ist die Kamera, die mittels Bildverarbeitung ermittelt, was für Objekte sich vor dem Fahrzeug befinden und so zum Beispiel Fußgänger, andere Fahrzeuge, Fahrbahnmarkierungen und Verkehrsschilder erkennt. Früher benötigte es hochspezialisierte Ingenieure, um visuelle Erkennungsalgorithmen zu entwickeln und es gab nur wenige in der Branche, die dazu in der Lage waren. Durch KI und vor allem den Bereich Deep Learning änderte sich dies.

Vor allem die Einführung von künstlichen neuronalen Netzen, insbesondere den Convolutional Neural Networks (CNN) hat die Systeme zur Umfelderkennung revolutioniert. Denn diese maschinelle Lernmethode ist äußerst effektiv darin, Formen und Merkmale in Kamerabildern zu identifizieren und dadurch die Leistung der Umgebungserkennung zu verbessern. Einer der größten Vorteile der CNNs ist ihre Fähigkeit zur Invarianz; das bedeutet, sie können visuelle Muster unabhängig von ihrer Position im Bild erkennen. Durch die Anwendung von Filtern, meist kleine Kernel wie eine 3x3-Matrix, werden Merkmalskarten (Feature Maps) erzeugt. Diese durchlaufen dann verschiedene Ebenen, von einfachen bis hin zu detaillierten Merkmalen. Damit konnte die Genauigkeit und Robustheit der Umgebungserkennung drastisch gesteigert werden.

Außerdem gab es große Fortschritte bei den System-on-a-Chips (SoC), den integrierten Schaltkreisen, die KI-Beschleuniger unterstützen. Die neuesten SoCs ermöglichen es, maschinelle Lernmodelle direkt auf dem Chip anzuwenden. Dieser Ansatz vereinfacht den Entwicklungszyklus, denn Modelle können auf einem PC entwickelt und trainiert und dann nahtlos auf dem Chip eingebettet werden. Darüber hinaus wird der Einsatz quantisierter Modelle durch die Frameworks unterstützt, die für SoC-Hardware verwendet werden. So können hoch parallelisierbare, rechenintensive Prozesse auf dem KI- Beschleuniger laufen, während andere von der SoC-CPU übernommen werden. Diese Optimierungsstrategie maximiert die Recheneffizienz und Leistungsfähigkeit der ADAS-Systeme.

Indem mehr Objekte mit einer höheren Genauigkeit erkannt werden, kann der Teil der Situationsanalyse des ADAS-Systems immer mehr Situationen zur Kollisionsvermeidung bewerten, ohne dass es zu vermehrten Falschauslösungen kommt. Denn es ist wichtig, die Falschauslösungen zu begrenzen, um eine gute Akzeptanz des Systems bei den Fahrern zu erzielen – dabei hilft die KI, denn die höhere Leistungsfähigkeit der CNNs hat zu einer besseren Erkennungssicherheit in mehr Verkehrsszenarien geführt. Die bessere Leistung der erschwinglicher gewordenen Chips hat auch dafür gesorgt, dass Komfortfunktionen und teilautomatisierte Level-2-Systeme in immer mehr Marktsegmenten zum Einsatz kommen.

Beispiel: KI in Wärmebildkameras

Das Ziel von gesetzlichen Vorgaben und Neuwagen-Bewertungsprogrammen wie NCAP ist es, den Straßenverkehr sicherer zu gestalten. Dafür decken sie immer mehr typische Unfallszenarien und Situationen aus dem realen Verkehrsgeschehen ab.  Ein Ziel dessen ist es, die Performance von ADAS Systemen unter kritischen Bedingungen und schlechten Witterungsbedingungen zu verbessern. Wärmebildkameras, ein Bereich in dem Magna marktführend ist, eignen sich genau für diese Situationen mit schlechten Sichtverhältnissen bei Nacht. Denn der thermische Sensor, der im Ferninfrarot-Bereich arbeitet, erkennt Temperaturunterschiede in der Umgebung auch bei schlechten Sichtverhältnissen oder in der Nacht. Darum eignet sich die Technologie, um zum Beispiel Fußgänger in der Dunkelheit zu erkennen – ein Bereich, in dem die Industrie aktuell Verbesserungsbedarf bei Erfassung und Robustheit sieht.

Magna verwendet bei seiner neuesten Generation von Wärmebildkameras eine CNN-basierte Erkennung. Denn die Methode eignet sich auch für Bilddaten im thermischen Bereich: Kontraste (aufgrund der Temperaturunterschiede zur Umgebung) können für unterschiedliche Objekte wie Menschen, Tiere und Fahrzeuge gut erkannt werden. In Bild 2 sind die erkannten Objekte mit Boxen markiert, die zusätzlich zum Objekttyp und der relativen Position zum Fahrzeug auch den Wahrscheinlichkeitswert angeben. Letzterer liefert den notwendigen Input für die Algorithmen zur Gefahrenabschätzung (die dann Input an das ADAS-System geben, das wiederum entscheidet, ob das Fahrzeug den Fahrer warnt oder eine automatische Notbremsung einleitet).

Bislang erfolgt die Fusion von Sensordaten meist sehr spät in der Verarbeitungskette, sprich jeder Sensor hat seine eigene Erkennungsalgorithmik. Die so generierten Objekt-/Erkennungslisten der verschiedenen Sensoren werden dann fusioniert, um daraus eine genauere Auswahlliste von Objekten zu erstellen. Das bedeutet aber auch, dass viele (Roh)-Daten nicht in der Fusion berücksichtigt werden. Das maschinelle Lernen (ML) sorgt für die notwendigen Verarbeitungskapazitäten, um die Fusion zu einem viel früheren Zeitpunkt durchzuführen. Mittels ML kann eine viel größere Datenmenge verarbeitet und verborgene Muster angezeigt werden, die mit der bislang durchgeführten High-Level-Sensordatenfusion unerkannt bleiben. Damit lässt sich ebenfalls KI-basiert Objekterkennung und Zuverlässigkeit der ADAS-Systeme verbessern.

Für die Sensordatenfusion gibt es verschiedene Implementationsstrategien siehe Bild 3. Besonders interessant ist die frühe Datenfusion, die aktuell von Magna untersucht wird. Hier werden die Sensordaten bereits zu einem frühen Zeitpunkt in der Verarbeitungskette fusioniert, sodass das CNN nützliche Informationen aus den Rohdaten gewinnen kann. Dieser Ansatz verhindert, dass während der Objektklassifizierung und -verfolgung potenziell wertvolle Daten verworfen werden. Andererseits kann die späte Fusion für weniger leistungsstarke Hardware vorteilhaft sein, auch wenn sie eine schlechtere Detektion zur Folge hat. Denn die frühe Fusion erfordert deutlich mehr Rechenleistung, liefert dafür aber auch präzisere und sicherere Informationen. Aktuell ist die Mid-Level-Fusion der attraktivste Ansatz, da sie mit einem Kompromiss aus Rechenkomplexität und Leistung für eine präzise und zuverlässige Objekterkennung sorgt.

Unterschiedliche Studien zeigen, dass Fahrer einige Assistenzsysteme nicht nutzen, weil sie die Art und Weise der Unterstützung als aufdringlich oder unangenehm empfinden. Manche Menschen interpretieren die Umgebung und Fahrsituationen anders als ihr Fahrzeug. Insbesondere störende Warnungen oder Fehlauslösungen irritieren die Nutzer. Hier könnten kontextbezogene Informationen helfen, die KI-basiert durch Large Language Models (LLM) integriert werden könnten.

Dazu kommt, dass es persönliche Vorlieben beim Fahrstil gibt, beispielsweise wünschen sich einige Menschen mehr seitlichen Abstand zu neben ihnen fahrenden Lkws und auch der Zeitpunkt, zu dem das eigene Fahrzeug seine Geschwindigkeit an einen langsameren, vorausfahrenden Verkehrsteilnehmer anpasst, ist individuell unterschiedlich. Ein KI-gestütztes System kann nicht nur den Fahrer identifizieren, sondern auch Muster im Fahrstil und im alltäglichen Verhalten erkennen. Durch kontinuierliches Lernen und Adaptieren könnte sich ein solches System schrittweise an die Erwartungen des Fahrers anpassen. Beispielsweise ließen sich ADAS-Funktionen wie ein Spurhalteassistent an die persönlichen Vorlieben abstimmen. Dieser adaptive Ansatz würde das übergreifende Nutzererlebnis verbessern und die Akzeptanz des Systems bei den Fahrern steigern.

Eine weitere Einsatzmöglichkeit von KI findet man bei der Quantität und Qualität der Informationen, die dem Fahrer angezeigt werden. Ziel des HMI ist, alle notwendigen Informationen zur Verfügung zu stellen, ohne den Fahrer mit Informationen zu überfrachten. Ein KI-basiertes System trifft fundierte Entscheidungen, welche Informationen zu welchem Augenblick für den Fahrer relevant sind. Darum ist es zusätzlich zur Objekterkennung wichtig, anhand von kontextbezogenen Details zu beurteilen, ob diese für die Routenplanung des Fahrers relevant sind. Schaut beispielsweise ein Fußgänger in Richtung des Fahrers, benötigt er unmittelbar Aufmerksamkeit, während für eine Person, die von der Straße wegschaut, nicht zwangsläufig eine Warnung ausgegeben werden muss. Dieses Unterscheidungsvermögen ist ausschlaggebend für die Optimierung der Bereitstellung relevanter Informationen und die Minimierung unnötiger Ablenkungen für den Fahrer.

Für die Personalisierung von Fahrerassistenzsystemen bedarf es neben Sensoren zur Überwachung der Verkehrssituation im Außenbereich auch Sensoren im Fahrzeuginnenraum, die erkennen, wie ein Fahrer in verschiedenen Situationen reagiert. Diese Kombination ist die Grundlage, um Systeme zur Personalisierung und Interaktion mit anderen Verkehrsteilnehmern zu trainieren.  Basierend darauf können dann ML-Modelle wie Imitationslernen mit regelbasierten Leitlinien zum Einsatz kommen. Magna hat neben Sensoren für den Außenbereich auch eine Kamera zu Fahrerüberwachung im Angebot und arbeitet in unterschiedlichen Forschungskooperation an der Frage, wie eine Personalisierung realisiert werden kann.

Generative KI und synthetische Datenvarianten

Die immer komplexeren Systeme mit steigender Sensoranzahl, größerem Funktionsumfang und Einsatzbereich (Operational Design Domain) lassen auch den Datenbedarf in der Entwicklung kontinuierlich ansteigen. Eine Möglichkeit dies effizient zu gestalten ist, im frühen Entwicklungsstadium synthetische Daten zu verwenden. Generative KI kann aus realen Datensätzen lernen und daraus synthetische Daten erzeugen. Damit kann der Reifegrad von Algorithmen geprüft werden, bevor kostenintensive Prototypen gefertigt werden. Änderungen in späteren Entwicklungsphasen sind große Kostentreiber – ein Risiko, das mithilfe des korrekten Einsatzes synthetischer Daten minimiert werden kann.

In Zukunft könnte sich die Datensammlung auf spezialisierte Bereiche konzentrieren, während andere mit synthetischen Daten abgedeckt werden. Ein Satz bestünde dann aus realen und ergänzenden Daten, die durch generative KI modifiziert werden. Um zum Beispiel die Software für die Umfelderkennung eines ADAS-Systems zu validieren, müssen Daten in vielen Ländern aufgenommen werden, da es in allen Ländern unterschiedliche Verkehrszeichen und Spurmarkierungen gibt. Dieser Ansatz wird auch als szenario- oder datengetriebene Entwicklung bezeichnet. Bild 4 zeigt, wie aus den gesammelten Daten synthetische Daten auf Basis von realen Szenarien generiert werden können.

Früher waren synthetische Daten zu perfekt, um wirklich die reale Welt zu repräsentieren (in der beispielsweise Fahrbahnmarkierungen verblassen und teilweise abgefahren sind). Dank der Fortschritte in der KI-Technologie, hat sich dies geändert. Mit dem Aufkommen der LLMs kamen auch unterschiedliche Datenmodalitäten als Input hinzu. Verschiedene Architekturen wie Vision-Transformer-Modelle können Objekte ohne eine vorher trainierte Klasse erkennen oder die Bild-zu-Bild-Übersetzung erzeugt ähnliche, aber doch unterschiedliche Bilder zum originalen Input – die dann zum Trainieren von Modellen für ADAS-Funktionen verwendet werden können.

Synthetische Daten können auf verschiedenen Wegen erzeugt werden. Magna verwendet Open-Source-Simulationsplattformen, die nicht nur eine Szenarien-basierte Datenerfassung bieten, sondern auch Systems-of-Systems-Simulationen (Kameras, Radare, LiDARs) mit den physikalischen Modellen von Magna Sensoren, bei denen die Umgebungsparameter programmgesteuert konfiguriert werden können. In Kombination mit Vision-Transformer-Modellen oder generativer KI lässt sich so die Lücke zwischen synthetischen und realen Daten schließen. Mit diesem Ansatz kann generative KI fast realitätsnahe Sensordaten liefern, die für das Trainieren maschineller Lernmodelle in ADAS-Systemen mit hoher Zuverlässigkeit verwendet werden können.

Mit den steigenden Fähigkeiten der Systeme kommt die Frage auf, wo und wie viel Verantwortung das Fahrzeug bei den Fahraufgaben übernehmen kann. Hier müssen automobile Sicherheitsstandards und rechtliche Vorschriften mit den Entwicklungen mithalten. Der Straßenverkehr ist extrem komplex und auch wenn es viele Unfälle gibt, sind Menschen gut darin, Unfälle zu vermeiden. Ein KI-gestütztes System muss also mindestens genauso viele Unfälle vermeiden, wie ein menschlicher Fahrer. Um gute Inferenzmodelle zu trainieren, braucht es Daten, die die Verkehrssituation gut abbilden, aber nicht zu viele falsch-positive Ergebnisse liefern, Bild 5.

Für Anwendungsbereiche, in denen ein Fahrzeug autonome Fahrfunktionen auf Level 3 oder 4 übernimmt, braucht es eine enorme Datenmenge mit hohen Anforderungen an Speicherung und Metadaten. Denn KI-Inferenzmodelle sind nur so gut wie die Daten, mit denen sie trainiert wurden. Dafür braucht es Daten aus verschiedenen Ländern, weil sich Infrastruktur, Verkehrsregeln und Fahrkultur unterscheiden. Außerdem müssen Veränderungen im Verkehrsumfeld bedacht werden – wie die Elektroroller, die es vor zehn Jahren noch nicht gab und die heutzutage den Verkehr in vielen Städten mitbestimmen und immer wieder in Unfälle verwickelt sind.

Wenn es um seltene Ereignisse geht, sogenannte Edge- oder Tail-Cases, muss die Automobilindustrie dieses mittels einer Vernetzung der Fahrzeuge erfassen. Die meisten Neufahrzeuge sind heute vernetzt und könnten reale Ereignisse mit den Produktentwicklern teilen, sodass diese in einer Entwicklungsumgebung unter Einhaltung von Sicherheitsstandards und Datenschutz, mit den Daten arbeiten können. Im Bereich DevOps steigen die Sicherheitsstandards stetig an und Magna nimmt aktiv an Forschungs- und Standardisierungsausschüssen teil, um dies weiter voranzutreiben. Zur Minimierung von Falschauslösungen braucht es Techniken wie das Out-of-Distribution-Learning, um fehlerhaften Output im ML-Hauptmodell zu identifizieren. Im Rahmen der Sicherheitsnormen könnte dies bei der Gestaltung von Systemen und Sicherheitsargumentation helfen.

Eine weitere Herausforderung der immer fortschrittlicheren Assistenzsysteme ist die Interaktion mit dem Fahrer. Wenn die Automatisierung das Eingreifen des Fahrers aber nur noch selten erfordert, können Unklarheiten darüber entstehen, in welchem Modus sich das Fahrzeug befindet – insbesondere bei Level-2-Systemen, bei denen der Fahrer immer noch in der Verantwortung ist. Hier steigt das Risiko einer Ablenkung des Fahrers und diese Herausforderung in der HMI muss die Industrie gemeinsam lösen.

Zusammenfassung

Zusammenfassend lässt sich sagen, dass Entwickler von ADAS-Funktionen mithilfe künstlicher Intelligenz komplexere Systeme mit erheblich besserer Performance realisieren können, die auch das Potenzial haben, Investitionen und Hardwarekosten zu senken. Auch wenn Ingenieure sich wiederholende Aufgaben an KI-Tools auslagern können, um mit ihrer eigenen Arbeit die Verkehrssicherheit zu erhöhen, ist noch viel zu tun, um den Trend steigender Unfallzahlen umzukehren. Dies kann nicht im Alleingang geschehen, sondern bedarf gemeinsamer Anstrengungen der gesamten Automobilindustrie in den Bereichen Wissensstand, Forschungskapazitäten, Tools, Fähigkeiten und Zugang zu Daten. Dafür braucht es das Triple-Helix-Innovationsmodell zwischen Industrie, Wissenschaft und Politik.

Die neuen Fähigkeiten, mit denen KI die Fahrzeuge ausstatten kann, müssen gut auf den Menschen abgestimmt werden. Nur wenn die Systeme für den Fahrer intuitiv nutzbar sind und sie an dessen Vorlieben angepasst sind, werden sie auch genutzt. Deshalb arbeitet Magna daran, die Robustheit der Systeme zu erhöhen, KI in der Entwicklung einzubetten und mit der Automobilindustrie zusammenzuarbeiten, um Sicherheit und Komfort von Fahrerassistenzsystemen zu verbessern und die Funktionen weltweit einsetzbar zu gestalten.