Wie Wärmebildtechnik und KI Fußgänger schützen können

Statistiken von Aufsichtsbehörden auf der ganzen Welt zeigen, dass die Zahl der tödlichen Unfälle von Fußgängern überall stetig zunimmt. Denn die derzeit eingesetzten Technologien können Fußgänger nachts, wenn 73 Prozent der Todesfälle auftreten, nicht ausreichend schützen. Die Behörden sind sich der Dringlichkeit des Problems bewusst, und entwickeln derzeit neue Vorschriften, um es so schnell wie möglich zu lösen.

Um die Zahl tödlich verunglückter Fußgänger zu senken, ist ein System erforderlich, das Fußgänger auch in schwierigen Umgebungen zuverlässig aufspüren und ihren Abstand zum Fahrzeug genau messen kann. Sichtbare Kameras, manchmal in Verbindung mit Radar, können diese Aufgaben in der Regel tagsüber und auf gut beleuchteten Straßen auch nachts erfüllen, versagen jedoch fast immer bei schlechtem Wetter, in der Dunkelheit oder bei grellem Gegenlicht (Bild 1).

Der Erfolg der Wärmebildtechnik unter schwierigen Beleuchtungsbedingungen liegt an der Art der erfassten Strahlung. Herkömmliche Bildgebung erkennt signifikante Objekte durch Erfassen der reflektierten Beleuchtung. Tagsüber kann diese von natürlichen Quellen wie der Sonne und nachts von Scheinwerfern und Straßenlaternen stammen. In allen Fällen ist zum Erkennen der Objekte eine externe Beleuchtungsquelle erforderlich.

Wärmebildtechnik funktioniert ganz anders, denn Wärmebilder erfassen die vom Objekt selbst abgegebene Strahlung im Infrarotbereich. Die Bandbreite der von einem Objekt abgegebenen Strahlung hängt in vorhersehbarer Weise von dessen Temperatur ab. Scheinwerfer blenden die Wärmesensoren nicht, da das Gehäuse die Wärmestrahlung blockiert. Bild 2 zeigt die Emissionskurven von Objekten bei verschiedenen Temperaturen.

Glücklicherweise haben Objekte, die für das Auge und für sichtbare Kameras sehr hell erscheinen, einen relativ geringen Infrarotanteil und erscheinen daher für Wärmebildkameras schwach. In Bild 1 ist etwa zu sehen, dass die Lichter am Heck der Autos für die sichtbaren Kameras hell sind, während die Wärmebildkamera die heißen Auspuffanlagen deutlich erkennt.

Sobald die Wärmebildkameras eindeutige Bilder von Fußgängern geliefert haben, übernimmt die künstliche Intelligenz zwei entscheidende Aufgaben: die richtigen Objekte als Fußgänger klassifizieren und bestimmen, wie weit sie entfernt sind. Beide Aufgaben können Strukturen übernehmen, die als faltungsneuronale Netze (Convolutional Neural Network, CNN) bekannt sind. Ein CNN untersucht Cluster von hellen Pixeln, klassifiziert sie nach Objekttyp und zeichnet eine Bounding Box darum herum, die die Objektgrenzen anzeigt. Ein anderes CNN kartiert die Entfernung jedes Pixels im Bild von der Kamera. Da beide CNNs auf genau demselben Bild arbeiten, kann die herkömmliche Software durch optische Entzerrung (Registrierung) jedes Objekt mit Typ und Entfernung kennzeichnen. Dies sind die Daten, die ein automatisches Notbremssystem für Fußgänger (Pedestrian Automatic Emergency Braking, PAEB) benötigt, um Fußgänger zu vermeiden.

Der Einsatz eines neuen Systems in Automobilen wirft immer die Frage nach den Kosten auf. In der Vergangenheit waren Wärmebildkameras teuer und die Computer im Auto verfügten nicht über künstliche Intelligenz. Neue Entwicklungen sollen das ändern. So hat Owl Autonomous Imaging einen neuartigen Wärmesensor entwickelt, der sich günstig herstellen lässt und nur minimale externe Unterstützung benötigt. Dieser Sensor verfügt über eine ausreichende Auflösung und thermische Empfindlichkeit (Bild 3), um Fußgänger vor einem Fahrzeug in einer Entfernung von bis zu 180 m zu erkennen.

Erkennung, Klassifizierung und Entfernungszuweisung führt im Owl-KI-System durch eine Inferenzpipeline (Bild 4). Die Wärmebildkamera liefert ein digitales Videobild mit typischerweise 30 Bildern pro Sekunde an die Pipeline. Bei Bedarf erfolgt eine optische Geometriekorrektur, damit die an die CNNs gelieferten Daten geometrisch einheitlich sind. Die beiden CNNs, auf denen YOLO-Algorithmen auf der Grundlage speziell entwickelter Bildtrainingsdatensätze ausgeführt werden, arbeiten parallel, um Objekte von Interesse zu finden und Disparitäten im Bild abzubilden, die den Bereich kodieren.

Da diese beiden Operationen aus einer einzigen Pixelmatrix abgeleitet werden, sind die Positionen der beiden Datentypen von Natur aus aufeinander abgestimmt. Konventionelle Datenverarbeitung interpretiert die Disparitätsdaten und ordnet sie bestimmten Objekten zu, die an denselben Bildpositionen erkannt wurden. Eine weitere Analyse der Bereichskontur der Daten um helle Pixel ermöglicht die Definition der Kanten erkannter Objekte und die Platzierung von Begrenzungsrahmen. Die Objektklassifizierung und die 3D-Lokalisierungsdaten gehen dann an das zentrale Steuergerät für automatisierte Fahrerassistenzsysteme (ADAS) und werden für die Bremsung verwendet. Die CNNs sind entweder auf einem Edge-Prozessor oder direkt auf dem zentralen ADAS-Steuergerät ausführbar.

Für die Fahrerassistenz werden Bounding Boxes und Entfernungsdaten über das ursprüngliche Wärmebild gelegt, das sich dann entsprechend der Entfernung jedes Bildpunktes einfärben lässt. Einige ADAS-Systeme können die Echtfarbdaten von visuellen Kamerabildern anstelle der bereichskodierten Farbe einblenden, um Fahrern die Interpretation der gesamten realen Szene zu erleichtern.

Die Bereitstellung der erforderlichen Verarbeitungsleistung mit CNN-Fähigkeit scheint dann in der Verantwortung der Automobilhersteller zu liegen. Das stimmt, und die Hersteller sehen Wärmebildtechnik und CNNs bereits als eine weitere Option für den Einsatz in ADAS. Einige ADAS-Funktionen erfordern bereits CNN- und andere KI-Verarbeitung, implementiert in die sich entwickelnden Architekturen der Automobilelektronik (Bild 5).

Sowohl die Kamera als auch die Computerhardware für Kraftfahrzeuge sollen in den nächsten Jahren für die Produktion verfügbar sein. Aber nicht nur Hersteller müssen deren Implementierung und Lieferung unterstützen, auch die Verbraucher müssen bereit sind, den Preisanstieg zu akzeptieren. Aus den Reaktionen auf die NCAP-Testergebnisse zu Sicherheitsmerkmalen weltweit geht hervor, dass die Verbraucher zusätzliche ADAS-Funktionen einschließlich besserer automatischer Bremsen bevorzugen, und die Regulierungsbehörden reagieren darauf.

In den Vereinigten Staaten hat die National Highway Traffic Safety Administration (NHTSA) die Automobilindustrie direkt herausgefordert und eine Vorschrift vorgeschlagen, die wirksame PAEB-Systeme in allen Personenkraftwagen ab dem Modelljahr 2029 vorschreiben würde. In dieser Vorschrift bedeutet "wirksam", dass das System bei Tag und Nacht, bei klarer und bei verdunkelter Sicht erfolgreich funktioniert.

Die Europäische Union war in Zusammenarbeit mit den Vereinten Nationen zurückhaltender und verließ sich auf die Entscheidung der Verbraucher, die Sicherheit für Fußgänger basierend auf Euro-NCAP-Bewertungen zu verbessern. Die in den Euro-NCAP-Tests erhobenen Daten umfassen die PAEB-Leistung, jedoch nur auf Straßen mit guter künstlicher Beleuchtung. Dunkle Durchgangsstraßen und Feldwege sind als Testgelände ausdrücklich ausgeschlossen. Der einzige Hinweis auf eine künftige Anforderung für den Betrieb bei Dunkelheit ist ein Eintrag in der UN-Regelungstabelle, der die Einhaltung einer verschärften Anforderung bis 2034 fordert.

Die gesamte Automobil-Zulieferkette arbeitet an der Verbesserung des Fußgängerschutzes, wobei die Wärmebildtechnik eine Vorreiterrolle spielt. Während Owl die PAEB-optimierte Kamera für die Produktion vorbereitet, bereiten Automobilhersteller leistungsstarke Computer für die Bildverarbeitung vor und die Normungsorganisationen arbeiten an umfassenderen ADAS-Anerkennungskriterien. Diese gemeinsamen Bemühungen sorgen dafür, dass die Industrie die neuen Anforderungen erfüllen und bis zum Ende des Jahrzehnts wesentliche Verbesserungen beim Fußgängerschutz erreichen kann.