Im Rahmen des industriellen Forschungsprojekts „CarVisionLight“ beschäftigt sich ZKW in Kooperation mit dem Institute of Visual Computing and Human-Centered Technology an der Technischen Universität (TU) Wien sowie Emotion-3D mit dem Zusammenspiel zwischen Lichtsystem und 3D-Kameras in ADB-Systemen (Matrixlicht).

Das semi-automatische Annotationstool der TU Wien hilft, relevante Inhalte zu kennzeichnen.

Bild 1: Das semi-automatische Annotationstool der TU Wien hilft, relevante Inhalte zu kennzeichnen. ZKW

Eck-Daten

Der gesamtheitliche Forschungsansatz im Projekt  „CarVisionLight“, der die gleichzeitige Betrachtung von Bilderfassung, Bildverarbeitung und adaptiver Ausleuchtung umfasst, ist ein zentraler, essenzieller Schritt für die Weiterentwicklung automotiver Lichttechnik auf Premium-Niveau. Die Integration von 3D-Stereoskopie zur Umfelderfassung in einem Regelkreislauf mit hoch aufgelöster Scheinwerfertechnologie dient als Grundstein für das Produktkonzept eines maschinellen Gesamtsichtsystems. So interagieren nicht nur die Komponenten abgestimmt, sondern sie ergänzen sich auch für maximalen Sicherheitsgewinn bei Nachtfahrten zu einer kognitiven Einheit.

Ein Teil des Projekts ist das Anlernen nachtfahrtspezifischer KI-Algorithmen. Das hierzu verwendete experimentelle System besteht aus flexibel konzeptionierten prototypischen Scheinwerfern, die pro Fahrzeugseite jeweils eine Kamera und ein hochauflösendes Micromirror-Z-LED-Modul (auf Basis der DLP-Technologie von TI) integriert haben, einer Bildverarbeitung auf Basis künstlicher Intelligenz – implementiert auf einem echtzeitfähigen Rechner im Kofferraum des Versuchsfahrzeugs – und einer verbesserten ADB-Lichtansteuerung, die Stereoskopie-Daten berücksichtigt. Ein essenzieller Teilaspekt des Projektes ist auch die Aufnahme von geeigneten Videosequenzen als Trainingsdaten für das Anlernen nachtfahrtspezifischer KI-Algorithmen. Bevor dies jedoch geschehen kann, müssen die Verantwortlichen diese Videos analysieren und relevante Inhalte möglichst exakt kennzeichnen, um eine sogenannte Grundwahrheit zu erzeugen. Die Wissenschaftler an der TU erforschen dafür eigene, halbautomatische Methoden (Bild 1).

Echtzeit-Datenverarbeitung

Bild 2: Der Real-Time-Machine-Rechner liefert Echtzeitbildverarbeitung mittels KI.

Bild 2: Der Real-Time-Machine-Rechner liefert Echtzeitbildverarbeitung mittels KI. ZKW

Zunächst haben die Verantwortlichen für die Anwendung geeignete Farbkameras (RGB) evaluiert und ausgewählt sowie deren Betriebsparameter mit Fokus auf gute Bildqualität bei dunkler Umgebung (Bild 2) und unter Rücksichtnahme auf die tiefe Anbauposition (Scheinwerfer) getestet. Wichtig ist dabei die weitgehende Vermeidung von Bildstörungen, wobei sich die Problemstellungen wie Blendung und Bewegungsunschärfe im Vergleich zur üblichen Montage hinter der Windschutzscheibe anders darstellen. Dabei ist durch die Auswahl geeigneter Strecken für die Erfassung typischer Szenen und mit zahlreichen Erprobungsfahrten bei Nacht der empirische Versuchscharakter der Projektarbeit geprägt.

Bild 3: Der Kamera/Scheinwerfer-Prototyp im ZKW-Testfahrzeug sammelt Daten zur Bilderkennung.

Bild 3: Der Kamera/Scheinwerfer-Prototyp im ZKW-Testfahrzeug sammelt Daten zur Bilderkennung. ZKW

Bild 4: Die automatisierte Objekterkennung soll die Sicherheit bei Nachtfahrten steigern.

Bild 4: Die automatisierte Objekterkennung soll die Sicherheit bei Nachtfahrten steigern. ZKW

Als Grundvoraussetzung für die experimentelle Forschungsarbeit war es nötig, das Versuchsfahrzeug so umzurüsten, dass es grundlegende Daten wie Videos und Fahrzeugsignale sammeln kann (Bild 3), um daraus Trainingsdaten zu erstellen und andererseits das Gesamtsystem in Betrieb nehmen zu können – mit Echtzeitverarbeitung der Kamerabilder und Lichtansteuerung. Ein weiterer gemeinschaftlich gelöster wesentlicher Schritt war die Erarbeitung eines Kalibrierverfahrens, welches durch die Projektion eines Musters durch das hochauflösende Modul möglich ist. Dies ist für die zuverlässige Funktion der Distanzerkennung notwendig, so dass dadurch letztendlich die Lichtansteuerung präziser agiert (Bild 4).

Verbesserte Lichtansteuerung durch Stereoskopie

Eine Lichtansteuerung dient der Berechnung dynamischer Veränderungen in der ausgegebenen Lichtverteilung. Dazu muss das System üblicherweise Fahrzeugsignale und Umgebungsinformationen (Verkehrsobjekte) verarbeiten, die sich während der Fahrt ständig verändern. Stand der Technik ist das Einlesen einer fixen Anzahl von Objekten, die es auszublenden gilt (typischerweise weniger als acht). Eine Kamera hinter der Windschutzscheibe liefert diese Objektinformationen, und das System muss die Objekt-Koordinaten auf die Positionen der jeweiligen Scheinwerfer umrechnen. Dies ist erforderlich, um eine Ausblendung mit hoher Präzision zu erreichen; in der Praxis lässt sich dies aufgrund fehlender Distanzinformation nur durch Schätzungen realisieren – und das auch nur annäherungsweise.

Im Vergleich zu aktuellen Implementierungen bieten die Tiefeninformation aus der Stereoskopie die Möglichkeit, die Lichtansteuerung deutlich zu verbessern. Realisieren lässt sich dies durch modellbasierte Entwicklung einer Funktion (per Matlab, Simulink), wodurch die Ausführung auf Prototypen-Hardware möglich ist. Dabei kommen dynamische Objektlisten anstelle fester Objektanzahl zum Einsatz. Das Modell berücksichtigt getrennte Verarbeitungswege für ein unterstützendes Segment-Lite-ADB-Basislichtsystem von ZKW und das lichtbildgestaltende, höchstauflösende Mirror-Z-LED-Modul. Die Realisierung der Lichtansteuerung auf diese Weise ist dadurch sowohl Grundlage für eine allgemeine Produktentwicklung als auch für die Weiterentwicklung bestehender Produktlösungen.

HDR-Kameras als Schlüsselfaktor

Bild 5: Vergleich der Bildschärfe zwischen HDR und SDR.

Bild 5: Vergleich der Bildschärfe zwischen HDR und SDR. ZKW

Was ist eine gute Kamera für eine Bildverarbeitungsanwendung in der Automobilindustrie? Mit dieser Frage im Hinterkopf und unter Berücksichtigung der verschiedenen Herausforderungen, die auftreten, wenn eine Kamera im Scheinwerfer sitzt, hat ZKW verschiedene Tests entwickelt, um zu beurteilen, welches System für das Projekt am besten geeignet ist. Für Automobilkameras ist beispielsweise das HDR-Konzept (High Dynamic Range) ein Schlüsselfaktor, denn HDR liefert ein sehr gutes Kontrastverhältnis für die Bildverarbeitung.

Die Beispiele in Bild 5 zeigen im direkten Vergleich den Unterschied zwischen zwei Kameras mit Standard- sowie hohem Dynamikbereich, wobei HDR eine sichtbar bessere Erkennung von Details bei schwierigen Lichtbedingungen ermöglicht, weil im überwiegenden Bereich des Bildes ein maschinell verarbeitbares Kontrastverhältnis von Bildelementen gegeben ist.

Kalibration der Stereosicht

Bild 6: Anstrahlung des Boards von links und von rechts.

Bild 6: Anstrahlung des Boards von links und von rechts. ZKW

Grundsätzlich ist ein Werkzeug zur Kalibrierung einer Stereokamera notwendig, um damit die Tiefeninformation von Bildern ermitteln zu können. Normalerweise beruht Stereokalibrierung auf der passiven Verwendung eines vorhandenen, realen Musters, beispielsweise eines Schachbretts. Im Projekt haben die Verantwortlichen einen aktiven Ansatz gewählt, wobei ein Projektor in der Lage ist, ein relativ frei gestaltbares Muster für die Kalibrierung anzuzeigen. Zu diesem Zweck kommt das Mirror-Z-LED-Modul zum Einsatz. Bild 6 zeigt ein projiziertes Muster; die linke und die rechte Scheinwerferkamera lesen während der Kalibrierungsphase diese Daten aus verschiedenen Distanzen ein und verarbeiten sie.

Fußgängererkennung

Über 90 Prozent alle verkehrsbedingten Todesfälle bei Fußgängern In den USA ereigneten sich nach Angaben der National Highway Traffic Safety Administration (NHTSA) in den letzten zehn Jahren bei Dunkelheit – und zwar abseits von Kreuzungen. Daher ist die Erkennung von Fußgängern bei geringer Umgebungsbeleuchtung für ein kamerabasiertes Assistenzsystem unerlässlich.

Um den Einfluss der Standard-Fahrzeugbeleuchtung auf die Bildsensoren unter realistischen Fahrbedingungen zu verstehen, haben die Verantwortlichen verschiedene reproduzierbare Versuche durchgeführt. Diese weitgehend standardisierten Tests halfen dabei, die Bedeutung des Kontrasts und die Rolle der Beleuchtung zur Verbesserung der Erkennung auf größere Entfernungen zu ermitteln. Zum Beispiel wurden bei Fahrten mit 50 km/h drei verschiedene Beleuchtungsvarianten erprobt. Mit Abblendlicht erkannte das System einen Fußgänger zum ersten Mal aus 12 m Abstand, mit Fernlicht bei 29 m. Das hier erwähnte Kamerasystem, das auf einfachen, nicht automotive-qualifizierten Industriekameras basiert, ermöglicht es jedoch, den Fußgänger bereits aus 33 m Distanz zu erkennen – und zwar in Kombination mit optimiertem Fernlicht, das auf 60 Prozent Intensität reduziert ist. Dieser ganz allgemeine Test half, quantifiziert zu verstehen, inwiefern sich mit Anpassung der Beleuchtung die Erkennung eines Fußgängers unter gleichbleibenden Videobedingungen verbessern lässt.

Dieser Beitrag beruht auf Unterlagen von ZKW.