Monovision-Kamera als Sensorlösung für ADAS

Fahrerassistenzkameras sind seit nunmehr zehn Jahren fester Bestandteil von Fahrerinformations- und Fahrerassistenzsystemen im Automobil. Spurerkennung, Fernlichtassistenz und Verkehrszeichenerkennung waren die ersten Kundenfunktionen, die mit Frontkamerasystemen verfügbar wurden. Mit dem Ziel einer kontinuierlichen Reduktion der Verkehrstoten in allen entwickelten Automobilmärkten treten aktuell neue Treiber für die Funktionsanreicherung in Fahrerassistenzkameras in den Vordergrund. Zum einen lassen sich die verschärften Anforderungen an die Fahrzeugsicherheit mit passiven Sicherheitssystemen nur noch bedingt erfüllen; zum anderen führt der Trend zum autonomen Fahren zur Notwendigkeit einer komplexen Umfelddatenerfassung für alle Arten von Objekten.

Kostal

Betrachtet man beispielsweise das zu erwartende Bewertungsschema nach EU NCAP für das Jahr 2017, wird deutlich, dass eine Fünf-Sterne-Bewertung ohne kamerabasierte Unterstützung von aktiven Sicherheitsfunktionen zukünftig nahezu unmöglich sein wird. Funktionen wie automatischer Notbremsassistent für vorausfahrende Fahrzeuge und Fußgänger sowie Spurhalte- und Geschwindigkeitswarnfunktionen müssen in hohen Flottenausstattungsraten in den Fahrzeugen verfügbar gemacht werden, um das höchste Sicherheitsrating zu erreichen. Im Gegensatz zu anderen Sensorlösungen können Fahrerassistenzkameras über bildgebende Sensorik und heute bereits validierte Algorithmen alle der geforderten aktiven Sicherheitsfunktionen unterstützen.

Mit der Sozialisierung der Fahrerassistenzkamera über alle Fahrzeugklassen und Märkte hinweg müssen neben der Funktionserweiterung um sicherheitsrelevante Assistenzfunktionen zwei weitere Herausforderungen gelöst werden: Die Schaffung von preiswerten Plattformen bei gleichzeitiger Optimierung des Bauraums und des Footprints auf der Windschutzscheibe. Mit der Prismenkamera der ersten Generation hat Kostal bereits eine etablierte Lösung im Markt, die über alle gängigen Windschutzscheibenneigungen hinweg den kleinstmöglichen sichtbaren Scheibenausschnitt darstellt. Neben den Funktionen Spurverlassenswarnung, Fernlichtassistenz und Verkehrszeichenerkennung wurde in diese Kamerageneration auch die Regenlichtsensorfunktion integriert, um den Bauraumbedarf des Sensorclusters an der Frontscheibe zu minimieren. Die zweite Generation der Kostalkamera vereint die genannten Bauraumvorteile der Monovision-Prismenoptik mit einer signifikanten Performance-Steigerung bei der Rechenleistung, zukunftsfähiger Algorithmik der Firma Mobileye und einem Sicherheitskonzept für Notbremsfunktionen nach EU NCAP.

Räumliches Sehen mit der Monokamera

Basierend auf komplementären Rechenprozessen lässt sich mit der Monokamera die Objekterkennung und ‑identifizierung im dreidimensionalen Raum realisieren. Dazu analysiert das System Bewegungsinformationen aus den Strukturdaten zeitlich aufeinanderfolgender zweidimensionaler Aufnahmen und extrahiert daraus die räumliche Dimension.

Einerseits werden über die Bildverarbeitungsalgorithmen diejenigen relevanten Objekte identifiziert, die für die geforderte Systemfunktionalität von Interesse sind. Das können Spurbegrenzungslinien, entgegenkommende beziehungsweise vorausfahrende Fahrzeuge oder eben Fußgänger auf der Straße beziehungsweise auf dem Gehweg sein, für die möglicherweise gebremst werden muss. Alle übrigen nicht relevanten Objekte wie zum Beispiel nahende Brückenbauwerke oder Zeichnungen auf der Straße ignoriert das System. Parallel dazu wird andererseits mithilfe des sogenannten optischen Flusses (Motion Flow) die Bewegung der Objekte relativ zur Fahrzeugtrajektorie berechnet. Objekten, die sich dem Fahrzeug nähern und mit denen eine Kollision unvermeidbar ist, ordnet das System die verbleibende Zeit bis zur Kollision zu – die TTC (Time to Collision). Die Algorithmen der Monokamera nutzen die sogenannte Inflationsrate eines Objektes, um die resultierende TTC zu bestimmen. Im Fall der Notbrems-Assistenzfunktion wird die Bremsanforderung für das Bremssystem direkt in Abhängigkeit der ermittelten TTC von der Kamera auf den Fahrzeugbus ausgegeben.

Eine erweiterte Möglichkeit zur Synthese von räumlichen Informationen aus zweidimensionalen Bildstrukturen bietet die Structure-from-Motion-Technologie. Ändert sich die Perspektive auf ein Objekt, entweder durch die eigene Fahrzeugbewegung oder durch die Bewegung des Objektes, dann generiert das System über die Bildabfolge Strukturinformationen über die Umgebung, die beispielsweise für das Erkennen von Unebenheiten in der Fahrbahn oder zur Bestimmung von Abständen zwischen beliebigen Objekten nutzbar sind. Damit werden erstmals Funktionen wie fahrbahnsensitive Fahrwerksregelsysteme sowie Baustellen- und Engstellenassistenten mit einer Monokamera möglich.

Bild 1: Bildclusterung und Objekterkennung im zweidimensionalen Kamerabild.Kostal

Die von Kostal entwickelte Monokamera arbeitet mit einer Bildwiederholfrequenz (Frame rate) von 36 Bildern pro Sekunde. Dies stellt einen optimalen Kompromiss zwischen einer ausreichend hohen Bildrate für die Motion-Flow-Technologie und der benötigten Rechenleistung dar. Die Bildinformationen erfasst ein HDR-Imagerchip mit einer Auflösung von 1,2 Megapixel. Ein DSP vom Typ EyeQ3 der Firma Mobileye sowie ein weiterer Multicore-Microcontroller übernehmen die algorithmische Verarbeitung von Wahrnehmungs- und Kundenfunktionen innerhalb der Kamera.

Die Monokamera als sicherheitsrelevanter Umfeldsensor

Mit dem Übergang von warnenden zu aktiven Sicherheitsfunktionen wird die Fahrerassistenzkamera eine Komponente in einem sicherheitsrelevanten System. Die funktionale Sicherheit wird durch den Automotive Safety Integrity Level (ASIL) entsprechend der  ISO-Norm 26262 beschrieben. Ein Kamerasystem, welches automatische Notbremsungen auslöst, muss entsprechend des Standes der Technik Sicherheitsziele nach ASIL B erfüllen, wobei das Gesamtsystem inklusive Bremsensteuergerät mit ASIL C eingestuft wird. Ein wesentliches Entwicklungsziel für die Entwicklung der Kamera war beispielsweise der Nachweis der Unterschreitung einer vorgegebenen Fehlerrate für die Auslösung von Falschbremsungen.

Neben entsprechenden (Eigen-) Überwachungsfunktionen und verfügbarkeitssteigernden Maßnahmen auf der Hardwareseite setzte Kostal beim Design der Softwarearchitektur eine strikte Trennung von sicherheitsrelevanten und nicht sicherheitsrelevanten Funktionsblöcken um. Nur darüber war es möglich, eine robuste und vor allem validierbare Intrasystemkommunikation zu definieren.

Bild 2: Time-to-Collision-Ermittlung mittels Motion-Flow-Technologie.Kostal

Um eine Absicherung der Kundenfunktionalität zu gewährleisten, die heute nicht von der ISO-Norm abgedeckt ist, installierte das Team im Entwicklungsprozess erweiterte Validierungsmaßnahmen wie zum Beispiel den Phantomraten-Nachweis. Über weltweit ausgeplante Straßenfahrten und reproduzierbare HiL-Testläufe (HiL: Hardware-in-the-Loop) wird sichergestellt, dass im Feld keine Fehlauslösung aufgrund von algorithmischen Fehlern (Phantomrate) auftreten. Als Basis für die HiL-Tests dienen dabei parallel installierte Datenbanken mit deutlich mehr als 10.000 Stunden funktionsrelevanten Videosequenzen.

Sicherheitsrelevante Anforderungen bestehen nicht nur an das Produktkonzept selbst sondern auch an den Produktionsprozess für die Einzelteile und das Gesamtprodukt. Beispielhaft zu nennen ist hier die Einhaltung von Justage-Toleranzen zwischen den Komponenten des optischen Pfades. Sowohl bei der Prismen- als auch bei der Lufttubuskamera bestimmt in erster Linie die präzise räumliche Anordnung von Komponenten, Gehäuse, gegebenenfalls auch von Prisma, Objektiv und Imager-Chip die optische Abbildungsgenauigkeit und damit die Robustheit der Kundenfunktionalität. Die Montage dieser Baugruppe muss reproduzierbar und millimetergenau erfolgen sowie entsprechend dokumentiert und überwacht werden. Hochautomatisierte Montageanlagen mit optischer Prüftechnik sowie eine integrierte Traceabilty- und Warenflusssteuerung sind Voraussetzungen für einen qualitätsoptimalen Fertigungsprozess.

Die Monokamera als Designkomponente

Bild 3: Kostal-Baukastenlösung für eine Fahrerassistenzkamera mit Lufttubus- und Prismenvariante.Kostal

Besonders bei flachen Windschutzscheiben führen Lufttubuskameras im Allgemeinen und stereoskopisch arbeitende Kameras im Speziellen zu sehr großen Aussparungen in der Schwarzbedruckung der Windschutzscheibe. Die Prismenkamera von Kostal bietet hingegen über alle gängigen Windschutzscheiben-Neigungen hinweg den kleinsten möglichen Footprint am Markt. Des Weiteren verzichtet die Prismenkamera auf teilweise störende Heizelemente in beziehungsweise an der Windschutzscheibe sowie auf eine Streulichtblende im Fahrzeuginnenraum. Damit ergeben sich für den OEM gestalterische Freiheitsgrade an der Windschutzscheibe und im Innenraum, die im Sinne einer Marken- und Marktdifferenzierung genutzt werden können.

Neben den genannten designtechnischen Vorteilen bietet die Scheibendirektankopplung der Prismenkamera eine erhebliche Robustheitssteigerung des Gesamtsystems. Typische verfügbarkeitshemmende Probleme bei Lufttubuskameras, wie zum Beispiel Betauung und Verschmutzung auf der Innenseite der Windschutzscheibe, treten hier nicht auf. Die Kamera wird durch das Prisma quasi wartungsfrei. Insbesondere vor dem Hintergrund der neuen Sicherheitsfunktionen der Kamera gewinnt diese Eigenschaft immer mehr an Relevanz.

Zukunftssicher mit Monovision

Durch umfangreiche Validierungsfahrten konnte die überzeugende Performance von Mono-Fahrerassistenzkameras auch im direkten Vergleich zu Stereolösungen unter Beweis gestellt werden. Sowohl im Nahbereich (City) also auch auf Landstraßen lassen sich automatische Notbremsfunktionen auf Fahrzeuge und Fußgänger entsprechend der für die ab 2016 geforderten NCAP-Performance kompromisslos darstellen.

Die Synergie der Teillösungen Monokamera und scheibenadaptives Prisma stellt die Basis für einen zukunftsfähigen skalierbaren Baukasten dar, der im Fahrzeug bauraumoptimal sowohl Komfort- als auch Sicherheitsfunktionen ohne Einschränkungen zur Verfügung stellen kann.

(av)