Fahrerassistenzsysteme werden immer fortschrittlicher und erobern zunehmend das Volumensegment. Gleichzeitig rücken (teil-)automatisierte Fahrfunktionen in den Fokus. Die Grundvoraussetzung für diese Systeme ist die zuverlässige Analyse der Situation um das Fahrzeug herum mittels Umfeldsensorik. Fahrzeughersteller wählen dabei in der Regel zwischen Radar- und Kamerasensoren oder der Fusion aus beiden. Dabei leiten Kamerasysteme aus der laufenden Bilddatenerfassung viele verschiedene Informationen ab.

Bild 1: Kamerabasiertes ACC

Bild 1: Kamerabasiertes ACC TRW

Aktuell befinden sich mit Mono- und Stereokamera zwei Kamerasysteme auf dem Markt, die sich deutlich unterscheiden: Eine Monokamera ist ein monokulares System, das aus einer Kameralinse und einem Bildsensor besteht, auf Basis einer Objektklassifizierung arbeitet sowie Entfernungen mittels komplexer Algorithmen berechnet. Eine Stereokamera hingegen verfügt über zwei Kameralinsen sowie zwei Bildsensoren und erzeugt aus dem Vergleich der beiden gleichzeitig aufgenommenen Bilder eine dreidimensionale Abbildung, aus der sich begrenzt Abstände direkt messen lassen.

Funktionsweise im Detail

Für die Objekterkennung verwendet die Monokamera eine Mustererkennung, die mittels maschinellem Lernverfahren trainiert wird. Spezifische Merkmale der kantenbasierten Bildsegmentierung erlauben hierbei die Bestimmung spezieller Objekttypen wie Pkw, Lkw, Motorräder, Fahrradfahrer und Fußgänger sowie Fahrbahnmarkierungen, Verkehrsschilder, Baustellen und Ampeln. Die Algorithmen analysieren das aufgenommene Bild und suchen nach positiven Übereinstimmungen. Ihr Umfang lässt sich dabei fahrzeugherstellerspezifisch skalieren, um unterschiedliche Funktionsumfänge kostengünstig zu realisieren. Klassifiziert das System ein Objekt erfolgreich, dann errechnet es aus aufeinanderfolgenden Einzelbildern (Frames) die Entfernung und Bewegungsrichtung (Trajektorie), um das Kollisionsrisiko zu ermitteln. Gleichzeitig erfolgt ein Tracking des klassifizierten Objekts.

Mono- oder Stereokamera?

Auch wenn in den nächsten Jahren einige Markteinführungen von Stereosystemen anstehen, rechnet TRW damit, dass die monokulare Bildverarbeitung das mit Abstand vorherrschende System sein wird. Die Packaging- und Kostenvorteile der Monokamera machen diese auch für Kompaktwagen zur attraktiven Lösung, um im Euro-NCAP-Rating weiterhin fünf Sterne zu erzielen. Gleichzeitig kann der Fahrzeughersteller über die Skalierbarkeit der Algorithmen unterschiedliche Funktionsumfänge über seine Fahrzeugplattformen hinweg realisieren. Darüber hinaus bietet die Monokamera eine sehr gute Ausgangsbasis für teilautomatisierte Fahrfunktionen.

Um Entfernungen aus der zweidimensionalen Bilderfolge zu ermitteln, greifen herkömmliche Monokameras auf die Objektgröße und seine relative Position zum Horizont zurück. Dafür messen die Algorithmen den Winkel markanter Objektelemente zu einem definierten Fluchtpunkt. So lässt beispielsweise die Information, in welchem relativen Winkel sich die Füße eines Fußgängers oder die Reifen eines vorausfahrenden Fahrzeugs befinden, Rückschlüsse auf die jeweilige Entfernung zu.

TRW entwickelt derzeit eine neue Kamerageneration, die S-Cam3, die zusätzlich aus den 2-D-Bildern eine Tiefeninformation ableiten kann. Zum Einsatz kommt dazu ein „Structure from Motion“ (SfM) genannter Ansatz: Durch die Eigenbewegung des Fahrzeugs verändert sich die Kameraperspektive, sodass der Sensor dieselbe Situation aus variierenden Blickwinkeln aufnimmt. Aus diesen perspektivischen Unterschieden der aufeinanderfolgenden Frames über die Zeitachse berechnet das System mittels Triangulation die notwendige Tiefeninformation, um den Abstand zwischen dem Objekt und dem eigenen Fahrzeug zuverlässig bestimmen zu können.

Bild 2: Die S-Cam3 von TRW leitet mithilfe des SfM-Ansatzes (SfM: Structure from Motion) aus den 2-D-Bildern eine Tiefeninformation ab.

Bild 2: Die S-Cam3 von TRW leitet mithilfe des SfM-Ansatzes (SfM: Structure from Motion) aus den 2-D-Bildern eine Tiefeninformation ab. TRW

Demgegenüber erstellt die Stereokamera aus zwei gleichzeitig aufgenommenen Bildern in aufwändigen Rechenleistungen eine 3-D-Abbildung der vorausliegenden Fahrzeugumgebung. Das System arbeitet in der Regel mit einer Objekterkennung ohne Klassifizierung und reagiert auf alle Hindernisse, die größer als ein festgelegter Wert sind. Die perspektivischen Unterschiede der beiden Bilder ermöglichen es, den Abstand zum vorausliegenden Objekt, dessen tatsächliche Größe und Bewegungsrichtung direkt und exakt zu messen. Das „räumliche Sehen“ erleichtert es der Stereokamera zudem, teilweise verdeckte oder nah beieinander liegende Objekte besser zu erkennen.

Unterschiedliche Reichweite

Bei der Stereokamera beschränkt jedoch der Bauraum die 3-D-Abbildung: Je geringer der Abstand zwischen den beiden Kameralinsen ist, desto geringer fällt die effektive dreidimensionale Messreichweite aus, weil jede Stereokamera eine physikalische Grenze aufweist, bis zu der sie Distanzen abgrenzen kann, die sich aus dem Abstand der beiden Kameras zueinander ergibt. Über diesen Maximalpunkt hinaus sind die perspektivischen Unterschiede der beiden aufgenommenen Bilder zu gering, um daraus 3-D-Informationen ableiten zu können. Jenseits dieser Reichweite funktioniert das Stereoprinzip folglich nicht.

Derzeit auf dem Markt erhältliche Stereokamerasysteme platzieren die beiden Linsen in unterschiedlichem Abstand zueinander, zum Beispiel 12, 20 oder 40 Zentimeter. Damit liegt die effektive 3-D-Messreichweite bei maximal 50 Meter, sodass diese Sensoren eher für den Einsatz im innerstädtischen Verkehr ausgelegt sind. Die Reichweite der Monokamera ist hingegen unabhängig vom Bauraum und ist mit bis zu 140 Meter fast dreimal so hoch. Das monokulare System ist daher neben dem Stadtverkehr auch für Landstraßen- und Autobahnfahrten geeignet.

Bild 3: Blockschaltbild der Prozessorplatine der aktuellen TRW-Kamerageneration S-Cam3.

Bild 3: Blockschaltbild der Prozessorplatine der aktuellen TRW-Kamerageneration S-Cam3.TRW

Realisierbare Fahrerassistenzsysteme

Theoretisch lassen sich die meisten derzeit auf dem Markt befindlichen Fahrerassistenzsysteme sowohl mit Mono- also auch mit Stereokameras realisieren. Allerdings gibt es einige Assistenzfunktionen, die nicht nur eine höhere Reichweite erfordern, sondern auch nur über eine Objektklassifizierung realisierbar sind. Dazu zählen Systeme wie die Spurverlassenswarnung, Spurhaltefunktion, Verkehrszeichen- und Ampelphasenerkennung. Eine Stereokamera, die diese Funktionen anbietet, muss also über ihre dreidimensionalen Messprinzipien hinaus auch eine Klassifizierung der Objekte durchführen, die äquivalent zur Funktionsweise der Monokamera funktioniert.

Durch ihre Objektklassifizierung besitzt die Monokamera Vorteile bei der Notbremsung mit Fußgängerbeteiligung, weil das System erkennt, wenn ein Unfall mit einem Fußgänger droht. Zum einen lassen sich so Falschauslösungen auf andere Objekttypen am Fahrbahnrand verhindern, und zum anderen kann die Winkelposition des Fußgängers zum Fahrzeug besonders präzise erfasst werden. Damit lässt sich seine Trajektorie besser vorhersagen.

Zuverlässigkeit

Die doppelte Linsen- und Bildsensoranzahl verspricht eine vermeintlich höhere Systemzuverlässigkeit der Stereokamera. So kann der Sensor auf Objektklassifizierung basierende Funktionen wie die Spurhalteassistenz zwar theoretisch auch dann realisieren, wenn eine der Linsen oder einer der Bildsensoren ausfällt, aber 3-D-Messungen lassen sich nicht mehr durchführen. Einen wesentlichen Mehrwert in der Redundanz bietet das binokulare System der Stereokamera aber nicht, da beide Kameralinsen denselben Fehlerquellen (wie tiefstehende Sonne) unterliegen. Lediglich die Fusion zweier physikalisch unterschiedlicher Prinzipien sorgt für echte Redundanz, minimale Fehlerraten sowie maximale Sicherheit – beispielsweise die Kombination aus Kamera- und Radarsensor. Da in diesem Fall die exakte Entfernungsmessung über den Radarsensor erfolgt, ist ein Stereosystem überflüssig.

Kosten und Montage

Die Verdopplung von Kameralinse und Bildsensor der Stereokamera erhöht allerdings die Kosten auf der Komponentenseite sowie das Gesamtgewicht des Systems. Gleichzeitig ist auch ein größer ausgelegtes Gehäuse erforderlich. Damit verzeichnet die Monokamera neben den Kostenvorteilen auch deutliche Packaging- und Bauraumvorteile. Außerdem ist der Einbau in das Fahrzeug mit dem kompakteren System einfacher, da sich die Monokamera beispielsweise in den Rückspiegelfuß integrieren lässt, ohne das Sichtfeld des Fahrers zu beeinträchtigen. Bei der Stereokamera müssen die Hersteller die effektive 3-D-Messreichweite gegen Bauraumnachteile abwägen: Die Reichweite lässt sich erhöhen, wenn die beiden Kameralinsen weiter auseinander platziert werden. Allerdings bedingt das größere Gehäuse nicht nur höhere Komponentenkosten, sondern erschwert zusätzlich auch die Montage an der Windschutzscheibe und schränkt die Gestaltungsmöglichkeiten des Fahrzeuginnenraums sowie das Sichtfenster des Fahrers ein.

Bild 4: Technische Daten der S-Cam3.

Bild 4: Technische Daten der S-Cam3.TRW

TRW-Strategie

TRW verfolgt das Konzept der kompakteren, leichteren, kostengünstigeren und leistungsfähigeren Monokamera. Die skalierbare S-Cam-Technologie von TRW ermöglicht viele Sicherheits-Features mit nur einem Sensor. Als vorausschauende All-In-One-Lösung wird sie den Anforderungen aller Märkte und über alle Fahrzeugsegmente hinweg gerecht. TRW arbeitet eng mit der Firma Mobileye zusammen, die jahrzehntelange Erfahrungen in der Algorithmen-Entwicklung vorweist und dem Wettbewerb um Jahre voraus ist. Durch die breite Marktabdeckung und die entsprechend große Testwagenflotte haben Mobileye-Systeme auch Vorteile in der Validierung – eine der größten Herausforderungen bei der Entwicklung von Sicherheitssystemen.

Anfang 2015 wird die dritte Kamerageneration von TRW produktionsbereit sein und ab 2016 in verschiedenen Fahrzeugmodellen in Serie gehen. Die S-Cam3 verwendet den neuesten EyeQ3-Chip von Mobileye, der zeitgleich mehrere Anwendungen ausführen kann und mit dem SfM-Prinzip Stereoinformationen ableiten kann. Sie verfügt dank eines deutlich leistungsfähigeren Prozessors über eine sechsmal höhere Rechenleistung als die aktuelle S-Cam2. Zudem wurde das Sichtfeld des CMOS-Sensors erweitert: von horizontal 42 auf 52 Grad und vertikal von 27 auf 39 Grad. Auch die Auflösung des neuen 1,2-Megapixel-S-Cam3-Imagers ist mit 1280 x 960 Pixeln anstatt 752 x 480 Pixeln deutlich höher, sodass Objekte wie Fußgänger in größerer Entfernung und auch unter schwierigen Lichtverhältnissen zuverlässiger erkannt werden. Dank der verbesserten Winkelauflösung (24,5 anstatt 17 Pixel pro Grad) konnte auch die maximale Reichweite der S-Cam3 von TRW auf bis zu 140 Meter ausgeweitet werden. Mit der erhöhten Bildfrequenz ist die S-Cam3 in der Lage die Objektbestätigung extrem schnell vorzunehmen, sodass sie damit die Voraussetzung für Höchstnoten im Euro-NCAP-Rating erfüllt.

Mit der S-Cam3 können Fahrzeughersteller erstmals allein mit der TRW-Monokamera bei Autobahngeschwindigkeiten eine automatische Notbremsung mit einer begrenzten Verzögerung auslösen. Der Zulieferer bringt 2016 auch seine erste rein kamerabasierte adaptive Geschwindigkeitsregelung für Autobahnfahrten auf den Markt. Zusätzlich verbessert der leistungsfähigere Bildsensor der neuen Kamera auch die Standardfunktionen der Vorgängergeneration wie Spurführung, adaptive Scheinwerferregelung, Kollisionswarnung, Kollisionsminderungsbremse und Fußgängerschutz. Für die S-Cam3 wurden allerdings auch die Algorithmen und Objektklassen erweitert, sodass die Monokamera nun auch einen Baustellenassistenten ermöglicht und größere Tiere, Ampelphasen sowie noch mehr Verkehrszeichen erkennt.

Fazit und Ausblick

Aktuell handelt es sich bei den meisten Kamerasystemen im Serieneinsatz um Monokameras. Auch wenn in den nächsten Jahren einige Markteinführungen von Stereosystemen anstehen, rechnet TRW damit, dass die monokulare Bildverarbeitung das mit Abstand vorherrschende System sein wird. Gerade die Neuerungen in den NCAP-Ratings sorgen dafür, dass Fahrzeughersteller bei der Wahl ihrer Umfeldsensorik breite Einsatzmöglichkeiten und Kosteneinsparungen stark berücksichtigen. Die Packaging- und Kostenvorteile der Monokamera machen diese auch für Kompaktwagen zur attraktiven Lösung, um im Euro-NCAP-Rating weiterhin fünf Sterne zu erzielen. Gleichzeitig kann der Fahrzeughersteller über die Skalierbarkeit der Algorithmen unterschiedliche Funktionsumfänge über seine Fahrzeugplattformen hinweg realisieren. Darüber hinaus ist die neue S-Cam3 eine adäquate Ausgangsbasis für teilautomatisierte Fahrfunktionen. Das Bestreben der Fahrzeughersteller, langfristig hoch- und vollautomatisiertes Fahren zu ermöglichen, wird voraussichtlich dafür sorgen, dass zunehmend eine Datenfusion aus Monokamera- und Radarsensoren nachgefragt wird. Denn schließlich erlaubt nur die Kombination der beiden Technologien eine 360°-Sensierung mit höchstmöglicher Zuverlässigkeit, sodass sich die nächsten Schritte zum teilautomatisierten Fahren realisieren lassen.

Spätestens durch das SfM-Prinzip der S-Cam3 bietet die Stereokamera keine nennenswerten Vorteile in der Leistungsfähigkeit mehr gegenüber dem monokularen System. Aufgrund der Marktentwicklungen sowie der aktuellen Auftragslage und zukünftiger Markteinführungen geht TRW davon aus, bis 2016/17 der größte Hersteller von Kamerasystemen weltweit zu sein.