Ein zunehmendes Interesse an autonomen Fahrzeugen fordert verstärkte Einsatz von Fahrerassistenzsystemen (ADAS). Bildsensoren bilden die Grundlage für kamerabasierte Systeme, die als Augen des Fahrzeugs fungieren. Sie erhöhen die Sicherheit beim Rückwärtsfahren und Einparken mithilfe von Rückfahrkameras und 360°-Surround-View-Systemen. Zudem bieten Frontkameras automatische Funktionen, die Kollisionen verhindern sollen.
Neue Richtlinien von Gesetzgebern und Sicherheitsinitiativen wie dem NCAP haben zur Folge, dass in kürzester Zeit immer mehr Kameras Einzug in Kraftfahrzeugen halten. Die Autohersteller integrieren diese Bildsysteme mittlerweile in Fahrzeugplattformen fast aller Klassen. Laut dem japanischen Marktforschungsunternehmen Techno Systems Research hat sich die Zahl der jährlich weltweit produzierten Fahrzeugkameras von 47 Millionen (2013) auf 110 Millionen (2017) mehr als verdoppelt. Im Jahr 2024 soll diese Zahl sogar auf über 200 Millionen ansteigen.
Eckdaten
- Dynamik >140 dB
- LED-Flicker-Mitigation mit 120 dB Dynamikbereich
- >95 dB Dynamikbereich aus einer Aufnahme
- ASIL−B Sicherheitsdesign, ISO 26262 konform
- 2048 x 1280 bei 45 Bilder/s
- 1920 x 1080 bei 60 Bilder/s
Kamerabasierte Sicherheitsfunktionen im Fahrzeug
Zusätzlich zum Park- und Manövrierassistenten, bei dem vier Kameras an jeder Fahrzeugseite Bildausschnitte für einen 360°-Rundumblick liefern, können Kamerasysteme auch eine Signalisierung beim Verlassen der Fahrspur und bei sich nähernden Fahrzeugen im toten Winkel ausgeben und damit den Fahrer vor dem Spurwechsel warnen.
Kamera-Monitorsysteme (CMS) ersetzen sogar Spiegel und erzeugen herkömmliche Seitenspiegelansichten ohne toten Winkel auf einem Display im Fahrzeug. Sofern die Gesetzgebung die Regelungen ändert, könnte damit sogar der Außenspiegel entfallen, was sich äußerst vorteilhaft auf den Kraftstoffverbrauch und das Fahrzeugdesign auswirken kann.
Frontkamerasysteme erkennen, was sich vor dem Fahrzeug abspielt und erlauben es zusätzliche Sicherheits- und Komfortfunktionen zu realisieren. Diese Systeme können Kollisionen durch eine automatische Notbremsung abschwächen und das Fahrzeug zum Stillstand bringen, sobald ein plötzliches Hindernis erkannt wird. Eine adaptive Geschwindigkeitsregelung unterstützt den Fahrer – vor allem wenn stressige Verkehrsbedingungen wie Staus auftreten.
Bildqualität und Auflösung
Alle diese Anwendungen basieren auf Bildsensoren als Kernkomponente in der Kamera – sie stellen aber oft unterschiedliche Anforderungen an die Bildqualität, Auflösung und Sensorgröße. So kann die erforderliche Bildqualität für beispielsweise eine Rückfahrkamera, die dem Fahrer am Display aufbereitete Bilder anzeigt, andere Anforderungen haben, als eine Frontkamera, die zusammen mit Algorithmen die automatische Notbremsfunktion des ADAS ermöglicht.
Auch kann sich die Auflösung des Bildsensors für ein bestimmtes Anzeigeformat abhängig von der Bildverarbeitungsanwendung unterscheiden, die eine präzise Mindestanzahl an Pixeln über ein Objekt benötigt, damit der Algorithmus das Objekt direkt erkennen und identifizieren kann. Die Sensorauflösung ist daher ein wesentlicher Faktor.
Einschränkungen bei aufgezeichneten Bildsequenzen
Bei Frontkamerasystemen benötigen Bildverarbeitungsalgorithmen am Bildsensorausgang ein Training oder eine Anpassung für verschiedene Ansichten oder Bilderdarstellungen, wenn sie Fußgänger, Fahrzeuge und Objekte erkennen oder Entscheidungen treffen müssen. Häufig werden solche Ansichten über lange Zeit anhand von Testfahrten erfasst, was äußerst kostspielig ist. Zudem müssen sie über das gleiche System erfolgen, das auch im späteren Produkt zum Einsatz kommt. Auch muss die Bildqualität vor der Aufzeichnung eines Datensatzes feststehen. Dabei erfordern die Feineinstellung der Bildqualität wie auch die Entwicklung viel Zeit, um einen funktionstüchtigen Sensor hervorzubringen, dessen automatische Funktionen wie Belichtung und Weißabgleich auch dann optimale Bilder liefern, wenn sich die Umgebungsbedingungen verändern. Speziell angepasste Bildverarbeitungsalgorithmen, die kameraspezifisch aufgezeichnete Bilder verwenden, können nachfolgend nicht auf einem Kamerasystem mit einem anderen Bildsensor laufen, da sie das Profil des entsprechenden Datensatzes nicht erkennen.
Eine einzelne, skalierbare Plattform von Bildsensoren, welche die gleiche Leistungsfähigkeit bei vergleichbaren Auflösungen bietet, verringert daher Aufwand und Kosten für den Hersteller. Kommt diese Plattform in mehreren unterschiedlichen Systemen und Produkten zum Einsatz, erspart das zusätzlich Investitionen in die Entwicklung und Bildanpassung.
Hohe Helligkeitsdynamik ist gefragt
Die Leistungsfähigkeit des Bildsensors und seine Fähigkeit, einen breiten Bereich von Szeneninhalten oder dessen Dynamikumfang zu erfassen, ist entscheidend für die Auswahl eines Bildverarbeitungssystems im Fahrzeug. Der Dynamikbereich ist ein Maß dafür, wieviel Kontrast der Sensor in einer Szene aufnehmen kann, oder einfach gesagt, wie gut er sehr helle Bereiche aber auch dunkle Bereiche oder Schatten in der gleichen Szene erfassen kann.
Automotive-Kameras sind häufig mit diesem Kontrastproblem konfrontiert, wenn zum Beispiel die tief stehende Sonne auf Bildsensoren scheint, während das Auto durch eine Unterführung fährt. Ist der Dynamikbereich des Sensors dann zu niedrig, können wichtige Details in der Szene unerkannt bleiben, sodass der Fahrer oder der Bildverarbeitungsalgorithmus ein Objekt in der Szene nicht bemerkt und eine unsichere Situation entsteht.
Warum gepulste Lichtquellen flackern
Ein weiterer Aspekt, mit dem sich die Hersteller beschäftigen müssen, ist der zunehmende Einsatz von Leuchtdioden (LED) in Verkehrszeichen sowie Fahrzeugscheinwerfern und Rücklichtern. Dies erhöht die Herausforderungen bei der Bildverarbeitung in Fahrzeugen. LED-Beleuchtung wird mittels Pulsbreitenmodulation (PWM) gesteuert: Die LEDs werden mit variierenden Tastgraden ein- und ausgeschaltet, um die Lichtintensität zu steuern und Strom zu sparen. Die Schaltfrequenz ist dabei so hoch, dass das menschliche Auge nicht folgen kann und so das Flackern dieser Lichter nicht wahrnehmen kann. Weil die Abtastrate der Bildsensoren aber asynchron zur LED-Schaltfrequenz läuft, erfassen sie mal einen Zeitpunkt bei dunklen LEDs und mal einen, wenn sie gerade leuchten sind. Der Bildsensor zeigt diesen Flimmereffekt auch im Bild. Dies ist unerwünscht und kann die Sicherheit gefährden.
Erschwerend kommt hinzu, dass es keinen Standard für die Frequenz von gepulsten LEDs in Fahrzeugen oder Verkehrszeichen gibt. Bei Frontkameras mit Bildverarbeitungsalgorithmen kann dieses Flackern beispielsweise dazu führen, dass sie Verkehrsschilder falsch lesen oder ganz übersehen. Bei der Anzeige von CMS oder Rückfahrkameras kann dieses Flimmern sowohl störend als auch verwirrend für den Fahrer sein.
Starker Kontrast durch variable Belichtungszeiten
Eine Beispielszene enthält eine Lichtquelle mit hoher Helligkeit, etwa die Sonne am Horizont, dazu ein Fußgänger am Straßenrand, der im Schatten eines Baums dunkler erscheint. Um diese Szene mit hoher Dynamik zu erfassen, kompensiert ein Bildsensor die hellen Teile der Szene durch eine kurze Belichtungszeit, um eine Übersteuerung zu vermeiden. Erscheinen gepulste Lichtquellen wie LED-Scheinwerfer eines Autos in derselben Szene, kann der Bildsensor bei kurzen Belichtungszeiten Bildmomente erwischen, in denen die LEDs gerade dunkelgetastet sind, sodass weniger hell beleuchtete Details gut erkennbar bleiben. Aus der Kombination mehrerer Belichtungen entsteht somit ein Bild mit hohem Dynamikbereich.
In einer hellen Tageslichtszene werden aber einige oder alle Belichtungen die LEDs verfehlen und dazu führen, dass die Scheinwerfer flackernd erscheinen. Wird die Belichtungszeit verlängert, um die Szene zu erfassen, während die Scheinwerfer-LEDs hellgetastet sind, werden die von der hellen Sonne beleuchteten Teile der Szene überbelichtet, was den Dynamikbereich im Bild erheblich verringert und Detailverluste sowie letztlich auch eine inakzeptable Bildqualität bewirkt.
Einen hohen Dynamikbereich erreichen
Diesem Problem entgegnet ein Bildsensor, der in der Lage ist, einen höheren Dynamikbereich innerhalb eines einzelnen Bildes zu erreichen, um helle Bereiche mit einer ausreichend langen Belichtung und somit die gepulsten Lichtquellen während ihrer Ein-Phase zu erfassen, ohne dabei die Szene zu überbelichten. Die Bildsensor-Plattform Hayabusa von ON Semiconductor bietet diese Lösung und basiert auf einer neuen Pixel-Technologie, die eine Super-Belichtung (Super Exposure) ermöglicht. Dabei speichert der Sensor viel mehr Ladung, wodurch die Belichtungszeiten fünfmal länger sind, bevor eine Sättigung eintritt – verglichen zu herkömmlichen Bildsensoren derselben Größe, die sich heute in Automotive-Anwendungen finden. Durch diese Pixel-Technologie ermöglichen Hayabusa-Bildsensoren eine Bildgebung mit einem hohen Dynamikbereich von mehr als 120 dB bei gleichzeitiger LED-Flimmerreduzierung.
Ein Teil der Lösung liegt im Aufbau des Hayabusa-Super-Exposure-Pixels. Durch einen neuen Aufbau und Fertigungsprozess speichert jedes rückseitig beleuchtete 3-µm-Pixel mehr als 100.000 Ladungselektronen, erzeugt über das eingehende Licht. Dies ist deutlich mehr als die 20.000 Elektronen, welche herkömmliche CMOS-Bildsensoren derselben Pixelgröße speichern. Eine einzelne Super-Exposure-Belichtung kann daher eine Dynamik von 95 dB erfassen und den größten Teil der Szene abdecken. Hayabusa-Sensoren bieten die Möglichkeit, eine zweite sehr kurze Belichtung hinzuzufügen, um den Dynamikbereich durch Erfassung der hellsten Teile einer Szene auf über 120 dB zu erweitern.
Das LED-Flackern in den Griff bekommen
Um den Effekt des LED-Flackerns abzuschwächen und gleichzeitig einen Ausgang mit hohem Dynamikbereich bereitzustellen, kann die Super-Belichtung zeitlich so lang sein, dass die gesamte Periode der gepulsten LED mit der niedrigsten Frequenz in einer Szene erfasst wird. Beträgt diese 90 Hz entspricht dies einer Belichtungszeit von ungefähr 11 ms (dabei kann die LED nur ein Zehntel dieser Zeit oder weniger eingeschaltet sein). Mit der Ladungskapazität von 100.000 Elektronen kann der Sensor so lange belichtet werden, ohne dass Details in den hellen Bereichen der Szene verloren gehen. Die zweite, kürzere Belichtungszeit wird dann zusammen mit einem eigens entwickelten integrierten Algorithmus hinzugefügt.
Dieser erhöht den Dynamikbereich, während die Bereiche in der Szene, die eine gepulste LED enthalten, beibehalten werden – für den Fall, dass sie bei der zweiten Belichtung übersehen wurden. Der Sensor kann somit mehr als 120 dB Dynamikbereich in der Szene erfassen und Bereiche mit gepulsten LEDs darstellen, die mit einem herkömmlichen Sensor flackernd erscheinen. Diese hohe Leistungsfähigkeit macht die Hayabusa-Plattform zur optimalen Lösung für die Entwicklung von Fahrzeugkameras, die einen hohen Dynamikbereich mit LED-Flimmerunterdrückung erfordern. Da alle Sensoren dieser Plattform die gleiche Leistungsfähigkeit bieten, können Hersteller zwischen verschiedenen Sensoren auswählen und somit den Entwicklungsaufwand gering halten. Zudem lassen sich auch die Daten zur Anpassung der Sensor-Algorithmen wieder verwenden.
Eine Bildsensorplattform, die viel bietet
Die Hayabusa-Plattform automotive-qualifizierter Bildsensoren bietet eine Auflösung von ein bis fünf Megapixel (MP). Hersteller erhalten damit Skalierbarkeit und die Möglichkeit, sie in verschiedenen Anwendungen zu nutzen. Der erste Sensor der Plattform (AR0233AT) ist ein 2,6-MP-Sensor mit hohem Dynamikbereich und LED-Flimmerunterdrückung. Er gibt 1080p-Video mit 60 Bildern pro Sekunde (fps) aus.
Eine Bildsensorplattform, die zwei der wichtigsten technischen Herausforderungen bei der Bildverarbeitung in Fahrzeugen erfolgreich löst, erfüllt auch die Anforderungen der Autohersteller. Mit einer Plattform, die gleichbleibend hohe Leistungsfähigkeit für verschiedene Sensoren bietet, können Entwickler tausende von Stunden an Szenendaten für die Anpassung der Algorithmen nutzen, um ähnliche ADAS-Funktionen für verschiedene Fahrzeuge zu implementieren und damit einen Bildsensor wählen, der am besten zur jeweiligen Anwendung passt. Damit lassen sich sowohl hochleistungsfähige Highend-Systeme mit hoher Auflösung und kostengünstige Systeme mit niedriger Auflösung in verschiedenen Fahrzeugplattformen mit minimalem Aufwand einsetzen. Die Hayabusa-Bildsensoren können das ADAS-Angebot der Fahrzeughersteller verbessern und Kunden damit eine größere Auswahl bieten. Noch wichtiger ist, dass mehr und mehr Fahrzeuge Systeme erhalten, welche die Sicherheit für alle Verkehrsteilnehmer erhöhen.
Bahman Hadji
(jwa)