Bildsensoren sind ein wesentlicher Bestandteil eines ADAS-Systems (Advanced Driver Assistance Systems) und die Hauptquelle aller Bildverarbeitungsdaten. Sie liefern die Rohdaten, mit denen der Rest des Systems die Umgebung analysiert und dann operative Entscheidungen im Fahrzeug trifft. Bildsensoren sind also die Augen des autonomen Fahrzeugs. Mit der zunehmenden Komplexität der ADAS haben sich diese Entscheidungen von der Erzeugung einfacher akustischer und visueller Warnungen hin zu viel komplexeren Entscheidungen wie Bremsen, Beschleunigen und Lenken entwickelt und gehen in Zukunft zum vollständig autonomem Fahren über. Diese Fortschritte bei autonomen und teilautonomen Fahrzeugen basieren zunehmend auf Bildsensoren und deren sicheren Betrieb.

Funktionale Sicherheit

Bild 1: Diese Art von Farbfehler im Bild entsteht beispielsweise durch eine Störung in der Bild-Pipeline.

Bild 1: Diese Art von Farbfehlern im Bild entsteht beispielsweise durch eine Störung in der Bild-Pipeline. ON Semiconductor

Um funktionale Sicherheit in ein ADAS-System zu implementieren, muss das System Maßnahmen oder Verhaltensweisen, die Fehler beziehungsweise Schäden verursachen können, verhindern oder abschwächen. Die Bewertung der Schadenswahrscheinlichkeit und der Schwere dieses Schadens, die durch einen Ausfall des Systems verursacht wird, ermöglicht es dem Entwickler, die Risikostufen des Systems zu klassifizieren und geeignete Maßnahmen zu ergreifen, um so das Risiko zu minimieren.

Dies erfordert häufig grundlegende Veränderungen – nicht nur im Entwicklungsprozess, sondern auch in der Sicherheitskultur von Unternehmen, die von der Organisation über Sicherheitsverantwortliche bis hin zu Sicherheitsdokumentation, Handbüchern und Standards reicht. Die Verantwortung für die Einhaltung der funktionalen Sicherheit in einem System umfasst nicht nur den ADAS-Lieferanten, sondern die gesamte Lieferkette vom OEM über den ADAS-Anbieter bis hin zu den Herstellern von Bauelementen. Für robuste funktionale Sicherheit müssen alle wichtigen sicherheitsrelevanten Komponenten im System zur funktionalen Gesamtsicherheit beitragen. Sicherheit muss daher an der Quelle beginnen.

Fehler in der Bildverarbeitung

Bild 2: Einen unsicheren Fehler als einen Ausgang zu definieren, der sich von einem fehlerfreien Modell unterscheidet, ist eine Möglichkeit der Fehlerbetrachtung.

Bild 2: Einen unsicheren Fehler als einen Ausgang zu definieren, der sich von einem fehlerfreien Modell unterscheidet, ist eine Möglichkeit der Fehlerbetrachtung. ON Semiconductor

Eine sehr konservative Ansicht eines Fehlers in einem Bildsensor wäre, einen unsicheren Fehler als einen Ausgang zu definieren, der sich von einem „fehlerfreien“ Modell oder einem bewusst fehlerfreien (Known-Good) Sensorausgang unterscheidet (Bild 2). Auf granularer Ebene würde dies bedeuten, dass sogar Fehler auf Pixelebene einen Ausfall darstellen könnten. Auf höheren Ebenen könnten Zeilen-, Spalten- und Rahmenfehler ebenfalls einen Ausfall verursachen. Mit einzubeziehen sind alle Probleme beim internen Betrieb des Sensors – entweder analog oder digital – die als Pixel-, Zeilen-, Spalten- oder Rahmenfehler erscheinen könnten.

Ebenso stellen Fehler bei der physikalischen Übertragung von Daten vom Sensor zum Rest des Systems einen weiteren möglichen Ausfallgrund dar. Aufgrund der dynamischen Natur beweglicher Bilder können Fehler sowohl statisch (permanent oder fest) als auch dynamisch (räumlich und zeitlich) sein. Bei dieser konservativen Fehlerdefinition in einem Bildsensor besteht die Herausforderung für das Systemdesign darin, das Vorhandensein eines Fehlers zu erkennen.

Bild 3: Faktoren wie Stromversorgung oder Bauteildefekte können zu Bildfehlern führen, hier im Bild ist der Effekt eines Fehlers im Taktsystem zu sehen.

Bild 3: Faktoren wie Stromversorgung oder Bauteildefekte können zu Bildfehlern führen, hier im Bild ist der Effekt eines Fehlers im Taktsystem zu sehen. ON Semiconductor

Fehler, die sich auf einzelne Pixel auswirken, haben möglicherweise nur minimalen Einfluss auf ein ADAS. Da fortschrittliche Objekterkennungsalgorithmen die Objekte in einem Bild mit weniger als 10 × 10 Pixel erkennen, können einzelne Pixelfehler und sicherlich Fehlercluster einen Objektidentifizierungsalgorithmus beeinflussen. Da ein Pixelausgang in einen digitalen Wert umgewandelt wird, der die Lichtintensität an einer bestimmten Stelle wiedergibt, kann ein Ausfall als ein Fehler oder eine Verfälschung erscheinen, die einen falschen Wert verursacht. Faktoren wie Stromversorgung, Bauteildefekte, übermäßiges Rauschen oder sogar Umgebungsstrahlung können zu Fehlern führen (Bild 3).

Aufgrund der Pixel-Anordnung in Bildsensoren kann auch die Logik, die der Zeilen- und Spaltenstruktur des Arrays zugeordnet ist, zu Fehlern beitragen. Fehlende oder duplizierte Zeilen und/oder Spalten können zum Verlust von Informationen oder zur falschen Darstellung der Szene führen. Offensichtliche Fehler wie ein sich wiederholender Bildrahmen in einem Rückfahrsystem können beim autonomen, halbautonomen und manuellen Fahren fatale Folgen haben. Selbst wenn alle Elemente des Bildrahmens, der Pixel, Zeilen/Spalten und Rahmendaten fehlerfrei sind, können Übertragungsfehler die Daten verfälschen, bevor sie den entsprechenden Empfänger erreichen. Diese Übertragungsfehler können durch natürliche Phänomene entstehen, die selbst das System nicht erkennt.

Herausforderungen bei der Fehlererkennung

Die Fehlererkennung in einem Bildsensor ist keine leichte Aufgabe und die Komplexität des Bildsensors führt zu einer sehr hohen Anzahl möglicher Fehlermodi. Die Mischung aus analogen und digitalen Schaltungen verschlimmert das Problem zusätzlich.

Bild 4: Bei Bildfehlern sind sowohl die analogen und digitalen Teile der Schaltung zu betrachten, hier die Auswirkung eines Fehlers in der analogen Kette.

Bild 4: Bei Bildfehlern sind sowohl die analogen und digitalen Teile der Schaltung zu betrachten, hier die Auswirkung eines Fehlers in der analogen Kette. ON Semiconductor

Die Pixelstruktur und die zugehörigen Ladungsübertragungs- und Ausleseschaltungen sind analoger Natur. Störungen im Zusammenhang mit analogen Schaltungen zeigen ein anderes Verhalten als bei digitalen Schaltungen. Während des Betriebs kann ein Pixel unter einem Fehler leiden, der dem eines digitalen festhängenden Fehlers ähnelt (wenn ein Logikknoten beim Wert 1 oder 0 hängenbleibt). Das Erkennen eines Fehlers wie zum Beispiel eines steckengebliebenen Pixels scheint auf einem Host-Prozessor einfach zu sein.

Wenn jedoch die Sensorauflösungen auf 8 MP und mehr ansteigen, kann das Prüfen jedes Pixels auf einen von mehreren Fehlerzuständen bei jedem Rahmen innerhalb eines bestimmten Zeitfensters eine erhebliche Anzahl von Prozessorzyklen und Speicher belegen. Das Erkennen bestimmter Pixelfehler, beispielsweise Rauschen außerhalb der spezifizierten Grenzwerte, ist dann möglicherweise nicht einmal mehr auf Systemebene möglich. Werden Fehler bei der A/D-Wandlung erkannt, lassen sich auch Fehler, die fehlende Codes, Rauschen und Nichtlinearitäten umfassen, unmöglich auf einem Host-Prozessor oder auf Systemebene ausführen (Bild 4).

Neben analogen Fehlern muss das System auch digitale Fehler auf Pixelebene handhaben. Beeinflussen digitale Fehler Pixeldaten, die Bits verschieben könnten, kann eine Verarbeitung auf höherer Ebene durchaus nicht in der Lage sein, diese Fehler zu erkennen. Im Gegensatz zum menschlichen Auge, das Farbraumfehler leicht erkennt, sind Rechner nicht in der Lage, solche Fehler zu erkennen. Systemische Fehler in der Bildverarbeitungs- und Übertragungspipeline können weitreichende Fehler verursachen, die das System erkennen kann, oder auch nicht (Bild 1).

Räumliche Fehler, wie zum Beispiel Zeilen- oder Spaltenadressierungsfehler, die zu wiederholten Zeilen führen, sind auf Systemebene erkennbar – jedoch zu Lasten der CPU-Zyklen und des Arbeitsspeichers (Bild 5). Das System kann nicht garantieren, dass der Sensor die Zeilen und Spalten in der richtigen Reihenfolge sendet, was praktisch nicht verifizierbar ist. Es gibt allgemeine Methoden, um festzustellen, ob aufeinanderfolgende Bilder früheren Bildern ähneln – aber diese können nur grobe Fehler des Bildsensors anzeigen. Subtilere Fehler sind immer noch nicht fassbar. Selbst in Fällen, in denen eine Erkennung auf Systemebene möglich ist, wäre die Berücksichtigung der großen Anzahl möglicher Fehlermodi und die Durchführung der für ihre Erkennung erforderlichen Analyse hinsichtlich der Rechenleistung und der Abdeckung unvollständig.

Fehlermodi außerhalb des Sensors

Die folgenden drei Fehlermodi sind eher in anderen digitalen Schaltungen anzutreffen. Der erste stellt sicher, dass die vom Sensor übertragenen Daten vor dem Empfang nicht beschädigt wurden, da die Daten möglicherweise lange Leitungen und störungsbehaftete Übertragungsmedien durchlaufen müssen. Der zweite stellt sicher, dass die Speicher und Register innerhalb des Sensors funktionieren und dass Fehler erkannt und/oder korrigiert werden können. Der dritte Fehlermodus ist ein Fehler in der internen Logik oder den Zustandsautomaten des Sensors.

Der erste Fehlermodus lässt sich durch Sender und Empfänger mit integrierter Fehlerüberprüfung und/oder fehlerkorrigierender Codierung lösen. Dies führt zu zusätzlichen Kosten für das System. Der zweite Fehlermodus lässt sich durch das System lösen, indem periodisch der Register- und Speicherinhalt des Sensors überprüft wird, was zu Lasten der Systemressourcen geht. Der dritte Fehlermodus könnte Probleme verursachen, die von einer fatalen Verfälschung von Bilddaten bis hin zu schleichenden Änderungen reichen, welche die Rahmendaten für den Verlauf vieler Rahmen allmählich verfälschen. Der erstgenannte Fehler lässt sich leicht identifizieren, während der letztere für eine Überprüfung auf Systemebene vollständig unsichtbar ist.

Als weiterer Faktor ist die Verzögerung zwischen dem Auftreten des Fehlers und seiner Erkennung zu berücksichtigen (Bild 6). Die Verzögerung wird als Fehlererkennungs-Zeitintervall (FDTI, Fault Detection Time Interval) bezeichnet und hat erheblichen Einfluss auf die Gesamtzeit zwischen dem Auftreten des Fehlers und dem Übergang des Systems in einen sicheren Zustand vor einem gefährlichen Ereignis oder dem Fehlertoleranz-Zeitintervall (FTTI, Fault Tolerant Time Interval). Muss das System die Fehlererkennung ganz oder teilweise durchführen, umfasst das gesamte FDTI die Zeit für den Sensor, um die Daten an die nächste Stufe des Systems zu übertragen, sowie die Zeit, die das System zum Empfang, zur Analyse und letztendlichen Erkennung des Fehlers benötigt.

Vorteile sensorbasierter funktionaler Sicherheit

Sensoren bieten heute eine Reihe von Testfunktionen, die bereits in den Baustein integriert sind. Einige Bildsensoren bieten die Möglichkeit, einen definierten Testrahmen zu übertragen. Die Durchführung einer CRC-Prüfung der Daten könnte auf einen möglichen Fehler bei der Übertragung hinweisen. Dies ist ein erster Schritt zur Fehlererkennung – oft aber beansprucht der Testrahmen keinen wesentlichen Teil der tatsächlichen Bilderfassungs-Pipeline, insbesondere die Analogbereiche. Diese Art der Prüfung spürt nur Fehler im Übertragungsdatenpfad und nicht im Sensor selbst auf. Zusätzlich neigen die so erfassten Störungen zu statischen Fehlern. Schließlich führt die Erzeugung eines Testrahmens auch dazu, dass der Sensor und damit das gesamte System für eine begrenzte Zeit offline sind. Alle diese Nachteile erfordern daher ein Echtzeitverfahren zur Erkennung möglicher Fehler auf der Pixelebene des Bildsensors.

Bild 5: So zeigen sich Fehler in der Zeilenadressierungslogik eines Bildsensors.

Bild 5: So zeigen sich Fehler in der Zeilenadressierungslogik eines Bildsensors. ON Semiconductor

Bei der Betrachtung von Bildsensoren für ein ADAS oder autonomes Fahrzeugsystem empfiehlt es sich, die analoge Fehlerabdeckung ernsthaft zu erwägen. Fortschrittlichere Sensoren bieten Mechanismen für funktionale Sicherheit, die eine Diagnose der analogen Sensorblöcke ermöglichen, die in den meisten aktuellen Sensoren mehr als 50 Prozent der gesamten Schaltungsfläche einnehmen. Ein hohes Maß an analoger Diagnoseabdeckung ist für eine hohe Funktionssicherheit des Bildsensors unerlässlich. Eine einfache Größe zur Unterscheidung von Sensoren kann die Anzahl der vom Sensor unterstützten analogen Sicherheitsmechanismen sein. Da bestimmte analoge Sicherheitsmechanismen einige zusätzliche Berechnungen erfordern, ist die Menge an zusätzlicher Datenverarbeitung entscheidend, die zum Erkennen des Fehlers erforderlich ist. Fortschrittlichere Sicherheitsmechanismen erfordern weniger Berechnungen – oft beschränkt auf die Überprüfung von Übergängen, während weniger ausgefeilte Mechanismen eine aufwendigere rechenintensive Verarbeitung erfordern.

Fehlerabdeckung und Überprüfung

Bild 6: Ein Vergleich der systembasierten Fehlererkennungszeit mit der sensorbasierten Zeit für die Fehlererkennung.

Bild 6: Ein Vergleich der systembasierten Fehlererkennungszeit (oben) mit der sensorbasierten Zeit für die Fehlererkennung (unten). ON Semiconductor

Viele Anbieter von Bildsensoren stellen die hohe Fehlerabdeckung einschließlich ASIL-B- und ASIL-C-Unterstützung in den Vordergrund – aber wie können Tier-1-Hersteller und OEMs diese Behauptung überprüfen? Ein weiterer zu berücksichtigender Faktor ist die Fähigkeit, ein System mit einer höheren Fehlerabdeckung zu entwickeln, das einen Sensor mit einer niedrigeren ASIL-Stufe enthält, also eine ASIL-Aufteilung. Wie erfolgt dabei die Diagnoseabdeckung, Verifizierung und ASIL-Aufteilung?

In der Regel basiert die Diagnoseabdeckung auf den Richtlinien der ISO 26262-5 Annex D. Diese Standards sind jedoch vorsichtig, wenn Folgendes festzustellen ist: „Die Zuordnung der Fehler und ihrer entsprechenden Sicherheitsmechanismen zur Diagnosedeckung kann variieren und von denen Tabelle D.1 aufgeführten abweichen.“

Viele Sensorhersteller geben diese Werte ausschließlich auf der Grundlage der Art des durchgeführten Tests an, wobei die Details der Umsetzung oder eine der anderen Varianten, in der ISO26262-5, Abschnitt D.1 vorgegeben sind, wenig oder keine Berücksichtigung finden. Dies führt in der Regel zu künstlich hohen Schätzungen bei der Diagnoseabdeckung und (zum Nutzen des Sensorherstellers) zu einer ebenfalls künstlich hohen ASIL-Bewertung. Dies wirft die Frage auf, wie sich die diagnostische Abdeckung von Sicherheitsmechanismen genau bestimmen lässt. Die Antwort darauf ist eine tatsächliche Fehlerinjektion. Dabei wird festgestellt, ob ein Fehler durch einen Sicherheitsmechanismus erkannt wird. Da jedoch die Anzahl der Gatter in einem Bildsensor 1,5 Millionen übersteigt, ist eine flächendeckende Fehlerinjektion praktisch unmöglich. Darüber hinaus können Fahrzeug-Bildsensoren heute zusätzlich zu anderen Analogschaltungen mehr als acht Millionen Pixel enthalten. Um dies zu berücksichtigen, kommen statistische Methoden zum Einsatz, die die Berechnung der diagnostischen Abdeckung innerhalb einer bestimmten Fehlerspanne ermöglichen. Die statistische Fehlerinjektion dient dazu, Fehlergrenzen von weniger als fünf Prozent zu erzielen. Dies ermöglicht die genaue Berechnung der Diagnoseabdeckung auf wenige Prozent.

Bei Betrachtung der Gesamtsicherheit eines autonomen Fahrzeugs ist es von entscheidender Bedeutung, die diagnostische Abdeckung eines Bildsensors mit hoher Genauigkeit zu verstehen. Ein Bildsensor, dessen Schätzung der Diagnoseabdeckung auf Empfehlungen und Richtlinien beruht, schafft einen hohen Grad an Unsicherheit bei der Durchführung der Sicherheitsanalyse des Gesamtsystems. Umgekehrt bietet ein Bildsensor, von dem bekannt ist, dass seine Diagnoseabdeckung innerhalb weniger Prozent genau ist, ein hohes Vertrauen in die Gesamtsicherheit des autonomen Systems. Dokumente wie die FMEDA (Fehlermodi, Effekte und Diagnoseanalyse) vermitteln ein klares Bild davon, wie der Test der Sicherheitsmechanismen und die Berechnung der Diagnoseabdeckung ablaufen.

Fazit

Ohne direkte Unterstützung für die Erkennung, den Schutz und die Korrektur von Ausfällen in einem Bildsensor ist die Fähigkeit eines ADAS, eine gewünschte ASIL-Stufe zu erreichen, stark eingeschränkt. Umgekehrt lässt sich der ASIL-Wert eines ADAS mit direkt in den Bildsensor integrierter ASIL-Unterstützung erheblich verbessern.

Mit der zunehmenden Automatisierung der Fahrzeuge steigt das erforderliche Sicherheitsniveau des ADAS-Subsystems. Bis heute haben viele ADAS Schwierigkeiten, ASIL-B-Konformität zu erfüllen. In naher Zukunft wird die Zahl der Systeme, die zur Einhaltung von ASIL-B erforderlich sind, drastisch steigen. Zukünftige ADAS müssen dann die strengeren ASIL-C- und ASIL-D-Stufen erfüllen. Durch die ASIL-Aufteilung ließe sich eine ASIL-C-bewertete ADAS-Lösung auf einem ASIL-B-Bildsensor aufbauen. Es kann sogar möglich sein, ein ASIL-D-ADAS mithilfe eines ASIL-B-Bildsensors durch zusätzliche Sicherheitsziele zu erstellen. Der Einsatz von Bildsensoren mit hochgenauer Berechnung verbessert die Diagnoseabdeckung durch statistische Fehlerinjektion und somit das Vertrauen in die Gesamtsicherheit autonomer Fahrzeugsysteme.