Eckdaten

Die markante Zunahme von Fahrerassistenzsystemen bedeutet auch, dass diese derzeit noch unabhängig voneinander arbeitenden Systeme die Basis für neue Assistenzfunktionen sein können, wenn man durch Sensorfusion, also die Kombination der Sensoren, deren Stärken nutzt. Ob die Intelligenz der Sensordaten-Verarbeitung dabei zentral oder dezentral zu platzieren ist, ist das Thema dieses Beitrags.

In den USA wird die Ausstattung von Autos mit einer Rückfahrkamera bald Vorschrift sein. Auch die Rabattstrukturen von Versicherungsunternehmen und die Einstufung der Sicherheit der Autos durch Organisationen wie die National Highway Traffic and Safety Administration (NHTSA) und das European New Car Assessment Program (Euro-NCAP) machen einige Assistenzsysteme zwingend notwendig oder sorgen zumindest dafür, dass die Kunden sie als Ausstattungsoptionen nachfragen.

Autonome Fahrfunktionen wie Einparkautomatik, adaptive Geschwindigkeitsregelung und Notbremsautomatik sind in hohem Maße auf Sensoren angewiesen, meist Kameras beziehungsweise Ultraschall- oder Lidar-Sensoren. Dabei kommt es nicht allein auf Art und Anzahl der Sensoren an, sondern darauf, wie man diese Sensoren nutzt.

Derzeit sind Fahrerassistenzsysteme als einzelne, unabhängige Zusatzausstattungen implementiert.

Derzeit sind Fahrerassistenzsysteme als einzelne, unabhängige Zusatzausstattungen implementiert. Texas Instruments

Die meisten Fahrerassistenzsysteme der heutigen Autos arbeiten unabhängig voneinander, tauschen also kaum Informationen untereinander aus. Die wenigen Fahrzeuge der Ober- und Luxusklasse mit besonders anspruchsvollen autonomen Funktionen sind hier gegenwärtig noch echte Außenseiter. Stattet man ein Fahrzeug mit mehreren unabhängigen Systemen wie Rückfahrkameras, Surround-View-Systeme, Abstandsradar und Frontkameras aus, kann man dem Fahrer mehr Informationen zur Verfügung stellen und in einem gewissen Umfang autonome Funktionen realisieren. Allerdings kann man mit dem, was sich realistischerweise umsetzen lässt, auch an Grenzen stoßen.

Warum Sensorfusion?

Individuelle Unzulänglichkeiten der einzelnen Sensortypen lassen sich nicht wettmachen, indem man denselben Sensortyp mehrfach verwendet. Vielmehr ist es notwendig, Informationen von verschiedenen Sensortypen zusammenzuführen, denn alle Sensortypen weisen ihre spezifischen Stärken und Schwächen auf. Ein im sichtbaren Spektrum arbeitender CMOS-Bildsensor liefert beispielsweise bei dichtem Nebel, Regen, Sonnenblendung oder Dunkelheit kaum brauchbare Bilder, und Radarsysteme können nicht mit der hohen Auflösung heutiger Bildsensoren aufwarten. Kombiniert man nun die Signale verschiedener Sensoren und Sensortypen so miteinander, dass die Umgebung insgesamt präziser wahrgenommen wird, lassen sich bessere und vor allem sicherere Entscheidungen treffen, als es mit unabhängigen Systemen möglich wäre. Man spricht in diesem Fall von Sensorfusion. Der Radartechnik mangelt es zwar an der Auflösung lichtbasierter Sensoren, sie eignet sich jedoch hervorragend zum Messen von Entfernungen und sie kann Regen, Schnee und Nebel durchdringen. Derartige Umgebungen oder fehlendes Licht sind hingegen ungünstig für Kameras, die dafür aber Farben erkennen können und eine hohe Auflösung mitbringen, was zum Detektieren von Verkehrsschildern und Straßenmarkierungen wichtig ist. Schon jetzt kommen in Fahrzeugen Bildsensoren mit einer Auflösung von ein Megapixel zum Einsatz, und in den kommenden Jahren wird der Trend zu zwei oder gar vier Megapixel gehen.

Dieses Beispiel von Radarsystem und Kamera zeigt, wie sich verschiedene Sensortechnologien ausgezeichnet ergänzen können und wie ein fusioniertes System mehr leisten kann als die Teilsysteme für sich alleine. Der Einsatz unterschiedlicher Sensoren ermöglicht auch ein gewisses Maß an Redundanz gegenüber Umgebungsbedingungen, bei denen alle Sensoren eines Typs ausfallen würden. Ein auf Sensorfusion basierendes System könnte außerdem beim Versagen eines Sensors eine gewisse Notlauf-Funktion beibehalten, denn solange ein System noch reine Warnfunktionen wahrnimmt oder der Fahrer zur Übernahme der Aufgaben bereit ist, ist der Ausfall eines Sensors möglicherweise nicht so kritisch. Weitreichend oder völlig autonome Systeme müssen dem Fahrer allerdings eine hinreichend lange Zeitspanne einräumen, um die Kontrolle wieder zu übernehmen, und in dieser Zeit ist es notwendig, dass das System ein Mindestmaß an Kontrolle aufrecht erhält.

Beispiele für Sensorfusions-Systeme

Die Sensorfusion kann auf zwei verschiedenen Komplexitätsebenen und mit Daten unterschiedlichen Typs erfolgen. Beispiele hierfür sind eine Kombination aus Rückfahrkamera und Ultraschall-Abstandsmesser sowie eine Kombination aus Frontkamera und Multimode-Frontradar. Realisieren lassen sich diese Beispiele durch geringfügige Modifikationen an bereits vorhandenen Systemen oder durch Hinzufügen einer separaten Sensorfusions-Steuereinheit.

Die Fusion von Frontradar und Frontkamera oder von Rückfahrkamera und Ultraschall-Abstandswarner ermöglichen neue Arten von Assistenzsystemen.

Die Fusion von Frontradar und Frontkamera oder von Rückfahrkamera und Ultraschall-Abstandswarner ermöglichen neue Arten von Assistenzsystemen. Texas Instruments

Die auf Ultraschalltechnik basierende Einparkhilfe ist inzwischen ausgereift und genießt große Akzeptanz bei den Kunden, da sie akustisch oder optisch vor Hindernissen beim Einparken warnt. Wenn nun wie in den USA alle Neufahrzeuge ab 2018 mit Rückfahrkameras ausgerüstet sind, lassen sich durch das Kombinieren von Informationen beider Systeme neue, ausgefeiltere Einparkhilfen realisieren, die mit einem System allein nicht möglich sind. Beispielsweise liefert die Kamera dem Fahrer ein klares Bild dessen, was sich hinter dem Fahrzeug befindet, während Bildverarbeitungs-Algorithmen den Randstein, Straßenmarkierungen und Hindernisse erkennen können. Ergänzt durch das Ultraschallsystems lässt sich nun die Distanz zu den detektierten Objekten exakt ermitteln, sodass eine Näherungswarnung auch bei schlechten Lichtverhältnissen oder völliger Dunkelheit sichergestellt ist.

Eine weitere leistungsfähige Kombination ist die Zusammenführung von Frontkamera und Frontradar. Hierbei ist das Frontradar in der Lage, bei jedem Wetter die Geschwindigkeit und den Abstand von Objekten auf bis zu 150 m zu messen. Die Kamera dagegen eignet sich hervorragend zum Erkennen und Unterscheiden von Objekten wie beispielsweise Verkehrsschildern und Straßenmarkierungen. Durch die Verwendung mehrerer Bildsensoren mit unterschiedlichen Sichtfeldern und verschiedenen Optiken sind auch Fußgänger oder Radfahrer sowie andere Objekte in einer Entfernung von 150 m oder mehr vor dem Fahrzeug identifizierbar. Funktionen wie die automatische Notbremsfunktion oder ein Stop-and-go-fähiger Tempomat für den Stadtverkehr lassen sich hiermit zuverlässig implementieren.

Unter genau definierten Bedingungen lassen sich bestimmte Fahrerassistenzsystem-Funktionen auch mit einem Sensortyp oder individuellen Systemen realisieren, was aber möglicherweise nicht ausreicht, um auch unter den unvorhersehbaren Bedingungen des Straßenverkehrs zuverlässig zu funktionieren. Die Sensorfusion macht nicht nur komplexere und autonome Funktionen möglich, sondern kann auch bei bestehenden Features die Zahl der Falsch-Positiv- und Falsch-Negativ-Meldungen verringern.

Zentrale oder dezentrale Intelligenz

In einem fusionierten System führt nicht mehr jedes Einzelsystem eigenständig seine jeweiligen Warn- oder Kontrollfunktionen aus, stattdessen fällt eine einzige Instanz die finale Entscheidung darüber, welche Aktion ausgeführt werden soll. Es stellt sich dabei die entscheidende Frage, wo die Verarbeitung der Daten erfolgt und wie die Daten von den Sensoren zum zentralen elektronischen Steuergerät, der Electronic Control Unit (ECU) gelangen.

In der zentralen Verarbeitungseinheit laufen die Daten der Satelliten-Sensormodule ohne Eigenintelligenz zusammen.

In der zentralen Verarbeitungseinheit laufen die Daten der Satelliten-Sensormodule ohne Eigenintelligenz zusammen. Texas Instruments

Bei der Zusammenführung mehrerer Sensoren, die auf das gesamte Auto verteilt sind, erfordern die Kabel und Steckverbinder zum zentralen Steuergerät besondere Beachtung. Gleiches gilt für die Platzierung der Datenverarbeitungs-Instanz, da sich diese auf die Implementierung des gesamten Systems auswirkt. In dem Spektrum möglicher System-Partitionierungen gibt es zwei Extremfälle: die zentralisierte Verarbeitung und ein völlig dezentrales System.

Zentralisierte Verarbeitung

Bei der zentralisierten Variante erfolgt die gesamte Datenverarbeitung und Entscheidungsfindung an einem Ort. Die verschiedenen Sensoren übermitteln dazu die benötigten Daten im Rohformat.

Pro zentralisierte Verarbeitung:

Die Sensormodule sind klein und kostengünstig und verbrauchen nur wenig Strom, da nur die reine Sensorfunktion und die Datenübertragung erforderlich sind. Die Sensoren lassen sich flexibel anbringen und benötigen nur wenig Platz. Auch die Kosten für den Austausch von Sensoren sind gering. Wegen des Fehlens von Verarbeitungs- oder Entscheidungsfunktionen werden an diese Sensormodule außerdem meist geringere Anforderungen in Sachen funktionale Sicherheit gestellt.

Eine zentrale Verarbeitungs-ECU verfügt über alle benötigten Daten, da keine Daten durch Vorverarbeitung oder Kompression im Sensormodul verlorengehen. Die niedrigen Kosten und kleinen Abmessungen ermöglichen die Installation von mehr Sensoren.

Contra zentralisierte Verarbeitung:

Zu den Sensormodulen ist eine breitbandige Kommunikationsverbindung bis zu mehreren GBit/s erforderlich, um den großen Umfang an Sensordaten in Echtzeit abzuwickeln. Dies erhöht die Wahrscheinlichkeit elektromagnetischer Interferenzen (EMI).

Die zentrale Verarbeitungs-ECU benötigt mehr Verarbeitungsleistung und Geschwindigkeit, um alle ankommenden Daten zu bewältigen. Dies erhöht den Stromverbrauch und die Wärmeentwicklung infolge der vielen breitbandigen I/Os und anspruchsvollen Applikationsprozessoren. Das Hinzufügen von Sensoren erfordert auch eine höhere Leistungsfähigkeit der zentralen ECU. Einige Nachteile lassen sich mit Interfaces wie zum Beispiel FPD-Link III beheben, mit denen sich Sensordaten und Stromversorgung sowie Steuer- und Konfigurationsdaten als bidirektionaler Rückkanal über ein einziges Koaxialkabel übertragen lassen, was den Verdrahtungsaufwand des Systems entscheidend verringert.

Dezentrales System

Bei einem vollständig dezentralen System ist ein großer Teil der Datenverarbeitung und in gewissem Umfang auch der Entscheidungsfindung an die Sensormodule ausgelagert. Es überträgt ausschließlich Objektdaten oder Metadaten – diese beschreiben Objekteigenschaften und/oder identifizieren Objekte – an eine zentrale Fusions-ECU, die die Daten zusammenführt und die finalen Entscheidungen bezüglich der notwendigen Aktionen oder Reaktionen fällt.

Pro dezentrales System

Zwischen Sensormodulen und ECU reicht eine einfachere, kostengünstigere Schnittstelle mit geringerer Bandbreite aus. Häufig genügt ein CAN-Bus mit weniger als 1 MBit/s.

Da das zentrale Steuergerät nur Objektdaten fusionieren muss, benötigt es weniger Verarbeitungsleistung, und für einige Systeme reicht ein fortschrittlicher Sicherheits-Mikrocontroller aus. Da das Modul kleiner ist, nimmt es außerdem weniger Leistung auf. Das Hinzufügen von Sensoren lässt die Performance-Ansprüche an die zentrale ECU nicht übermäßig ansteigen, da ein großer Teil der Verarbeitung im Sensor selbst erfolgt.

Contra dezentrales System

Die Sensormodule benötigen einen Applikationsprozessor und werden dadurch größer und teurer und verbrauchen mehr Strom. Die Funktionssicherheits-Anforderungen im Sensormodul sind wegen der lokalen Verarbeitungs- und Entscheidungsfindungs-Funktionen größer. Selbstverständlich ist auch das Nachrüsten zusätzlicher Sensoren mit hohen Kosten verbunden.

Die zentrale, für die Entscheidungen zuständige ECU verfügt ausschließlich über Objektdaten und hat keinen Zugriff auf die wirklichen Sensordaten. Es ist dadurch schwierig, interessierende Bereiche genauer unter die Lupe zu nehmen.

In einem dezentralen System erfolgt die Aufbereitung der Sensordaten bereits in den Sensormodulen, während die zentrale ECU die Entscheidungen trifft.

In einem dezentralen System erfolgt die Aufbereitung der Sensordaten bereits in den Sensormodulen, während die zentrale ECU die Entscheidungen trifft. Texas Instruments

Der goldene Mittelweg

Abhängig von Typ und Anzahl der in einem System zum Einsatz kommenden Sensoren, von den Skalierbarkeits-Anforderungen für unterschiedliche Automodelle sowie von den Upgrade-Optionen, kann eine Mischung aus den beiden gerade beschriebenen Topologien die optimale Lösung darstellen. Viele Fusionssysteme nutzen heute Sensoren mit lokalen Verarbeitungsfunktionen für Radar, Lidar und die zur Bildverarbeitung dienende Frontkamera. Ein rein dezentrales System kann die vorhandenen Sensormodule in Kombination mit einer ECU zur Objektdaten-Fusion nutzen. Sensormodule ohne Eigenintelligenz für Systeme wie die Surround-View- und Rückfahrkameras lassen sich in ein Fusionssystem mit vielen weiteren Fahrerassistenz-Funktionen wie beispielsweise Fahrerüberwachung oder Kameraüberwachung integrieren, ohne das Prinzip der Sensorfusion anzutasten.

Bei der Sensorfusion kommt es auf richtige Kombination aus zentraler und dezentraler Verarbeitung an.

Bei der Sensorfusion kommt es auf richtige Kombination aus zentraler und dezentraler Verarbeitung an. Texas Instruments

Das Plattform-Management, die anvisierten Fahrzeugsegmente sowie Flexibilität und Skalierbarkeit sind wichtige wirtschaftliche Faktoren, wenn es um die Partitionierung und das Design eines Fusionssystems geht. Das daraus resultierende System muss nicht unbedingt die optimale Implementierung für eine bestimmte Variante sein. Dennoch kann es mit Blick auf die Plattform oder die gesamte Fahrzeugflotte die beste Lösung darstellen.

Die Nutzung der Sensordaten

Im Zusammenhang mit den Fahrerassistenzsystemen blieben zwei Aspekte bisher unerwähnt, nämlich die informativen und die funktionalen Fahrerassistenzsysteme. Erstere dienen dazu, die Sinne des Fahrers zu erweitern, während dieser nach wie vor die uneingeschränkte Kontrolle über das Fahrzeug hat. Beispiele sind Surround-View- und Nachtsicht-Systeme. Bei den funktionalen Fahrerassistenzsystemen handelt es sich dagegen um Bildverarbeitungs-Systeme, die es dem Auto ermöglichen, seine Umgebung wahrzunehmen und eigenständig zu entscheiden und zu handeln, zum Beispiel per Notbremsautomatik oder Spurhalteassistent. Die Sensorfusion ermöglicht das Zusammenwachsen der informativen und der funktionalen Systeme.

Damit einher geht die Möglichkeit, ein und denselben Sensor für verschiedene Zwecke zu nutzen, auch wenn man sich dies mit der Einschränkung der Alternativen für die beste Intermodul-Kommunikation und die Platzierung der Verarbeitungseinheit erkauft. Nehmen wir als Beispiel das Surround-View-System, das dem Fahrer mithilfe von Video-Zuspielungen auf ein zentrales Display ein Sichtfeld von 360° bietet. Was spricht dagegen, die Bilder dieser Kameras auch einem Bildverarbeitungssystem zuzuführen? Die rückwärtige Kamera kann für das Rückwärtsfahren oder das automatische Einparken genutzt werden, während sich die seitlichen Kameras neben der Totwinkelerkennung und -warnung auch für die Einparkautomatik verwenden lassen.

Wird sie allein eingesetzt, nutzt die Bildverarbeitung die lokale Verarbeitung im Sensormodul, um dann Objektdaten oder sogar Befehle über eine einfache Verbindung geringer Bandbreite wie beispielsweise CAN zu übertragen. Für einen vollständigen Video-Stream reicht diese Verbindung jedoch nicht aus, denn der Bandbreitenbedarf lässt sich zwar per Kompression verringern, allerdings nicht bis in den Bereich von 1 MBit/s. Eine breitbandige Verbindung und der Verzicht auf Datenverarbeitung im Kameramodul können das Problem für den Videobereich lösen, jedoch sind dann zusätzliche Verarbeitungsfunktionen im zentralen Steuergerät notwendig, um die Bildverarbeitung dort vorzunehmen. Mangelnde Verarbeitungsleistung in der Zentraleinheit oder thermische Restriktionen können sich als Engpass für diese Lösung erweisen. Technisch wäre es durchaus möglich, die Verarbeitung im Sensormodul mit breitbandigen Kommunikationsverbindungen zu kombinieren, jedoch sprechen die Gesamtkosten, der Stromverbrauch und der Platzbedarf gegen diese Variante.

Sicherung der Betriebszuverlässigkeit

Da viele Fusionssysteme in der Lage sind, bestimmte Funktionen des Autos ohne Zutun des Fahrers autonom zu steuern, sind Überlegungen hinsichtlich der funktionalen Sicherheit anzustellen, um unter verschiedenen Bedingungen und über die gesamte Nutzungsdauer des Autos hinweg einen sicheren und zuverlässigen Betrieb zu gewährleisten. Sobald das System eine Entscheidung gefällt hat und eine autonome Aktion folgt, nehmen die Anforderungen an die funktionale Sicherheit deutlich zu.

Bei einem dezentralen Konzept muss jedes einzelne Modul, das kritische Daten verarbeitet oder Entscheidungen fällt, diesen höheren Maßstäben genügen. Dies erhöht den Bauteileaufwand, die Kosten, den Platzbedarf, den Stromverbrauch und den Softwareaufwand gegenüber einem Modul, das sich auf das Sammeln und Weiterleiten von Sensorinformationen beschränkt. In einem Umfeld, in dem der Platz knapp und die Kühlung schwierig ist, während das Risiko für Beschädigungen und entsprechende Reparaturen hoch ist, beispielsweise wenn man einen verbogenen Stoßfänger mitsamt allen eingebauten Sensoren austauschen muss, kann dies die Vorteile eines dezentralen Systems mit vielen Sensormodulen wieder zunichtemachen. Andererseits muss ein Sensormodul ohne eigene Intelligenz zumindest zu Selbstdiagnosen und Fehlermeldungen in der Lage sein, damit das System insgesamt sicher funktionieren kann.

Wohin geht die Reise?

Während sich reine Fahrerinformationssysteme bei Funktionsfehlern einfach abschalten und dies an den Fahrer melden, besteht diese Möglichkeit bei weitreichend autonomen Funktionen nicht. Es ist nicht auszudenken, was passiert, wenn ein Fahrzeug autonom eine Notbremsung vornimmt, dann aber die Bremsen plötzlich löst, oder wenn ein Fahrer – in ferner Zukunft – auf der Autobahn in seinem auf Autopilot geschalteten Auto schläft und das autonome System plötzlich ausfällt. In jedem Fall muss das System für eine bestimmte Zeitspanne funktionsfähig bleiben, damit der Fahrer auf sichere Weise wieder die Kontrolle übernehmen kann. Diese Zeit kann je nach Situation zwischen wenigen Sekunden und bis zu einer halben Minute liegen. Derzeit scheint es in der Industrie noch keinen klaren Konsens darüber zu geben, in welchem Umfang das System funktionsfähig sein muss und wie man den Betrieb beim Auftreten von Fehlern sicherstellen kann. In Flugzeugen basiert die Autopilotfunktion üblicherweise auf redundanten Systemen, die zwar generell als sicher gelten, aber teuer sind und viel Platz benötigen. Die Sensorfusion kann daher ein entscheidender Schritt sein, um in der Zukunft einfach den Autopiloten einschalten und eine Autofahrt entspannt genießen zu können.