MicroAutoBox Embedded SPU

MicroAutoBox Embedded SPU für das Prototyping im Bereich der Sensordatenfusion. (Bild: dSPACE)

Die Gründe, die zur Entwicklung der MicroAutoBox Embedded SPU führten, sind offensichtlich: Angetrieben von der Vision des unfallfreien und autonomen Fahrens haben sich Fahrerassistenzsysteme und hochautomatisierte Fahrzeuge zu den Hauptinnovationstreibern in der Automobilindustrie entwickelt. Es existiert quasi ein Wettlauf, als erster Anbieter entsprechende Funktionen in Serienfahrzeugen bereitzustellen. Doch der zunehmende Wettbewerbsdruck stellt die Automobilhersteller vor die Herausforderung, die immer komplexer werdenden Algorithmen in schnellen Iterationen zu entwickeln und frühzeitig im Fahrzeug zu erproben.

MicroAutoBox Embedded SPU

MicroAutoBox Embedded SPU für das Prototyping im Bereich der Sensordatenfusion. dSPACE

Es besteht somit ein hoher Bedarf an leistungsfähigen Prototyping-Systemen, mit denen die Funktionsentwicklung für das automatisierte Fahren nicht nur komfortabel umgesetzt, sondern auch erheblich beschleunigt werden kann. Basierend auf einer Vielzahl von Umfeldsensoren wie Kamera-, Radar-, Lidar- und Ultraschallsensoren müssen die entsprechenden Algorithmen jederzeit eine zuverlässige 360°-Erkennung und Bewertung der Fahrzeugumgebung sicherstellen. Dabei ist der Einsatz verschiedener Messprinzipien notwendig, um Schwächen einzelner Sensoren durch Technologien anderer Messprinzipien zu kompensieren. Beispielsweise können Kameras sehr gut Merkmale, Objekte und Veränderungen in Bildern erkennen, aber bei Dunkelheit oder direkter Sonneneinstrahlung existieren Einschränkungen. Radarsensoren sind dagegen robust gegenüber Wettereinflüssen und ideal zur Ermittlung von Abstand und Differenzgeschwindigkeit, haben aber Schwächen bei der Winkelauflösung und der Detailgüte. Hier punktet unter anderem der Lidarsensor. Beim hoch- und insbesondere vollautomatisierten Fahren ist zudem eine mehrfache Redundanz notwendig, um die Ausfallsicherheit des Systems zu garantieren. Daher kommen absehbar Kamera-, Radar- und Lidarsensoren parallel zum Einsatz.

Wirkkette beim hochautomatisierten Fahren

Eckdaten

Die MicroAutoBox Embedded SPU ermöglicht in Kombination mit der Software-Entwicklungsumgebung RTMaps das zeitsynchrone Erfassen, Verarbeiten, Fusionieren und Wiedergeben großer Mengen an Sensordaten. Das robuste und kompakte System unterstützt die Funktionsentwicklung für automatisiertes Fahren genauso wie für autonome und selbstfahrende Fahrzeuge: Das Gesamtsystem aus MicroAutoBox II und Embedded SPU stellt nach Angaben von dSPACE „eine neue Messlatte für das fahrzeuggestützte Prototyping von Multisensoranwendungen“ dar. Die Markteinführung des Systems ist für Sommer 2017 geplant.

Die Wirkkette beim hochautomatisierten Fahren besteht in der Regel aus verschiedenen Abarbeitungsstufen. Zunächst ist eine Vorverarbeitung der Sensorrohdaten erforderlich. Ziel ist es dabei, aus den einzelnen Bildern oder Reflexionspunkten Merkmale, statische und dynamische Objekte sowie Freiräume in der Umgebung des Fahrzeugs zu detektieren. In der darauffolgenden Stufe werden die Ergebnisse der einzelnen Sensoren fusioniert und zu einem konsistenten Umfeldmodell zusammengeführt. Wichtig dabei ist die zeitliche Synchronisierung und Korrelation der Sensordaten. Zudem ist die Kenntnis der genauen Position und Fahrspur des eigenen Fahrzeugs auf der Straße, basierend auf einer hochgenauen digitalen Karte, erforderlich (Lokalisierung).

Bei der Freiraumerkennung wird die Umgebung des Fahrzeugs in kleine Abschnitte eingeteilt und jedem Abschnitt eine Wahrscheinlichkeit zugeordnet, ob sich darin ein Hindernis befindet oder nicht. Dynamische Objekte sind zum Beispiel durch die Attribute Abstand, relative Geschwindigkeit, Azimutwinkel, Erkennungswahrscheinlichkeit, Dimension und Objekttyp (zum Beispiel Fußgänger, Pkw oder Lkw) gekennzeichnet. Das Umfeldmodell liefert entsprechend konsolidierte und permanent aktualisierte Informationen über die Fahrzeugumgebung. Darauf basierend erfolgt dann eine Situationsanalyse, die Planung der möglichen Fahrtrajektorien, die Entscheidung für ein bestimmtes Manöver und letztendlich die Längs- und Querregelung mit Eingriffen in Lenkung, Bremse und Antriebsstrang.

In diesem Zusammenhang kommen auch Deep-Neural-Networks- und Deep-Learning-Algorithmen (künstliche Intelligenz) zur Mustererkennung sowie absehbar auch zur intelligenten Entscheidungsfindung zum Einsatz.

Herausforderung Sensordaten-Vorverarbeitung und -fusion

low-res Bild 1 2017-04-00_dSPACE_Automobil_Elektronik_Bild_1

Bild 1: Ausgewählte Eckdaten der MicroAutoBox Embedded SPU (technische Änderungen vorbehalten). dSPACE

Insbesondere die Vorverarbeitung der in großen Mengen anfallenden Rohdaten von Kamera- und Lidarsensoren sowie die Fusion aller Sensordaten stellen wesentliche Herausforderungen an das Hard- und Software-Framework dar. Die entsprechenden Algorithmen sind sehr rechenintensiv und werden meist auf Multicore-CPUs, GPUs, System-on-Chips (SoCs) oder FPGAs durchgeführt. Die Implementierung erfolgt in der Regel in C++, CUDA oder OpenCL.

Für die Entwicklung entsprechender Algorithmen kommen heute meist leistungsfähige Desktop-PCs mit eingebauter Grafikkarte aus dem Consumer-Bereich zum Einsatz. Diese sind aufgrund ihres hohen Leistungsbedarfs sowie ihrer fehlenden Robustheit und Ausfallsicherheit aber nur äußerst bedingt für den Einsatz in Fahrzeugen im Rahmen von Erprobungsfahrten geeignet. Wenn die Hardware dabei wie üblich im Kofferraum eines Versuchsträgers montiert werden soll, ist nicht zuletzt ein erheblicher Verbau- und Verdrahtungsaufwand erforderlich. Darüber hinaus bieten Desktop-PCs in der Regel keine Rohdatenschnittstellen zu in Serienfahrzeugen verwendeten Kameras wie GMSL-, FPD-Link- oder LVDS-Schnittstellen.

MicroAutoBox Embedded SPU

MicroAutoBox Embedded SPU Bild 2: Die Entwicklungsumgebung RTMaps für Multisensoranwendungen unterstützt Umfeldsensoren von verschiedenen Herstellern, zum Beispiel Lidarsensoren von Hokuyo, Ibeo, Leddartech, Sick und Velodyne.

Bild 2: Die Entwicklungsumgebung RTMaps für Multisensoranwendungen unterstützt Umfeldsensoren von verschiedenen Herstellern, zum Beispiel Lidarsensoren von Hokuyo, Ibeo, Leddartech, Sick und Velodyne. dSPACE

Die Lösung dafür ist die MicroAutoBox Embedded SPU (Sensor Processing Unit). Sie basiert auf der neuesten Prozessor-Hardware von Nvidia mit einer Sechskern-64-bit-ARM-CPU und integrierter Nvidia-Pascal-GPU mit 256 CUDA-Kernen, die bis zu 1,5 Teraflops Rechenleistung bietet. Die maximale Gesamtleistungsaufnahme liegt bei etwa 50 W. Das Einzigartige an diesem System ist jedoch nicht allein die verfügbare Rechenleistung sondern die Kombination aus hoher Rechenleistung mit Schnittstellen zu Kamera-, Radar- und Lidar-Umfeldsensoren, zu allen gängigen automotiven Bussystemen, zur GNSS-Positionserfassung sowie zur Drahtloskommunikation – und dies alles vereint in einem robusten und kompakten Gehäuse für den Einsatz im Fahrzeug.

Zur Ankopplung von Rohdatenkameras stehen vier GMSL- und zwei HDMI-Schnittstellen über ein austauschbares Kamera-in-Modul zur Verfügung. Das Modul selbst ist mit 12 CSI2-Lanes mit je 2,5 Gbit/s an das Nvidia-SoC angeschlossen. Auf Anfrage kann dSPACE in Kundenprojekten alternative Kamera-in-Module bereitstellen. Zudem verfügt die MicroAutoBox Embedded SPU über sechs Gigabit-Ethernet- und zwei USB-3.0-Schnittstellen, zum Beispiel zur Ankopplung von Lidarsensoren und von weiteren Kameras.

Darüber hinaus unterstützt das System vier CAN/CAN-FD-, zwei BroadR-Reach- und zwei LIN-Kanäle, um beispielsweise Radar- und Ultraschallsensoren zu integrieren. Einen weiteren Schwerpunkt der MicroAutoBox Embedded SPU bilden die Funkschnittstellen mit WLAN-, LTE- und Bluetooth-Unterstützung sowie die Positionsdatenerfassung auf Basis des GNSS-Empfängers Ublox M8U mit integrierten Initialsensoren und UDR-Support (UDR: Untethered Dead Reckoning). Für den Anschluss von Anzeigegeräten und Displays stehen zwei HDMI-Ausgänge zur Verfügung, wobei ein Ausgang auch für die Ankopplung von fahrzeuginternen Displays und Informationssystemen nutzbar ist.

Grafische Entwicklungsumgebung für Multisensoranwendungen

MicroAutoBox Embedded SPU Bild 3: Die MicroAutoBox II mit Embedded SPU für die Entwicklung von Fahrfunktionen arbeitet entlang der Wirkkette beim hochautomatisierten Fahren.

Bild 3: Die MicroAutoBox II mit Embedded SPU für die Entwicklung von Fahrfunktionen arbeitet entlang der Wirkkette beim hochautomatisierten Fahren. dSPACE

Die MicroAutoBox Embedded SPU nutzt das Betriebssystem Linux for Tegra von Nvidia. Ein wichtiges Alleinstellungsmerkmal ist jedoch die Tatsache, dass sich Software-Entwickler nicht mühsam um die Anbindung der einzelnen Sensor- und I/O-Schnittstellen kümmern müssen und sich so voll und ganz auf die Implementierung ihrer Sensordaten-Vorverarbeitungs- und Fusionsalgorithmen konzentrieren können. Um das zu gewährleisten, ist die MicroAutoBox Embedded SPU eng verzahnt mit RTMaps, einer komponentenbasierten Software-Entwicklungs- und Laufzeitumgebung für Multisensoranwendungen. Mit RTMaps können Anwender Daten von unterschiedlichen Sensoren und Fahrzeugbussen präzise erfassen, zeitstempeln, synchronisieren, verarbeiten und wieder abspielen.

RTMaps stellt eine intuitive Oberfläche zur Verfügung, die sämtliche Schnittstellen der Embedded SPU in Form von fertigen Bibliotheken und I/O-Blöcken bereithält. Innerhalb der grafischen Entwicklungsumgebung sind nur noch die eigentlichen Algorithmen in C++, Nvidia CUDA, Python oder über eine Simulink-Code-Integration zu implementieren. Umfangreiche Komponentenbibliotheken für zum Beispiel Kamera-, Radar- und Lidarsensoren, Fahrzeugbusse sowie die Datenvisualisierung, -kommunikation und -vorverarbeitung vereinfachen dabei die Funktionsentwicklung. Die RTMaps-Laufzeitumgebung führt dann die entsprechende Gesamtapplikation unter Linux auf der Embedded SPU aus. Aufgrund der hohen Leistungsfähigkeit auf Multicore-Prozessoren sowie des geringen CPU- und Speicher-Ressourcenbedarfs stellt RTMaps die passende Middleware für Embedded-Anwendungen dar.

Darüber hinaus ist die MicroAutoBox Embedded SPU für die Verwendung von dedizierten Software-Frameworks für Bildverarbeitung, Deep Learning (Künstliche Intelligenz) und maschinelles Sehen vorbereitet. Zu diesen Frameworks zählen zum Beispiel OpenCV und Nvidia VisionWorks für Computer-Vision-Anwendungen sowie Nvidia TensorRT und cuDNN für Deep-Learning.

Stand-Alone-Lösung und Kombination

Die MicroAutoBox Embedded SPU kann sowohl als Stand-Alone-System als auch zusammen in einem gemeinsamen Gehäuse mit der im Automobilbereich etablierten MicroAutoBox II zum Einsatz kommen. Während die Echtzeitanwendung in diesem Fall in Simulink oder mittels Autosar-Softwarekomponenten implementiert wird und auf der herkömmlichen MicroAutoBox II läuft, verarbeitet und fusioniert die Embedded SPU sämtliche Sensordaten, die für die Regelung notwendig sind. Um Anwendern den Einsatz in Prototypfahrzeugen im realen Straßenverkehr zu erleichtern, bietet die MicroAutoBox II spezielle Mechanismen zur funktionalen Sicherheit, zum Beispiel einen mehrstufigen Watchdog- und Challenge-Response-Mechanismus sowie eine Speicherüberprüfung. Damit besteht die Möglichkeit, den Echtzeitprozessor und die korrekte Ausführung der Echtzeitanwendung zu überwachen. Auch die Embedded SPU bietet dedizierte Überwachungsmechanismen.

Um die Rechenleistung und die Anzahl der Schnittstellen noch weiter zu erhöhen, ist es zudem möglich, mehrere MicroAutoBox-Embedded-SPU-Systeme miteinander zu koppeln. In diesem Fall sorgt RTMaps für die Synchronisation der Uhren und die exakt synchrone Abarbeitung aller Algorithmen auf den verteilten Systemen.

Ergänzend dazu steht eine Data-Logging-Unit zur Verfügung. Mit zum Beispiel 8 Terabyte SSD-Speicher lassen sich die erfassten Sensor- und Fahrzeugbusdaten einschließlich ihrer Zeitstempel präzise aufzeichnen und später, exakt zeitlich zueinander korreliert, wieder abspielen.

Dipl.-Ing. André Rolfsmeier

Lead Product Manager Advanced Applications and Technologies bei der dSPACE GmbH

(av)

Sie möchten gerne weiterlesen?

Unternehmen

dSPACE GmbH

Rathenaustraße 26
33102 Paderborn
Germany