Die Lösung umfasst Referenzsoftware für drei Erkennungsmethoden für sensorbasierte, automatisierte Fahrzeugsysteme der Stufe 2+: Referenzsoftware für die kameragestützte Hinderniserkennung (COD, Camera Obstacle Detection), Lidar-Hinderniserkennung (LOD, Lidar Obstacle Detection) sowie Software zur Erkennung von Fahrbahneigenschaften (RFD, Road Feature Detection). R-Car-V3H-SoCs verbinden hohe Bildverarbeitungsleistung mit KI-Verarbeitung bei geringem Energieverbrauch. Um aktuellste Erkennungstechnologie zu bieten sind die SoCs mit speziellen Hardware-Beschleunigern für Schlüsseltechnologien wie konvolutionale neuronale Netze, Dense Optical Flow, Stereo-Disparität und Objektklassifizierung.

Die RFD-Referenzsoftware umfasst umfasst CNN-IP, CV-E, IMR und eine Pipeline-Engine, um befahrbaren freien Raum, Fahrspuren, Straßenbegrenzungen und Entfernungen zu Fahrspuren und nächstgelegenen Objekten zu identifizieren.

Die RFD-Referenzsoftware umfasst umfasst CNN-IP, CV-E, IMR und eine Pipeline-Engine, um befahrbaren freien Raum, Fahrspuren, Straßenbegrenzungen und Entfernungen zu Fahrspuren und nächstgelegenen Objekten zu identifizieren. Renesas

Die Software bietet Entwicklern eine End-to-End-Pipeline-Referenz. Die ermöglicht es Anwendern, ihr Applikationsdesign unmittelbar zu starten, unabhängig davon, ob sie über Expertise im Einsatz von optimierten Beschleunigern oder nur über begrenzte Erfahrung verfügen. Die Referenzsoftware umfasst das Einlesen von Sensor- oder aufgezeichneten Daten, alle Verarbeitungsschritte sowie die Darstellung auf einem Bildschirm. Bei der COD-Referenzsoftware kommt ein CNN-IP (convolutional Neural Network), eine CV-E (Computer Vision Engine) und Bildwiedergabe-Technologie (IMR – Image Rendering) zum Einsatz, um 2D-Objekte wie Autos, Lastwagen, Busse und Fußgänger zu erkennen und zu markieren. Die COD erreicht etwa 30 Bilder pro Sekunde (FPS). Die LOD-Software verwendet CNN-IP und CV-E, um 3D-Objekte, einschließlich Autos und Lastwagen, zu erkennen. Sie erreicht etwa 15 FPS und markiert Objekte bis 50 Meter Entfernung mit 3D-Rahmen. Die RFD-Referenzsoftware umfasst CNN-IP, CV-E, IMR und eine vielseitige Pipeline-Engine (IMP), um befahrbaren freien Raum, Fahrspuren, Straßenbegrenzungen und Entfernungen zu Fahrspuren und nächstgelegenen Objekten zu identifizieren und damit NCAP 2020 zu unterstützen. Sie erreicht etwa 30 FPS.