360° Rundumsicht im Auto

Betreibern von Nutzfahrzeugflotten bieten sich durch den Einsatz einer hochintegrierten und skalierbaren Lösung zur Umsetzung einer leistungsfähigen 360°-Videoüberwachung zahlreiche Vorteile. VIA Technologies hat mit seinem Mobile-360-Surround-View-System eine energiesparende und widerstandsfähige Lösung entworfen, die für den Betrieb im Fahrzeuginnenraum optimiert ist.

Das System beinhaltet ein Software-Framework auf Android-Basis mit integrierter Kalibrierung und Anwendungen für die 360°-Videowiedergabe in Echtzeit sowie die Unterstützung von bis zu acht Videokameras mit hoher Auflösung. Es bietet nicht nur eine Vielzahl an Konfigurationsmöglichkeiten für verschiedene Fahrzeugmodelle und -größen, sondern lässt sich auch einfach personalisieren, um speziellen Nutzungsanforderungen gerecht zu werden. Durch seine NVR-Funktionen (Network Video Recorder) kann man das System auch für die Aufnahme und Speicherung von Unfallbildern, Sicherheitsverstößen und anderen Verkehrsereignissen verwenden.

360°-Rundumsicht-Systeme vermeiden tote Winkel und erhöhen die Sicherheit. VIA Technologies

Das System nutzt VIAs Multi-Stitch-Technologie, um bis zu sechs Kameraaufnahmen spontan miteinander zu kombinieren und in Echtzeit einen umfassenden Rundum-Blick um das Fahrzeug zu erstellen, den man vor Ort oder auch Remote betrachten kann. Mit ihren 3D-Bildgebungsalgorithmen gewährleistet die Technologie nicht nur scharfe Panoramabilder, sondern unterstützt auch die dynamische, multi-direktionale Rundum-Überwachung des Fahrzeugs mit zahlreichen einfach zu konfigurierenden Perspektiven einschließlich Vogelperspektive, Frontansicht, Rückansicht und Seitenansicht. Das System besteht aus den vier Hauptkomponenten Hardware, Software-Framework, Transformer Utility Tool und den Kamera-Konfigurationsmöglichkeiten.

System-Hardware

Um den starken Belastungen im Straßeneinsatz standzuhalten, erhielt das Mobile-360-Surround-View-System ein widerstandsfähiges Gehäuse, eine erweiterte Temperaturunterstützung sowie einen flexiblen Spannungseingang. Dank seiner unterschiedlichen I/O- und Netzwerkfunktionen, einschließlich USB-2.0-, CAN-Bus- und Gigabit-Ethernet-Ports sowie WLAN, Bluetooth, 4G, GPS und Möglichkeiten für die GPIO-Unterstützung, bietet das System auch eine problemlose Konnektivität mit externen Peripheriegeräten. Zusätzlich sorgen die internen Speichermöglichkeiten dafür, dass sich das Videomaterial lokal im System speichern lässt.

Software-Framework

Das Software-Framework des Mobile360-Surround-View-Systems wurde auf einer individuellen integrierten Plattform entwickelt, die VIAs Mobile360-API (Application Programming Interface) nutzt. Das Framework unterstützt fortschrittliche Grafiken und Video-Engine-Verarbeitungsfunktionen, einschließlich Kalibrierung, Zuschnitt, Verschnittkorrektur bei Fischaugenlinsen, Perspektivenumwandlung, Orientierung, Neupositionierung und geometrische Kalibrierung der Seitenansicht, um hochwertige 360°-Videostreams in Echtzeit zu gewährleisten.

Transformer-Utility-Tool

Bei dem Transformer-Utility-Tool handelt es sich um eine eigenständige, speziell für die Vereinfachung des Kalibrierungsprozesses konzipierte Anwendung. Das auf Microsoft Windows basierende Tool lässt sich auf jedem PC installieren und generiert die Kalibrierungsparameter, die für die Beschleunigung der 360°-Bildwiedergabe in Echtzeit benötigt werden.

Kamera-Konfiguration

Das System bietet verschiedene Kamerakonfigurationsmöglichkeiten für zahlreiche Nutzungsszenarien im Fahrzeuginneren. Eine Konfiguration ist beispielsweise Vier+Zwei, das heißt vier Kameras (vorne, hinten, rechts, links) zur Erstellung eines sphärischen Bildes sowie eine unabhängige Armaturenbrettkamera für die Überwachung des Fahrers und eine zusätzliche Kamera zur Überwachung des Inventarstatus. Ein anderes Konfigurationsbeispiel ist Sechs+Zwei, also sechs Kameras (vorne, hinten, vorne rechts, vorne links, hinten rechts, hinten links) zur Erstellung eines sphärischen Bildes langer Fahrzeuge wie LKWs sowie eine unabhängige Armaturenbrettkamera für die Überwachung des Fahrers und eine zusätzliche Kamera zur Überwachung des Inventarstatus.

Kalibrierung des Systems

Die Kalibrierung ist der erste wichtige Schritt, um sicherzustellen, dass das System scharfe und deutliche 360°-Videobilder in Echtzeit aufzeichnet, wenn sich das Fahrzeug bewegt. Um zu gewährleisten, dass die Kameras ordnungsgemäß ausgerichtet sind sowie zur Erstellung der Look-Up-Tables (LUT), die in das Mobile-360-Surround-View-System integriert sind, hat VIA das Transformer Utility Tool entwickelt.

Das Transformer-Utility-Tool bereitet in mehreren Schritten die Bilddaten der einzelnen Kameras auf. VIA Technologies

Das Transformer Utility Tool führt sieben Schritte aus, um die Kalibrierungsparameter für jede Bildkachel zu generieren, bevor diese durch die Systemsoftware wiedergegeben wird. Diese Schritte umfassen den Zuschnitt, die Verschnittkorrektur der Fischaugenlinse (LDC – Lens Distortion Correction), die Erzeugung der Draufsicht, die Erzeugung der Seitenansicht, die Kombination des Szenenbilds, die Zusammensetzung der Bilder und die Verblendung. Das Programm kann ebenfalls ein 3D-Modell erzeugen, um die Ergebnisse des Kalibrierungsprozesses im Vorfeld anzuzeigen.

Für den fahrzeuginternen Kalibrierungsprozess befestigt man vier Weitwinkelkameras (Fischaugenlinse) jeweils an der vorderen und hinteren Stoßstange sowie am linken und rechten Seitenspiegel eines Fahrzeugs. Am Boden ordnet man rund um das Fahrzeug vier Schachbrettmuster horizontal vor jeder Kamera an, wobei die Breite dieser Muster groß genug sein sollte, um nahezu das gesamte Sichtfeld vor jeder Kamera abzudecken. Je größer das Muster, desto besser sind die Kalibrierungsergebnisse. Zusätzlich positioniert man vier farbige Schachbrettmuster diagonal zwischen den vier Kameras, um die Qualität des endgültig zusammengesetzten Bildes zu verbessern. Nach Fertigstellung dieser Einstellungen zeichnet das Transformer Utility Tool gleichzeitig ein Bild von jeder der vier Kameras auf und verarbeitet dieses mittels der entsprechenden Schritte.

360°-Videowiedergabe in Echtzeit

Ein 3D-Vorschaumodell erlaubt es den Nutzern zu sehen, ob abschließende Modifizierungen nötig sind, bevor der Export der LUT-Parameter zum Zwecke der Echtzeitwiedergabe in das Surround-View-System erfolgt. Sobald die LUT-Parameter des Kalibrierungsprozesses in das System exportiert wurden, ist dieses bereit für die Videowiedergabe in Echtzeit. Die Mobile-360-Surround-View-Systemsoftware nutzt diese Parameter, um jedes Bild entsprechend zu verarbeiten.

Licht- und Farbkorrektur

Vor der Anwendung des Umwandlungsalgorithmus auf die eingehenden aufgezeichneten Frames, führt die Applikation eine Beleuchtungs- und Farbkorrektur durch, um Unstimmigkeiten bei den vier aufgenommenen Frames zu korrigieren. Diese entstehen durch Diskrepanzen, die von der automatischen Belichtung und dem automatischen Weißabgleich jeder Kamera stammen. Für eine optimale Licht- und Farbkorrektur ist in der Anwendung eine ideale mittlere Abweichung und Standardabweichung eingestellt, um die Eigenleuchtdichte und Farbe der Bilder automatisch anzupassen. Dies stellt sicher, dass alle vier Bilder innerhalb des Zielbereichs wiedergegeben werden und eine gleichmäßige Farb- und Leuchtqualität besitzen.

Geometrische Umwandlung

Nach Abschluss der Korrekturschritte für Beleuchtung und Farbe werden die geometrischen Umwandlungs- und Zusammensetzungsparameter der importierten LUT-Parameter auf die eingehenden Frames angewandt, um das endgültig zusammengefügte Bild für die Erzeugung des 3D-Modells zu generieren. Nach dem Blending während des Kalibrierungsprozesses erzeugt das Transformer Utility Tool das 3D-Modell mit den in den LUT eingestellten Parametern. Die Systemsoftware nutzt die grafische Benutzeroberfläche auf dem Display für die Echtzeitwiedergabe der geometrischen Daten mit dem Alpha-Blending unter Verwendung der linearen LUT-Blendingparameter aus dem Transformer-Utility-Tool.

Aus den eingestellten Parametern generiert das Transformer Utility Tool ein 3D-Modell VIA Technologies

3D-Fahrzeugmodell

Um das Bilderlebnis zu verbessern, kann man ein 3D-Modell des Fahrzeugs (standardmäßig ist ein Van bereitgestellt) in die OpenGL-ES2-Anwendung der Systemsoftware importieren. Die Erzeugung dieses Modells erfolgt durch eine obj-3D-Modelldatei, die der Nutzer auch durch ein eigenes obj-Modell ersetzen kann. Es ist empfehlenswert, ein Modell mit kleinen Eckpunkten zu verwenden, um eine optimale Anwendungsleistung zu gewährleisten. Die grafische Benutzeroberfläche der Systemsoftware bietet sieben Standardoptionen für die Wiedergabe der finalen 360°-Videoansicht, die sich über die Touchscreen-Steuerung im Handumdrehen umschalten lässt.

Dieses Beispiel der grafischen Benutzeroberfläche zeigt: 1 Stream des VIA Mobile-360-Surround-View-Systems, 2 Originaler Videostream der Fischaugenlinse, 3 Auswahl der perspektivischen Streamansicht, 4 Auswahl zwischen Rohdatenstreams. VIA Technologies

Beim Mobile-360-Surround-View-System von VIA handelt es sich um eine zuverlässige und leistungsfähige Lösung zur Integration hochqualitativer 360°-Videoüberwachung in Echtzeit bei Nutzfahrzeugen. Sie bietet Optionen zur Aufzeichnung wichtiger Ereignisse sowie verschiedene Konfigurations- und Personalisierungsmöglichkeiten, um einer Vielzahl von Nutzungsszenarien gerecht zu werden. Mit seiner skalierbaren Hardware- und Softwarearchitektur bietet das System genug Raum für die Entwicklung und Integration neuer Funktionen und Anwendungen, einschließlich Sensordatensammlung, Cloud-basierter Apps und Dienstleistungen. Damit eröffnet es Betreibern von Nutzfahrzeugen eine Fülle neuer Chancen, um Kosten zu sparen und die Produktivität sowie Effizienz ihrer Flotte zu steigern.

(pet)