Effiziente Bilderkennung für ADAS

Autos, die „sehen“ können, sind mit den aktuellen Fahrzeugen der Ober- und Mittelklasse zur Realität geworden. Immer mehr Fahrzeuge verfügen über kamerabasierte Fahrerassistenzsysteme, und der Gesetzgeber kann zukünftig bei Neufahrzeugen bestimmte Sicherheitseinrichtungen vorschreiben, die sich durch Bilderkennungssysteme am effizientesten realisieren lassen. In der EU ist diese Vorgehensweise üblich, wenn Sicherheitssysteme wie beispielsweise ESP nun für alle Fahrzeugklassen vorgeschrieben werden.

Einige Halbleiterhersteller in diesem Markt sind voller Euphorie für das Auto von morgen als mobiler Supercomputer, der Techniken wie Multicore-Architekturen nutzt, wie sie heute in hochleistungsfähigen PC-Grafikkarten und Spieleplattformen zu finden sind. Faktoren wie Kosten und vor allem der Stromverbrauch verlangen jedoch eine gezieltere Herangehensweise.

Bild 1: Der SfM-Beschleuniger ermöglicht eine Objektrekonstruierung mittels Triangulation.Toshiba

Bilderkennungssysteme können alleinig zum Einsatz kommen und autonom einen AEB-Vorgang (Autonomous Emergency Breaking) einleiten oder auch ergänzend im Rahmen der Sensorfusion zusammen mit Radar- und LIDAR-Sensorik die richtige Entscheidung einer Kollisionsvermeidung herbeiführen. Bildverarbeitende Systeme werden auch eine entscheidende Rolle beim vollautomatisierten Fahren spielen, wo Fahrzeuge ohne menschliches Eingreifen sicher am Ziel ankommen und das Einparken übernehmen. Solche Systeme reagieren dann auf entsprechende Straßenbedingungen, vermeiden verschiedene Gefahren und sind somit das Schlüsselelement bei der Findung der freien Wegstrecke.

Die Branche sieht bezüglich der Bildverarbeitung in Fahrzeugen immer leistungsfähigere und komplexere Systeme vor. Um weiterhin eine zuverlässige Echtzeit-Performance sowie akzeptable niedrige Latenzzeiten zu bieten, ist daher eine entsprechende Anpassung der notwendigen Prozessor-Performance für die Bildverarbeitung – erweitert durch Sensorfusionsquellen – notwendig.

Bildverarbeitung: Hardware oder Software

Die Bilderkennung erfolgt traditionell über Software-Algorithmen, die auf einer PC-Plattform entwickelt und auf einem oder mehreren digitalen Signalprozessoren (DSPs) ausgeführt werden. Da die Systeme mittlerweile immer mehr Videokanäle gleichzeitig verarbeiten, steigen auch die Anforderungen an das Rechensystem. Bei einem Desktop-Rechner erfolgt diese Performance-Anpassung über eine Erhöhung der Prozessor-Taktfrequenz und durch Vervielfachung der Rechenkerne innerhalb des Prozessors. In einer Automotive-Anwendung führt die Verlustleistung einer hochleistungsfähigen CPU/DSP-Anwendung bei Frequenzen im hohen MHz-Bereich jedoch zu inakzeptablen thermischen Herausforderungen.

Bild 2: Vier Media-Processing-Engines und spezielle Hardware-Beschleuniger liefern in Toshibas zweiter Prozessorgeneration die für ADAS notwendige Performance bei möglichst energieeffizienter Verarbeitung.Toshiba

Bei der Anbringung hinter der Windschutzscheibe ist die Elektronik unter engen Platzverhältnissen montiert und zudem der Sonneneinstrahlung unmittelbar ausgesetzt. Aktive Kühlmaßnahmen kommen dabei nicht infrage. Um die Echtzeit-Performance des Systems zu wahren, lassen sich daher keine Architekturen mit hoher Leistungsaufnahme verbauen.

Ein Bilderkennungsprozessor mit speziellen Hardwareblöcken für komplexe oder häufig verwendete Funktionen wie Transformationen, Filter, Histogramme und Pyramidenkalkulation ist die Lösung für eine energieeffizientere Verarbeitung, bei der weniger Verlustwärme entsteht. Zudem lassen sich Algorithmen gezielt schneller ausführen, was eine gleichbleibende Echtzeit-Performance garantiert. Zudem besteht die Möglichkeit, diese Plattform zu skalieren, um zusätzliche ADAS-Funktionen oder Kanäle für mehrere Kameras zu unterstützen.

Hardware-Beschleuniger

Toshiba hat eine Serie von Bilderkennungsprozessoren speziell für Automotive-Anwendungen entwickelt, um die zunehmende Zahl von Kamerakanälen für Fahrerassistenzsysteme mit Bildverarbeitungs- und Bilderkennungsfunktion zu unterstützen. Die Architektur besteht aus hochleistungsfähigen Media-Processing Engines (MPEs), speziellen Kamera-Eingängen, die eine In-Stream-Vorverarbeitung der Bilder übernehmen, und einer Reihe von Hardware-Beschleunigungsblöcken. Die aktuelle vierte Generation der TMPV760x-Prozessoren enthält bis zu acht MPEs und unterstützt bis zu acht Kamera-Eingänge sowie mehrere Hardware-Beschleuniger, die für folgende Funktionen optimiert sind: Filterung, verbesserte affine Transformation, Matching mit höherer Genauigkeit und Histogramm-Berechnungen. Die Hardware-Beschleuniger basieren auf neuesten Techniken und bieten eine höhere Leistungsfähigkeit als Prozessoren der früheren Generation (Bild 2).

Automotive-spezifische Algorithmen

Toshiba hat über spezieller Hardware hinaus zudem noch proprietäre Algorithmen hinzugefügt, so zum Beispiel Enhanced-CoHOG (Co-occurrence Histograms of Oriented Gradients) und SfM-Funktionen (Structure from Motion). Mit diesen Erweiterungen ist die aktuelle vierte Prozessorgeneration zehnmal leistungsfähiger als die vorherige Generation mit nur vier MPEs.

Bild 3: Der neueste CoHOG-Beschleuniger ermöglicht die Fußgängererkennung bei Nacht.Toshiba

Objekterkennung mittels CoHOG

Um die Personenerkennung in verschiedenen Situationen zu verbessern, entwickelte Toshiba CoHOG, sodass jetzt von Fußgängern über Radfahrer bis hin zu sitzenden Personen oder Menschen in Rollstühlen die Erkennungsrate steigt. Dazu vergleicht der CoHOG-Algorithmus erfasste und verarbeitete Daten mit bekannten Merkmalen menschlicher Körperformen und Bewegungen. CoHOG sucht nach Gradientenpaaren innerhalb bestimmter oberer und unterer Grenzen, um Merkmale wie Schultern, Arme, Beine oder Hüften zu erkennen. Durch Eigenschaften, die innerhalb physiologischer Grenzen eine bestimmte Orientierung zueinander aufweisen, stellt das Verfahren zusätzlich die korrekte Identifizierung sicher. Zu diesen Eigenschaften zählen die maximale und minimale Länge von Gliedmaßen, der Bewegungsspielraum und die Gesamtgröße. Diese Technik dient auch dazu, andere Objekte wie beispielsweise Tiere zu erkennen.

Toshiba hat den CoHOG-Beschleuniger weiter entwickelt und die Genauigkeit bei der Fußgängererkennung in der Nacht verbessert. Hierzu analysiert das System farbbasierte Gradienten mehrerer Full-HD-Kameras (Bild 3).

Erkennung unbekannter Objekte

Der SfM-Beschleuniger wiederum sorgt für die genaue Erkennung unbekannter Objekte, die nicht in der Bildbibliothek enthalten sind, wie zum Beispiel Leitplanken, Bordsteine, kleine Objekte auf der Straßenoberfläche oder Schlaglöcher (Bild 1). Die herkömmliche Mustererkennung bietet nur begrenzte Möglichkeiten bei der Erkennung unbekannter Objekte. Der SfM-Beschleuniger nutzt hingegen 3D-Rekonstruktionsverfahren, indem er die Bildabfolge einer Monokular-Kamera analysiert.

Leistungsaufnahme

Die hohe Integration hardwarebasierter Beschleuniger in diesen Prozessoren trägt zu einem geringeren Gesamtstromverbrauch bei. Somit treten je nach gewähltem Halbleiter-Derivat typische Verlustleistungen zwischen 0,5 W und 2,5 W auf.

Fertige ADAS-Algorithmen

Ein Software-Entwicklungskit (SDK) unterstützt die Software-Entwickler von ADAS-Applikationen, wobei zum Lieferumfang des SDKs bereits Treiber und Beispielprogramme gehören. Hinzu kommen ein Debugger und Simulator, aber auch eine Bildverarbeitungsbibliothek und eine API, die die Benutzung der Hardware-Beschleuniger ermöglicht. Zudem bietet Toshiba auch eine Reihe fertiger Algorithmen an, beispielsweise für die Fußgänger-, Fahrzeug- und Fahrbahnlinien-Erkennung. Weitere Algorithmen befinden sich in der Beta-Testphase; die Freigabe erfolgt demnächst. Natürlich können Entwickler auch ihre eigenen Algorithmen implementieren und sich dadurch von Vergleichsarchitekturen differenzieren.

Automotive Safety

Wenn Ingenieure im Bereich Automobilelektronik neueste Bilderkennungstechnik für zukünftige bildverarbeitungsbasierte Systeme entwickeln, müssen sie neben der Leistungsfähigkeit und dem Stromverbrauch auch noch weitere Aspekte mit berücksichtigen. Systeme wie die Kollisionsvermeidung und Fußgängererkennung sind als sicherheitskritisch eingestuft und müssen daher den entsprechenden Automotive Safety Integrity Level (ASIL) erfüllen. Toshiba hat seine Bilderkennungsprozessoren, wie beispielsweise den TMPV7608XBG, in einem eigenen ISO26262-zertifizierten Prozess entwickelt. Somit lassen sich ASIL-C/D-konforme Systeme realisieren.

Fazit

Der Automotive-Sektor ist nicht der erste Bereich, der Hardwarebeschleunigung zur Ausführung komplexer Signalverarbeitungsalgorithmen bei hoher Geschwindigkeit und geringer Stromaufnahme nutzt. Die Technik hat sich bereits bei SDR (Software-Defined Radio) in 3G- und 4G-Basisstationen bewährt, genauso wie in schnellen Internet-Infrastrukturen, im Data-Center sowie in militärischen Signalisierungs- und Radarsystemen.

Fortschrittliche Fahrerassistenzsysteme auf Basis von Bildverarbeitung nutzen die Vorteile von Bildererkennungsalgorithmen und stromsparender Hardware in Automotive-Anwendungen. Dem sehenden Fahrzeug stehen damit Informationen zur Verfügung, um Entscheidungen in Echtzeit herbeizuführen, die in die Längs- und Querführung autonom eingreifen – und das innerhalb strenger Vorgaben hinsichtlich Leistungsaufnahme, Wärmeentwicklung und Kosten. Der Ansatz ist zudem skalierbar, um zunehmend komplexer werdende ADAS-Funktionen auch in Zukunft zu unterstützen.

(av)