KI-Embedded-Module für mehr Sicherheit am Zebrastreifen

Eine Warnbeleuchtung macht in vielen Situationen Sinn. Münden etwa Gebäudegassen auf Zebrastreifen oder versperren (falsch) geparkte Fahrzeuge die Sicht, ist die Reaktionszeit bei herausschießenden Fahrradfahrern besonders kurz. Hier kann eine zusätzliche Vorwarnung – auch tagsüber – das Unfallrisiko reduzieren. Auch in ihr Smartphone versunkene Fußgänger, die andere Verkehrsteilnehmer nicht wahrnehmen oder Verkehrsteilnehmer, die sich mit zu großer Geschwindigkeit einem Zebrastreifen nähern, könnten mit geeigneter Akzentbeleuchtung aufmerksamer gemacht werden. Nachts wiederum hilft sie, dunkel gekleidete Passanten besser sichtbar zu machen.

Allerdings müssen viele Kommunen sparen, um die meist knappen Finanzhaushalte zu entlasten. Daher sollten Lichtleistung bzw. Stromverbrauch bedarfsgerecht angepasst sein. Hinzu kommt, dass das Thema „Lichtverschmutzung“ in der Bevölkerung zunehmend kritisch bewertet wird. Dies führt ebenfalls zur Forderung, nur dann Licht einzusetzen, wenn es wirklich notwendig ist – konventionelle Lösungen mit Näherungssensoren lösen zu häufig aus, da sie nicht die Bewegungsrichtung und damit die Nutzungsabsicht erkennen können. Das bedeutet: dynamische Konzepte sind gefragt. Dank des technischen Fortschritts der letzten Jahre stehen jetzt alle Komponenten für eine Smart-Lösung kostengünstig bereit:

• LED-Matrix-Lichter für eine energieeffiziente Beleuchtung mit steuerbarem „Lichtkegel“ 
• Kostengünstige und kompakte Kameramodule zur Erfassung der Verkehrssituation 
• Embedded-Prozessormodule mit integrierter Bildverarbeitung und KI-Beschleunigung

Lernressourcen beschleunigen Wireless-Projekte

Wireless-Produkte erfordern nicht nur Technologie, sondern auch tiefes Fachwissen. Mit der Nordic DevAcademy und DevZone erhalten Entwickler Zugriff auf strukturierte Lernpfade und technischen Support – für kürzere Zyklen und bessere Produkte.

Ali Aljaani

Anforderungen an smarte Beleuchtungssysteme

All diese Komponenten müssen anspruchsvolleren Umweltbedingungen genügen, also von Frost bis hin zu sommerlicher Hitze problemlos arbeiten. Der Schutz vor Schnee und Regen verkompliziert die Einbausituation für die Elektronik und deren Kühllösung. Somit ist es ratsam, dass die verwendeten Komponenten nur einen minimalen Stromverbrauch und damit eine geringe Wärmeentwicklung haben – eine passive Kühlung ist hier ideal. Auch die Baugröße sollte möglichst kompakt sein, um verschiedene Modelle von Leuchten mit nur einem Modul ausstatten zu können. Neben der anspruchsvollen Einbausituation muss speziell die Auswertelektronik noch zahlreiche Parameter erfüllen, um ihre Smart-Lighting-Aufgabe meistern zu können.

Von der Performance bis hin zur Schnittstellenauswahl muss alles stimmen

Da die Verkehrsteilnehmer aus allen vier Himmelsrichtungen auf den Übergang zustreben, sind mehrere Kamera-Eingänge – mindestens vier – notwendig, um die Umgebungssituation vollständig zu erfassen. Idealerweise könnte hier die kostengünstige MIPI-CSI- Technologie zum Einsatz kommen, um an den Stückzahlenvorteilen der Consumer-Welt zu partizipieren.

Smart-Home: LED-Technik wird kompakter und smarter

Vernetzte LED-Leuchten bilden oft den Einstieg ins Smart-Home – mit neuen integrierten Designansätzen wird ihre Entwicklung nun deutlich effizienter. Technische Innovationen ermöglichen kompaktere, kostengünstigere und leistungsfähigere Lösungen.

Marton Komancsik

Die so ankommenden Bilddatenströme müssen in Echtzeit aufbereitet und ausgewertet werden, damit sie die Beleuchtungselemente entsprechend steuern können. Von der Bildvorverarbeitung über die Objekterkennung bis hin zur Analyse der Bewegungsvektoren ist ein anspruchsvolles Aufgabenprofil zuverlässig abzuarbeiten – und abschließend die Steuerung der Matrix-Leuchten.

Städtebauliche Maßnahmen wie Zebrastreifen geraten nahezu unweigerlich in eine öffentliche Diskussion bzw. Kritik über ihren Sinn. Daher kann es für die Verkehrsplaner hilfreich sein, wenn der smarte Zebrastreifen auch die entsprechenden statistischen Daten ermittelt. Dies bedeutet aber auch einen zusätzlichen Funktionsumfang einschließlich Datenübertragung, die die Elektronik unterstützen muss.

Im Hinblick auf den Datenschutz ist es zudem ideal, wenn die Bildverarbeitung ohne Speicherung oder Datenübertragung erfolgt. Ist eine Datenübertragung zur Ermittlung der aktuellen Verkehrsdichte oder der längerfristigen statistischen Werte (s.o.) gewünscht, sollten nur abstrakte Information gesammelt werden, wie die Anzahl von LKW, PKW oder Fußgänger. Die Elektronik muss diese Klassifizierung selbstständig vor Ort bewerkstelligen können, um Bedenken entgegenzuwirken.

Die Lösung: Die neue CPU-Familie AM67x von TI

Alles in allem also ein anspruchsvolles Aufgabenprofil, das die Elektronik des smarten Zebrastreifens erfüllen muss. Das neue, einlötbare Prozessormodul TQMa67xxL stellt sich dieser Herausforderung – unter Verwendung des AM67x- Prozessors von Texas Instruments.

Die skalierbare AM67x-Prozessorfamilie, die für intelligente Bildverarbeitungs- und allgemeine Computeranwendungen entwickelt wurde, enthält bis zu vier Arm Cortex -A53-Cores (64-Bit-Architektur), einen Vision Pre-Processing Accelerator (VPAC) mit Image Signal Processor (ISP) und mehreren Vision Assist Accelerators, Deep Learning (DL), Dense Optical Flow (DOF) Video- und 3D-Grafikbeschleuniger, einen Cortex-R5F MCU-Insel-Core und zwei Cortex-R5F- Cores für das Geräte- und Laufzeitmanagement.

Leistungsfähige Beschleuniger für Smart Vision

Der VPAC bietet eine Reihe grundlegender Bildverarbeitungsfunktionen, darunter Farbverbesserung, Rauschfilterung, Wide Dynamic Range (WDR)-Verarbeitung, Korrektur von Linsenverzerrungen, De-Warping, Bildskalierung in Echtzeit und die Erzeugung von Bildpyramiden. Somit übernimmt er spezielle Pixelverarbeitungsaufgaben und entlastet die Haupt-Cores spürbar.

Das TQMa67xxL- Modul stellt all diese Funktionen zur Verfügung und erweitert den Prozessor mit entscheidenden Komponenten wie Speicher und Power-Management zu einem lauffähigen System. Damit stehen an Speicher bis zu 8 GB LPDDR4, bis zu 256 MB NOR-Flash, bis zu 256GB 3D NAND eMMC und bis zu 64-kbit EEPROM zur Verfügung. Natürlich werden auch alle Schnittstellen des Prozessors herausgeführt.

So verarbeitet die siebte Generation der TI ISPs ein breites Spektrum an Sensoren, einschließlich RGB-Infrarot (RGB-IR) und unterstützt größere Bit-Tiefen (12-Bit RGB- IR und bis zu 16-Bit Input RAW-Format) und Funktionen für Analyseanwendungen. Damit steht dem Einsatz in der Nacht, zur Dämmerung und am Tag nichts im Weg. Mit vier MIPI-CSI2.0-Schnittstellen (v1.3 Compliant) finden ausreichend Kameras Anschluss, um auch die kompliziertesten Fußgängerübergänge zu erfassen.

Hier punktet besonders der integrierte Depth and Motion Perception Accelerator (DMPAC), ein energieeffizienter Hardwarebeschleuniger zur Tiefenberechnung mittels Stereo-Bild-Auswertung und optischen Flussvektoren (Bewegung). Typischerweise beinhaltet das Szeneverständnis die Erkennung aller Objekte zusammen mit ihrer 3D-Position und Bewegung zueinander durch die Analyse eines oder mehrerer zusammenhängender Eingangsvideoströme. Zur Bewältigung dieser Aufgaben kommen verschiedene Computer-Vision-Algorithmen zum Einsatz.

3D-Tiefe mit optischem Flussvektor

Eine sehr robuste Methode zur Gewinnung der 3D-Tiefe aus Bildern ist die Verwendung von zwei Kameras in einem Stereo-Setup – zwei Kameras mit bekannten relativen Positionen und Kameraparametern. Die beiden Bilder der gleichen Szene, die aus zwei verschiedenen Kamerapositionen/Perspektiven aufgenommen wurden, werden analysiert, um Unterschiede zwischen den einzelnen Pixelpositionen in den Bildern zu finden.Die Disparitätswerte jedes Pixels eignen sich, um die 3D-Positionen des Objekts/Raums, zu dem sie gehören, durch Triangulation zu bestimmen.

Andererseits lässt sich durch die Analyse von zwei Bildern einer einzelnen Kamera, die zu zwei verschiedenen Zeitpunkten aufgenommen wurden (d.h. zwei Frames in einem Videostream), feststellen, wohin sich jeder Pixel in den Frames bewegt hat. Dies wird als optischer Flussvektor bezeichnet. Die Flussvektoren für jede Pixelposition können verwendet werden, um eine 3D-Struktur der Szene zu erhalten, sich bewegende Objekte zu identifizieren und ihre relative Geschwindigkeit und Bewegungsrichtung zu bestimmen. So lässt sich beispielsweise erkennen, ob ein Fußgänger sich dem Zebrastreifen nähert oder an ihm vorbeigeht. Abgerundet wird das Vision-Paket mit zwei integrierten C7x-DSPs mit Skalar- und Vektorkernen, ein dedizierter MMA-Beschleuniger für Deep Learning in Kombination mit einem großen 2,25 MB L2-Speicher, der eine Leistung von bis zu 4 TOPS ermöglicht.

Zuverlässigkeit von KI-Netzwerken verbessern

Die Anforderungen an KI-Netzwerke steigen rasant. Um einen stabilen Betrieb bei 1,6-T-Ethernet sicherzustellen, müssen alle Verbindungen umfassend getestet und validiert werden – von der Bitübertragungsschicht bis zur Protokollebene.

Ben Miller

Zukunfts- und betriebssicher dank Erweiterungspotenzial

Neben diesen Vorverarbeitungs- und Bildanalyse-Funktionalitäten bietet der AM67x auch Hochgeschwindigkeits- IOs, darunter PCIe Gen3 (eine Lane) und einen 3-Port-Gigabit-Ethernet-Switch mit einem internen Port und zwei externen Ports mit TSN-Unterstützung.

Mit diesen Features ist das Modul bestens geeignet, um dem potenziellen künftigen Kommunikationsbedarf in Smart Citys zu begegnen: Von der Ermittlung der Verkehrsdichte bis hin zur Bedarfserkennung einer Straßenreinigung/Schneeräumung könnten weitere Zusatzfunktionen gewünscht werden. Darüber hinaus kann auch eine direkte Kommunikation mit den Kraftfahrzeugen (V2X) notwendig werden. Ebenso sind zusätzliche Unterstützungsfunktionen für Sehbehinderte und Blinde denkbar. Für all diese Erweiterungsherausforderungen ist der TQMa67xxL auch mit einem umfangreichen Satz an Peripherie-Funktionen gerüstet, wie USB, MMC/SD, OSPI, CAN-FD und GPMC FÜR parallele Host-Schnittstellen zu einem externen ASIC/FPGA.

Bis zu 140 GPIOs geben den Entwicklern viel Freiheit bei der Realisierung der Matrix-LED-Steuereinheit. Alternativ können auch bis zu 2 x SDIO, 6 x I2C, 5 x SPI, 1x OSPI oder 3 x PWM zum Einsatz kommen. Wenn auch nicht für den laufenden Betrieb erforderlich, so sind Display-Ausgänge für die Einrichtung/Einmessung des Zebrastreifens eine hilfreiche Funktion. So stehen 1 x LVDS, 1 x RGB (24 Bit) und 1 x DSI zur Verfügung, unterstützt von einer 3D-GPU.

Sichere Software und Hardware

Das TQMa67xxL-Modul unterstützt auch Secure Boot für IP-Schutz mit dem eingebauten HSM (Hardware Security Module) und schiebt so skrupellosen Nachahmern und Cyberkriminellen einen Riegel vor. Für einen noch weiter erhöhten Security-Bedarf kann TQ das Secure Element SE050 zusätzlich bestücken. Mit Abmessungen von 44 mm x 44 mm, einer Verlustleistung von 3 bis 5 Watt und einem Standard-Temperaturbereich von -25°C bis 85°C bzw. im erweiterten Temperaturbereich von -40°C bis 85°C bietet das Modul die perfekte Antwort auf die hier anspruchsvollen Einbau- und Umweltsituationen. Als einlötbares Modul ist das TQMa67xxL unempfindlich gegen Vibrationen durch den (Schwerlast)-Verkehr.

Mit dem TQMa67xxL sicher an Fußgängerüberwegen – und darüber hinaus

Damit steht fest: Das TQMa67xxL bietet die ideale Plattform für smarte Licht- und Verkehrslösungen, die mehr Sicherheit und Effizienz versprechen. Mit leistungsstarker Bildverarbeitung, KI-Unterstützung und flexiblen Schnittstellen lässt sich nicht nur die Beleuchtung an Zebrastreifen intelligent steuern, sondern auch eine Vielzahl weiterer Smart-City-Anwendungen realisieren wie intelligente Ampeln oder Verkehrsflussanalysen. So entsteht eine moderne Infrastruktur, die den Verkehrsfluss verbessert und Unfallzahlen nachhaltig reduziert. (na)