So werden Embedded Computing, Vision-Technologie und KI vereint

Da smarte Vision-Technologien in immer mehr Applikationen integriert werden, wächst auch der Bedarf, Kamera- und KI-Technologien auf Embedded-Level zu integrieren. Der Aufwand hierfür ist nichts Außergewöhnliches, da er vergleichbar mit dem Aufwand der Integration sonstiger Peripheriekomponenten ist. Im Grunde also keine große Herausforderung – wäre da nicht auch der Bedarf, zusätzlich KI-Technologien gepaart mit dem Time Synchronzied Networking zu integrieren, um beispielweise gleichzeitig die Echtzeitfähigkeit verteilter Robotik-Steuerung zu erhalten.

Auch ist es immer mit Aufwand verbunden, auf Basis von ARM-Technologien applikationsfertige Plattformen zu erhalten, da diese auf den applikationsspezifischen Bedarf angepasst werden müssen. Ganz unabhängig von der zum Einsatz kommenden Prozessortechnologie ergibt sich folglich immer der Bedarf für OEMs, die Summe der Einzelteile möglichst reibungslos zur Serienreife zu bringen. Idealerweise finden sie hierfür dann schon beim Lieferanten ihre spezifischen Lösungsplattformen, die mehr bieten als die Summe der einzelnen Komponenten. Denn dann können sie sich auf die Entwicklung ihrer neuen Applikationen konzentrieren.

Heterogene Lösungsangebote der Prozessorhersteller

Bild 1: Smarte Embedded-Vision-Plattformen mit KI-basierender Situational Awareness sind aus vielen kleinen Funktionsbausteinen zusammengesetzt, deren Zusammenspiel validiert sein muss. Congatec

Die Herausforderungen beginnen schon beim Integrationsaufwand für beispielsweise MIPI-CSI-basierende Kameratechnologien. Während sie bei ARM-basierenden Technologien bereits zum Standard gehören, ist hierfür bei x86-Plattformen ein spezifischer Integrationsaufwand erforderlich. Beim Einsatz von KI-Technologien gibt es zudem zwischen AMD und Intel durchaus unterschiedliche Strategien, was den Software-Support betrifft. So setzt AMD – wie bei OpenCX/CV auch – auf Open-Source-Lösungen wie ROCm und Tensor Flow, um den heterogenen Einsatz der Embedded-Computing-Ressourcen zu unterstützen, der für die Deep-Learning-Inferenz-Algorithmen erforderlich ist.

Intel hingegen bietet Kunden eine Distribution des Toolkits Open Vino (eigene Schreibweise: OpenVINO) an, das sowohl Optimierungen für Deep-Learning-Inferenzen bietet als auch viele Aufrufe traditioneller Computer-Vision-Algorithmen unterstützt, die in Open CV implementiert sind – insgesamt also ein integriertes Gesamtpaket. Letztlich zielt Intel mit dem Support von FPGAs sowie dem Intel Movidius Neural Compute Stick auch darauf ab, nicht nur die teuren GPUs der Anbieter AMD oder Nvidia einzusetzen, sondern auch weitere Alternativen aus eigenem Hause für die Inferenzsysteme aufzuzeigen.

Auch NXP bietet mit dem eIQ Machine Learning Software Development Environment Antworten auf den Einsatz von KI, nicht nur im Automotive-Segment, sondern auch im industriellen Umfeld. Es umfasst Inferenz-Maschinen, Neuronal Network Compiler, Vision- und Sensorlösungen sowie Hardware-Abstraktionsschichten und stellt damit alle erforderlichen Schlüsselkomponenten für die Bereitstellung einer breiten Palette von Machine-Learning-Algorithmen dar. Auch eIQ basiert auf gängigen Open Source Frameworks, die in den NXP-Entwicklungsumgebungen für MCUXpresso und Yocto integriert sind, und ist im Early Access Release verfügbar für i.MX RT und i.MX.

Embedded-Computing-Plattformen müssen zur Lösung passen

Bei diesen drei unterschiedlichen KI-Ansätzen der Halbleiterhersteller ist bereits zu erkennen, dass sich für OEMs je nach Lösungspfad unterschiedliche Anforderungen ergeben, was die Umsetzung der eigenen Applikationen betrifft. In jedem Fall aber muss die Embedded-Computing-Hardware auf den Einsatz der jeweiligen Softwarelösung vorbereitet sein, was auch eine gewisse Sorgfalt bei der Auswahl der einzelnen Hardwarekomponenten erfordert. Deshalb ist die Zusammenarbeit zwischen den Halbleiterherstellern und den Embedded-Computing-Anbietern so entscheidend. Arbeiten OEMs mit Unternehmen wie Congatec zusammen, die zu den führenden Anbietern in diesem Bereich zählen, und haben diese bereits applikationsfertige Bundles auf Basis dieser Lösungen vorgestellt, die in Zusammenarbeit mit den Halbleiterherstellern entstanden sind, können OEMs sicher sein, dass die wesentlichen Hausaufgaben bereits gemacht sind.

KI-Implementierungen sind jedoch nur so viel wert wie ihr Zusammenspiel mit den dazu passenden Embedded-Vision-Technologien. Aus diesem Grund ist Congatec mit Basler eine Kooperation eingegangen, die darauf abzielt, Kunden perfekt aufeinander abgestimmte Komponenten für Embedded-Vision-Applikationen zu bieten. Zwei recht nah beieinanderliegende Applikationsplattformen sind aus dieser Kooperation bereits entstanden: eine mit NXP-Technologie und die andere auf Basis von Intel-Prozessoren.

Thema der nächsten Seite: Drei unterschiedliche Lösungen aus einem Haus

Bild 2: Die visionbasierende Retail-Deep-Learning-Plattform erkennt Waren automatisch und kann den Checkout-Prozess im Einzelhandel vollständig automatisieren. Congatec

Bild 3: Die Embedded-Vision-Plattform für Echtzeit-Robotics führt heterogene Teillösungen auf einer homogenen Lösungsplattform zusammen und trägt so zur Workload-Konsolidierung bei. Congatec

Die smarte Embedded-Bilderkennungsplattform auf Basis von Intel-Technologie erkennt Gesichter und kann sie nach Alter und Stimmung analysieren. Sie basiert auf Baslers Dart-Kamera-Modul mit USB 3.0 und den Pico-ITX-Boards Conga-PA5 mit Atom-, Celeron- und Pentium-Prozessoren der fünften Generation. Die Pylon Camera Software Suite wird Congatec zudem als Standardsoftware in passende Kits integrieren.

Die NXP-Lösungsplattform ist ab Sommer 2019 bei Basler erhältlich und zielt auf Retail-Deep-Learning-Applikationen, um den Checkout-Prozess im Einzelhandel vollständig zu automatisieren. Sie erkennt Verpackungen über ein KI-Inferenzsystem und basiert auf einem Basler-Embedded-Vision-Kit mit NXP-SoC i.MX 8Quadmax auf dem Computer-on-Module Conga-SMX8 von Congatec, einem Smarc 2.0 Carrierboard und Baslers Kameramodul Dart BCON für MIPI 13 MP.

Beide Applikationen liegen nicht wirklich weit auseinander, setzen aber insgesamt höchst heterogene Komponenten ein, deren Zusammenspiel validiert sein muss, um eine OEM-Lösung möglichst einfach zur Serienreife zu führen. Gleiches gilt selbstverständlich auch für die zusätzliche Integration von Echtzeitsteuerungen, die bei Robotiksystemen und autonomen Logistikfahrzeugen erforderlich sind. Auch hierfür hat Congatec zusammen mit Intel und Real-Time Systems eine Lösungsplattform entwickelt. Sie basiert auf COM-Express-Type-6-Modulen mit Intel-Xeon-E2-Prozessoren und integriert vier applikationsfertig vorkonfigurierte virtuelle Maschinen auf Basis des RTS-Hypervisors.

Zwei unabhängige Echtzeit-Partitionen betreiben Echtzeit-Linux. Auf ihnen ist eine Applikation installiert, mit der jeweils ein inverses Pendel in Echtzeit in Balance gehalten werden kann. Diese Installation ist Platzhalter für jedwede Steuerung eines verteilten Fertigungsroboters. Eine weitere Linux-Partition dient dazu, ein Secure Gateway onboard zu betreiben. Die Vorteile dieser Secure-Gateway-Integration sind zum einen die Einsparung der hohen Kosten und des Platzes für das externe Gateway. Zum anderen schützt sie Anwender auch vor gefährlichen Backdoors  mancher externer Gateways, sodass die Steuerung mit Vision-App bedenkenloser direkt als Edge-Device konzipiert werden kann.

Um die Unabhängigkeit der Anwendungen und ihr Echtzeitverhalten auf einer einzigen Serverplattform mit mehreren virtuellen Maschinen zu demonstrieren, konnte die Linux-Partition, auf der das Vision-System in der Demo betrieben wurde, neu gebootet werden, was keine Auswirkungen auf das virtualisierte Echtzeitsystem zeigte. Grundsätzlich lassen sich natürlich auch alle weiteren Betriebssysteme auf ihren jeweiligen virtuellen Maschinen unabhängig voneinander neu booten und per Watchdog auf korrekte Arbeit überprüfen.

Die Partner sind entscheidend

OEMs profitieren mit solchen applikationsfertigen Lösungsplattformen von deutlich reduziertem Entwicklungsaufwand, da viele Funktionalitäten bereits erprobt und das Zusammenspiel der einzelnen Komponenten validiert wurden. Congatec bietet diese einzelnen, aufeinander abgestimmten Komponenten bei Bedarf auch als komplett fertig entwickelte, serienreife Lösungsplattform inklusive aller für die serienreife Auslieferung zum Endkunden erforderlichen Zertifizierungen an – ganz gleich ob AMD-, Intel- oder NXP-basierend.

Kunden profitieren so von einer vereinfachten Handhabung und beschleunigtem Design-in der Komponente „Embedded Vision Computer“ sowie optimierten Service- und Supportbedingungen. Die technologische Basis für solche Projekte sind bei Congatec dabei oftmals Computer-on-Modules, denn mit ihnen lassen sich besonders leicht eine bedarfsgerechte Performanceskalierung und Closed-Loop-Engineering-Strategien umsetzen. Die Fusion von Modul und Carrierboard in eine komplett kundenspezifische Lösung für OEMs ist aber auch immer möglich bis hin zum Aufbau einer komplett kundenspezifischen Lösungsplattform inklusive Housing und IoT-Anbindung. Ein echtes Lösungsplattformangebot also für OEMs.

(neu)