Edge-Geräte entwickeln sich mit Echtzeitdaten weiter
Tyler BakerTylerBaker
VeröffentlichtGeändert
Einzelne Edge-Geräte können ihre Leistung verbessern, indem sie einen Rückkopplungspfad einrichten, um direkt aus ihrer Umgebung dazuzulernen.(Bild: Viktor - stock.adobe.com)
Edge-KI bewegt sich aus dem Labor in die Realität – mit dynamischer Rückkopplung aus dem Einsatzumfeld. Modelle passen sich fortlaufend an, lernen dazu und verbessern ihre Präzision dort, wo sie tatsächlich arbeiten: direkt im Feld.
Anzeige
Die erste Lektion, die KI-Entwickler lernen, ist, dass jedes KI-System nur so gut ist, wie der Datensatz, mit dem es trainiert wurde. Daher fließt ein großer Teil der Anstrengungen bei der Entwicklung von Edge-KI-Systemen in die Kuratierung der Trainingsdaten, um eine ausreichende Tiefe zum effektiven Lernen für den vorgesehenen Anwendungsfall zu erhalten, ohne jedoch ein derart großes Modell zu erzeugen, dass es sich auf einem realen Edge-Gerät nicht mehr ausführen lässt.
Heute werden zum Training gewöhnlich allgemeine Daten herangezogen. Ein Modell zum Erkennen von Katzen wird mit verschlagworteten Bildern von Katzen aus dem weltweiten Bestand von Katzenbildern im Internet trainiert. Ein Gerätehersteller würde nicht zu den Orten gehen, wo sein Gerät zur Katzenerkennung eingesetzt werden soll, und Millionen von Bildern der örtlichen Katzen unter den dortigen Lichtverhältnissen aufnehmen.
Anzeige
Dieser Ansatz zum Training von KI-Modellen ist das Beste, was der Entwickler tun kann, um das Gerät darauf vorzubereiten, seine Betriebsumgebung zu verstehen. Zum Erkennen von Katzen genügt das. Aber in vielen Anwendungen der KI an der Edge reichen solche universellen Trainingsdaten nicht aus, um dem Gerät das Wissen zu vermitteln, das es für die spezifischen Bedingungen vor Ort benötigt.
Warum reichen universelle Trainingsdaten nicht aus?
Nehmen wir als Beispiel einen autonomen Roboter zum Beseitigen von Unkraut in der Landwirtschaft. Die Kamera des Roboters wird so programmiert, dass sie Bilder von Blättern erkennt, um zwischen Nutzpflanzen und Unkraut zu unterscheiden und verschiedene Arten von Unkraut in geeigneter Weise zu behandeln. Um die Größe des Modells zur Unkrauterkennung so klein wie möglich zu halten, wird der Entwickler das System mit Bildern des Unkrauts trainieren, das am Einsatzort am häufigsten vorkommt, statt eine Datenbank aller Pflanzen der Welt heranzuziehen. Dieses eingeschränkte Modell wird dann in alle an die Landwirte ausgelieferten Roboter zur Unkrautbekämpfung geladen.
Anzeige
Das dürfte gut funktionieren, bis in den Feldern des Landwirts ein bisher unbekanntes Unkraut auftaucht – vielleicht eine aus Übersee eingeschleppte invasive Art. Oder was ist, wenn eine lokale Gruppe von Landwirten einen neuen Hybrid einer Nutzpflanze züchtet, die von den Nutzpflanzen, mit denen das Modell trainiert worden war, leicht abweicht? In diesem Fall könnte es passieren, dass der Roboter ein Unkraut verschont und stattdessen die frischen Triebe der Nutzpflanze vernichtet.
Ähnliches kann überall passieren. In der Medizin können Modelle zur Überwachung der Gesundheit von Patienten anhand von Daten ausgewählter Testpersonen trainiert werden, die wenig Geld und viel Zeit haben, z. B. Studierende und andere junge Leute. Die Patienten, die am meisten von einem medizinischen Gerät mit KI profitieren, könnten jedoch älteren Generationen angehören. In diesem Fall würden die Muster der physiologischen Daten, die das Gerät überwacht, nicht gut zum Profil des typischen Anwenders passen.
Digitaler Thementag: Edge-KI in der Praxis
Lokale KI-Modelle ermöglichen Echtzeitanalyse und Anomalieerkennung direkt am Sensor – ohne Umweg über die Cloud. In zwei technischen Deep-Dives erfahren Sie, wie Predictive-Maintenance-Systeme durch kontinuierliches Lernen robuster werden und wie sich KI-Modelle mithilfe von Techniken wie Taylor-Pruning und Quantisierung effizient für Embedded-Hardware anpassen lassen.
Mit Beiträgen von:
Christoph Stockhammer, Principal Application Engineer, The MathWorks GmbH
Elias Kettunen, Development Engineer, Cicor Management AG
Nutzen Sie die Gelegenheit, sich mit Experten aus der Industrie, Forschung und Entwicklung zu vernetzen und auszutauschen.
Wie lernen Edge-Geräte durch Rückkopplung vor Ort?
Anzeige
Wie also löst man das Problem eines allgemeinen Datensatzes zum Training? Die Antwort könnte so aussehen, dass man eine kontinuierliche Rückkopplung zwischen dem Datensatz zum Training, dem System zur Modellentwicklung in der Cloud und den vor Ort mit der installierten Gerätebasis im Feld erfassten Daten einrichtet (siehe Abbildung 1). Inspiriert hat diesen neuen Ansatz, der gerade von den Spezialisten für Embedded Software Foundries.io und Edge Impulse entwickelt wird, das Modell zur kontinuierlichen Integration/kontinuierlichen Entwicklung (CI/CD) bei der Bereitstellung von Software.
Mit einer kontinuierlichen Rückkopplung mit an der Edge erfassten Bildern kann ein Modell unter Berücksichtigung der Bedingungen vor Ort verfeinert werden.(Bild: Foundries.io)
Bei diesem Ansatz würden die vom Edge-Gerät vor Ort aufgenommenen Daten (Bilder im Beispiel der intelligenten Unkrautbekämpfung oder die physiologischen Daten für ein Produkt zur Gesundheitsüberwachung) nicht nur dazu verwendet, die Inferenz-Engine zu speisen, sondern parallel dazu in einem Prozess zur Datenerfassung gesammelt und in den Datensatz zur Schulung in der Cloud aufgenommen. Das Modell würde mit dem verbesserten oder verfeinerten Datensatz trainiert, ein neuer Inferenz-Algorithmus würde erzeugt und dieser Algorithmus würde wiederum in die Geräte vor Ort übertragen, um den Rückkopplungskreis zu schließen.
Mit Daten aus der jeweiligen Umgebung des Geräts könnte der Entwickler Verbesserungen der Leistung und Genauigkeit des Modells erreichen und dafür sorgen, dass es besser auf die jeweiligen vor Ort beobachteten Phänomene reagiert.
Wie führt man die häufigen Updates der Modelle im Feld durch?
Anzeige
Die praktische Umsetzung einer solchen kontinuierlichen Rückkopplung erfordert ein hohes Maß an Softwareautomatisierung. Die Systeme von Edge Impulse und Foundries.io passen für eine solche Funktion gut zusammen: Edge Impulse liefert Werkzeuge zur Implementierung von Standard-KI-Frameworks auf Edge-Geräten. Die FoundriesFactory-Plattform, ein DevOps-System für Embedded-Geräte, umfasst einen Satz von Werkzeugen für Sicherheitsfunktionen, Auslieferung und die Übertragung von Software-Updates zu den Geräten im Feld.
Over-the-air (OTA) Software-Updates gelten heute als die Methode zur Übertragung von Sicherheits-Patches oder Funktionsupgrades an eine Flotte von Geräten im Feld. In dem Maß, wie die Bedeutung der KI in der Embedded-Welt wächst, sollte die Funktion der OTA-Updates ausgebaut werden. Künftig sollte der OTA-Prozess eine kontinuierliche Rückkopplung unterstützen, die es ermöglicht, die Trainingsdatensätze von Edge-Geräten mit Daten zu ergänzen, die in der tatsächlichen Betriebsumgebung der Geräte gewonnen werden. (na)
Tyler Baker
VP, Engineering (Qualcomm Innovation Center) – ein Mitglied des Foundries.io Teams