IoT-Geräte mit lokaler Intelligenz ausstatten

Das Internet der Dinge (IoT) veranlasst Entwickler, immer mehr Sensoren in Geräte und Systeme zu integrieren, damit diese Informationen über ihre Umgebung sammeln. Per Definition sind IoT-Knoten mit der Cloud vernetzt, wo eine enorme Rechenleistung zur Verfügung steht, um riesige Datenmengen zu analysieren.

Die DSP-Cores der Serie Teaklite-4 statten IoT-Geräte mit lokaler Intelligenz aus, damit die Auswertung von Daten und Informationen direkt vor Ort und ohne Belastung von Cloud-Ressourcen erfolgen kann. Ceva

Lokale Intelligenz kann den Austausch bestimmter Daten mit der Cloud erübrigen und dafür sorgen, dass Systeme schneller auf die Anforderungen der Benutzer reagieren. Weniger Netzwerkverkehr und geringere Belastungen für Rechenzentren können dann zu geringeren Dienstleistungskosten beitragen. Hinzu kommt, dass sich durch lokal vorhandene Intelligenz die Folgen einer eventuellen Unterbrechung der Datenverbindung zur Cloud vermeiden lassen. Auch aus Gründen des Datenschutzes ist es besser, Sensorsignale vor Ort statt in der Cloud zu verarbeiten.

Lokale Intelligenz mit DSP-Core

Die Bedeutung lokaler Intelligenz lässt sich am Beispiel eines Smart-Home-Systems erläutern, bei dem elektrische Verbraucher wie Lampen oder andere Einrichtungen wie Rolläden, Haushaltsgeräte oder Heizung vernetzt sind und sich vom Anwender steuern lassen. Ausgestattet mit einer ständig eingeschalteten Spracherkennung (Always On), für die ein integrierter digitaler Signalprozessor (DSP) zuständig ist, ermöglicht das System eine Reihe sprachgesteuerter Funktionen. Eine solche Funktion kann zum Beispiel ein Babyfon sein, das Geräusche im Kinderzimmer erkennt und bei Bedarf die Eltern benachrichtigt. In diesem Fall ist eine lokale Verarbeitung der Daten entscheidend, um eine kontinuierliche Übertragung von Sprachdaten (Streaming) in die Cloud zu vermeiden. Hinsichtlich Stromverbrauch, Kosten und Privatsphäre ist ein Streaming nämlich nicht wünschenswert.

Ist das Smart-Home-System zusätzlich für Sicherheit und Einbruchsmeldung verantwortlich, erkennt eine Audioanalyse vor Ort Geräusche wie das Bersten einer Fensterscheibe, was einen Alarm auslösen kann. Auch in diesem Fall ist lokal vorhandene Intelligenz vorteilhaft, da sich so die Latenzzeit vermeiden lässt, die beim Hochladen der Daten in die Cloud und bis zum Erhalt einer entsprechenden Reaktion entsteht. Das System kann so einen zeitnahen Alarm auslösen.

Lokale Intelligenz erweist sich auch als Vorteil, wenn Einbrecher versuchen, vor der Tat die Telefon- oder Internetleitung zu durchtrennen. In diesem Fall wäre die Fernanbindung des Systems unterbrochen. Intelligenz vor Ort sorgt bei dieser Art Angriff für ein robustes System. Denn bei Bedarf kann das System einen manipulationssicheren Kanal wählen, zum Beispiel eine Übertragung von Informationen über das Mobilfunknetz, um Hauseigentümer oder ein Sicherheitsunternehmen zu benachrichtigen.

Eine Audioanalyse vor Ort kann beispielsweise auch gerade gespielte Musik erkennen und um der jeweiligen Stimmung zu entsprechen, kann das Smart-Home-System die Raumbeleuchtung entsprechend anpassen.

Intelligentes Mikrofon hört alles

Bild 1: Ein Smart-Mikrofon ermöglicht die eigenständige Spracherkennung in einem IoT-System. Ceva

Möglich sind diese Arten von Sprachsteuerung und Audiosensorik mit Geräten wie intelligenten Mikrofonen (Smart-Mikrofon). Dabei handelt es sich um Always-on-Geräuschsensoren, die aus einem MEMS-Mikrofon und einem stromsparenden DSP bestehen (Bild 1). Der hier verwendete DSP enthält Algorithmen, die aus Verbesserungen bei der Spracherkennungstechnik resultieren, zum Beispiel über neuronale Netze. Andere Steuerungsfunktionen sind mit Smart-Mikrofonen ebenfalls möglich, darunter auch die Ultraschall-Gestenerkennung, die bei schlechten Lichtverhältnissen von Vorteil ist. Die Integration dieser Technik in kommende Smartphones, Wearables sowie Home- und Automotive-Systeme ist abzusehen.

„Hörende“ Always-on-Systeme können bald auch in intelligenten Gebäuden (Smart Buildings) zu finden sein und dort auf Spracheingaben reagieren. Selbst raffinierte Funktionen sind möglich, ebenso wie eine Signalverarbeitung vor Ort, etwa zur Gesichtserkennung. Ein so ausgestattetes Smart-Building-System kann die Identität von Personen oder Gruppen im Gebäude ermitteln, um die bevorzugte Beleuchtungs- oder Heizungseinstellung vorzunehmen. Auch die Anwesenheit von Gästen lässt sich erkennen, um Eigentümer über deren Anwesenheit zu informieren.

Bei Erweiterungen um Sensor-Fusion-Anwendungen wie Bewegungserkennung, die verschiedene PIR- oder MEMS-Sensoren (PIR: Passiv-Infrarot) verwenden, kann das Smart-Building-System Gewohnheiten der Nutzer und Abweichungen davon erkennen, beispielsweise aggressives Verhalten oder fehlende Bewegungen im Falle eines Unfalls. Dies kann für ältere Bewohner von Vorteil sein, die eventuell stürzen und sich nicht mehr bewegen können, um einen Notruf abzusetzen.

Bild 2: Chipbasierendes Entwicklungssubsystem mit skalierbarem DSP-Core und Systemperipherie. Ceva

Wearables sind eine weitere Gerätekategorie im IoT, die immer mehr an Interesse gewinnt. Diese Gadgets sind vor allem auf die Umgebung bezogen und überwachen die Bewegung und Aktivität des Nutzers beim Gehen, Laufen oder Sitzen. Durch die Kombination dieser kontextbezogenen Informationen mit anderen erfassten Daten wie Pulsfrequenz, Blutdruck oder Körpertemperatur lässt sich der Wellness-, Gesundheits- oder Trainingszustand eines Menschen messen.

Ein Embedded-Prozessor, der ausgefeilte Sensor-Fusion-Funktionen vor Ort verarbeitet, sammelt Informationen verschiedener Sensoren und erstellt daraus aussagekräftige Informationen für den Anwender, ohne den Stromverbrauch zu erhöhen oder lange Verzögerungen zu verursachen. Dagegen führen Lösungen, die Sensor-Rohdaten erst in die Cloud senden und dort verarbeiten beziehungsweise aufbereiten, zu unerwünschten Verzögerungen.

Konfigurierbare, stromsparende DSPs

Die umfangreiche Signalverarbeitung für die anspruchsvolle Bewegungs-, Sprach-, Geräusch- und Bilderkennung verlangt eine Leistungsfähigkeit, die jenseits der Möglichkeiten herkömmlicher Mikrocontroller liegt.

Jede für das IoT oder für Wearables geeignete DSP-Architektur muss hochoptimiert sein, um den Energieverbrauch zu minimieren und somit eine lange Betriebszeit mit einer kleinen und leichten Batterie zu ermöglichen. Ein DSP für optimale Effizienz muss hohe Anforderungen hinsichtlich Rechenleistung, Peripherie-Unterstützung und Software-Optimierung erfüllen.

Ein konfigurierbarer DSP-Core aus der Serie Teaklite-4 von Ceva bietet größere Freiheiten bei der Optimierung der gesamten Onboard-Signalverarbeitung als herkömmliche Lösungen. Mit diesem DSP-Core lassen sich der gewünschte Grad an lokaler Intelligenz, eine effiziente und hohe Rechenleistung sowie ein niedriger Energieverbrauch erzielen.

Bild 3: Die Entwicklungsplattform für digitale Signalprozessoren der Serie Teaklite-4 bestehend aus Hardware, Software und Tools verfügt unter anderem über Anschlüsse für Digitalmikrofone und Lautsprecher sowie USB- und HF-Schnittstellen. Ceva

Der Core benötigt in der kleinsten Form 90.000 Gatter und basiert auf einer Low-Power-Prozesstechnik mit 28 nm Strukturbreite. Außerdem ist er skalierbar und erweiterbar, um zahlreiche Funktions- und Leistungsanforderungen zu erfüllen. Der TeakLite-4 befindet sich in zahlreichen ICs im Einsatz und verbraucht 20 µW in einer Always-on-Sprachsteuerung.

Verschiedene Core-Konfigurationen bieten eine Auswahl an Single- oder Dual-32-Bit-MACs (Multiplizier-Akkumulier-Einheiten) für die Verarbeitung von Audio-, Sprach- oder Sensor-Fusion-Signalen. Dies ermöglicht komplexe Audioanalysen, wie sie etwa bei der Rauschunterdrückung erforderlich sind. Je nach Konfiguration stehen Dual- oder Quad-16×16-Bit-Multiplizierer sowie 16-, 32-, 64- oder 72-Bit-DSP-Arithmetik zur Verfügung. Unterstützung für 64- oder 128-Bit-Datenspeicherbandbreite optimiert Transaktionen zwischen DSP und Speicher. Durch eine 16- oder 32-Bit-Befehlscodierung können Softwareentwickler eine hohe Codedichte erzielen.

Entwicklungsplattform

Um Entwicklern von IoT-Anwendungen den Zugang zu dieser skalierbaren DSP-Architektur zu erleichtern, hat Ceva eine Entwicklungsplattform auf der Basis eines energieeffizienten Teaklite-4-DSP und eines Subsystems im Programm, das in einen Chip integriert ist (Bild 2). Das Subsystem umfasst die Hauptsystem-Peripherie, darunter Powermanagement, Timer, GPIOs, Kommunikationsschnittstellen und DMA-Controller, die direkt mit dem DSP-Core verbunden ist. Hinzu kommen Daten- und Programmspeicher auf dem Chip. Der Entwicklungschip aus der Produktion im 55-nm-LP-Prozess ist für einen stromsparenden Betrieb mit 500 MHz ausgelegt.

Die Optimierung der Software ist ebenfalls entscheidend, um einen möglichst hohen Wirkungsgrad bei geringem Stromverbrauch zu erreichen. Daher unterstützt die Teaklite-4-Architektur bestimmte Befehle für die Verarbeitung von Audio- und Sprachdaten. Neben dem DSP-Verarbeitungssubsystem auf dem Chip umfasst die Teaklite-4-Entwicklungsplattform ein Echtzeit-Betriebssystem sowie eine Bibliothek aus optimierten DSP-Funktionen, zu denen unter anderem Filter, Fourier-Transformationen, Vektoroperationen und mathematische Funktionen gehören.

Ebenfalls erhältlich sind Audio-, Sprach- und Sensor-Softwaremodule. Diese sind für den digitalen Signalprozessor Teaklite-4 optimiert und umfassen Always-on-Sprachaktivierung sowie -sprecherkennung, Multi-Mikrofon-Rauschunterdrückung, auf neuronalen Netzwerken basierende Sprachisolation, Sensor-Fusion-Algorithmen und andere Softwarefunktionen wie Audio-Nachbearbeitung. Die Anbindung an Netze wie Bluetooth, Wi-Fi, Zigbee, Thread, 6lowPAN, LoRa, GNSS, Sigfox, G3-PLC, PRIME, NB-CIOT und Mobilfunkstandards ist möglich.

Um den Wirkungsgrad zu maximieren, kommt die Software-Entwicklungsumgebung Ceva-Toolbox zum Einsatz, mit der sich beispielsweise Zykluszahl, Codegröße, Cache-Performance und Codeabdeckung verbessern lassen.

Die Entwicklungsplattform verfügt über Anschlüsse für Digitalmikrofone, Line-In, Line-Out, USB- und HF-Schnittstellen. Hinzu kommt ein Arduino-Erweiterungsanschluss, der Leistungsmessungen auf dem Board und Einstellungen über das integrierte Farb-LCD ermöglicht. Verschiedene Stromverbrauchsanzeigen für den DSP, integrierter Speicher und Peripherie des Subsystem-ICs ermöglichen eine Analyse des Stromverbrauchs bei Veränderungen des Codes. Damit lassen sich Systeme auf höchste Leistungsfähigkeit und Energieeffizienz optimieren. Bild 3 zeigt das Zusammenwirken der verschiedenen Elemente innerhalb der Entwicklungsplattform.

Für Android-Entwickler steht das Android Multimedia Framework (AMF) zur Verfügung, das Audio- oder Sprachfunktionen von der CPU auslagert und native, integrierte Android-Mechanismen sowie APIs nutzt. Einzelne oder mehrere DSPs können damit effizienter arbeiten. Mehr Effizienz durch Tunneling, das den Datenübertragungs-Overhead zwischen DSP und CPU verringert, reduziert zusammen mit dem AMF den Energieverbrauch bei Audio- und Sprachanwendungen um über 90 Prozent.

Vorteile für industrielle Anwendungen

Ein stromsparender und anpassbarer DSP, der anspruchsvolle Kommunikations- oder Sensor-Hub-Algorithmen verarbeitet, kann auch in intelligenten Verbrauchszählern (Smart Metering) zum Einsatz kommen. Eine möglichst stromsparende Signalverarbeitung in PLC-Modems (Power-Line Communication) ist hier entscheidend. Weitere industrielle Einsatzbereiche sind die Vibrationsüberwachung auf Basis mehrerer Bewegungssensoren oder die Audioanalyse zur Vorhersage einsetzender mechanischer Störungen in Maschinen.

Fortschrittliche Mensch-Maschine-Schnittstellen (HMIs) sind ein weiteres Beispiel für den Einsatz sprachaktivierter oder gestenbasierender Benutzerschnittstellen. Damit verbessert sich die Steuerung und Überwachung von Einrichtungen, vor allem wenn die Hände des Bedienpersonals andere mechanische Steuerungen kontrollieren müssen. DSPs der Serie Teaklite-4 kommen in zahlreichen Bausteinen für Industrieanwendungen zum Einsatz, zum Beispiel in einer Spracherkennungs-Engine mit geringem Stromverbrauch, die ohne Cloud-Unterstützung arbeitet.

(hb/av)