Training und Einsatz künstlicher Intelligenz auf einer Hardware

Künstliche Intelligenz (KI) ist derzeit ein absoluter Megatrend. Klassische Einsatzbereiche in der Industrie sind heute vor allem zwei Bereiche: Anlagen, die sich über die Zeit selbst optimieren, sowie das Erkennen von Mustern beziehungsweise Anomalien. Während das Training der KI in der Regel eine hohe Rechenleistung erfordert, lassen sich speziell optimierte Anomalie-Erkennungen auch mit einem schmalbrüstigen Rechenwerk realisieren. Damit sich Anwender voll auf das Entwickeln der KI konzentrieren können, hat EFCO Electronics ein skalierbares KI-Konzept entwickelt – bei der die Rechner-Hardware immer gleich bleibt.

Der KI, als gar nicht so neuem Zweig der Elektronik, werden wahre Wunderdinge zugetraut, die an den Hype der „Wissensbasierten Systeme” (engl: Knowledge-based Systems, KBS) erinnern. In den 1980er-Jahren haben sich die revolutionären Umwälzungen allerdings nicht eingestellt. Im Wesentlichen lag das an zwei Gründen:

1. Das Expertenwissen lag zum großen Teil nicht explizit und dokumentiert vor. Vielmehr griffen die „Wissensarbeiter“ implizit und situativ darauf zu, also dann, wenn sie das Wissen gerade benötigten oder es ihnen wieder einfiel.
2. Deduktive Systeme helfen nicht weiter, wenn Expertise gefragt ist. Sie können bestenfalls logische Schlüsse aus dem vorhandenen Wissen ziehen, jedoch keine Muster oder Gesetzmäßigkeiten erkennen.

Plakativ gesprochen kann man auch sagen: Das Vorgehen eines erfahrenen Instandhalters, der ein ungewöhnliches Geräusch wahrnimmt, ist nicht deduktiv und lässt sich somit schwer oder überhaupt nicht formalisieren.

Entsprechend versucht die moderne KI nicht vorrangig inhaltliche Zusammenhänge zu verstehen – entscheidend ist das statistische Profil. Statt also Strukturen und Bedeutungen zu analysieren, betrachtet man einen Wahrscheinlichkeitsraum, der durchaus zigtausend Dimensionen haben kann. In diesem Raum bilden sich Ähnlichkeiten, Analogien oder Abfolgen durch Vektordistanzen ab (Bild 1). Auch das beliebte Sprachmodell Chat GPT arbeitet nach diesem Prinzip – und kann damit Auskünfte generieren, die oberflächlich so aussehen, wie von Menschen erstellt. Allerdings könnten die Outputs der KI auch falsch, irreal oder schlicht idiotisch sein [1].

Technisch betrachtet bilden die in den 1950er-Jahren erfundenen neuronalen Netze die Basis moderner KI. Bereits in den 1960er-Jahren kam die Idee auf, solche Netze hintereinander zu tiefen neuronalen Netzen zu verschalten und die (zahlreichen) internen Parameter so anzupassen, bis sich das gewünschte Input/Output (I/O)-Verhalten ergibt – Stichwort: Backpropagation.

Dabei gilt: Je komplexer die gewünschte Funktion ist, desto anspruchsvoller und umfangreicher ist die Hardware. Einen entscheidenden Vorteil liefert daher eine Hardware, die auf parallele Vektoroperationen sowie Matrizenrechnen spezialisiert ist. Weil Grafikkarten ähnlich funktionieren, ist es also nicht überraschend, dass die entsprechenden Hersteller wie AMD oder Nvidia schnell entsprechend leistungsfähige Hardware liefern und sich einen neuen Markt erobern konnten.

Training von KI benötigt enorme Rechenleistung

Eines der beliebtesten Teilgebiete moderner KI ist das maschinelle Lernen (ML). Der Begriff an sich ist bereits irreführend – die Maschine lernt nicht im menschlichen Sinne – sie „versteht“ nicht, was sie tut. Es geht darum, die Parameter eines tiefen neuronalen Netzwerks iterativ so anzupassen, bis das Netzwerk in der Lage ist, die Trainingsdaten in ausreichender Näherung wiederzugeben. Somit versteht man, warum die Qualität der Trainingsdaten für die KI so wichtig ist. Die Grundlage dafür legen die zahllosen, ungenannten „Klick-Arbeiter”, die für verschiedene Unternehmen Anwendungen der KI trainieren.

Je nach Komplexität der Aufgabenstellung muss die KI dabei Tausende, Millionen, oder im Fall von Chat GPT auch Milliarden von Parametern iterativ und wiederholt anpassen. Aus diesem Grund benötigt das Training einer KI-Anwendung sehr viel Rechenleistung.

Ist die KI entsprechend trainiert und auf ihren Einsatz vorbereitet, lässt sich das neuronale Netzwerk häufig deutlich reduzieren, ohne allzu viel Genauigkeit zu verlieren. Es gibt bereits heute Beispiele dafür, wie ein auf einem leistungsfähigen Industrie-PC (IPC) trainiertes System anschließend in einen weniger leistungsfähigen Mikrocontroller eingebettet werden kann [2].

Machine Learning (ML) vs Deep Learning (DL)

Neben dem Machine Learning gibt es noch eine Disziplin, die wiederum eine Teildisziplin von ML ist und heute gerne synonym verwendet wird: Deep Learning (DL). Aber: DL ist lediglich ein Teilgebiet des ML. Im Fokus des Deep Learning steht der Ansatz, dass tiefe neuronale Systeme anhand von entsprechenden Trainingsdaten selbständig Strukturen finden und damit beispielsweise Muster erkennen können. Dafür benötigt DL in der Regel eine leistungsfähige Hardware – denn um eine brauchbare Modellgüte zu erreichen, benötigen DL-Verfahren große Datenmengen für das Training.

Bei ML geht es eher darum, dass sich die dem System zugrunde liegenden Algorithmen selbst optimieren – auf Basis der im Einsatz gewonnenen zusätzlichen Daten. Typische Beispiele für sich selbst optimierende Algorithmen sind die Wettervorhersage oder das Erkennen von Kreditkarten-Betrug.

Benötigen Entwickler für anspruchsvolle DL-Aufgaben in der Bild- und Videoverarbeitung sehr viel KI-Hardware-Leistung, kommen sie um den Einsatz einer dedizierten KI-Hardware nicht herum. Stand der Technik an dieser Stelle sind die Orin Grafik-Prozessoren von Nvidia. Sie enthalten bis zu 17 Milliarden Transistoren, verschaltet zu 12 Arm-Cortex-A78-Kernen mit 64 Bit sowie einem leistungsfähigen Grafik-Prozessor auf Ampere-Basis mit 2048 CUDA (Compute Unified Device Architecture)- und 64 Tensor-Cores. Zudem hat Nvidia auf dem Chip leistungsfähige Schnittstellen mit unter anderem vierfach 10-Gbit- sowie einfach 1-Gbit-Ethernet (GbE) untergebracht. Diese Prozessoren erreichen bis zu 275 Billionen Rechenoperationen pro Sekunde (Trillion Operations per Second, TOPS), benötigen dafür jedoch bis zu 130 W Leistung.

An dieser Stelle bündeln die beiden taiwanesischen Unternehmen EFCO Electronics und aetina ihre Kräfte. Die ausgeklügelten KI-Beschleuniger der umfangreichen DeviceEdge-Jetson-Serie von aetina bleiben extern und lassen sich über eine oder mehrere Gbit-Ethernet-Schnittstellen problemlos an den Industrie-PC anbinden (Bild 2).

Der limitierende Faktor für die „on-board” KI-Hardware ist die maximale Versorgungsleistung von 65 W, die ein Eagle-Eyes IPC für die Versorgung einer Einsteckkarte bereitstellen kann. Das reicht jedoch aus, um etwa eine Einsteckkarte mit einem Nvidia Orin-NX (mit bis zu 100 TOPS) oder einen Orin-Nano mit bis zu 40 TOPS zu versorgen. Die KI-Beschleuniger-Hardware ist damit nicht mehr extern, sondern im Gehäuse des IPCs gut geschützt und direkt an das Mainboard angebunden.

Alle Rechner der Eagle-Eyes-Serie von EFCO verfügen über einen M.2-Erweiterungsport, der eigentlich für Solid State Drives (SSDs) gedacht ist. Da diese aber auch gut über die schnellen USB-3.0-Schnittstellen angebunden werden können, lässt sich der M.2-Steckplatz als PCI-Express-Port nutzen. Auch hier ist die für den Steckerverbinder spezifizierte maximale elektrische Leistung der limitierende Faktor. Dennoch sind mit KI-Beschleunigern als M.2-Einsteckkarte bis zu 25 TOPS möglich – und damit knapp ein Zehntel der Leistung der erstgenannten Applikation von EFCO und aetina.

Muster schneller erkennen und klassifizieren

Eine weitere Möglichkeit, KI-Applikationen auf einem Industrie-PC laufen zu lassen, sind die lüfterlosen Rechner der Eagle-Eyes-AIH10-Familie von EFCO. Sie sind mit Intel-Core-Prozessoren (Comet Lake) von i3 bis i9 der Reihe ausgestattet (Bild 3). Völlig neu in dieser Geräteklasse ist das 2,5-Gbit-Hochgeschwindigkeits-LAN mit Power over Ethernet (PoE). So lassen sich leistungsstarke Kameras mit hohen Bildfrequenzen über ein einziges Kabel direkt am PC anschließen.

Damit Entwickler Bilder schneller auswerten oder Muster schneller erkennen und klassifizieren können, ist optional eine KI-Beschleuniger-Hardware mit an Bord. Der Hersteller verwendet dafür den M.2-Port des Rechners und bietet so eine skalierbare, modulare Applikation mit Update-Potenzial für diese sich schnell entwickelnde Technologie. Wie alle IPCs des Herstellers verfügt auch diese Serie über einen DC-Weitbereich, Surge-geschützte Eingänge sowie 16 digitale I/Os, mit deren Hilfe sich Ablaufsteuerungen in die Hochsprache einbetten lassen.

In der von Grund auf neu entwickelten, lüfterlosen IPC-Familie AIH13 setzt EFCO die 13. Generation der Intel-Core-Prozessoren von i3 bis i9 ein – und bietet damit die optimale Hardware-Plattform für Hochleistungs-Anforderungen in Bildverarbeitung, Automation und KI (Bild 4).

Unterstrichen wird dies durch zwei 2,5-Gbit-Ethernet-PoE-Ports als Standard-Ausstattung. Auch diese Rechner-Familie bietet einen M.2-Slot für die Aufnahme einer KI-Beschleuniger-Hardware. Zudem sind die Industrie-Rechner mit zahlreichen speziellen Features ausgestattet, die den Einsatz im industriellen Umfeld deutlich erleichtern. Neben einem integrierten DC-Weitbereich von 9 bis 48 V sind dies vor allem ausgeklügelte Schutzmaßnahmen gegen Verpolen, Unter- oder Überspannung sowie Überstrom. Auch die EFCO-typischen 16 digitalen I/Os sind mit an Bord.

Für alle Eagle-Eyes Industrie-PCs gibt es thermisch wie mechanisch optimierte Erweiterungsgehäuse. In der kompakten Desktop-Erweiterung AIH-EP finden zwei Full-Size-PCI-Karten Platz, im großen Hutschienen-Gehäuse AIHD-P4E sogar deren vier. Eine speziell angepasste Zwangsbelüftung mit durchdachter Luftführung führt die Abwärme der Erweiterungskarten zielgerichtet ab und sorgt gleichzeitig dafür, dass das Motherboard nicht durch die Erweiterungskarten aufgeheizt wird. Ein thermisches Derating der Prozessorleistung wird dadurch vermieden. Für die Stromversorgung aller Zusatzkarten stellen die Industrie-Rechner von EFCO in Summe maximal 90 W bereit. Dies ist für viele mittlere Applikationen mehr als ausreichend. (ts)

[1] Marcus, Gary: OpenAI's new text-to-video app is impressive, at first sight. But those physics glitches…. Bulletin of the Atomic Scientists. 16. Februar 2024.

[2] Federl, Andreas, Böhmisch, Markus: Tiny-ML – Mikrocontroller erkennen Anomalien. PC & Industrie. Ausgabe 05/2024. Seiten 32 bis 35.