Entwicklung von autonomen Systemen

Wenn es um „autonome Systeme“ geht, denken Sie wahrscheinlich spontan an selbstfahrende Autos, an menschenähnliche Roboter oder an Drohnen zur Paketauslieferung. Aber wussten Sie schon, dass autonome Technologien auch Landmaschinen revolutionieren und die prädiktive Instandhaltung von Antriebssystemen teurer industrieller Anlagen ermöglichen? Auch in medizinischen Bereichen finden diese Technologien Anwendung. So können beispielsweise an Diabetes erkrankte Menschen mithilfe einer autonomen Insulinpumpe ihren Blutzuckerspiegel einfacher und zuverlässiger kontrollieren.

Was ist denn Autonomie eigentlich und was haben alle autonomen Systeme gemeinsam? Autonome Technologien ermöglichen es einem System, unter zuvor nicht erprobten Bedingungen unabhängig von direkten menschlichen Eingriffen zu agieren. Entscheidend und mitverantwortlich für die rasant wachsende Popularität autonomer Technologien ist dabei eben jene Fähigkeit, auch nicht erprobte Szenarien zu bewältigen. Wir sind mittlerweile in der Lage Computer so zu trainieren, dass sie auch Problemstellungen lösen können, die sich nicht explizit programmieren lassen.

Fähigkeiten von autonomen Systemen

Wie werden autonome Technologien nun entwickelt und integriert? Schauen wir uns dazu ein geläufiges Beispiel an: das selbstfahrende Auto. Damit das Auto zu autonomen Entscheidungen fähig ist, muss ihm zunächst die Wahrnehmung seiner Umgebung ermöglicht werden. Das heißt, das Fahrzeug benötigt Kameras, ein Radar- und Navigationssystem sowie Methoden zur optischen Abstands- und Geschwindigkeitsmessung (Lidar). Die von all diesen Komponenten erfassten Daten müssen in einem kohärenten Informationsstrom gebündelt werden. Das Auto muss dann lernen, wie die Daten seiner Sensoren zu interpretieren sind, beispielsweise um die Position von Fußgängern und anderen Fahrzeugen wahrnehmen oder um Stoppschilder lesen zu können.

Bild 1: Um Computer in unserem Alltag unterstützend einzusetzen, müssen wir ihnen nicht zwingend gleich die volle Kontrolle überlassen. Mathworks

Und ab diesem Punkt zeigen sich erste Unterschiede zwischen automatisierten und autonomen Systemen. Da die Umgebungsbedingungen vorher nicht erprobt wurden, sind Algorithmen nötig, die auch mit neuen Daten umgehen können. Durch maschinelles Lernen und Deep Learning lassen sich Daten klassifizieren und wichtige Details wie die Position von Fahrstreifen und die relative Geschwindigkeit anderer Fahrzeuge erfassen. Diese Technologie kann sogar erkennen, welche Fußgänger aufmerksam sind und welche nicht!

Sobald das Auto seine eigene Position bestimmt und seine Umgebung registriert hat, muss es eigene Entscheidungen treffen. Soll bei einem erkannten Hindernis gebremst oder lieber ausgewichen werden? Lernalgorithmen lassen sich trainieren, damit sie in unbekannten Situationen angemessen reagieren, also entscheiden und planen. Mit jeder getroffenen Entscheidung wächst die Erfahrung des Systems und der Entscheidungsprozess wird verbessert.

Das richtige Maß an Verantwortlichkeit

Beim Einsatz von autonomen Technologien wird dem Computersystem ein unterschiedliches Maß an Autonomie gewährt. Während selbstfahrende Autos künftig vollständig autonom entscheiden sollen, gibt es auch Anwendungsbereiche, in denen nützliche und wichtige Fortschritte mit einem geringeren Maß an Autonomie möglich sind (Bild 1). Schauen wir uns einige weitere Beispiele an, bei denen autonome Technologien zum Einsatz kommen. Zuerst widmen wir uns Anwendungsbereichen mit nur einem Minimum an Autonomie; danach weiten wir unsere Betrachtung aus. Und mit jedem zusätzlichen Beispiel kommen wir der Antwort auf unsere Frage näher, nach welcher Formel sich beliebige autonome Systeme entwickeln lassen.

Bild 2: Bazillie’s Studi, Bazille 1870. Rutgers University

Evolution von autonomen Technologien

Im ersten der drei Beispiele, die wir jetzt genauer unter die Lupe nehmen, geht es um einen Anwendungsbereich, in dem Sie autonome Technologien wahrscheinlich am wenigsten vermuten würden. Das zweite Beispiel beweist, dass sich eine zu eifrige Datenerfassung auch als nachteilig erweisen kann. Und das dritte Beispiel schließlich verdeutlicht das Zusammenspiel aller vier Komponenten eines autonomen Systems.

Klassifikation von Kunststilen

Unsere erste Fallstudie hat mit autonomen Technologien eigentlich wenig zu tun. Es geht nämlich um Kunstgeschichte. Schauen Sie sich einmal die beiden Gemälde Bild 2 und Bild 3 genau an. Erkennen Sie den Einfluss des einen Malers auf den anderen? Nein? Damit sind Sie nicht allein. Den meisten Kunsthistorikern ging es

Bild 3: Shuffleton’s Barbershop, Rockwell 1950. Rutgers University

ähnlich. Bei genauerem Hinsehen finden sich aber in beiden Gemälden ein Stuhl, eine Gruppe aus drei Männern und ein Ofen in etwa derselben Konstellation zueinander. Außerdem gibt es in beiden Gemälden ein Fenster als strukturelles Element und die Komposition insgesamt ist ähnlich. Und im Gegensatz zu den Kunsthistorikern hat ein Computer diesen möglichen Einfluss des französischen Impressionisten Frédéric Bazille auf den amerikanischen Maler und Illustrator Norman Rockwell aus dem 20. Jahrhundert erkannt.

Die Herausforderung beim Vergleich des Stils unterschiedlicher Maler und Gemälde besteht darin, dass es quasi eine unendliche Zahl an Künstlern und Kunstwerken gibt, die man gegenüberstellen könnte. Folglich berufen sich Kunsthistoriker in hohem Maße auf andere geschichtliche Faktoren: Wo und wann hat der Künstler gelebt? Und wer waren seine Mentoren? Könnte man einen Computer so trainieren, dass er geduldig die relevanten Gemälde nach möglichen Einflüssen absucht, würden sich sicherlich neue Zusammenhänge auftun, die von Kunsthistorikern bisher noch nicht ins Auge gefasst wurden.

Ein Forschungsteam der Rutgers University in New Jersey (USA) hat Algorithmen entwickelt, die automatisch den Stil eines Gemäldes klassifizieren und sogar künstlerische Einflüsse anhand von Ähnlichkeiten erkennen konnten. Bei dieser Aufgabe ging es fast ausschließlich um das Wahrnehmungsvermögen des Computers – die wichtigste Komponente eines jeden autonomen Systems. Als Erstes mussten die Forscher einen Weg finden, die Pixel des Abbilds eines jeden Gemäldes in eine angemessene Anzahl an Merkmalen zu konvertieren, mit deren Hilfe dann Berechnungen angestellt werden konnten. Die Forscher testeten verschiedene Verfahren zur Merkmalsextraktion und entschieden sich schließlich für eine Kombination aus nicht überwachtem Lernen zum Erkennen einfacher Merkmale wie Ecken oder Kanten und aus überwachtem Lernen zum Erkennen komplexerer semantischer Objekte wie Stühle oder Menschen. Bei überwachten Verfahren findet ein Training mit bereits bekannten Bildern statt, wohingegen bei nicht überwachten Verfahren ohne Trainingsdatensätze gearbeitet wird.

Bild 4: Bei der Klassifizierung der Gemälde kamen zum maschinellen Lernen die sogenannten Support Vector Machines (SVMs) zum Einsatz. Mathworks

Als Nächstes nutzten die Forscher maschinelle Lernalgorithmen, um den Stil, die Gattung und den Künstler eines jeden Gemäldes zu klassifizieren. Auch dabei testeten sie wieder mehrere Verfahren und kamen zum Ergebnis, dass sich für ihre Zwecke die sogenannten Support Vector Machines (SVMs) am besten eignen würden (Bild 4). Dieses Beispiel ist aus zwei Gründen von Bedeutung:

• Es beweist, dass sich autonome Technologien auch in ungewöhnlichen Anwendungsbereichen vorteilhaft einsetzen lassen.
• Es beweist, wie mithilfe der Bildverarbeitung und des maschinellen Lernens Rohbilder in viel aussagekräftigere Informationen konvertiert werden können (ähnlich dem selbstfahrenden Auto, das Fußgänger identifiziert).

Prädiktive Instandhaltung

Bei dem zuvor beschriebenen Beispiel ging es um die Wahrnehmung. In der nächsten Fallstudie schauen wir uns ein Szenario an, in dem das autonome System, basierend auf diesem Wahrnehmungsvermögen, auch Entscheidungen treffen muss. Der Fall von Baker Hughes zeigt, dass sich zu viele Daten auch als nachteilig erweisen können. Sie müssen nämlich herausfinden, welche der Daten aus der riesigen von ihnen erfassten Datenmenge für ihre spezifische Anwendung am nützlichsten sind. Das Kernstück des Sattelschleppers in Bild 5 bildet eine Reihe von Pumpwerken. Diese Pumpen und ihre internen Bestandteile, einschließlich Ventilen, Ventilsitzen und Kolben, sind nicht billig – sie machen etwa 85.000 Euro der Gesamtkosten von rund 1,2 Millionen Euro des Schleppers aus. Verständlicherweise ist Baker Hughes um eine effiziente Wartung dieser Pumpen bemüht, um Instandhaltungskosten zu senken und die Verwaltung seiner Ressourcen insgesamt zu optimieren.

Bild 5: Ein Sattelschlepper zur Erdöl- und Erdgasförderung von Baker Hughes. Baker Hughes

Zur Überwachung der Pumpen auf potenziell schwerwiegende Abnutzungserscheinungen und zur Vorhersage möglicher Ausfälle analysierte das Team von Baker Hughes Sensordaten der Pumpen und speiste diese in maschinelle Lernalgorithmen ein. Die Techniker erfassten die Daten von zehn Schleppern und überwachten die Temperatur, den Druck, die Vibration (Beschleunigungsmesser), den Zeitablauf und weitere Kennzahlen von 25 verschiedenen Sensoren. Bekannt war ebenfalls, wann ein Teil der Anlagen ausgefallen und welche Komponente jeweils dafür verantwortlich gewesen war.

Im nächsten Schritt musste das Team die riesigen Datenmengen verarbeiten – also insbesondere die starken Schwankungen von Schlepper, Pumpe und Flüssigkeit eliminieren –, um die Vibrationen an den Ventilen und Ventilsitzen besser erfassen zu können. Dabei erkannten die Techniker, dass die Daten der Druck-, Vibrations- und Zeitnahmesensoren für die Vorhersage von Ausfällen der Anlagen am relevantesten waren.

Ähnlich wie im ersten Beispiel ist das autonome System nicht direkt für die Wartung der Pumpen verantwortlich, sondern es liefert den Technikern wichtige Daten zum Zustand der Anlagen, sodass Instandhaltungsmaßnahmen besser geplant und Ausfälle vermieden werden können (Bild 6). Baker Hughes weiß dadurch zudem genau, wann welche Ressourcen an welchem Standort benötigt werden. Allein dadurch spart das Unternehmen schon rund 8,5 Millionen Euro an Servicekosten ein!

Bild 6: Mithilfe statistischer und frequenzbasierter Analysen (oben) werden Diagramme erstellt, aus denen sich die klar unterscheidbaren Signaturen von normal arbeitenden Pumpen und wartungsbedürftigen Pumpen ablesen lassen (unten). Mathworks

Dies führt uns zum zweiten wichtigen Schritt bei der Entwicklung autonomer Systeme: Auf welcher Grundlage soll Ihr autonomes System gute Entscheidungen treffen? Und was sind geeignete Prädiktoren für Ihr Anwendungsszenario?

Die Antwort auf die erste Frage ist klar: die erfassten Daten. Baker Hughes erkannte die Notwendigkeit einer Datenfilterung, um nur die wirklich aussagekräftigen Sensordaten herauszulesen. Die immer noch große Datenmenge musste sodann mithilfe von statistischen und frequenzbasierten Analysen weiter reduziert werden, bis am Ende nur noch die benötigten Informationen übrigblieben. Dies entspricht quasi einer datengetriebenen Bestimmung geeigneter Prädiktoren.

Dabei darf allerdings vorhandenes Wissen nicht vernachlässigt werden. Es ist bereits bekannt, wie das System oder der Dienst arbeiten sollte. Diese Fachkenntnisse können und sollten in die Festlegung der Prädiktoren einbezogen werden. Manchmal spiegeln sich diese Kenntnisse auch in den zum Systementwurf genutzten Modellen wider. In jedem Fall ermöglichen sie eine bessere Analyse des Systems und der nötigen Wartungsmaßnahmen.

Als Nächstes schauen wir uns in der nachfolgenden Fallstudie an, wie das autonome System in den Produktionsbetrieb integriert werden kann und aus welchen Komponenten es besteht.

Intelligentes Befüllsystem für Feldhäcksler

Wie sieht es in Anwendungsbereichen aus, in denen die Einführung autonomer Systeme im Produktionsbetrieb sich als schwierig erweist? Case New Holland (CNH) hat ein autonomes System zur Befüllung von Anhängern entwickelt, um den Arbeitsaufwand für Fahrer von Erntemaschinen zu reduzieren. Ziel war es, den Anhänger gänzlich ohne menschliches Eingreifen füllen zu können, und zwar unabhängig von der Art und Größe des Anhängers, der Tageszeit oder des Staubgehalts in der Luft (Bild 7).

Bild 7: Der Anhänger eines Feldhäckslers wird autonom befüllt. Case New Holland

Die erste Hürde für das Team von CNH bestand darin, den Anhänger sowie den Strahl des Feldhäckslers und den Füllstand zu erfassen. Nach Evaluierung verschiedener Alternativen entschied sich das Team für eine 3-D-Nahinfrarotkamera zur Messung der Abstände, zur Identifizierung unterschiedlicher Anhängerformen und -größen sowie zum Umgang mit Umgebungsbedingungen wie Dämmerung, grellem Sonnenlicht und Dunkelheit. Sodann konnte aus einer 3-D-Datenpunktwolke ein 3-D-Modell der physischen Umgebung erzeugt werden. Mithilfe von Algorithmen des maschinellen Sehens extrahierten die Techniker die relevanten Parameter zur Planung ihrer Befüllungsstrategien.

Sobald die Umgebung korrekt abgebildet wurde, galt es zu entscheiden, wie der Anhänger zu befüllen sei und wie sich der Füllstrahl am besten kontrollieren ließe. Zur Lösung dieser Herausforderungen griff CNH auf Model-Based-Design zurück.

Das Team begann mit geschlossenen Simulationen, um seine Algorithmen am Computer zu testen. Warum? Weil dieser Schritt zwingend nötig und nur auf diese Weise realisierbar war. Ein Test des Systems im Labor hätte keinen Sinn, da eine akkurate Nachbildung des Feldes und aller Variablen schlichtweg nicht möglich wäre. Die Erntesaison ist zudem sehr kurz, sodass der Transport der Ausstattung um die halbe Welt zum Testen auf dem Feld zu kostspielig wäre.

Je intensiver die Algorithmen daher in Desktopsimulationen getestet und auf Fehler geprüft werden könnten, desto höher wäre später das Vertrauen in die Prototypen bei ihrer Erprobung in der Praxis. CNH entwickelte also einen 3-D-Simulator zur Nachbildung der Bedingungen auf dem Feld, um das Sehvermögen des Systems, die Zustandsmaschinen und die Kontrollalgorithmen in einer Simulation testen zu können.

Der nächste Schritt bestand in der Feinjustierung der Algorithmen in der Praxis. Zu diesem Zweck wurden das Computer-Vision-System und die auf einem Laptop ausgeführten Kontrollalgorithmen mit der 3-D-Kamera und den Füllstrahlaktoren verbunden. Dieser Aufbau ermöglichte eine einfache Anpassung des Systems und das schnelle Erfassen des Feedbacks des Fahrers.

Bild 8: Ein Computer-Vision-System und auf einem Laptop ausgeführte Kontrollalgorithmen werden zusammen mit einer 3-D-Kamera und Füllstrahlaktoren in der Praxis getestet. Nach dem Test und der Feinjustierung erzeugte CNH automatisch den entsprechenden Code für die Bedienanzeige. Mathworks

Nachdem die Stabilität und Zuverlässigkeit im Produktionsbetrieb auf diese Weise sichergestellt worden war, implementierte CNH seine Algorithmen in der elektronischen Steuereinheit der Maschine. Die Fahrer bestätigten, dass das System sich exakt so verhielt, wie es die Simulation auf dem Laptop vorhergesagt hatte (Bild 8).

Das daraus resultierende autonome Intellifill-System passt die Höhe, Rotation und Aufsatzposition des Füllrohrs während der Befüllung des Anhängers selbstständig an. Ist der Anhänger voll, kann das System nahtlos neu starten und mit dem nächsten Anhänger beginnen – auch wenn dieser eine ganz andere Form und Größe hat. Auch unterschiedliche Futterpflanzen und Feldzustände werden problemlos bewältigt. Der Füllstrahl wird kontinuierlich angepasst, um den Anhänger bei Tag und Nacht optimal zu befüllen.

(jj)