Während im Realbild (links) Reis, Maden und Holzsplitter kaum zu unterscheiden sind, erlaubt Hyperspectral Imaging im rechten Bild eine eindeutige Erkennung von Reis (grün), Maden (rot) und Holzsplittern (blau).

Während im Realbild (links) Reis, Maden und Holzsplitter kaum zu unterscheiden sind, erlaubt Hyperspectral Imaging im rechten Bild eine eindeutige Erkennung von Reis (grün), Maden (rot) und Holzsplittern (blau). Perception Park

Die Anwendung spektroskopischer Methoden in der Bildverarbeitung ist eine relativ junge Disziplin. Die Technik wird auch als Hyperspectral Imaging (HSI) bezeichnet – ihr wird für die Zukunft ein enormes Potential zugeschrieben.

Den wesentlichen Unterschied zu traditionellen Vision-Systemen beschreibt Markus Burgstaller, Geschäftsführer des österreichischen HSI-Datenverarbeitungsspezialisten Perception Park, so: „Hyperspektral-Systeme bieten im Vergleich zu herkömmlichen Bildverarbeitungssystemen pro Objektpixel ein Spektrum anstelle eines Monochrom- oder Farbwertes. Je nach Wellenlängenbereich und spektroskopischer Verarbeitung können damit hochpräzise Farbkoordinaten, chemische Materialeigenschaften, aber auch Schichtdickeninformationen aus den Spektraldaten abgeleitet werden. Die Output-Information einer solchen Kamera weist einen deutlich höheren Komplexitätsgrad auf, ermöglicht aber auch eine viel höhere Diversität und Selektivität hinsichtlich lösbarer Anwendungen.“

Was ist ein Spektrum?

In der Chemie sind die Infrarot- und Ultraviolett-Spektroskopie seit Jahrzehnten etablierte Analysetechniken zur Bestimmung charakteristischer chemischer Molekülstrukturen bis hin zur Identifizierung von bestimmten Stoffen. Die Grundlage dafür ist, dass einzelne chemische Bindungen in Molekülen durch Licht bestimmter Wellenlängen angeregt werden oder Atomgruppen oder auch ganze Moleküle zu Vibrationen und Rotationen – und somit dieses Licht absorbieren. Das Maß beziehungsweise die Intensität der Lichtabsorption eines Stoffes über einen bestimmten Wellenlängenbereich bezeichnet man als Spektrum.

Dr. Jan Makowski, Geschäftsführer des HSI-Software-Herstellers Luxflux aus Reutlingen, ergänzt: „Während herkömmliche RGB-Kameras lediglich die Farben Rot, Grün und Blau abbilden, erlauben hyperspektrale Kameras die Unterscheidung von mehr als hundert Farben. Durch eine solche hochgenaue Farbmessung können Stoffe auf ihre Eigenschaften untersucht und ihre chemische Zusammensetzung sichtbar gemacht werden.“

Neue Anwendungen und Einsatzgebiete

Welche Anwendungsmöglichkeiten hinter dieser Methode stecken, deutet Tim Huylebrouck, Produktmanager beim Bildverarbeitungsspezialisten Stemmer Imaging aus Puchheim, an: „Vermeintlich gleich aussehende Objekte können – mit einer breitbandigen Beleuchtungsquelle angeregt – aufgrund ihrer chemischen Eigenschaften völlig unterschiedliche Lichtspektren reflektieren. Diese lassen sich dann mit Hyperspektralsystemen voneinander unterscheiden. In dieser Form kann das keine andere Bildverarbeitungslösung.“

Versuchsaufbau eines Hyperspektralsystems zur Überprüfung von Käse.

Versuchsaufbau eines Hyperspektralsystems zur Überprüfung von Käse. Stemmer Imaging

Eine beispielhafte Anwendung dafür hat ein Anbieter von robotergestützten Anlagen zur Mülltrennung entwickelt, erklärt Dr. Georg Meissner, Managing Director des finnischen HSI-Kameraherstellers Specim. Weil der Gebäudeschutt, der in solchen Anlagen sortiert wird, oft gefährliche Materialien wie zum Beispiel Asbest enthält, müssen derartige Stoffe sicher und zuverlässig identifiziert werden. Der Anlagenhersteller ZenRobotics vertraue dabei auf Hyperspektralkameras von Specim, weil sie „die für diese Aufgabe die erforderliche Erkennungssicherheit, Empfindlichkeit und Geschwindigkeit aufweisen“, sagte Meissner.

Auch Gion-Pitschen Gross, Produktmanager beim Kamera-Hersteller Allied Vision Technologies aus Stadtroda, sieht den Bereich Recycling und die Sortierung von Plastik als ein wichtiges Einsatzfeld für Hyperspektralsysteme an: „HSI ermöglicht dort eine automatische Trennung von Kunststoffteilen, zum Beispiel Polyethylen und Polypropylen. Zusätzlich zu einer vorhandenen Farbsortierung können Stoffe also nach ihrer molekularen Beschaffenheit differenziert werden. Die Ergebnisqualität des Sortierprozesses wird somit deutlich erhöht.“

„Wie für andere Bildverarbeitungstechnologien geht der Trend auch für die hyperspektrale Bildverarbeitung in Richtung Embedded“, sagt Markus Burgstaller von Perception Park.

„Wie für andere Bildverarbeitungstechnologien geht der Trend auch für die hyperspektrale Bildverarbeitung in Richtung Embedded“, sagt Markus Burgstaller von Perception Park. Perception Park

Die Inspektion von Lebensmitteln birgt laut Gross ebenfalls viel Potential für die hyperspektrale Bildgebung. Fleisch, Fett und Knochen weisen eindeutige Unterschiede in ihrer chemischen Zusammensetzung auf. Die kann man „in einem HSI-Bild eindeutig erkennen“, so Gross. Dies gilt auch für andere Materialien, die auf einem Bild im normalen Licht kaum zu unterscheiden sind, etwa Zucker, Salz und Zitronensäure. Für Kameras im sichtbaren Spektralbereich ist es zudem schwierig, physische Veränderungen an Objekten zu erkennen. Dies spielt etwa bei Lebensmitteln eine große Rolle, wenn Früchte oder Gemüse auf ihren Reifegrad oder einen möglichen Befall mit Schimmel untersucht werden sollen.

Einen Durchbruch für die hyperspektrale Bildverarbeitung mit mobilen Trägersystemen wie dem Precision Farming mit Hilfe von unbemannten Luftfahrzeugen erwartet für die Zukunft Daniel Hofmann, Geschäftsfürer des spanischen Systemintegrators für Bildverarbeitungssysteme Solpi (einer Tochtergesellschaft des schweizer CMOS-Sensor- und Kameraherstellers Photonfocus): „Kamerasysteme können zum Beispiel an eine Drohne montiert werden, um Photogrammetrie- oder Inspektionsanwendungen zu ermöglichen. Ein solches Kamerasystem kann aus mehreren Hyperspektralkameras, einem GPS-System, einem Embedded-Computer und vielem mehr bestehen. Die aufgenommenen Bilder werden mit genauen GPS-Daten versehen, um die spätere Bildverarbeitung zu vereinfachen.“ Solpi bietet dafür ein Kamerasystem an, das die Verwendung mehrerer Hyperspektral-Kameras in einer eigenständigen Grabbing-Lösung erlaubt.

„Hyperspektrale Kameras erlauben die Unterscheidung von mehr als hundert Farben, dadurch können Stoffe auf ihre Eigenschaften untersucht und Chemie sichtbar gemacht werden“, erklärt Dr. Jan Makowski von LuxFlux.

„Hyperspektrale Kameras erlauben die Unterscheidung von mehr als hundert Farben, dadurch können Stoffe auf ihre Eigenschaften untersucht und Chemie sichtbar gemacht werden“, erklärt Dr. Jan Makowski von LuxFlux. LuxFlux

Hemmnisse und Schwierigkeiten

Trotz vielversprechender Anwendungsbeispiele ist die hyperspektrale Bildverarbeitung im Augenblick eher noch eine exotische Disziplin der Bildverarbeitung. Ein Grund dafür ist der derzeit noch relativ hohe Preis für die Hyperspektraltechnik. Die Investitionskosten sind eine der Haupteintrittsbarrieren. Hinzu kommt, dass die gesamte Technik nicht einfach zu verstehen ist und häufig ein tiefes Fachwissen im Bereich der Spektroskopie erfordert.

Als weitere Herausforderung nennt Huylebrouck von Stemmer Imaging die Beleuchtung: „Hyperspektrale Bildverarbeitung funktioniert nicht mit den sonst in der Bildverarbeitung häufig verwendeten LED-Beleuchtungen, sondern nur mit Halogenlampen, die ein breites Wellenlängenspektrum emittieren. Hier gibt es noch Bedarf an geeigneten Beleuchtungen.“ Zudem müsse die Beleuchtung, zum Beispiel in der Lebensmittelindustrie, ein Schutzglas aufweisen, das jedoch aufgrund der Sicherheitsstandards in dieser Branche nicht aus Glas sein darf. „Andere Materialien als Glas würden die Spektren allerdings verfälschen“, erläutert Huylebrouck. Daher bedürfe es hier noch „einiger Kniffe“.

Diese Gründe sowie ein Mangel an leistungsfähiger Hyperspektral-Software, an zuverlässigen Spektraldaten und an Erfahrung führen nach Ansicht vieler Experten zu einem derzeit noch etwas zögerlichen Ausbau dieser neuen Technik.

Trends und weitere Entwicklungen

Die technischen Möglichkeiten der hyperspektralen Bildverarbeitung veranlassen viele Unternehmen dennoch dazu, mit Hochdruck an Weiterentwicklungen in diesem Bereich arbeiten. „Wir beobachten einen Trend zur Verkleinerung der Systeme, wobei hier Sorge getragen werden muss, dass dies nicht zu Lasten der Leistungsfähigkeit gehen darf“, sagt Hilmar Krüger, Vertriebsleiter des HIS-Spektrographenherstellers und Systemanbieters inno-spec aus Nürnberg. „Welche Grenzen hier gesetzt sind, das wird die Zukunft weisen.“

Hyperspektrale Bildverarbeitung auf der Messe Vision

Das Thema Hyperspectral Imaging (HSI) wird auf der diesjährigen Messe Vision vom 6. bis 8. November 2018 in Stuttgart eine wesentliche Rolle einnehmen. Veranstalter ist die Landesmesse Stuttgart. Neben zahlreichen Ausstellern, die ihre HSI-Produkte und -Lösungen präsentieren werden, bieten einige Vorträge im Rahmen der ‚Industrial Vision Days‘ die Möglichkeit, sich über diese Technologie zu informieren und Ideen für Einsatzmöglichkeiten zu entwickeln.

Markus Burgstaller von Perception Park zählt einige weitere aktuelle Stoßrichtungen auf: „Wie für andere Bildverarbeitungstechnologien geht der Trend auch für die hyperspektrale Bildverarbeitung in Richtung Embedded. Die Kameras werden zunehmend kleiner und kostengünstiger und erlauben in Kombination mit neuen Bildaufnahmetechnologien in absehbarer Zeit den Einsatz in Hand-Held-Geräten wie zukünftigen Smartphones.“

Zudem werden HSI-Kameras durch die Ergänzung eines Pre-Prozessors „smart“ und ermöglichen eine Vorverarbeitung der Hyperspektraldatenflut sowie die Extraktion und Weiterreichung der relevanten Informationen wie chemischer oder physikalischer Objektinformationen pro Objektpixel. „Dies wird zu einer deutlich höheren Akzeptanz dank der damit möglichen Standardschnittstellen führen“, ist Burgstaller überzeugt.

„In Zukunft sollte es möglich sein, Materialien allein aufgrund ihrer spektralen Signatur zu erkennen, ohne dass ein Training nötig wäre“, erläutert Gion-Pitschen Gross von Allied Vision.

„In Zukunft sollte es möglich sein, Materialien allein aufgrund ihrer spektralen Signatur zu erkennen, ohne dass ein Training nötig wäre“, erläutert Gion-Pitschen Gross von Allied Vision. Allied Vision

Die Kombination mit Ansätzen aus der künstlichen Intelligenz und speziell das Thema Deep Learning wird die Technologie zusätzlich deutlich voranbringen, glaubt Burgstaller: „HSI-Systeme werden zukünftig anhand vieler charakteristischer chemischer und physikalischer Informationen lernen und so für eine signifikante weitere Vereinfachung der Anwendung von hyperspektralen Bildverarbeitungssystemen sorgen.“ Gion-Pitschen Gross von Allied Vision bestätigt diese Einschätzung: „In Zukunft sollte es möglich sein, Materialien allein aufgrund ihrer spektralen Signatur zu erkennen, ohne dass ein Training nötig wäre.“ Die Hyperspektral-Software von Perception Park stellt dabei bereits heute eine intuitive Software-Suite zur Aufnahme, Modellierung und Analyse von Hyperspektraldaten bereit.

Für Dr. Georg Meissner von Specim entwickelt sich Hyperspectral Imaging aufgrund dieser zahlreichen Trends zunehmend zu einem weit verbreiteten, etablierten Segment der Bildverarbeitung und der Qualitätskontrolle. „Die technischen Fortschritte in diesem Bereich werden sicher schon bald zu höheren Bilderfassungsraten sowie vermutlich auch zu breiteren Spektralbereichen und kompakteren Kameragrößen führen.“