Der Bildsensor ARO144 von ON Semiconductor mit 1 Mio. Pixel im 1/4-Zoll-Format ist nur eine von vielen Neuentwicklungen im Bereich der Bildverarbeitung (Bild: Mouser)
Für moderne Bildverarbeitungssysteme werden zahlreiche technische Innovationen entwickelt – von der Kameralinse am Front-End des Systems bis hin zu den Bildaufnahme- und Bildverarbeitungssystemen dahinter.
Schnellere und leistungsfähigere Bildverarbeitungssysteme sind eine wichtige Grundlage für viele Dinge: die Steuerung von Smart Cities, autonome Fahrzeuge und eine industrielle Automatisierung der nächsten Generation. Dabei sind eine bessere Bildqualität, schnellere Bilderfassung sowie geringere Gerätekosten und -komplexität die Hauptziele für Entwickler von automatisierten Anlagen, Prüfsystemen und Robotern. Als Ergebnis soll das die Qualitätssicherung verbessern und die Produktivität steigern.
Ebenso wird fortschrittliches maschinelles Sehen für autonome Fahrzeuge von zentraler Bedeutung sein, um Beschilderungen, Fahrbahnmarkierungen und potenzielle Gefahren frühzeitig zu erkennen. Der Schwerpunkt liegt hier auf kürzeren Systemreaktionszeiten und eine bessere Bilderkennungsgenauigkeit. Daneben zeichnen sich neue Möglichkeiten für die Hochleistungsbildverarbeitung ab. Hierzu zählen an Bord befindliche Drohnen, die bei der Fahrzeugführung zum Einsatz kommen, und Systeme für die Datenerfassung (z. B. bei der Vermessung von landwirtschaftlichen Flächen oder architektonischen Objekten).
Um aus dem erfassten Bildmaterial in kürzerer Zeit mehr Informationen zu extrahieren, sind qualitativ bessere Aufnahmen und eine bessere Signalverarbeitungsleistung erforderlich. Hierfür gibt es einige Innovationen bei Kameras und Bildsensoren sowie – aufgrund der Kommerzialisierung von Machine-Learning-Technologien – bei den verwendeten Bildverarbeitungsmethoden. Die einzelnen Trends werden im Folgenden erläutert.
Welche Objektive der nächsten Generation die Schärfe und Bildqualität verbessern
Bei den Kameraobjektiven am Front-End des Gesamtsystems gibt es eine Reihe leistungsstarker technischer Entwicklungen, welche die Flexibilität verbessern, die Zykluszeiten verkürzen und das Design der Geräte rationalisieren, indem eine einzige Kamer oder ein einziges Objektive mehrere Aufgaben erfüllt.
Dazu zählen beispielsweise Flüssiglinsen. Diese neue Klasse von Optiken erweitert die Schärfentiefe eines herkömmlichen Objektivs ohne die Kosten und die Komplexität eines üblichen motorisierten Fokussystems. Eine motorisierte Fokussierung ist zudem relativ langsam. Durch das Vermeiden dieses Verfahrens verkürzt sich die Zykluszeit bei Anwendungen wie der industriellen Prüfung von Objekten in verschiedenen Entfernungen.
Durch eine Flüssiglinse kann ein optisches Standardsystem den Fokus innerhalb von wenigen Millisekunden anpassen – je nach Abstand von unendlich bis zu weniger als 100 mm. Die Flüssiglinse enthält eine spezielle Optikflüssigkeit, eingeschlossen in einer flexiblen Membran. Eine Änderung des Linsenradius um nur wenige Mikrometer durch Verschieben der Membran oder Anpassen des Flüssigkeitsvolumens hat eine vergleichbare Wirkung wie eine Verschiebung der Linse um einige Zentimeter bei einem herkömmlichen Fokussystem mit Motor. Neben der schnelleren Fokussierung und der geringen Komplexität des Systems (mit weniger beweglichen Teilen und damit geringerem Ausfallrisiko) haben Flüssiglinsensysteme auch den Vorteil, dass sie weniger träge sind und weniger Strom verbrauchen.
Ein anderer Aspekt ist die 360°-Bilderfassung. Damit erfassen industrielle Bildverarbeitungssysteme mehr Informationen über ein bestimmtes Objekt mit einer einzigen Kamera in einer festen Position. Dadurch lassen sich die Kosten und die Komplexität eines Prüfsystems mit mehreren Kameras und der damit verbundenen Teilsysteme für die Bildverarbeitung und -speicherung reduzieren – es kann jedoch auch zu Leistungseinschränkungen des Systems führen. Beispielsweise wird bei der Prüfung von Lebensmittelverpackungen oder bei der Vermessung aus der Luft unter Umständen ein Mechanismus benötigt, um die Kamera oder das zu prüfende Objekt neu zu positionieren oder zu drehen, was die Gesamtkosten und die Komplexität des Systems wiederum erhöht.
In einem System, bei dem eine Rundumkontrolle von Objekten erforderlich ist, z. B. von Etiketten auf Flaschen in einer Verpackungsanlage, lässt sich hingegen mit einem hyperzentrischen oder perizentrischen Objektiv, das direkt über dem Objekt selbst angebracht ist, eine Rundumsicht erzielen. Ein hyperzentrisches Objektiv fängt die Lichtstrahlen so ein, als ob sie von einem einzigen Punkt ausgingen, der sich in einem bestimmten Abstand vor dem Objektiv befindet. Dieser Konvergenzpunkt und der Umfang der Linse definieren einen Sichtkegel. Befindet sich das Objekt innerhalb dieses Sichtkegels direkt unter der nach unten gerichteten Linse, kann das Licht von der Oberseite und den vertikalen Seiten des Objekts gleichzeitig in die Linse einfallen. Durch die Fokussierung des Lichts auf den Sensor wird das gesamte Bild in einem einzigen Frame erfasst. Durch ähnliche Prinzipien können Kameras eine 360°-Ansicht des Inneren eines Bohrlochs oder eines Hohlraums aufnehmen, was das Einführen einer optischen Sonde überflüssig macht. Andere Techniken zur Erfassung mehrerer Bilder eines Objekts in einem einzigen Bild kombinieren die hyperzentrische Linse mit einer Anordnung von Spiegeln, sodass alle Seiten des Objekts gleichzeitig zu sehen sind.
Neue Sensoren für die Bildverarbeitung – Funktionsweise und Herstellung
Die Verbesserung der Auflösung von CMOS-Bildsensoren ist entscheidend für die Erfassung von Bildern mit höherer Detailgenauigkeit, wobei eine einfache Verringerung der Pixelgröße aufgrund eines geringeren Signal-Rausch-Verhältnisses auch zu einer schlechteren Bildqualität führen kann. Für eine höhere Auflösung sind technische Weiterentwicklungen erforderlich, mit denen sich die Pixelgröße verringern lässt, ohne die Sensorleistung zu beeinträchtigen. Dies kann in verschiedenen Bereichen umgesetzt werden, z. B. durch das Optimieren des Pixelabstands und des Verhältnisses von lichtempfindlicher Fläche zu Gesamtfläche, auch Pixelfüllfaktor genannt. Grundlegendere Änderungen der Pixelphysik können Parameter wie Verstärkung, Effizienz und Dynamikbereich verbessern. Die Sensorhersteller haben auch die Technologien zum Auslesen der Daten aus den Pixeln verbessert und dadurch Verbesserungen wie ein besseres Signal-Rausch-Verhältnis, eine höhere Bildrate und Linearität erreicht.
Warum der Trend zu rückseitig belichteten Sensoren geht
Zu den wichtigsten Entwicklungstrends bei der Sensorleistung in den letzten zehn Jahren zählt die Verwendung von rückseitig belichteten Sensoren (BSI). Diese absorbieren das Licht durch die Ober- und Unterseite und ermöglichen eine Miniaturisierung der Pixel, ohne die wichtigsten Leistungsparameter (wie Well-Kapazität, Quanteneffizienz, Dunkelstrom usw.) zu beeinträchtigen. Darauf folgte die dreidimensionale (3-D) Stapelung von Sensor- und Bildverarbeitungschips, um kleinere Formfaktoren zu erreichen.
Beim hybriden 3-D-Stacking hingegen werden Siliziumoxid- und Metallpads miteinander verbunden, sodass Durchkontaktierungen vermieden und effizientere Direktverbindungen zwischen den beiden Chips hergestellt werden können. In jüngster Zeit wurde die sequenzielle Integration entwickelt, mit der sich monolithische Bildsensoren herstellen lassen, die jeweils ein Fototransistor-Array mit einer stapelbaren 3-D-Pixelauslese-Logik und einem Speicher kombinieren und über integrierte hochdichte E/As verbunden sind.
So verbessert die Global-Shutter-Technologie die Erfassung von Bildern in Bewegung
In der industriellen High-Speed-Automatisierung sowie bei Automotive- und Drohnenanwendungen braucht es klare und scharfe Bilder von sich schnell bewegenden Objekten. Für herkömmliche Rolling-Shutter-Bildsensoren, die die Bilddaten zeilenweise aus den Sensorpixeln in den Bildspeicher einlesen, stellt dies eine Herausforderung dar. Wenn sich das Objekt bewegt, kann die Änderung der Position in der Zeit zwischen dem Lesen des Bildes aus einer Zeile und dem Lesen der nächsten Zeile zu Verzerrungen wie Unschärfe oder Krümmung des Bildes führen.
Global Shuttering verbessert die Bildschärfe beim fotografischen Erfassen von sich schnell bewegenden Objekten oder wenn die Kamera an einem fahrenden Fahrzeug montiert ist. Beim Global Shuttering wird der jeweilige Wert aller Pixel gleichzeitig in einem kleinen In-Pixel-Speicher gespeichert, bevor er wie bisher Zeile für Zeile in den Bildpuffer eingelesen wird. Das Ergebnis ist ein klares Bild ohne Rolling-Shutter-Verzerrung. Diese Technik wurde zunächst in hochwertigen Stehbildkameras eingesetzt und wird nun auch zur Verbesserung der Leistung von industriellen und automobilen Bildverarbeitungssystemen herangezogen.
Verschiedene Herausforderungen wurden bei der Entwicklung von Global-Shutter-Bildsensoren gemeistert: Sie erreichen ein hohes Signal-Rausch-Verhältnis und einen großen Dynamikbereich, ohne die Pixelgröße zu erhöhen, und kompensieren so den In-Pixel-Speicher, was die Pixelfläche für die Photonenaufnahme reduziert. Ein Beispiel für einen solchen Bildsensor ist der ON Semiconductor ARO144 mit 1 Mio. Pixel im 1/4-Zoll-Format.
Global-Shutter-Pixel zeichnen sich durch eine hohe Quanteneffizienz aus, um eine schnelle Aufladung zu ermöglichen. Gleichzeitig sind sie unempfindlich gegenüber bildfremden Aufladungseffekten, z.B. Crosstalk aufgrund von Elektronendiffusion. Zudem wird in der Nähe des Sensors eine optische Abschirmung eingesetzt, um Streulicht von der Pixeloberfläche fernzuhalten.
Was KI in der Bildverarbeitung leisten kann
Im Signalverarbeitungsprozess hinter der Kameraoptik und dem Sensor sorgt die Kommerzialisierung des Machine Learning (durch den Einsatz tiefer neuronaler Netze) für einen revolutionären Wandel bei der Bildkonstruktion und der anschließenden Extraktion von Informationen aus den Bildern. Ein Beispiel dafür ist der Einsatz von künstlicher Intelligenz (KI) zur Leistungssteigerung bei schlechten Lichtverhältnissen. So lassen sich hochwertige Bilder auch bei nahezu dunkler Umgebung aufnehmen.
Rohdaten, die bei schlechten Lichtverhältnissen aufgenommen werden, stellen bekanntermaßen eine Herausforderung für herkömmliche Signalverarbeitungsprozesse dar. Durch die elektronische Erhöhung der Sensorempfindlichkeit (ISO-Zahl) kann es zu deutlichem Bildrauschen kommen, was wiederum die Bildqualität verschlechtert, die sich durch die Rauschunterdrückung im Bild nur begrenzt verbessern lässt. Zu den weiteren Techniken zur Erhöhung der Bildqualität zählt auch die Verlängerung der Belichtungszeit, obwohl dies bei industriellen Anwendungen oder Kameras an Bord von Fahrzeugen oft unpraktisch ist.
In jüngster Zeit wurde eine innovative Technik entwickelt, die das Machine Learning nutzt, um erkennbares Rauschen in Bildern aus lichtschwachen Rohdaten erheblich zu reduzieren. Dabei wird ein tiefes neuronales Netzwerk anhand von Datensätzen trainiert, die kurz belichtete Schwachlichtrohbilder und entsprechende lang belichtete Referenzbilder enthalten. Wenn das Netz vollständig trainiert ist, kann es qualitativ hochwertige Bilder erstellen, indem es direkt mit den Rohdaten von Kurzzeitbelichtungen arbeitet. Diese Technik findet sich in High-End-Smartphones und sorgt für qualitativ hochwertigere Fotos. Sie eignet sich auch für die Erfassung besserer Bilder für Industrie- und Sicherheitsanwendungen, z. B. für die Prüfung von Fertigungslinien oder Überwachungssysteme. (Lesen Sie auch: Wie kann KI die AOI verbessern?)
