Wie kann KI die AOI verbessern?

Im Fertigungssektor ist die Inspektion eine entscheidende Funktion. Es handelt sich dabei um eine visuelle Prüfung, die sicherstellt, dass ein Produkt die vorgesehene Funktion und das vorgesehene Aussehen erfüllt und sowohl dem Hersteller als auch dem Kunden wichtige Vorteile bietet. Die Inspektionsergebnisse bieten eine Qualitätsgarantie, die dem Kunden mit Hilfe eines Aufklebers oder Etiketts direkt angezeigt oder innerhalb des Fertigungsunternehmens als Teil des Qualitätskontrollprozesses aufgezeichnet werden kann. Inspektionsberichte können auch bei der Fehlersuche helfen, wenn ein Gerät aus dem Markt zurückgeschickt wird, und können den Hersteller bei der Bearbeitung etwaiger Reklamationen unterstützen.

Das Ermitteln von Fehlern in der Fertigung kann zudem Aufschluss darüber geben, ob Fertigungsprozesse oder -verfahren angepasst werden müssen. Die Ergebnisse können dazu beitragen, die Ursache eines Defekts zu ermitteln, wie etwa eine verstopfte Düse in einem elektronischen Bestückungsautomaten, eine defekte Flaschenabfüllanlage oder ein falsch ausgerichtetes Etikettiersystem. Durch das Identifizieren von Fehlern in Echtzeit kann die Produktion angehalten werden, um die Ursache zu beheben. Je früher Qualitätsprobleme erkannt werden, desto weniger kostspielig sind sie zu beheben. Dabei wird oft die Zehnfachregel zitiert: Einen Fehler in der Produktentwicklung zu finden, kostet zehnmal weniger als in der Produktion, die wiederum zehnmal weniger kostet als im Feld.

Von der manuellen Inspektion zur AOI

In der Regel wird jede produzierte Einheit einer Prüfung unterzogen. Ein geschulter Bediener kann Inspektionen manuell durchführen, insbesondere bei einfachen Produkten oder als abschließende Kontrolle des Gesamterscheinungsbildes. Für einige Anwendungen sind Geräte mit Vergrößerungsfunktion erforderlich, beispielsweise bei der Bestückung von Leiterplatten (PCB). Besonders kleine Objekte, wie IC-Anbindungen mit hoher Dichte und 01005-SMD-Chips, die auf die Leiterplatte gelötet werden, stellen eine Herausforderung für die Sehschärfe des menschlichen Prüfers dar.

Mit zunehmender Produktkomplexität können typische Baugruppen jedoch eine große Anzahl solcher Bauelemente enthalten. Die Kombination aus den visuellen Herausforderungen und der Taktzeit, in der der Prüfer die Prüfung durchführen und die Ergebnisse aufzeichnen muss, kann bedeuten, dass eine manuelle Prüfung nicht praktikabel ist. In manchen Fällen, wie bei einem Hochgeschwindigkeits-Abfüllprozess, ist eine manuelle Prüfung schlichtweg unmöglich. Mit steigender Größe, Komplexität und Durchsatz wird die automatische optische Inspektion (AOI) zur einzigen praktikablen Methode, um sicherzustellen, dass jedes Teil angemessen geprüft wird.

AOI umfasst Bildaufnahme-, Beleuchtungs- und Computer-Subsysteme, die zusammenarbeiten, um Bilder zu erfassen und zu analysieren. Das System kann die aufgenommenen Bilder mit Referenzbildern vergleichen, um Fehler zu erkennen, etwa Oberflächenfehler eines Materials, Lötfehler oder fehlende oder falsch platzierte Komponenten auf einer Leiterplatte. Alternativ dazu messen regelbasierte Systeme die Abmessungen von Merkmalen, wie die Bauteile selbst oder das Volumen des Lots in jeder Verbindung, um den Status Gut (G) oder Nicht Gut (NG) zu bestimmen. Wird ein Fehler entdeckt, kann die Maschine das fehlerhafte Teil isolieren und mit den nachfolgenden Prüfungen fortfahren oder eine Pause einlegen und einen Bediener benachrichtigen.

In Situationen, in denen Komplexität, Durchsatz oder beides hoch sind, hat die AOI zwar eindeutige Vorteile gegenüber der manuellen Prüfung, aber herkömmliche Bildverarbeitungssysteme und -algorithmen haben auch einige Nachteile, die bei der System- und Softwareentwicklung und bei der Einrichtung der Geräte in der Fertigungshalle deutlich werden.

Von der konventionellen Bildverarbeitung zur KI

Die Grundprinzipien der Bilderkennung beruhen auf der Digitalisierung jedes aufgenommenen Bildes und der Anwendung verschiedener Filter, um Muster und Merkmale zu erkennen. Zur Erkennung von Objekten innerhalb eines Bildes werden häufig Filter zur Kantenerkennung eingesetzt. Ein Algorithmus zur Erkennung von Menschen kann dann eine Neigungserkennung anwenden, um Merkmale wie Arme, Schultern oder Beine zu erkennen. Der Algorithmus muss auch das Ausrichten dieser erkannten Merkmale im Verhältnis zueinander als weiteres Qualifikationskriterium überprüfen.

Ein Algorithmus zur Inspektion von Lötstellen kann Kanten- und Farberkennung anwenden, um die Lötstellen zu identifizieren und zu prüfen, ob der Gradient der Kehle innerhalb akzeptabler Grenzen liegt. Das optische System kann die zu prüfende Einheit aus verschiedenen Winkeln mit unterschiedlichen Farben beleuchten. Wenn die Rundung richtig verläuft, kann ein größerer Anteil von grünen Wellenlängen reflektiert werden. Mehr rote Wellenlängen oder wechselnde Farbkombinationen auf der Oberfläche können eine flache Verrundung hervorheben, die auf ein unzureichendes Lotvolumen oder auf Lotkugeln hinweist, die eine schlechte Benetzung während des Lötvorgangs anzeigen. Ganz gleich, ob es sich um die Erkennung von Personen für Überwachungszwecke oder die Fußgängererkennung im Automobilbereich, die Gesichtserkennung für Social-Media-Anwendungen oder die Fehlererkennung in der industriellen Inspektion handelt, die herkömmliche Bilderkennung steht vor zahlreichen Herausforderungen.

Convolutional Neural Networks für die Bildverarbeitung verwenden

Die Definition von Regeln und die Entwicklung von Algorithmen zur Erkennung und Klassifizierung von Objekten in digitalisierten Bildern ist äußerst komplex. Im Bereich der industriellen Inspektion ist die Entwicklung robuster Algorithmen teuer und zeitaufwändig. Bei der Inspektion einer Leiterplatte ist die Qualität der Lötstellen nur ein Kriterium, das geprüft werden muss. Auch das Vorhandensein der einzelnen Bauteile muss überprüft werden, ebenso wie die Position und Ausrichtung im Verhältnis zur Lötmaske, die Koplanarität der Bauteile und das Vorhandensein unerwünschter Objekte wie etwa Lötspritzer auf der Oberfläche der Leiterplatte. Es ist fast unmöglich, Regeln für alle Fälle und alle Ausnahmen zu erstellen.

Die Feinabstimmung der Algorithmen und das Hinzufügen weiterer Algorithmen, um zusätzliche Situationen abzudecken, ist eine nie endende Aufgabe, für die eine ständige Aktualisierung der Software erforderlich ist. Jedes Mal, wenn in der Branche neue Produkte – wie fortschrittliche elektronische Bauteile – zum Einsatz kommen, müssen neue Algorithmen für deren Prüfung entwickelt werden.

Die KI kann die Herausforderungen dieser schier unendlichen Anzahl von Varianten bewältigen, indem sie bis zu einem gewissen Grad die Fähigkeit des Menschen nachahmt, gelernte Erfahrungen auf Herausforderungen der Bilderkennung anzuwenden. Unter den verschiedenen Computerstrukturen, die unter dem allgemeinen Begriff der KI zusammengefasst werden, werden für die Bilderkennung in der Regel Convolutional Neural Networks (CNNs) verwendet. Diese bestehen aus miteinander verbundenen künstlichen Neuronen, die in Schichten angeordnet sind. Es handelt sich in der Regel um tiefe neuronale Netze, die mehrere innere oder versteckte Schichten zwischen Eingabe- und Ausgabeschichten umfassen. Die versteckten Schichten führen spezifische, eng definierte Pooling- und Faltungsberechnungen an den von der vorhergehenden Schicht erhaltenen Daten durch. Die Ergebnisse werden an die folgende Schicht weitergeleitet und erreichen schließlich die Ausgabeschicht, die anzeigt, ob das gesuchte Objekt identifiziert wurde oder nicht.

Vor seinem Einsatz wird das CNN darauf trainiert, ein bestimmtes Objekt zu erkennen. Die Bedeutung oder Gewichtung jedes Neurons bei der Generierung dieser Antwort wird während dieses Prozesses mit jeder richtigen oder falschen Antwort angepasst. Nach vielen Iterationen ist das CNN in der Lage, Bilder mit einer hohen Wahrscheinlichkeit richtig zu identifizieren. An diesem Punkt gilt es als trainiert, redundante Neuronen können entfernt werden, und das neuronale Netzwerk ist dann bereit für den Einsatz als Inferencing-Engine, entweder in der Cloud oder auf einer eingebetteten Computing-Plattform.

Zusammenführung der beiden Bereiche

KI kann sowohl für Anbieter als auch für Nutzer von AOI-Systemen Vorteile bringen. Aus Anbietersicht kann die Entwicklung von Algorithmen vereinfacht werden, indem die KI die Wahrscheinlichkeit beurteilt, mit der sie ein bestimmtes Objekt erkennt. Dadurch lässt sich die Markteinführungszeit für neue Geräte verkürzen, und die laufenden Kosten für den Software-Support werden gesenkt, da nicht jedes Objekt und jedes Akzeptanzkriterium definiert werden muss. Für die Benutzer kann eine mit KI erweiterte AOI die Einrichtung eines Prüfsystems, die Programmierung und die Feinabstimmung der Schwellenwerte für Gut/Nicht-Gut-Warnungen erheblich vereinfachen.

Einzug in den Markt für AOI-Systeme

Ein Beispiel ist eine eingebettete industrielle Machine-Vision-Computing-Plattform und eine Multiprozessor-Erweiterungskarte für KI-Inferenz, die von AAEON in Zusammenarbeit mit einem AOI-Anbieter entwickelt wurde. Mit dieser Plattform kann die AOI mehrere Produktlinien prüfen, ohne dass sie neu konfiguriert werden muss. Sie bietet eine höhere Genauigkeit und weniger Fehlerkennungen als herkömmliche Systeme und kann auch schnell für die Prüfung neuer Produkte oder die Identifizierung bisher unbekannter Fehler trainiert werden.

Ein weiteres Beispiel ist der MEK (Marantz) ISO-Spector M1A für die Inspektion von Leiterplatten. Dieses auf KI basierende System lernt die Produktionsprozesswerte von bestückten und Reflow-Leiterplatten und erkennt Fehler auf der Grundlage von Hunderten von voreingestellten Parametern. Die menschliche Komponente bei der Programmierung wird dadurch reduziert, dass typische Herausforderungen wie die Bestimmung der optimalen Lichtverhältnisse, der Kameraposition, der Kameraeinstellungen für jede Ansicht zur Unterstützung der Fehlererkennung und die Anpassung der Erkennungsschwellenwerte einbezogen werden, sodass fehlerhafte Einheiten erfasst werden, ohne dass übermäßig viele falsche NG-Meldungen ausgegeben werden. Die KI kann mehrere Parameter wesentlich schneller als menschliche Experten automatisch anpassen und Entscheidungen mit einem deutlich geringeren Fehlerrisiko treffen. Dies ermöglicht konsistente Prüfergebnisse, unabhängig davon, ob das AOI-System von einem Anfänger oder einem Experten programmiert wird.

Der chinesische Hersteller VCTA hat seine AOI-Systeme für die Leiterplattenfertigung ebenfalls mit KI ausgestattet, was zu einer Verbesserung der Betriebsabläufe und damit zu einer Verringerung der Ausschussrate sowie zu einer Steigerung der Kapazität und Qualität führt.

AOI-Systemarchitektur aufbauen

Die Leistungsfähigkeit solcher Systeme unterstreicht die Vorteile, die KI für Inspektionsanwendungen in vielen Bereichen, einschließlich Sicherheit und Einzelhandel, bieten kann. Bei Anforderungen wie dem Durchsuchen von Bildern zur Erkennung von Objekten und Merkmalen oder der Identifizierung von Personen kann KI die Einrichtung und Programmierung vereinfachen, menschliche Fehler ausschließen, die Latenzzeit minimieren und eine bessere Entscheidungsfindung unterstützen.

Um die Entwickler dabei zu unterstützen, die Vorteile dieser Technologie auszuschöpfen, kommen jetzt Kameramodule mit Softwareunterstützung auf den Markt, mit denen die KI-Entwicklung vereinfacht wird. Ein Beispiel hierfür ist das Basler AI Vision Solution Kit. Das Kit enthält eine Dart Kamera mit 13 Megapixeln und die Pylon Kamera-Software-Suite für die Konfiguration und den Betrieb der Kamera. In der Basler-Cloud stehen bereits trainierte Machine-Learning-Modelle für die Objekt- und Personenerkennung zur Verfügung, die sofort auf dem Kit eingesetzt werden können. Entwickler können auch ihre eigenen Modelle für beliebige Anwendungen verwenden.

Die Intel RealSense Stereo-Vision-Tiefenkamera der D400-Baureihe beinhaltet den RealSense D4-Bildverarbeitungsprozessor, ein Stereo-Tiefenmodul, einen RGB-Sensor mit Farbbildsignal-Verarbeitung und eine Trägheitsmesseinheit für Anwendungen wie Robot Vision, Drohnen, Virtual Reality und Haussicherheit. Das Tiefenmodul besteht aus einem linken und einem rechten Imager sowie einem optionalen Infrarot-Projektor, der ein nicht sichtbares statisches IR-Muster projiziert, um die Tiefengenauigkeit in Szenen mit geringer Textur zu verbessern.

Bei Anwendungen wie der Objekterkennung und -klassifizierung können Tiefenkameras einen zusätzlichen Nutzen bringen, wenn sie mit einer Machine-Learning-Plattform wie Tensorflow oder OCV eingesetzt werden. Die Tiefeninformationen des Kameramoduls pro Pixel helfen bei der Lösung zusätzlicher Herausforderungen wie der Schätzung von Objektgrößen im Sichtfeld. Auf der Intel RealSense-Website ist ein Link zu einem Tutorial und Beispielcode abrufbar, der zeigt, wie dies zu erreichen ist.

KI ist der nächste Schritt

Mithilfe der Inline-AOI, die mit der Liniengeschwindigkeit arbeitet, können Fertigungsunternehmen in den unterschiedlichsten Branchen ihre Qualitätssicherung verbessern, die Produktivität sichern und Prozesse kontinuierlich verbessern. Eine Erweiterung durch KI ist der nächste Schritt für AOI. Algorithmen, die für optische Inspektionsanwendungen trainiert wurden, bringen den zusätzlichen Vorteil der Entscheidungskompetenz mit sich und sorgen für eine geringere Einbindung des Bedieners, eine vereinfachte Programmierung und eine robuste Leistung, die die Sicherheit der Fehlererkennung erhöht und gleichzeitig Fehlalarme reduziert.