Neue Art von Kamera bringt Robotern das menschliche Sehen bei

Zeitliche Auflösung im Mikrosekundenbereich, sechstausendfach höhere Kontraste als bei herkömmlichen Kameras und potenziell wesentlich kleinere Bilddateien - so genannte Event-Kameras versprechen eine Revolution in der Fotografie. Anders als herkömmliche Kameras nehmen sie nicht ganze Bilder auf einmal auf, sondern registrieren für jeden lichtempfindlichen Bildpunkt einzeln nur Helligkeitsänderungen (die „Ereignisse“). Wissenschaftler*innen der TU Berlin, die gleichzeitig Mitglieder des Exzellenzclusters „Science of Intelligence“ (SCIoI) sind, forschen an neuen Methoden, mit denen sich solche Aufnahmen auswerten lassen. Sie könnten Robotern das Sehen erleichtern, selbstfahrende Autos sicherer machen und vor allem unseren Smartphones noch mehr kreative Möglichkeiten eröffnen.

Auch in der heutigen Digitalfotografie hat sich an der grundsätzlichen Methode der Bildaufnahme seit der ersten Belichtung einer fotografischen Platte durch den Franzosen Joseph Niépce im Jahr 1826 nichts geändert. Man lässt Licht für eine bestimmte Zeit auf einen lichtempfindlichen Sensor fallen und liest dann das Ergebnis aus: entweder durch das „Entwickeln“ von Filmmaterial oder eben durch das gleichzeitige Auslesen aller elektrischen Signale der lichtempfindlichen Pixel einer Digitalkamera. „Das in der Natur entwickelte Verfahren der optischen Abbildung funktioniert dagegen ganz anders“, sagt Prof. Dr. Guillermo Gallego von der Fakultät IV „Elektrotechnik und Informatik“ der TU Berlin und leitender Wissenschaftler im Exzellenzcluster Science of Intelligence.

Die „Zapfen“ und „Stäbchen“ in der Netzhaut des menschlichen Auges, die für das Farbensehen beziehungsweise eine empfindliche Helligkeitsunterscheidung zuständig sind, senden nach Lichteinfall sofort elektrische Nervenimpulse aus. Diese werden dann in der Netzhaut teilweise zusammengeschaltet, vorverarbeitet und das entstehende Signal schließlich ans Gehirn weitergeleitet. „Ähnlich funktionieren auch Eventkameras. Jedes einzelne, lichtempfindliche Pixel trägt zeitlich unabhängig zum Gesamtbild bei. Es gibt keine Belichtungszeit, nach der alle Pixel auf einmal ausgelesen werden, wie bei normalen Kameras“, erklärt Gallego. „Im Unterschied zum Auge lösen die Pixel aber nicht bei jedem Lichteinfall ein Signal aus, sondern nur, wenn sich die Helligkeit ändert. Das hat den Vorteil, dass die zu verarbeitenden Datenmengen vom Prinzip her wesentlich kleiner sind.“

Der vermutlich größte Vorteil  einer Eventkameras zeigt sich beim Vergleich mit einer normalen Videokamera, die auf einen Schreibtisch vor einem Bürofenster gerichtet ist. Auf dem normalen Videobild ist nur der Schreibtisch selbst richtig belichtet, das Fenster dagegen hell überstrahlt und der Raum unter dem Schreibtisch völlig dunkel.

Ganz anders die Eventkamera: Sie gewährt nicht nur einen Blick auf das Kabelgewirr unter der Tischplatte, sondern zeigt auch den realen Blick aus dem Fenster mit den Gebäuden gegenüber. Der Trick dahinter: Die Videokamera nimmt beispielsweise 30-mal in der Sekunde ein Bild mit der Belichtungszeit von einer sechzigstel Sekunde auf. Die Belichtungszeit wird dabei automatisch so eingestellt, dass sie den größten Teil des Bildes richtig wiedergeben kann – bei den extremen Abweichungen in der Helligkeit am Fenster und unter dem Tisch ist dies allerdings nicht mehr möglich. „Die Eventkamera muss sich aber gar nicht für eine Belichtungszeit entscheiden, die sozusagen alle Bildelemente über einen Kamm schert. Jedes Pixel meldet dagegen nach Einschalten der Kamera jeweils, ob und wie stark sich die einfallende Lichtmenge geändert hat“, so Gallego.

Die Spanne der Helligkeit, die eine Kamera noch darstellen kann, wird „Dynamikumfang“ genannt und meist in der logarithmischen Einheit Dezibel (dB) angegeben. Während eine professionelle Digitalkamera einen Dynamikumfang von etwa 45 dB aufweist, decken Eventkameras einen Bereich von 120 dB ab. Aufgrund der logarithmischen Skala entspricht dies einer Verbesserung um das 6.000-Fache.

Aufgrund des Wegfalls der Belichtungszeit und der schnellen Pixelreaktionszeit im Mikrosekundenbereich sind mit Hochgeschwindigkeitskameras auch Hochgeschwindigkeitsaufnahmen möglich, die für Zeitlupenfilme mit extremer Auflösung genutzt werden können. Das typische Maß für Hochgeschwindigkeitsaufnahmen ist die Bildrate in Bildern pro Sekunde; eine typische Hochgeschwindigkeitskamera nimmt etwa 10.000 Bilder pro Sekunde auf. Da Eventkameras keine Vollbilder belichten, muss ihre Leistung für einen Vergleich in eine „virtuelle“ Bildrate umgerechnet werden. Diese läge bei etwa 200.000 Bildern pro Sekunde - was das Potenzial der Technik eindrucksvoll verdeutlicht.

Ähnlich wie im menschlichen Auge in der Netzhaut findet auch in Event-Kameras eine erste Informationsverarbeitung durch elektronische Schaltkreise direkt hinter den lichtempfindlichen Pixeln statt. Und ähnlich wie im menschlichen Gehirn werten anschließend Algorithmen die Bildinformationen auf zwei verschiedenen Wegen aus:

• Bewegungen von Objekten werden vor allem dadurch erkannt, dass die „Kanten“ der Objekte identifiziert und ihre Positionsänderungen verfolgt werden. Dies kann sehr schnell im Bereich von weniger als zweihundert Millisekunden geschehen.
• Die eigentliche Objekterkennung - um die es gehen könnte - nutzt dann vor allem Farben und Formen der Dinge.

„Dafür sind umfangreiche Trainingsdaten nötig, die erst nach und nach mit Aufnahmen von Eventkameras gesammelt werden müssen. Auch hier ist uns die normale Digitalfotografie noch weit voraus“, sagt Friedhelm Hamann, Doktorand am Exzellenzcluster Science of Intelligence. „Eventkameras wurden ursprünglich von Neurowissenschaftler:innen entwickelt, um ein Modell des menschlichen Sehens zu etablieren“, sagt Hamann. Erst später seien Forschende auf die Idee gekommen, mit ihnen auch fotografische Innovationen voranzutreiben. „Daher hat die herkömmliche Digitalfotografie sowohl auf der Seite der Hardware wie auch bei den Algorithmen zur Bildanalyse mehrere Jahrzehnte Vorsprung.“ Hamann interessiert sich in seiner Doktorarbeit vor allem für letztere. Intelligente Algorithmen sind besonders dann wichtig, wenn aus den Kameradaten Informationen gewonnen werden müssen, etwa für die Orientierung von Robotern im Raum oder autonome Fahrzeuge.

Doch nicht alle Tricks der Eventfotografie sind der Natur abgeschaut. So hat Guillermo Gallego ein Verfahren entwickelt, mit dem auch eine einzelne Event-Kamera 3D-Ansichten liefern kann. Dazu wird sie kontinuierlich mit einer bestimmten Geschwindigkeit bewegt. Dabei liefert fast jedes Pixel ständig neue Daten, weil sich durch die Bewegung der Lichteinfall auf die Pixel ständig ändert. Trägt man nun die Signale aus der zweidimensionalen Pixelebene zusammen mit der Zeit als dritte Dimension auf, erhält man eine Punktewolke.

„Wie kann man daraus eine dreidimensionale Szene ableiten?“, fragt Gallego rhetorisch. Er dreht die Punktwolke am Computer mit der Maus so lange, bis die Anzahl der Punkte plötzlich kleiner erscheint und sie eine dreidimensionale, winkende Person darstellen. „Dabei habe ich intuitiv nichts anderes gemacht, als möglichst viele Punkte jeweils an einer Geraden auszurichten.“

Übersetzt man dieses Verfahren in einen Algorithmus, kann eine einzige bewegliche Eventkamera 3D-Bilder liefern.

„Einige kommerziell erhältliche Eventkameras gibt es bereits. Und gerade Anfang 2023 hat der Technologiekonzern Qualcomm die Zusammenarbeit mit einem Start-up bekanntgegeben, um Eventkameras in Smartphones zu integrieren“, berichtet Gallego. Die Zukunft werde dabei in einer Kombination von Event- und herkömmlichen Digitalkameras liegen, um die Vorteile aus beiden Welten zu vereinen.