Unscheinbarer Revoluzzer: Eine der wenigen kommerziell erhältlichen Eventkameras, hier vom Hersteller iniVation. Sie wird an der TU Berlin für Forschungszwecke eingesetzt.

Unscheinbarer Revoluzzer: Eine der wenigen kommerziell erhältlichen Eventkameras, hier vom Hersteller iniVation. Sie wird an der TU Berlin für Forschungszwecke eingesetzt. (Bild: TU Berlin)

Worum geht es bei Eventkameras?

Zeitliche Auflösung im Mikrosekundenbereich, sechstausendfach höhere Kontraste als bei herkömmlichen Kameras und potenziell wesentlich kleinere Bilddateien - so genannte Event-Kameras versprechen eine Revolution in der Fotografie. Anders als herkömmliche Kameras nehmen sie nicht ganze Bilder auf einmal auf, sondern registrieren für jeden lichtempfindlichen Bildpunkt einzeln nur Helligkeitsänderungen (die „Ereignisse“). Wissenschaftler*innen der TU Berlin, die gleichzeitig Mitglieder des Exzellenzclusters „Science of Intelligence“ (SCIoI) sind, forschen an neuen Methoden, mit denen sich solche Aufnahmen auswerten lassen. Sie könnten Robotern das Sehen erleichtern, selbstfahrende Autos sicherer machen und vor allem unseren Smartphones noch mehr kreative Möglichkeiten eröffnen.

Verpassen Sie keine News

Anmeldung zum all-electronics-Newsletter

Mit dem Newsletter von all-electronics.de immer top-informiert

Jetzt kostenlos anmelden

Was haben Eventkameras mit dem menschlichen Auge gemein?

Auch in der heutigen Digitalfotografie hat sich an der grundsätzlichen Methode der Bildaufnahme seit der ersten Belichtung einer fotografischen Platte durch den Franzosen Joseph Niépce im Jahr 1826 nichts geändert. Man lässt Licht für eine bestimmte Zeit auf einen lichtempfindlichen Sensor fallen und liest dann das Ergebnis aus: entweder durch das „Entwickeln“ von Filmmaterial oder eben durch das gleichzeitige Auslesen aller elektrischen Signale der lichtempfindlichen Pixel einer Digitalkamera. „Das in der Natur entwickelte Verfahren der optischen Abbildung funktioniert dagegen ganz anders“, sagt Prof. Dr. Guillermo Gallego von der Fakultät IV „Elektrotechnik und Informatik“ der TU Berlin und leitender Wissenschaftler im Exzellenzcluster Science of Intelligence.

Die „Zapfen“ und „Stäbchen“ in der Netzhaut des menschlichen Auges, die für das Farbensehen beziehungsweise eine empfindliche Helligkeitsunterscheidung zuständig sind, senden nach Lichteinfall sofort elektrische Nervenimpulse aus. Diese werden dann in der Netzhaut teilweise zusammengeschaltet, vorverarbeitet und das entstehende Signal schließlich ans Gehirn weitergeleitet. „Ähnlich funktionieren auch Eventkameras. Jedes einzelne, lichtempfindliche Pixel trägt zeitlich unabhängig zum Gesamtbild bei. Es gibt keine Belichtungszeit, nach der alle Pixel auf einmal ausgelesen werden, wie bei normalen Kameras“, erklärt Gallego. „Im Unterschied zum Auge lösen die Pixel aber nicht bei jedem Lichteinfall ein Signal aus, sondern nur, wenn sich die Helligkeit ändert. Das hat den Vorteil, dass die zu verarbeitenden Datenmengen vom Prinzip her wesentlich kleiner sind.“

Was ist der größte Vorteil der Eventkamera?

Kameravergleich: Auf dem normalen Foto oben ist der Tunnelausgang hell überstrahlt. Mit der Eventkamera (Mitte) erkennt man dagegen aufgrund ihres höheren Dynamikumfangs auch die Fahrstrecke außerhalb des Tunnels. Mit Hilfe schlauer Algorithmen lässt sich aus zwei Eventkamera-Aufnahmen auch ermitteln, welche Teile eines Bildes sich wie schnell wohin bewegen. Dies erkennt man auf dem unteren Bild an den farbigen Pixeln. Mit Hilfe der Legende rechts unten kann man aus der jeweiligen Farbe Richtung und Tempo ablesen.
Kameravergleich: Auf dem normalen Foto oben ist der Tunnelausgang hell überstrahlt. Mit der Eventkamera (Mitte) erkennt man dagegen aufgrund ihres höheren Dynamikumfangs auch die Fahrstrecke außerhalb des Tunnels. Mit Hilfe schlauer Algorithmen lässt sich aus zwei Eventkamera-Aufnahmen auch ermitteln, welche Teile eines Bildes sich wie schnell wohin bewegen. Dies erkennt man auf dem unteren Bild an den farbigen Pixeln. Mithilfe der Legende rechts unten kann man aus der jeweiligen Farbe Richtung und Tempo ablesen. (Bild: Guillermo Gallego/SCIoI/Springer Nature Switzerland AG)

Der vermutlich größte Vorteil  einer Eventkameras zeigt sich beim Vergleich mit einer normalen Videokamera, die auf einen Schreibtisch vor einem Bürofenster gerichtet ist. Auf dem normalen Videobild ist nur der Schreibtisch selbst richtig belichtet, das Fenster dagegen hell überstrahlt und der Raum unter dem Schreibtisch völlig dunkel.

Ganz anders die Eventkamera: Sie gewährt nicht nur einen Blick auf das Kabelgewirr unter der Tischplatte, sondern zeigt auch den realen Blick aus dem Fenster mit den Gebäuden gegenüber. Der Trick dahinter: Die Videokamera nimmt beispielsweise 30-mal in der Sekunde ein Bild mit der Belichtungszeit von einer sechzigstel Sekunde auf. Die Belichtungszeit wird dabei automatisch so eingestellt, dass sie den größten Teil des Bildes richtig wiedergeben kann – bei den extremen Abweichungen in der Helligkeit am Fenster und unter dem Tisch ist dies allerdings nicht mehr möglich. „Die Eventkamera muss sich aber gar nicht für eine Belichtungszeit entscheiden, die sozusagen alle Bildelemente über einen Kamm schert. Jedes Pixel meldet dagegen nach Einschalten der Kamera jeweils, ob und wie stark sich die einfallende Lichtmenge geändert hat“, so Gallego.

Die Spanne der Helligkeit, die eine Kamera noch darstellen kann, wird „Dynamikumfang“ genannt und meist in der logarithmischen Einheit Dezibel (dB) angegeben. Während eine professionelle Digitalkamera einen Dynamikumfang von etwa 45 dB aufweist, decken Eventkameras einen Bereich von 120 dB ab. Aufgrund der logarithmischen Skala entspricht dies einer Verbesserung um das 6.000-Fache.

Zeitlupenaufnahmen mit ungeahnt hoher Auflösung

Aufgrund des Wegfalls der Belichtungszeit und der schnellen Pixelreaktionszeit im Mikrosekundenbereich sind mit Hochgeschwindigkeitskameras auch Hochgeschwindigkeitsaufnahmen möglich, die für Zeitlupenfilme mit extremer Auflösung genutzt werden können. Das typische Maß für Hochgeschwindigkeitsaufnahmen ist die Bildrate in Bildern pro Sekunde; eine typische Hochgeschwindigkeitskamera nimmt etwa 10.000 Bilder pro Sekunde auf. Da Eventkameras keine Vollbilder belichten, muss ihre Leistung für einen Vergleich in eine „virtuelle“ Bildrate umgerechnet werden. Diese läge bei etwa 200.000 Bildern pro Sekunde - was das Potenzial der Technik eindrucksvoll verdeutlicht.

Eventkamera plus Beamer schafft Mixed Reality

Tiefeneinschätzung mit einer eventbasierten Kamera und einem Beamer: Blau beleuchtete Strukturen sind näher, rote Strukturen weiter entfernt von der Kamera.
Tiefeneinschätzung mit einer eventbasierten Kamera und einem Beamer: Blau beleuchtete Strukturen sind näher, rote Strukturen weiter entfernt von der Kamera. (Bild: Fraunhofer HHI)

Die Abteilung „Vision and Imaging Technologies“ (VIT) des Fraunhofer Heinrich-Hertz-Instituts (HHI) untersucht die Nutzung eventbasierter Kameras, um Latenzzeiten in Mixed-Reality-Umgebungen (XR) zu minimieren und die Nutzungserfahrung zu verbessern. In dem Paper „X-maps: Direct Depth Lookup for Event-based Structured Light Systems” untersuchen die Forschenden die Kombination einer eventbasierten Kamera mit einem Beamer zur Echtzeit-Tiefenschätzung für Spatial-Augmented Reality-Anwendungen (SAR). SAR wird auch als projektionsbasierte Augmented Reality bezeichnet und beschreibt die Überlagerung von virtuellen Inhalten auf die physische Umgebung durch Projektion. Dadurch können immersive, interaktive und eindrucksvolle Erfahrungen in unterschiedlichen Anwendungsgebieten wie Industrie, Kultur oder Gesundheitswesen geschaffen werden. Dabei sind interaktives Feedback und hohe Frame-Raten essentiell. In den Untersuchungen der Forschenden wird die 3D-Struktur der projizierten Fläche mithilfe der eventbasierten Kamera gemessen. Dabei wird die Projektion automatisch angepasst. Dieser Prozess passiert so schnell, dass für das menschliche Auge nur ein kohärentes Bild ersichtlich ist und keine zeilenweise Erscheinung des Bildes. Daher ist eine Anpassung der Projektion auch bei dynamischen Szenen mit mobilen Elementen möglich. Diese Technik könnte beispielsweise außerhalb der XR bei Nutzung eines Beamers auf einer krummen Projektionsfläche genutzt werden, um die Projektion in Echtzeit auf die Fläche anzupassen.

Wie funktioniert die Eventkamera genau?

Ähnlich wie im menschlichen Auge in der Netzhaut findet auch in Event-Kameras eine erste Informationsverarbeitung durch elektronische Schaltkreise direkt hinter den lichtempfindlichen Pixeln statt. Und ähnlich wie im menschlichen Gehirn werten anschließend Algorithmen die Bildinformationen auf zwei verschiedenen Wegen aus:

  • Bewegungen von Objekten werden vor allem dadurch erkannt, dass die „Kanten“ der Objekte identifiziert und ihre Positionsänderungen verfolgt werden. Dies kann sehr schnell im Bereich von weniger als zweihundert Millisekunden geschehen.
  • Die eigentliche Objekterkennung - um die es gehen könnte - nutzt dann vor allem Farben und Formen der Dinge.

„Dafür sind umfangreiche Trainingsdaten nötig, die erst nach und nach mit Aufnahmen von Eventkameras gesammelt werden müssen. Auch hier ist uns die normale Digitalfotografie noch weit voraus“, sagt Friedhelm Hamann, Doktorand am Exzellenzcluster Science of Intelligence. „Eventkameras wurden ursprünglich von Neurowissenschaftler:innen entwickelt, um ein Modell des menschlichen Sehens zu etablieren“, sagt Hamann. Erst später seien Forschende auf die Idee gekommen, mit ihnen auch fotografische Innovationen voranzutreiben. „Daher hat die herkömmliche Digitalfotografie sowohl auf der Seite der Hardware wie auch bei den Algorithmen zur Bildanalyse mehrere Jahrzehnte Vorsprung.“ Hamann interessiert sich in seiner Doktorarbeit vor allem für letztere. Intelligente Algorithmen sind besonders dann wichtig, wenn aus den Kameradaten Informationen gewonnen werden müssen, etwa für die Orientierung von Robotern im Raum oder autonome Fahrzeuge.

3D-Ansichten durch die Rekonstruktion von Lichtstrahlen

Doch nicht alle Tricks der Eventfotografie sind der Natur abgeschaut. So hat Guillermo Gallego ein Verfahren entwickelt, mit dem auch eine einzelne Event-Kamera 3D-Ansichten liefern kann. Dazu wird sie kontinuierlich mit einer bestimmten Geschwindigkeit bewegt. Dabei liefert fast jedes Pixel ständig neue Daten, weil sich durch die Bewegung der Lichteinfall auf die Pixel ständig ändert. Trägt man nun die Signale aus der zweidimensionalen Pixelebene zusammen mit der Zeit als dritte Dimension auf, erhält man eine Punktewolke.

„Wie kann man daraus eine dreidimensionale Szene ableiten?“, fragt Gallego rhetorisch. Er dreht die Punktwolke am Computer mit der Maus so lange, bis die Anzahl der Punkte plötzlich kleiner erscheint und sie eine dreidimensionale, winkende Person darstellen. „Dabei habe ich intuitiv nichts anderes gemacht, als möglichst viele Punkte jeweils an einer Geraden auszurichten.“

Übersetzt man dieses Verfahren in einen Algorithmus, kann eine einzige bewegliche Eventkamera 3D-Bilder liefern.

Wie geht es mit den Eventkameras weiter?

„Einige kommerziell erhältliche Eventkameras gibt es bereits. Und gerade Anfang 2023 hat der Technologiekonzern Qualcomm die Zusammenarbeit mit einem Start-up bekanntgegeben, um Eventkameras in Smartphones zu integrieren“, berichtet Gallego. Die Zukunft werde dabei in einer Kombination von Event- und herkömmlichen Digitalkameras liegen, um die Vorteile aus beiden Welten zu vereinen.

Sie möchten gerne weiterlesen?