Lidar: Das steckt hinter dem Firefly-Verfahren

Szenarien wie Stau auf dem Weg zur Arbeit oder Autobahnchaos im Urlaub haben die Begeisterung für autonome Fahrzeuge angeheizt. Doch damit wurde auch erneut ein Fokus auf die Technologie gelegt, um deren sicheren Betrieb zu ermöglichen. Für besonders hohe Sicherheit sind detaillierte 3D-Karten beweglicher Objekte erforderlich, also zum Beispiel von anderen Autos, Fußgängern und Fahrrädern. Lidar-Sensoren gelten als eines der nützlichsten Systeme an Bord eines Fahrzeugs, da sie in der Lage sind, detaillierte Karten zu erstellen (Bild 1).

Je weiter entfernt ein selbstfahrendes Auto ein Objekt auf der Straße zuverlässig erkennen kann, desto einfacher ist ein Ausweichmanöver. Forscher der Analog Garage (das Technologiezentrum von Analog Devices) haben sich mit der Erweiterung des Erfassungsbereichs von Lidar-Systemen befasst und eine Möglichkeit entwickelt, physische Beschränkungen bei der Bewegung von Objekten zu nutzen, um die Erfassungsreichweite zu erhöhen.

Wie Lidar arbeitet

Lidar-Systeme senden Laserimpulse auf ein Objekt aus und messen die Laufzeit des Lichtsignals vom Objekt zurück zum Sensor (Bild 2). Durch die Abtastung mit dem Laserstrahl entlang der horizontalen und vertikalen Richtung erstellt ein Lidar-System eine vollständige 3D-Karte der vor ihm liegenden Szene. Jede Karte wird als Frame bezeichnet. Aktuelle Lidar-Systeme arbeiten mit Bildraten zwischen 10 und 30 Bildern pro Sekunde (fps).

Sobald der Laser Impulse in eine bestimmte Richtung gesendet hat, zeichnet ein Sensor das reflektierte Licht auf, wandelt es in ein elektrisches Signal um und sucht dieses Signal mit einer als angepassten Filter (Matched Filter) bezeichneten Technik nach dem Ort der Laserpulsform. Das Ausgangssignal des angepassten Filters wird mit einem Schwellenwert verglichen. Wenn das Signal den Schwellenwert überschreitet, wird eine Erkennung gemeldet (Bild 2).

Erfassungsgrenzen von Lidar

Selbstverständlich ist in der realen Welt nichts ideal. Durch den Erkennungsprozess in Lidar entsteht Rauschen – sowohl elektrisches Rauschen von den verschiedenen Bauteilen des Empfängers als auch optisches Rauschen vom Detektor selbst. Ein Objekt lässt sich also nur so lange erkennen, wie genügend Licht von ihm empfangen wird, dass der angepasste Filter dieses Signal von Rauschen unterscheiden kann.

Aus der Physik ist bekannt, dass die Intensität des Lichts mit dem Quadrat der Entfernung, die es von seiner Quelle zurückgelegt hat, abnimmt. Praktisch bedeutet das, dass die Menge des reflektierten Laserlichts, die das Lidar-System von einem 200 m entfernten Objekt empfängt, nur ein Viertel so groß ist wie die Lichtmenge, die empfangen worden wäre, wenn das gleiche Objekt 100 m entfernt gewesen wäre.

Daraus folgt, dass der angepasste Filter weiter entfernte Objekte schwerer erkennen wird, und im Extremfall, wenn ein Objekt weit genug entfernt ist, es für das Lidar-System unsichtbar wird.

Bild 3 demonstriert dies – die Amplitude des Rücksignals des abgebildeten Fahrzeugs fällt mit der Entfernung stark ab, und in einer Entfernung von 220 m ist das Signal im Wesentlichen nicht mehr vom Rauschen zu unterscheiden und wird von dem eingestellten Erkennungsschwellwert übersehen.

Das Problem ließe sich umgehen, indem eine so niedrige Erkennungsschwelle eingestellt wird, dass das Auto in Bild 3 auf 220 m sichtbar ist. Offensichtlich würde das System angesichts des SNR auch viel Rauschen erkennen. Ein vollständiger 3D-Datenframe enthält eine Reihe von Lichtblitzen, von denen einige auf ein Objekt deuten und einige nur Rauschen sind. Als Beispiel zeigt Bild 4 alle Erkennungen (Post Thresholding) in nur einer vertikalen Scheibe (das heißt in einem festen vertikalen Winkel) eines Lidar-Bildes. Die meisten Erkennungen sind nur Rauschen, aber einige entsprechen einem echten Objekt. Wie lässt sich das richtige erkennen? Während dies mit nur einem Bild schwierig ist, wird es nach einigen Datenframes möglich.

Um zu verstehen, warum das so ist, lassen sich die Lichtblitze wie folgt modellieren: Angenommen, ein Glühwürmchen (Firefly) schwirrt um eine Box herum, und man sieht in regelmäßigen Abständen einen Lichtblitz des Glühwürmchens. Leider sind auch zufällige Lichtblitze aus der Umgebung zu sehen, die überall auftreten können. Erschwerend kommt hinzu, dass der Beobachter manchmal Lichtblitze des Glühwürmchens verpasst, und die Position, die für das Glühwürmchen gemessen wird, ist normalerweise nicht ganz perfekt.

Die grundsätzliche Frage lautet: „Lässt sich bei einer Sequenz von Blitzen, bei der jeder einzelne aus einem Einzelbild resultiert, sagen, ob die gesamte Blitzsequenz von einem Glühwürmchen stammt oder nicht?“ Der Fachbegriff für solche Fragen ist Hypothesentest. Die Information, die für eine Entscheidung zur Verfügung steht, ist, dass die Bilder zehnmal pro Sekunde eintreffen (bei 10 fps) und ein Glühwürmchen kann sich in dieser Zeit nur in einer physikalisch realistischen Weise bewegen. Zum Beispiel kann ein Glühwürmchen nicht die Länge der Box innerhalb eines Frames zurücklegen, da dies eine physikalisch unrealistische Geschwindigkeit ergäbe. Auch kann ein Glühwürmchen nicht innerhalb von zwei Frames die Richtung umkehren. Dies wäre eine physikalisch unrealistische Beschleunigung.

Anders gesagt entspricht die nutzbare Information der Tatsache, dass die Flugbahn eines Glühwürmchens ein Weg sein muss, den ein physisches Objekt tatsächlich genommen haben könnte. Unter Berücksichtigung dieser wegbasierten Einschränkungen lassen sich diese von Spuren unterscheiden, die durch Rauschen entstanden sind. Mit Hypothesentests lässt sich die mathematische Form der Einschränkungen bei beliebig langen Wegspuren bestimmen und anwenden. Bei Blitzen aus zwei und drei aufeinander folgenden Frames sind die Einschränkungen einfach Grenzen für die Geschwindigkeit und Beschleunigung der Wegstrecke. Bei längeren Wegen sind die Einschränkungen nicht ganz so einfach zu interpretieren, erweisen sich aber als recht einfach in der Anwendung.

Bild 5 demonstriert die Wirksamkeit der Technik an zwei einfachen Szenen. Das Diagramm auf der linken Seite ist die echte Karte des Bildes, wobei Objekte wie die Straße der Einfachheit halber herausgenommen wurden. Das Diagramm in der Mitte zeigt, was bei konventioneller Verarbeitung mit einem vernünftigen Schwellenwert entstehen würde. Rechts ist das Ergebnis nach der Firefly-Verarbeitung zu sehen. Das Firefly-Verfahren detektiert Objekte in fast 300 m Entfernung. Aktuelle Lidar-Systeme haben Reichweiten von etwa 150 m.

Tabelle 1 zeigt die Erkennung (in Prozent) und die Anzahl der Falsch-Positiven (pro Frame), die mit dem Firefly-Verfahren und der konventionellen Verarbeitung (MF steht für Matched Filter) erzielt wurden. Die Erkennungsschwelle ist so eingestellt, dass auf der Grundlage der zuvor gesammelten Statistiken eine 99,9 prozentige Sicherheit erhalten wird, dass ein bestimmter Peak einem Objekt entspricht. Die Erkennungsrate ist jedoch sehr niedrig. Mit den Spureinschränkungen lässt sich das Ergebnis verbessern.

Das Firefly-Verfahren beschreibt eine Grenze für die Bewegung von Objekten, also die Einschränkungen für das Objekt, die mit Lidar gemessen wird – nicht die Einschränkungen für den Detektor oder die Signalkette. Die Fähigkeit des Verfahrens, die Erkennungsrate von Lidar zu verbessern, enthält wichtige Informationen: Herkömmliche Erkennungs- und Signalkettenprobleme lassen sich oft stark verbessern, indem Einschränkungen und Informationen umgesetzt werden, die von außerhalb des zu entwickelnden Systems kommen – hier also vom Objekt selbst.