Der Beitrag von Radarsensoren zum autonomen Fahren

Bild 1: Die autonom fahrende S-Klasse „Intelligent Drive“, auch „Bertha“ von den Daimler Forschern genannt, im Kreisverkehr.Daimler

Seit es Automobile gibt, sind selbstfahrende Autos ein Traum. Mit dem S 500 Forschungsfahrzeug (von den Daimler-Forschern kurz „Bertha“ genannt), das im August 2013 entlang des historischen Weges von Bertha Benz fuhr, wurde Mercedes-Benz der erste Autohersteller, der das autonome Fahren sowohl auf Überlandstraßen als auch in der Innenstadt demonstrierte. Der Weg umfasst die zirka 100 Kilometer von Mannheim bis Pforzheim, die Bertha Benz vor 125 Jahren mit dem Fahrzeug ihres Mannes Carl Benz fuhr. Dieses historische Ereignis wird heutzutage als das Geburtsdatum des modernen Automobils betrachtet. Während Bertha Benz die Reife des von ihrem Mann entwickelten Benzinmotors hat demonstrieren wollen, bestand die Absicht des 2013er Experimentes darin, zu zeigen, dass das autonome Fahren auf Autobahnen und ähnlich strukturierter Umgebung möglich ist.

Auf ihrem Weg musste die selbstfahrende S-Klasse autonom mehrere hochkomplizierte Situationen wie Kreisverkehr, Kreuzung, Verengungen, Stopplicht, Fußgänger, Radfahrer und Straßenbahnen beherrschen. Wie von Geisterhand hält sie an und weiß, wann wieder anzufahren ist. Wie sieht Bertha die Verkehrssituation?
Von außen sind keine Unterschiede im Vergleich zur Serien-S-Klasse zu sehen, aber hinter der Windschutzscheibe und den Stoßstangen liegen die Unterschiede: Die Augen von Bertha sind ein Stereo-Kamerasystem zur Erkennung der Umgebung in Fahrtrichtung, zwei weitwinkelige Mono-Kamerasysteme für die Verkehrszeichen- und Ampelerkennung sowie acht Hochleistungs-Radarsensoren. Dabei sind die Radarsensoren so angeordnet, dass sie eine Art elektronische Schutzhülle 360° um das Fahrzeug herum abdecken, die in einem Abstand von wenigen Zentimetern bis 200 Metern arbeiten.

Radarsensoren

Heutige Serien-Radarsysteme für das Auto repräsentieren bewegte Ziele wie beispielsweise Autos und Fußgänger als Punkt – mehr oder weniger vergleichbar mit dem, was in Hollywoodfilmen zu sehen ist. Dieser Punkt wird mit X- und Y-Koordinaten sowie entsprechender Dopplergeschwindigkeit beschrieben. Dimensionen wie Länge und Breite oder umfassende Information über den Bewegungsstatus des bewegten Ziels stehen allerdings nicht zur Verfügung. Somit war relativ schnell nach Start des Projekts Bertha klar, dass die traditionelle Automobil-Radarhardware und ihre Algorithmenkonzepte nicht ausreichen würden. Um Bertha sehen zu lassen, haben die Daimler-Forscher des Teams Aktive Sensorik von ihren Radarsystemen mehr gefordert als bloße Detektionsfähigkeit. Sie suchten nach einer umfassenden Darstellung sowohl der stationären als auch der bewegten Autoumgebung, um so die Umgebungsinformation zu erfassen, die ein Mensch auch zur Einschätzung einer Verkehrssituation verwendet.

Bild 2: 360° Radarblick von Bertha auf der Autobahn. Linke Seite zeigt die Sich der Dokumentalkamera oben nach Vorne, unten nach Hinten. Rechte Seite: Die Darstellung des Radarnetzwerkes. Die blauen Kästen ist die Box-Darstellung der Fahrzeuge in den SpurDaimler

Mittlerweile kennen die Radarsysteme von Bertha die Charakteristika von Kreisverkehren und Kreuzungen, um das Ein- und Ausfädeln zu meistern. Das Team Aktive Sensorik hat aber auch die Umgebung beschrieben, um rechtzeitig Spurwechsel einzuleiten, sowie die ersten prototypischen Algorithmen eingeführt, um Dimensionen und Bewegungszustände von ausgedehnten Zielen wie Fahrzeugen abzuleiten. Zusätzlich erfolgte die Klassifizierung von Fußgängern als solche.
Zur Verdeutlichung, was erkannt werden muss, betrachten wir das Beispiel eines Kreisverkehrs, den das autonom fahrende Fahrzeug erreicht hat. Die sich nähernden Fahrzeuge sollten detektiert werden, wenn sie weit genug entfernt sind, um keine Bedrohung zu sein. Um den optimalen Zeitpunkt zum Ein- oder Ausfädeln zu bestimmen, muss das Fahrzeug nicht nur durch seine Länge und Breite charakterisiert sein sondern auch durch die Trajektorie (Bewegungsrichtung) die die Information enthält, wo sich das Fahrzeug innerhalb der folgenden Millisekunden hinbewegt. Die Zeit- und Raumlücke zwischen zwei sich nähernden beziehungsweise gerade vorbeifahrenden Fahrzeugen innerhalb des Kreisverkehrs müssen auch beschrieben werden, um den geeigneten Moment zum Ein- oder Ausfädeln zu bestimmen.

Bild 3: Die unterschiedlich eingefärbten Wolken sind Radarreflexionen aus der Umgebung: Statische Ziele in Orange, sich vom Fahrzeug entfernende bewegte Ziele in grün und Gegenverkehr in rot. Auf der Basis dieser Daten schätzt Bertha den weiteren Verlauf.Daimler

Grand Challenge

Seit vielen Jahren arbeiten Regierungseinrichtungen, Universitäten und verschiedene Automobilhersteller an der Vision vom autonomen Fahren. Die „Grand Challenge“ der DARPA 2004/2005 und das Google-Auto in 2012 sind einige prominente neuere Beispiele. Ein früherer Meilenstein war das Forschungsprojekt der EU namens „Eureka-Prometheus“, das 1986 startete und dessen Testfahrzeuge Schlagzeilen machten, als sie 1994 im normalen Verkehr weitestgehend autonom im Pariser Gebiet fuhren und dann 1995 ungefähr 1000 Kilometer von München nach Kopenhagen die Strecke autonom bewältigten.
Gestützt auf die On-Bord-Sensordaten und das Wissen über die eigene Position des Fahrzeugs aus einer digitalen Karte analysiert das Fahrzeug den verfügbaren Freiraum auf der Basis dessen, was es sieht, um seinen eigenen Weg zu planen. Folglich bestand in all diesen Projekten die Hauptherausforderung für das autonom fahrende Fahrzeug darin, zu wissen, wo es ist, was es sieht und in welcher Weise es angepasst autonom reagiert.
Auf die Herausforderung, abzusichern, das zu sehen, was notwendig ist, reagierte die weltweite Forschergemeinschaft des autonomen Fahren durch den Einsatz einer Kombination von vielen verschiedenen Sensortypen sowie durch den Verbau sehr vieler Sensoren in einem Versuchsfahrzeug. Die dabei genutzten Sensoren reichen von Ultraschall- über diverse Typen von Infrarotsensoren, Laserscannern und verschiedenen Varianten von Kamerasystemen bis zu Radarsensoren. Das Ziel besteht darin, eine 360°-Rundumabdeckung unter möglichst vielen Witterungs- und Beleuchtungsbedingungen bereitzustellen.
Das berühmte und gut dokumentierte Google-Auto verwendet einen auf dem Dach des Autos befestigten Laserscanner, der 360° um das Auto herum schaut. Den weiten Blick nach vorne leisten Weitbereichs-Radare. Für die Stopplichterkennung verwendet es eine hochauflösende Monokamera. Mit dieser um eine digitale Karte erweiterten Ausrüstung ist das Fahrzeug von Google vollautomatisch durch den Innenstadtverkehr gefahren.

Bild 4: Das Bild zeigt die komplette Sensorplattform von Bertha, der autonom fahrenden S-Klasse von Mercedes-Benz. Die Farbmarkierung ist im Bild angegeben.Daimler

Stets an Bord: Radarsensoren

Die Analyse der Sensorausstattungen der autonomen Forschungsfahrzeuge weist eine Konstante auf: Radarsensoren, und dafür gibt es eine Reihe von technischen Gründen. Wenn ihre Abstrahlfläche beheizt wird, arbeiten Radare unter allen Licht- und Wetterbedingungen. Mit 40 ms Aktualisierungszeit erlaubt das Radar eine ultraschnelle Aktualisierung bei der Beobachtung der Verkehrssituation. Somit ist man sozusagen immer im Bilde – auch in hochdynamischen Situationen mit hohen Relativgeschwindigkeiten. Mit ihren großen Sichtweiten und Öffnungswinkeln decken Radare eine riesige beobachtete Fläche ab. Dabei erfolgt die Messung immer mit konstanten Fehlern im gesamten Beo-bachtungsfeld. Ganz wichtig ist dabei die Tatsache, dass die Parameter Ort und Geschwindigkeit direkt gemessen werden und nicht aus anderen Messgrößen berechnet werden müssen. Im Hinblick auf einen späteren Serieneinsatz kommen weitere Vorteile wie ein unsichtbarer und design-verträglicher Verbau hinzu. So ist die Montage der Sensoren hinter der Stoßstange oder dem Firmenemblem (bei Daimler: der Mercedes-Stern) möglich, so dass auch beim automatisierten Fahrzeug außergewöhnliche ästhetische Designs möglich sind. Die Sensoren können durch die Verwendung höherer Frequenzen wie zum Beispiel 76 GHz eine kleine Baugröße aufweisen.
Radar selbst hat eine lange Tradition in Automobilanwendungen.

Bild 5: So sieht Bertha den Kreisverkehr: unten sind Bilder der Beobachtungskamera zu sehen, links oben die Anzahl der Einzelreflexionen, wobei bewegte Objekte gelb und grüne Objekte statisch sind. Rechts oben die Boxbildung pro Fahrzeug im Kreisverkehr.Daimler

Eines der Ergebnisse des Prometheus-Projektes war der intelligente Abstandsregler Distronic, der 1998 in der S-Klasse in Serie ging. Das System verwendet ein Fernbereichsradar hinter dem Mercedes-Stern und zwei Nahbereichsradarsensoren in der Mitte der vorderen Stoßstange. Basierend auf der Distronic hat Mercedes-Benz eine Reihe von Assistenzsystemen entwickelt, die dazu fähig sind, gefährliche Situationen zu entdecken, den Fahrer zu warnen und auch automatisch mit einer Notbremsung zu reagieren. In weiteren Ausbaustufen folgte die autonome Teil-/Notbremsung Pre-Safe Brake in 2006 und das Pre-Crash-System Advanced Pre-Safe Brake in 2009. Basierend auf den zwei vorne in der Stoßstange montierten Nahbereichsradarsensoren reagiert das Fahrzeug auf unvermeidbare Unfallsituationen zirka 100 bis 200 ms bevor der Unfall geschieht – und zwar unabhängig davon, aus welcher Richtung der Aufprall auf die Fahrzeugfront erfolgt. Damit gewinnt das Fahrzeug wichtige Zeit, um die Insassen auf den Unfall vorzubereiten. Mit dem Start der neuen S-Klasse wurde begonnen, einen 360°-Sicherheitskokon aufzubauen, um auch sicherheitskritische Situationen wie Heckaufprall in städtischen Situationen abzudecken. Dieser Kokon verwendet mehrere Radarsensoren, die nach vorne und hinten schauen, sowie eine Front-Stereokamera. In all diesen Systemen kann der Fahrer das System übersteuern, denn er ist immer der letzte Entscheider.

Bertha nutzt seriennahe Technik

Bild 6: Das Bild zeigt die beiden Nahbereichssensoren zur Ausleuchtung von Kreisverkehren.Daimler

Im Gegensatz zu den oben erwähnten autonomen Forschungsfahrzeugen verwendet das Roboterfahrzeug Bertha ausschließlich Videokameras und Radarsensoren mit seriennahen Sensortechnologien, die bereits in ihrer Grundform in der neuen S-Klasse zum Einsatz kommen. In ähnlicher Form sind diese Sensoren auch in anderen Serienfahrzeugen von Ford, Volvo, BMW, Audi oder Lexus verbaut. Dieser Schritt ist wichtig, um die Sensorplattform von Bertha realistischer bezüglich einer späteren Serienfertigbarkeit auszulegen.
Um Bertha sehen zu lassen, verbesserten die Entwickler die Anzahl und Anordnung der Sensoren, um eine nun vollständige und homogene 360°-Sicht rund um das Fahrzeug zu erreichen. Hierzu hat das Entwicklerteam die Konfiguration der Sensorplattform aus der Serienproduktion modifiziert, indem es Radarsensoren hinzufügte und um neue Ansätze zur Umgebungserkennung ergänzte, sodass nun Situationen wie Kreisverkehr, Kreuzungen, Fahrbahnwechsel und Gegenverkehr abgedeckt und Fußgänger klassifiziert sind. Dabei ergänzte das Team zwei zusätzliche in der Detektionsleistung modifizierte Fernbereichs-Radarsensoren von Continental und installierte sie an den Seiten der linken und rechten Vorderstoßstange, um eine frühe Entdeckung von Fahrzeugen in bis zu 200 Meter Entfernung zu ermöglichen, die sich seitlich an Verbindungspunkten nähern. Ein zusätzliches Fernbereichsradar dient zur Beobachtung des sich von hinten nähernden Verkehr. Um im Radius von bis zu 60 Meter eine 360°-Rundumabdeckung zu erreichen, sind zusätzlich vier Nahbereichs-Radarsensoren an den Ecken des Fahrzeugs verbaut. Diese Sensoren modifizierte das Entwicklerteam zusammen mit Delphi in der Hardware so, dass sie erheblich mehr Detektionspunkte pro Ziel messen als die Serien-Radarsensoren. Mit dieser erhöhten Anzahl an Messpunkten stellen die Daimler-Forscher der Aktiven Sensorik die erforderlichen Erweiterungen der Umgebungsrepräsentation bereit, um Spurwechsel sowie das Ein- und Ausfahren im Kreisverkehr zu ermöglichen.

Bild 7: Bertha hält autonom für Fußgänger an einem Zebrastreifen in der Innenstadt von Bruchsal.Daimler

Diese und zusätzliche Erweiterungen waren und sind in Zukunft notwendig, da städtische Szenen im Vergleich zu denen auf Autobahnen durch dramatische Unterschiede in den Situationen charakterisiert sind, die ein Radarsensor behandeln muss. Auf Autobahnen, besonders deutschen Autobahnen, besteht die Hauptherausforderung darin, hohe Relativgeschwindigkeiten oder Relativbewegungen zwischen Fahrzeugen zu beschreiben. In der Innenstadt und den ländlichen Gebieten ändert sich das zu kürzeren Abständen und einer deutlich erhöhten Anzahl an Bewegungsmanövern sowie zu vielen unterschiedlichen Verkehrsteilnehmern. Hierdurch ergeben sich kürzere Reaktions- und Beobachtungszeiten für die Entfernungen zwischen dem eigenen Fahrzeug und anderen Verkehrsteilnehmern. Außerdem ist die Genauigkeit der Abstände zu Hindernissen wie parkenden Fahrzeugen oder Mülltonnen wesentlich. Um Pre-Crash-Situationen und den Freiraum/Bewegungspfad richtig im dichten Verkehr besonders in schmalen Straßen einschließlich des Gegenverkehrs vorauszusagen, ist es notwendig, die 2D-Dimension (Länge und Breite) sowie die Bewegungstrajektorie (wohin bewegt er sich in den kommenden Millisekunden) der Verkehrsteilnehmer in der Fahrzeugumgebung genau zu bestimmen. Dasselbe ist obligatorisch bei Kreisverkehren oder Einmündungen in langgezogenen Innenstadtstraßen. Ohne diese Information hätte Bertha Stunden an den Eingängen von Kreisverkehren gewartet, um sich sicher einzufädeln.

Digitale Strahlformung

Bild 8: Das Bild zeigt die an der Kreuzungsanalyse beteiligten Radarsensoren. Gegenüber der Serienaustattung wurden nach links und rechts je ein multifunktionales Fernbereichsradar montiert, um weit in die Kreuzungen hineinschauen zu können.Daimler

Ein wesentlicher Schritt auf der Radarseite war die Einführung des „Digital Beam Forming“ (DBF), der digitalen Strahlformung. Der Vorteil im Vergleich zu gegenwärtigen Standardlösungen besteht darin, dass die Information die das Radar von der Umgebung erhält, direkt an jedem Element der Antenne in die digitale Welt transformiert wird und dort ausgewertet werden kann. Das erlaubt sogar die Berechnung synthetisch verschiedener Antennenkonstellationen. So können diese DBF-Radare virtuell mit der passenden Auflösung und Genauigkeit in verschiedene Raumrichtungen schauen. In Kombination mit einer drastisch erhöhten Geschwindigkeits-Auflösung und räumlichen Auflösung des Radars ist es jetzt möglich, eine Vielzahl an Reflexionen von einem Gegenstand aus der Umgebung zu bekommen. Dieser Vorgang ist vergleichbar mit einer erhöhten Auflösung bei einer Kamera, die so auch mehr Pixel pro Raumsegment erhält. Gestützt auf diese dichteren Daten sowie angereichert mit der Doppplergeschwindigkeit pro Datenpunkt hat das Daimler-Team Cluster- und Segmentierungskonzepte weiterentwickelt, die ursprünglich für Laserscanner oder in der Bildverarbeitung zur Umgebungsrepräsentation entwickelt wurden.

Autobahn

Eine weitere Herausforderung gegenüber Autobahnsituationen ist eine große Vielfalt verschiedener Objektarten wie Fußgänger und Radfahrer oder Gebäudereflexionen, die in Betracht gezogen werden müssen. Die Schlüsselaufgabe besteht darin, dem Fahrzeug früh genug qualifizierte Informationen zur Verfügung zu stellen, damit es richtig reagieren kann. Als Beispiel reicht gegebenenfalls die frühzeitige Entdeckung von Fußgängern nicht aus, sondern es ist auch ihre Klassifikation als Fußgänger erforderlich. Schon eine alltägliche Situation auf einer belebten Straße ist eine echte Herausforderung. Sich bewegende Autos sowie Fußgänger werden Reflexionen erzeugen, die im Radarnetzwerk sortiert, klassifiziert und bezüglich der Bewegungsrichtung richtig vorausgesagt werden müssen.
Daimlers Antwort darauf war die drastische Erhöhung der Dopplerauflösung, um sogar die kleinste Differenz in der Geschwindigkeit der Reflexionen aufzulösen und zu segmentieren. Die Einführung der Micro-Doppler-Analyse in Kombination mit verbesserter Kalmanfilterung (Tracking) ermöglicht es, charakteristische Geschwindigkeitsprofile herauszufiltern, um zum Beispiel folgendes festzustellen: „Ja, es ist ein Fußgänger, der sich in dieser Richtung mit dieser Geschwindigkeit bewegt“. Dazu wurden die Radarsensoren mit einem gleichzeitig größeren Blickwinkel entworfen, um ein viel breiteres Umfeld beobachten zu können. Mit ungefähr 140° pro Radar ist Daimler mit vier Radarsensoren in der Lage, eine homogene 360°-Abdeckung im Nahbereich bis zu 60 Meter zu erreichen, die für die frühe Entdeckung von Objekten obligatorisch ist, die sich beispielsweise wie Fußgänger von der Seite nähern. Dazu entwickelte das Team einen neuen Fusionsansatz, um die Radare wie ein Radarnetzwerk zusammenarbeiten zu lassen. Auf diese Weise entsteht eine global konsistente Information – auch wenn unterschiedliche Radarsensoren aus unterschiedlichen Positionen ein und dasselbe Ziel detektieren. Ein gutes Beispiel hierfür ist ein Überholvorgang: Der Überholer von Bertha wird erst von dem hinteren Fernbereichsradar in 200 Metern gesehen, bevor es das linke seitliche Nahbereichsradar erfasst und dann das linke vordere. In den wenigen Sekunden, die dieser Vorgang dauert, muss es immer klar sein, dass es ein und dasselbe Fahrzeug ist. Das Gleiche geschieht bei sehr dichtem Verkehr auf einer mehrspurigen Autobahn, auf der Bertha in einen Schwarm von Nachbarfahrzeugen eingebunden ist. Hier heißt es, alle Informationen zu einer verlässlichen Beschreibung der Einscherlücke zu kombinieren.

Bild 9: Bertha in einem innerstädtischen Überholmanöver. Hier wird der physikalische Effekt ausgenutzt, dass Radarstrahlen sich unter Fahrzeugen ausbreiten und – wie hier den LKW – semitransparent machen.Daimler

Spurerkennung sowie Vorhersage auf Autobahnen und ländlichen Straßen sind die Standardaufgabe von Videosystemen und obligatorisch für das autonome Fahren. Die Überbrückung von Ausfällen bei ungünstigen Licht- und Wetterbedingungen muss unter anderem durch das Radarsystem erfolgen. Dazu wurde eine Schätzung des Fahrbahnverlaufs entwickelt. Bei leichtem oder dichtem Schneebelag oder starkem Sonnenlicht ist es für das Videosystem schwer, eine weiße Linie dauerhaft zu detektieren. Radarsensoren können keine Art der Farbe sehen, aber sie können Reflexionen von Reflektoren an der Straßenseite wie Leitplanken oder Kies detektieren. Um diese Reflexionen auszunutzen und den Fahrbahnverlauf auch in schmalen gekrümmten Alpenstraßen vorauszusagen, haben die Daimler-Forscher neue Algorithmenkonzepte entwickelt.

Neue Szenarien

Ein zusätzliches Ziel des Bertha-Experimentes bestand darin, Situationen zu identifizieren, die nach wie vor Probleme bereiten. Für Daimler liegt der Erfolg der autonomen Fahrtests vor allem darin, jene Gebiete identifiziert zu haben, auf die sich die gesamte Entwicklungsmannschaft eines autonom fahrenden Forschungsfahrzeugs in der Zukunft konzentrieren muss. Mit den Radartätigkeiten lassen sich schon viele tägliche Situationen handlen, was die Chance zum völlig autonomen Fahren in der Zukunft vergrößert. Überdies brachte das Experiment zutage, wo eine weitere Optimierung erforderlich und somit ein Ausbau der radarbasierten Umweltwahrnehmung nötig ist, um das Repertoire an autonom zu fahrenden Manövern bis hin zum völlig automatisierten Fahren zu unterstützen.
An den Arbeiten der Radartechnologie für das autonome Fahren und Manövrieren sind die Mitglieder des Teams „Aktive Sensorik“ der Daimler Forschung- und Vorentwicklung beteiligt: Nils Appenrodt, Dr. Hans-Ludwig Blöcher, Carsten Brenk, Dr. Thomas Hackbarth, Dr. Markus Hahn, Dr. Jens Klappstein, Dr. Marc Muntzinger, Alfons Seiler und Dr. Jürgen Dickmann.

(av)