Bis zu einer alltagstauglichen und sicheren Lösung für autonomes Fahren Level 5 nach der Norm SAE J3016 sind noch einige Herausforderungen zu meistern. Hierzu bietet sich Autonomous Valet Parking (AVP) als eine Ausprägung des autonomen Fahrens in einer geschlossenen kartografisch erfassten Umgebung sehr gut an. Ein AVP-Szenario reduziert zwar im Vergleich zum autonomen Fahren im Straßenverkehr die Komplexität, bedeutet aber auch, dass GPS zur Navigation nicht zur Verfügung steht. Grundlegende Herausforderung ist es, zu jeder Zeit Position und Orientierung des Fahrzeugs zu bestimmen – in der Sprache der Robotik: die Pose. Eine möglichst zutreffende Pose ist die Bedingung, um Trajektorien für die Route durch das Parkhaus zum zugeordneten Parkplatz berechnen zu können. Die Bestimmung der Pose mittels Laserscannern ist ein weitverbreiteter

Eck-daten

In Parkhäusern versagen GPS-Systeme. Autonomes Parken ist zumindest damit deshalb nicht möglich. Andere Lösungen sind daher gefragt. Die Firma Expleo hat jetzt einen Prototyp entwickelt, mit dem Fahrzeuge sich in Gebäuden selbständig bewegen können. Eine wichtige Innovation ist dabei das kamerabasierte Kanten-Matching zu einer sich fortlaufend korrigierenden Selbstlokalisierung des Fahrzeugs.

Ansatz bei prototypischer Entwicklung von Lokalisierungsalgorithmen. Allerdings gehören Laserscanner aufgrund ihres hohen Preises noch nicht zur Serienausstattung vieler Fahrzeugmodelle mittlerer bzw. niedriger Preisklasse. Das Entwicklungsteam bei Expleo (ehemals Assystem) hatte sich daher die Aufgabe gestellt, eine Lösung auf Basis von aktuell weit verbreiteten und serienmäßigen Sensoren zu suchen.

Radodometrie zu ungenau

Der Vorteil des AVP-Szenarios: Die Ausgangspose ist bekannt. Von der Position aus, an der das Fahrzeug an das AVP-System übergeben wird, können die Trajektorien zum Parkplatz oder zur Abholstelle berechnet werden.

Bild 1: Selbstlokalisierung des AVP-Versuchsträgers durch Matchen von im Bild detektierten Kanten der Strukturen des Parkhauses wie z. B. Säulen, Wände, Decke und Boden.

Bild 1: Selbstlokalisierung des AVP-Versuchsträgers durch Matchen von im Bild detektierten Kanten der Strukturen des Parkhauses wie z. B. Säulen, Wände, Decke und Boden. Expleo Germany

Als herkömmliche Datenquelle der Selbstlokalisierung dient die Radodometrie. Ein bekanntes Problem ist hier aber der Fehler, der sich durch Schlupf ergibt und sich mit jeder Messung weiter aufaddiert. Gerade bei langsamer Fahrt mit engen Kurvenradien wird die raddrehzahlbasierte Posenbestimmung schnell zu ungenau für autonome Fahrmanöver. Es werden daher weitere Sensoren und Verfahren zur Bestimmung der Pose benötigt, um die Fehler zu minimieren.

Kantenerkennung und Edge Matching

Im Laufe des Projekts wurden mehrere Datenquellen für die Posenkorrektur in Erwägung gezogen. So könnten künstliche Landmarken, ähnliche wie QR-Codes, zur Orientierung dienen oder inertiale Messeinheiten (IMU) hinzugezogen werden. Letztendlich entwickelte Expleo aber ein innovatives Verfahren, welches die Radodometrie mit einem eigens entwickelten Lokalisierungsalgorithmus kombiniert. Dieser Algorithmus macht sich die Strukturen von Parkhäusern zunutze und besteht aus zwei Schritten: Das Erkennen von Kanten mittels Bildverarbeitung und das Kanten-Matching. Die Kamera des Prototyp-Fahrzeugs bietet einen 150° weiten Öffnungswinkel und liefert 30 Bilder pro Sekunde. Auch in schlecht ausgeleuchteten oder konturarmen Abschnitten des Parkhauses findet das Lokalisierungssystem genug Referenzlinien. Das Ergebnis des Kanten-Matchings wird als Bewertungsgrundlage für den Partikelfilter genutzt (siehe Bild 1).

Die Partikelfilter-basierte Lokalisierung arbeitet mit detektierten Kanten an den Ecken von Säulen und zwischen Wänden, Decke und Boden. Die Kanten werden mit einer Karte verglichen, in der diese Strukturen, Ein- und Ausfahrten sowie Ein- und Ausgänge aller Stockwerke maßstabsgetreu und hochgenau hinterlegt sind (Bild 2). Zusätzlich wird in der Karte zwischen befahrbaren und nicht befahrbaren Flächen unterschieden und die Beschaffenheit dieser Flächen angegeben.

Bild 2: Erstellung eines 3D-Models des Parkhauses durch Extraktion von Strukturen aus einer 3D-Punktwolke.

Bild 2: Erstellung eines 3D-Models des Parkhauses durch Extraktion von Strukturen aus einer 3D-Punktwolke. Promotives GmbH/Expleo Germany

Bild 3: Sensoren und Ausstattung des AVP-Versuchsträgers von Expleo.

Bild 3: Sensoren und Ausstattung des AVP-Versuchsträgers von Expleo. Expleo Germany

Bild 4: Trajektorien eines Einpark- und Ausparkvorgangs für einen von der Parkhausinfrastruktur zugewiesenen Parkplatz.

Bild 4: Trajektorien eines Einpark- und Ausparkvorgangs für einen von der Parkhausinfrastruktur zugewiesenen Parkplatz. Expleo Germany

Umweltmodellierung

Die Bestimmung der Fahrzeugpose ist neben dem Erkennen von Hindernissen eine wichtige Voraussetzung für das autonome Fahren. Expleo arbeitet bei der Umweltmodellierung ihres Systems mit einem Verfahren aus dem Bereich des maschinellen Lernens. Neuronale Netze wurden antrainiert, um Hindernisse wie Autos, Fußgänger, Kinderwagen oder Gepäckstücke zu detektieren. In Kombination mit der Verwendung von Ultraschallsensoren des Autos können die Positionen der detektierten Objekte räumlich bestimmt werden. Befinden sich Objekte im Fahrschlauch des Fahrzeugs, werden die Trajektorien angepasst, sodass die Hindernisse sicher umfahren werden und das Fahrzeug dennoch sein Fahrtziel erreicht. Kann das Hindernis nicht umfahren werden, stellt das Fahrzeug eine Anfrage auf ein neues Fahrtziel an die Parkhausinfrastruktur.

Parkhausinfrastruktur

Doch woher kennt das Fahrzeug sein Fahrtziel? Sobald das Fahrzeug in die Parkgarage einfährt, verbindet es sich mit dem AVP-Server des Parkhauses.  Der Server regelt das gesamte Parkhausmanagement – von Parkplatzzuweisung und Parkhausüberwachung über Buchung des Parkplatzes bis hin zur Abrechnung. Die Handshake-Statusmaschinen der AVP-Funktion von Fahrzeug und Server werden nach der ISO/AWI 23374 entwickelt werden, damit eine standardisierte und nachvollziehbare Schnittstelle vorhanden ist (Bild 3). Fahrzeuge, die von der Norm abweichen, können den AVP-Service nicht nutzen.

Bevor der Kunde den Einparkvorgang starten kann, wird von Server und Fahrzeug überprüft, ob alle relevanten Systeme funktionsbereit sind und die Kommunikation einwandfrei funktioniert. Bei Start des Einparkvorgangs via App weist der Server dem Fahrzeug einen Parkplatz zu und übermittelt ihm einen groben Pfad, auf dem basierend das Fahrzeug seine Trajektorien berechnen kann (Bild 4).  Zusätzlich wird die Karte des Parkhauses übertragen, die das Fahrzeug zur Eigenlokalisierung innerhalb des Parkhauses benötigt. Das Auto überträgt während der autonomen Fahrt im Parkhaus Statusinformationen, wie z. B. die Pose, an den Server. Über die App kann der Nutzer ebenfalls den aktuellen Parkstatus verfolgen und wird benachrichtigt, sobald das Fahrzeug erfolgreich eingeparkt bzw. ausgeparkt wurde.

Blick in die Zukunft

Expleo will sich jedoch nicht nur auf Parkhaus-Szenarien beschränken und denkt einen Schritt weiter. Für eine ortsunabhängige, aber dennoch präzise Lokalisierung, ist es vorteilhaft, möglichst viele Sensor- bzw. Poseninformationen zu nutzen. Expleo spricht hier von einer Erweiterung des Lokalisierungsverfahrens: Dem „Generic Pose Fusion“ Framework. Dieses Framework ist dynamisch – reagiert dementsprechend auf den Ausfall oder das Hinzukommen eines Sensors, indem die aktuell verfügbaren Poseninformationen zu einer finalen Pose fusioniert werden. Neben der Erweiterung der Lokalisierung auf Outdoor-Szenarien führt dieser generische Fusionsansatz zu einer höheren Präzision in der Bestimmung der Pose und zu einer Verbesserung der Robustheit und Ausfallsicherheit und somit zu sichereren Fahrassistenzsystemen.

Wichtige Grundlagenarbeit

Expleo trägt mit diesem Prototyp zur Grundlagenarbeit im Bereich des Autonomous Valet Parking und damit zum autonomen Fahren bei. Auf dem Weg zu einer sicheren alltagstauglichen Lösung gibt es noch viel zu tun. Ob diese Form der stressfreien Parkhausnutzung zur Serienreife gebracht wird, hängt auch von Geschäftsmodellen und Partnerschaften zwischen Automobilindustrie und Parkhausbetreibern ab. Die Entwicklung von Expleo ist ein Proof of Concept für ein AVP-System und zeigt zugleich die Möglichkeit auf, diese Technologie auch für weitere Bereiche zu nutzen, beispielsweise in Logistikanwendungen und für Shuttleverkehr.