Waymo&Co.: So viel Mensch steckt in Robotaxis

Ich persönlich hatte noch nicht die Möglichkeit, sie auszuprobieren: Robotaxis. Wenn ich mich jedoch in eines setzen würde, wollte ich schon wissen, wie sie im Detail funktionieren. Vielleicht wissen Sie es bereits. Falls nicht, lohnt sich ein Blick hinter die Kulissen, den der Podcast "The Mystery Behind Robotaxi Teleoperation" von Junko Yoshida liefert. Darin berichtet Roy Smolens Jr., der von September 2022 bis August 2023 als "Communications and Training Team Lead" für das Waymo Rider-Programm in Arizona tätig war, über die realen Abläufe im Hintergrund autonomer Fahrzeuge.

Hier haben wir die zentralen Punkte aus dem Gespräch zusammengefasst und in den aktuellen Kontext eingeordnet. Anlass gibt es genug: Tesla hat im Juni 2025 in Austin einen begrenzten Robotaxi-Testbetrieb gestartet – mit Sicherheitsfahrer, aber großer medialer Wirkung. Auch wenn das System technisch noch nicht am Ziel ist, sorgt es für neue Aufmerksamkeit. Die Frage steht erneut im Raum: Wie autonom ist ein Robotaxi wirklich?

Wie funktioniert ein Robotaxi wie Waymo technisch?

Der Podcast erklärt beispielsweise, was bei Waymo als "Driver" bezeichnet wird. Nicht etwa den Menschen, sondern das Softwarepaket, das das Fahrzeug steuert. Die KI wertet Daten von Kameras, Radar, Lidar und anderen Sensoren (Sensorfusion) in Echtzeit aus. Dabei trifft das System sekündlich Entscheidungen: bremsen, beschleunigen, abbiegen, ausweichen. Doch sobald die Sensorik oder die Entscheidungsmuster des Systems überfordert sind, wird der Mensch ins Spiel gebracht.

Bei Waymo bezeichnet der Begriff "Driver" nicht den Menschen, sondern das Softwarepaket, das das Fahrzeug steuert. Die KI wertet Daten von Kameras, Radar, Lidar und anderen Sensoren in Echtzeit aus. Das System trifft sekündlich Entscheidungen: bremsen, beschleunigen, abbiegen, ausweichen. Dafür befindet sich im Kofferraum jedes Waymo-Fahrzeugs ein etwa 4 mal 3,5 Fuß (für Europäer: grob etwa 1,2 auf 1 m) großer Rechner – das technische Herzstück des Systems. Diese Hardware verarbeitet kontinuierlich die unterschiedlichen Daten und trifft darauf basierend im Millisekundentakt Fahrentscheidungen. Gleichzeitig zeichnet das System sämtliche Bewegungs- und Umfelddaten lückenlos auf, was nicht nur für das laufende Fahrverhalten relevant ist, sondern auch für das Training der KI und die spätere Nachverfolgung bei Unregelmäßigkeiten. Da dieser Datenstrom enorm ist, wird der Rechner in der Regel alle sechs Stunden gegen eine frische Einheit ausgetauscht, um Überhitzung und Speicherüberlauf zu vermeiden. Der Austausch erfolgt manuell durch Technikteams. Trotz seiner Autonomie ist der „Waymo Driver“ damit ein System, das ohne regelmäßige externe Wartung und Kontrolle nicht funktioniert. Die Kombination aus lokaler Echtzeitverarbeitung und zentralisiertem Datenreview ist ein zentrales Element der Sicherheitsarchitektur.

Doch sobald die Sensorik oder die Entscheidungsmuster des Systems überfordert sind, wird der Mensch ins Spiel gebracht.

Was machen Rider Agents und Fleet Response Agents bei Waymo?

Waymos Supportstruktur besteht dabei aus zwei strikt getrennten Rollen: "Rider Agents" und "Fleet Response Agents" (früher: "Live Agents"). Rider Agents sprechen lediglich mit den Menschen im Auto. Sie beantworten Fragen zur Fahrt, zur App oder zur Abrechnung. Sie haben keinen Zugriff auf Fahrzeugsteuerung oder Echtzeitdaten der Sensoren. Die meisten von ihnen arbeiten heute in Call-Centern auf den Philippinen, viele sogar ohne Führerschein.  Den brauchen sie auch nicht zwingend, denn Ihre Hauptaufgabe bestehen darin, Skripte und Entscheidungsbäume durchzugehen, ruhig zu bleiben und im Zweifelsfall den Fall an einen Supervisor oder bei erkennbaren Technikproblemen an die Fleet Response weiterzuleiten. Dabei geht es um die Einschätzung, ob ein Vorgang innerhalb der eigenen Zuständigkeit gelöst werden kann oder ob technische Unterstützung erforderlich ist.

Fleet Response Agents hingegen greifen direkt ins System ein, wenn die Fahrzeug-KI technische Hilfe anfordert. Sie sitzen in speziellen Kontrollzentren, sehen die Sensordaten, Fahrverhalten und mögliche Konflikte und dürfen – wohldosiert und dokumentiert – in die Steuerung eingreifen.

Konkret bedeutet das: Sie können dem Fahrzeug neue Navigationsbefehle übermitteln, es verlangsamen, anhalten oder bestimmte Fahrmanöver unterdrücken, etwa wenn ein Sensorbild falsch interpretiert wurde. Diese Eingriffe erfolgen über gesicherte Schnittstellen und nur in fest definierten Ausnahmefällen, beispielsweise bei Fehlverhalten im Kreuzungsbereich oder bei statischen Hindernissen, die vom Fahrzeug nicht korrekt erkannt wurden. Der Kontakt zum Fahrgast ist ihnen dagegen untersagt.

Wie werden technische Probleme bei Robotaxis gelöst?

Die beiden Gruppen arbeiten getrennt – räumlich, organisatorisch und technisch. Wenn ein Rider Agent erkennt, dass ein technisches Problem vorliegt, wird der Fall an einen Supervisor eskaliert. Erst danach wird er an die technische Seite weitergeleitet.

Diese Struktur vermeidet interne Reibung, führt aber zu einer gewissen Trägheit im System. Laut Smolens kam es in der Anfangszeit durchaus vor, dass Fahrzeuge minutenlang im Kreis fuhren, weil eine Eskalation zu spät oder gar nicht erfolgte.

Wie unterstützt KI bei der Teleoperation von Robotaxis?

Sowohl Rider als auch Fleet Agents folgen klaren Entscheidungsbäumen. Natürlich kommen dabei auch KI-gestützte Assistenzsysteme zum Einsatz, etwa zur Priorisierung von Anfragen oder zur Mustererkennung in Fahrzeugdaten. Dennoch bleibt die menschliche Entscheidung das Nadelöhr. Das macht die Schulung komplex: Agents müssen gleichzeitig Softwareoberflächen beherrschen, Kommunikationsregeln einhalten und in Stresssituationen sauber entscheiden. Die technische Qualifikation reicht von High-School-Abschluss bis hin zu Engineering-Background im Fleet-Bereich.

Welche Rolle spielt Tesla beim Thema Robotaxis?

Im Juni 2025 hat Tesla in Austin einen Testbetrieb mit Robotaxis aufgenommen. Noch fahren Sicherheitsfahrer mit, die Einsatzgebiete sind begrenzt, aber die mediale Aufmerksamkeit ist groß. Tesla verzichtet auf Lidar, setzt rein auf Kamera-KI und propagiert einen anderen Weg als Waymo. Kritiker verweisen auf erste Zwischenfälle und fragwürdige Fahrentscheidungen. Doch das Interesse der Branche und Öffentlichkeit ist entfacht – der Begriff "autonom" steht wieder im Fokus.

Wer haftet bei Fehlern im autonomen Fahrbetrieb?

Wird ein falscher Remote-Befehl gegeben – etwa ein Rotlichtverstoß – stellt sich unmittelbar die Frage nach der Verantwortung. Laut Roy Smolens Jr. werden solche Fälle intern dokumentiert und analysiert, allerdings selten transparent nach außen kommuniziert. Auch gegenüber der US-Verkehrsbehörde (NHTSA) besteht eine Offenlegungspflicht, doch oft bleibt es bei dem gesetzlich notwendigen Minimum.

Die Verantwortlichkeit liegt dabei in einem komplexen Geflecht: In manchen Fällen ist Waymo als Betreiber in der Pflicht, in anderen trägt der externe Dienstleister wie Cognizant (der die Teleoperationszentren betreibt) die operative Verantwortung. Bei eindeutigem Fehlverhalten eines Teleoperators – etwa durch Missachtung von Eskalationsprotokollen – kann auch die Haftung direkt bei der Einzelperson liegen.

Das Problem: Es existiert bislang keine standardisierte juristische Kette, die klar regelt, wer bei welchen Fehlerarten haftet. Die Schnittstellen zwischen Software, Maschine, Mensch und Dienstleister sind so fein verzahnt, dass die Schuldfrage häufig erst durch aufwendige forensische Datenanalyse geklärt werden kann. Und gerade bei sicherheitskritischen Vorfällen vermeiden alle Beteiligten jede Aussage, die eine potenzielle Haftung implizieren könnte. Der Systemfehler ist selten nur technischer Natur – oft liegt er auch in der organisatorischen Architektur.

Welcher SAE-Level gilt für Robotaxis wie Waymo?

Im Podcast wird zwar nicht explizit über die SAE-Stufen gesprochen, die Einordnung ist jedoch klar: Waymo-Fahrzeuge bewegen sich im Bereich von SAE Level 4. Das bedeutet: Die Autos können innerhalb eines definierten Gebiets komplett autonom fahren, ohne dass ein Sicherheitsfahrer erforderlich ist. Eingriffe durch Menschen – wie im Fall der Fleet Response Agents – erfolgen nur bei Bedarf und über Teleoperation. Ein echter Level-5-Betrieb, bei dem ein Fahrzeug unter allen Bedingungen und überall ohne menschliche Unterstützung funktioniert, existiert bislang nicht. Auch Tesla ist davon weit entfernt, obwohl der Begriff "Full Self Driving" diesen Eindruck suggeriert. Level 4 bleibt damit der aktuelle Stand der Technik, unterstützt durch menschliche Backendsysteme.

Wie kritisch ist das System bei Robotaxis wirklich?

Trotz der ausgeklügelten Technik zeigt der Podcast auch die Schwächen des aktuellen Robotaxi-Systems. Roy Smolens spricht offen über Systemfehler, Verzögerungen und unklare Zuständigkeiten. Ein Beispiel: In der Anfangszeit kam es vor, dass Fahrzeuge minutenlang im Kreis fuhren, ohne dass jemand eingriff – weil entweder keine Eskalation stattfand oder Prozesse zu träge reagierten. Auch heute kommt es laut Smolens vor, dass menschliche Operatoren überfordert sind, schlecht geschult wurden oder mit den Schnittstellen nicht sicher umgehen können.

Hinzu kommt: Fehlerhafte Sensordaten, falsch interpretierte Verkehrszeichen oder widersprüchliche Verkehrssituationen bringen selbst ausgereifte Systeme an ihre Grenzen. In diesen Fällen soll die Fleet Response übernehmen – aber nur, wenn sie rechtzeitig alarmiert wird und die Lage korrekt einschätzt. Die Operatoren folgen zwar definierten Protokollen, doch oft sind es komplexe Einzelfälle, die schnelles technisches Verständnis und Entscheidungssicherheit erfordern.

Kritisch wird im Podcast auch angemerkt, dass viele Fehler nur intern dokumentiert, aber nicht gegenüber der Öffentlichkeit transparent gemacht werden. Waymo erfüllt laut Smolens lediglich die Mindestanforderungen der US-Verkehrsbehörde (NHTSA) in Bezug auf Offenlegung. Das schafft juristisch Spielraum, sorgt aber nicht unbedingt für Vertrauen.

Wie schnell können Menschen im Notfall in die Steuerung des Autos eingreifen?

Trotz aller Teleoperation bleibt ein zentrales Problem bestehen: Bei echten Notfällen – etwa ein Kind, das unvermittelt auf die Straße läuft – ist ein menschlicher Eingriff nicht schnell genug möglich. Selbst unter Idealbedingungen dauert es mehrere Sekunden, bis ein Fleet Agent die Situation erfasst, entscheidet und den Eingriff über gesicherte Schnittstellen auslöst. Genau deshalb liegt die unmittelbare Gefahrenabwehr komplett in der Verantwortung der Fahrzeug-KI. Teleoperatoren greifen nur bei komplexen, aber nicht zeitkritischen Fällen ein – etwa Navigationsproblemen, widersprüchlicher Beschilderung oder langen Stillständen.

Im Podcast schildert Roy Smolens konkret, dass früher Fahrzeuge minutenlang im Kreis fuhren, ohne dass eingegriffen wurde. Heute ist die Prozesskette schneller, aber noch immer auf Reaktionszeiten von 4–7 Sekunden (Call-Annahme) und 45 Sekunden (Entscheidung) ausgelegt. Schnell genug für operative Eingriffe, aber nicht für plötzliche Unfälle.