„KI-Assurance braucht umfassende Tests“

Wie schaffen es Unternehmen, ihre KI-Anwendungen in der Mobilitätsbranche sicher, vertrauenswürdig und regelkonform zu gestalten? Genau darüber spricht Andreas Herzig, Leader in Automotive Technology & Regulations bei Deloitte, in diesem Interview. Er beleuchtet zentrale Anforderungen wie Datenqualität, Datenschutz und IT-Sicherheit sowie die neue regulatorische Landschaft rund um den European AI Act und den Data Act. Darüber hinaus erklärt er, wie sich mithilfe eines robusten Risikomanagements Haftungs- und Compliance-Risiken minimieren lassen und welche Rolle Zertifizierungs- und Auditierungsprozesse spielen. Schließlich verrät er, warum konventionelle Testverfahren für KI-Systeme in sicherheitskritischen Situationen nicht mehr ausreichen – und wie moderne, simulationsbasierte Ansätze hier weiterhelfen können.

Herr Herzig, welche grundlegenden Kriterien müssen nach Ihrer Einschätzung erfüllt sein, damit KI-Anwendungen in der Mobilitätsbranche als vertrauenswürdig und regelkonform gelten können?

Andreas Herzig: Wichtige Kriterien für vertrauenswürdige und regelkonforme KI-Anwendungen im Mobilitätsbereich sind ein sensibler Umgang mit Nutzerdaten, eine hohe wahrgenommene Qualität der KI und transparente Datenverarbeitungsprozesse. KI kann dazu beitragen, das Nutzererlebnis im Fahrzeug zu verbessern, beispielsweise durch Infotainment-Anwendungen, personalisierte Einstellungen oder optimierte Navigation. Entscheidend ist, dass die Fahrzeug-KI nur auf notwendige und freigegebene Daten zugreift.

Der Data Act verpflichtet Automobilhersteller zudem, Nutzerdaten auf Wunsch an andere Anbieter zu übertragen, etwa beim Wechsel der Automarke oder bei Mobilitätsdiensten.
Ein weiteres Schlüsselkriterium ist die Transparenz: Nutzer müssen verstehen können, wie die KI Entscheidungen trifft und ob kommerzielle Interessen Einfluss auf Empfehlungen nehmen, etwa durch bevorzugte Musikvorschläge aufgrund von Verträgen mit Labels.

Zudem muss sichergestellt sein, dass KIs in sicherheitskritischen Bereichen (Safety & Security) den einschlägigen Regularien aus dem Automobilbereich folgend und dies durch umfassende Tests dokumentiert ist. Alle KIs, die gemäß des European AI Acts als ‚high risk‘ einzustufen sind müssen zusätzlichen Risikoprüfungen und Prüfungen der Datenqualität unterzogen werden. Die Arbeitsweise dieser KIs muss nachvollziehbar und transparent sein.

Wie sollten Unternehmen ein robustes Risikomanagement aufsetzen, um Haftungs- und Compliance-Risiken bei KI-gestützten Mobilitätslösungen zu minimieren und wie kann Deloitte dabei unterstützen?

Ein effektives Risikomanagement im Bereich KI-gestützter Mobilität erfordert Transparenz, Daten- und Systemsicherheit sowie eine robuste Compliance-Strategie. Insbesondere der European AI Act schreibt für Hochrisiko-KI-Systeme besondere Anforderungen vor, wie Risk Assessments, Cyber Security Vorkehrungen eine menschliche Überwachung sowie die umfassende Dokumentation und das Schaffen von Transparenz zur Arbeitsweise der KI. Unternehmen müssen sicherstellen, dass ihre KI keine Diskriminierung durch beispielsweise unzureichende Trainingsdaten aufweist (Bias) und dass sie sensible Daten korrekt speichert und verarbeitet.

Deloitte unterstützt Unternehmen bei der Identifikation von Risiken, der Vorbereitung auf Zertifizierungsprozesse und der Entwicklung robuster Sicherheitsarchitekturen. Durch den Einsatz spezieller Testverfahren können Verzerrungen in KI-Trainingsdaten erkannt werden, etwa bei der Erkennung von Verkehrsteilnehmern oder Sprachbefehlen.

Besonders im Bereich Level-3-Autonomie bei Fahrzeugen ist es essenziell, dass die Möglichkeiten und Grenzen der Systeme transparent sind und klare Mechanismen zur Rückgabe der Steuerung an den Fahrer beinhalten.

Welche Rolle spielen Zertifizierungs- und Auditierungsprozesse bei der Einführung und Skalierung von KI-basierten Mobilitätsangeboten, insbesondere vor dem Hintergrund globaler Regulierungsinitiativen?

Neben den Anforderungen des AI Act und des Data Act sind auch sicherheitskritische Normen wie die ISO 26262 für funktionale Sicherheit oder UNECE R157 für autonomes Fahren zu berücksichtigen. Besonders komplex wird dies durch unterschiedliche regulatorische Anforderungen in verschiedenen Märkten, etwa in Europa, den USA und Asien. Unternehmen benötigen daher kompetente Teams, die sich mit diesen Regularien auskennen und kontinuierlich auf dem neuesten Stand halten.

Deloitte bietet Unterstützung sowohl bei der initialen Zertifizierung als auch bei periodischen Re-Zertifizierungsprozessen, die alle drei Jahre durchgeführt werden müssen. Eine frühzeitige und systematische Vorbereitung auf diese Prozesse reduziert Risiken und spart langfristig Kosten.

Inwiefern beeinflussen Datenqualität, Datenschutz und IT-Sicherheit die Effektivität von KI-Assurance-Konzepten und wie lassen sich hohe Standards in einem schnelllebigen Mobilitätsumfeld gewährleisten?
Die Qualität der Daten hat direkten Einfluss auf die Effektivität von KI-Assurance-Konzepten. Insbesondere die Sicherheit von Trainings- und Nutzungsdaten ist kritisch, um Datenschutzverstöße und ungewollte Verzerrungen zu vermeiden.

Deloitte hilft Unternehmen, Datenvalidierungsprozesse zu etablieren und Sicherheitsmechanismen wie Verschlüsselung und Zugriffskontrollen zu implementieren.

Gerade im Bereich autonomer Mobilität spielt die IT-Sicherheit eine herausragende Rolle. Neben funktionaler Sicherheit müssen auch Schutzmechanismen gegen Manipulationen entwickelt werden. Hierzu zählen der Schutz vor Manipulation, die Robustheit der Systeme gegen äußere Einflussnahme, die sichere Speicherung und Verarbeitung von Daten sowie die Überwachung der Einhaltung regulatorischer Vorgaben.

Welche strategischen Weichen müssen Entscheider jetzt stellen, um schnellstmöglich von KI-gestützten Mobilitätslösungen zu profitieren – und wie kann ein „Best Practice“-Ansatz für KI-Assurance dabei aussehen?

Um von KI-gestützten Mobilitätslösungen optimal zu profitieren, müssen Entscheider jetzt strategische Weichen stellen. Dazu gehört eine enge Verzahnung von KI-Entwicklung, Risikomanagement und regulatorischer Compliance.

Zudem ist ein intelligentes Testvorgehen essenziell, da klassische Testmethoden für komplexe KI-Systeme nicht mehr ausreichen.

Ein "Best Practice"-Ansatz für KI-Assurance umfasst permanente Überwachung, die Implementierung standardisierter Monitoring-Prozesse und eine ganzheitliche Betrachtung der Sicherheitsarchitektur. Auch die internationale Harmonisierung von Homologationsprozessen spielt eine Rolle, da unterschiedliche regulatorische Anforderungen in den jeweiligen Märkten zu berücksichtigen sind.

Deloitte unterstützt Unternehmen dabei, Compliance-Anforderungen zu erfüllen, indem es präventive Maßnahmen implementiert, Teststrategien optimiert und die Zertifizierungsprozesse begleitet.

Welche konkreten Testverfahren hat Deloitte entwickelt, um den Anforderungen der Compliance im Bereich des KI-Einsatzes beim autonomen Fahren gerecht zu werden?

Deloitte hat eine toolgestützte Methode zur vorbereitenden Überprüfung von KIs entwickelt, das wir Trustworthy AI nennen.

Wie unterstützt Deloitte seine Automotive-Kunden bei der rechtzeitigen Vorbereitung auf die Herausforderungen einer weltweiten Homologation im Kontext autonomer Fahrzeuge?

Wir unterstützen unsere Kunden von der Information über (neue) regulatorische Anforderungen and die Homologation bis zur Ableitung von Maßnahmen, über die Durchführung von Risk Assessments und der Dokumentation risikomindernder Maßnahmen bis hin zur aktiven Unterstützung bei der Vorbereitung und Durchführung von Audits.

Wir können im Rahmen unseres Ansatzes zur digitalen Homologation das Software- und Update-Management über den gesamten Software-Lifecycle für unsere Kunden übernehmen.

Herr Herzig, formulieren Sie bitte abschließend eine Frage, die Sie in diesem thematischen Zusammenhang immer schon gefragt werden wollten. Und beantworten Sie diese Frage auch gleich.

Sind heute Testverfahren für das Testen von KIs in sicherheitskritischen Situationen ausreichend?

Da KIs in ähnlichen Fällen immer wieder unterschiedlich entscheiden – weil sie eben nicht deterministisch sind – sind konventionelle Testverfahren (zum Beispiel Dauerlauftest) nicht ausreichend. Virtuelle Verfahren mit risikobasiert selektierten Szenarien die virtuell in vielen Varianten durchlaufen werden können, sind erforderlich, um eine ausreichende Grundgesamtheit für einen Rückschluss auf die Qualität und Zuverlässigkeit zu erlauben. Diese große Anzahl von Szenarien kann physisch nicht dargestellt werden – komplexe Simulationen (in denen auch Sensoren simuliert werden) sind erforderlich.

Vielen Dank für das Gespräch