Beim Testen den Überblick behalten

dSPACE

In der Fahrzeugentwicklung spielt das Testen in nahezu allen Phasen des Entwicklungsprozesses eine zentrale Rolle. Beim konsequenten Einsatz von HIL-Systemen (Hardware-in-the-Loop) werden in der Regel viele Einzelsteuergeräteprojekte durchgeführt und mehrere Baureihensimulatoren gleichzeitig betrieben. Für die Qualitätssicherung ist eine immense Menge an Tests notwendig, deren Anzahl ohne weiteres im Bereich von 100.000 und mehr liegen kann. Im Rahmen der modellbasierten Softwareentwicklung erfolgen weitere Tests, zum Beispiel MIL (Model-in-the-Loop), SIL (Software-in-the-Loop) und PIL (Processor-in-the-Loop). Hinzu kommen manuelle Tests im realen Fahrzeug, wobei auch nicht mehr einzelne Personen testen, sondern ganze Bereiche, die abteilungsübergreifend am Test beteiligt sind.

Die Projektverantwortlichen stehen heute vor der Herausforderung, sämtliche Tests, Testdaten und Testergebnisse nachhaltig und teamübergreifend zu verwalten. Dies umfasst die systematische Planung, Durchführung sowie Auswertung von Tests über die Vielzahl von Testplattformen, -stufen und Varianten hinweg. Sämtliche relevanten Testdaten müssen zum einen nachhaltbar und reproduzierbar, zum anderen zentral für alle Projektbeteiligten zugängig verwaltet werden. Von entscheidender Bedeutung ist hier die Nachverfolgbarkeit (Traceability) der Anforderungen zu den Tests.

Hierbei zeigt sich ein wachsender Bedarf an gezielter Werkzeugunterstützung. dSPACE hat seine langjährige Erfahrung in der modellbasierten Softwareentwicklung, der HIL-Simulation und der Testautomatisierung gebündelt und bietet eine Lösung für das Testmanagement mit Variantenunterstützung an, die im Folgenden beschrieben wird.

Das Vorgehen beim Testen

Ein typischer Workflow beim Testen besteht grob aus den Schritten Testspezifikation, Testplanung, Ausführung und Auswertung (Bild 1).

Bild 1: Das SYNECT Test Management unterstützt MIL/SIL/PIL- bis HIL-Tests sowie weitere anwenderspezifische Tests.dSPACE

Vorgelagert zu diesem Workflow werden in der Anforderungsspezifikation Anforderungen an das zu entwickelnde System formuliert. Im Schritt Testspezifikation werden aus diesen Anforderungen die Testbeschreibungen abgeleitet, die die Systemeigenschaften prüfen. In der Testimplementierung erfolgt die Umsetzung der Testbeschreibungen in automatisiert ausführbare Tests. Die Phase „Testplanung und -ausführung“ dient in der Regel der Organisation und Planung der Testdurchführung in Form von Testsuiten, die eine logische Gruppierung von Tests darstellen. Anschließend werden die Testsuiten zur Ausführung gebracht; dabei werden die einzelnen Testimplementierungen abgearbeitet und die Ergebnisse gespeichert. Im abschließenden Schritt Testauswertung und Bericht werden die Ergebnisse analysiert und ein Testbericht erstellt.

SYNECT Test Management

Mit SYNECT Test Management stellt dSPACE eine umfassende Test-Management-Lösung für die modellbasierte Entwicklung und den HIL-Test bereit. Um Tests mit den zugrunde liegenden Anforderungen verknüpfen zu können, werden existierende Anforderungsmanagementwerkzeuge, die in den vergangenen Jahren weite Verbreitung gefunden haben, an das SYNECT Test Management angebunden. Dies geschieht aktuell durch ReqIF, das in der Object Management Group (OMG) standardisierte Austauschformat für Anforderungen. Zur Wiederverwendung bereits vorhandener Testumfänge unterstützt das Test-Management von dSPACE den Import von Testspezifikationen aus Excel. Falls bereits Testprojekte vorhanden sind, ist ein Import aus dem Testautomatisierungswerkzeug AutomationDesk möglich. Durch diesen Vorgang werden sogenannte Test Cases inklusive dazugehörender Attribute im SYNECT Test Management angelegt. Beispiele für solche Attribute sind die Priorität eines Tests, die Testplattform (zum Beispiel HIL-System), die Testperson oder das letzte Ausführungsdatum. Zur flexiblen Anpassung an kundenspezifische Bedarfe sind die Attribute erweiterbar.

Testimplementierungen liegen weiterhin in externen Testautomatisierungs-Werkzeugen vor und werden mit dem Test Case in SYNECT verlinkt. Dabei ermöglichen sogenannte Adapter, die das Testautomatisierungswerkzeug steuern können, die Ausführung der Tests. Mit der ersten Version des SYNECT Test Managements ist beispielsweise ein hochwertiger Adapter für AutomationDesk für den HIL-Test verfügbar. Für den MIL/SIL/PIL-Test ist BTC Embedded Tester erhältlich. Ebenfalls können jederzeit kundeneigene Testautomatisierungs-Werkzeuge oder Drittanbieter-Lösungen mit SYNECT Test Management gekoppelt werden.

Zur Testdurchführung werden die Test Cases zu sogenannten Execution Plans zusammengefasst. So kann ein Execution Plan sämtliche Tests einer bestimmten Variante oder einer bestimmten Steuergerätefunktion enthalten. Die Durchführung der Testsuite liefert Ergebnisse zu den Tests wie beispielsweise Passed/Failed, Ausführungsdatum und -zeit, Testreports oder ausführender Tester. Auf dieser Basis kann nun eine übergeordnete Analyse und Auswertung sämtlicher ermittelten Testergebnisse stattfinden.

Ergebnisse evaluieren

Ein Schwerpunkt des SYNECT Test Management ist die grafische Auswertung von Testergebnissen über eine Vielzahl von Test Cases, Testläufen und Testplattformen hinweg.

Bild 2: Evaluierung des zeitlichen Verlaufs der Passed-/Failed-Ergebnisse.dSPACE

Dies ermöglicht dem Anwender nicht nur, den Überblick zu behalten; er kann vielmehr auch sämtliche Testaktivitäten systematisch überwachen und steuern. Dazu werden beispielsweise interaktiv verschiedene Attribute ausgewählt und grafisch dargestellt. Dies kann zum Beispiel zur Erstellung einer sogenannten Error-Burndown-Kurve dienen, welche die Fehlerabbaurate über mehrere Kalenderwochen hinweg zeigt (Bild 2), aber beispielsweise auch im HIL-Kontext die Auslastung der Testsysteme. Des Weiteren kann geprüft werden, ob alle Anforderungen bereits positiv getestet und damit das zu entwickelnde System vollständig geprüft wurde. Folglich hat der Anwender jederzeit die Testüberdeckung, die Systemauslastung und den Reifegrad des zu entwickelnden Systems im Blick.

SYNECT

Das SYNECT Test Management wird als Modul im Rahmen des Produkts dSPACE SYNECT veröffentlicht. dSPACE SYNECT ist eine Datenmanagement- und Collaboration-Lösung, die speziell für die modellbasierte Entwicklung und den Steuergeräte-Test konzipiert wurde. Die Architektur auf Client/Server-Basis mit Datenbankanbindung erlaubt eine hohe Skalierbarkeit vom Einsatz in kleinen, lokalen Gruppen bis hin zu global verteilten Teams. Ein zentrales Element in SYNECT ist das integrierte Variantenmanagement. Es ermöglicht, Varianten und gültige Variantenkonfigurationen zu definieren und zu verwalten. Sämtliche Daten lassen sich somit nicht nur in unterschiedlichen Versionen, sondern insbesondere auch in Bezug auf die unterschiedlichen Varianten verwalten. Beispielsweise können damit die auszuführenden Tests für eine bestimmte Variante ausgewählt und durchgeführt werden. Neben dem Testmanagement wird mit SYNECT unter anderem ein Modul für Signal- und Parameter-Management in Kürze verfügbar sein.

(av)