Grad der Standard-Konformität mit Werkzeug-Unterstützung bewerten

Wie konform zu einem Standard ist mein Produkt? Die Antwort fällt leicht, wenn die Entwickler alle geplanten Maßnahmen vollständig durchführen konnten. Leider ist das selten der Fall. Deshalb gilt es zu bewerten, ob vielleicht mehrere unwichtigere Maßnahmen, die vollständig durchgeführt sind, eine wichtige Maßnahme, die kaum erfüllt ist, ausgleichen können.

Es wäre gar nicht sinnvoll, ein Zertifikat nur dann zu erteilen, wenn alle Maßnahmen zu 100 % erfüllt sind: Sogar die Nicht-Erteilung eines Zertifikats hat manchmal negative Konsequenzen, wenn Anwender auf Produkte ausweichen, die wesentlich weniger leisten, aber keine Zertifizierung benötigen. Bei der Bewertung gibt es also nicht nur schwarz und weiß, sondern viele Graustufen.

Objektiv und nachvollziehbar

Bisher führen Menschen diese Bewertung von Hand durch. Dazu brauchen sie einen erheblichen Sachverstand kombiniert mit großer Erfahrung und viel Zeit. Selbst wenn sie die Einschätzung mit größtmöglicher Objektivität vornehmen, werden sich die Ergebnisse verschiedener Bewerter immer unterscheiden. Seine Erfahrungen und sein Vorwissen kann der Bewertende nicht einfach ausblenden.

Mit Qualicat steht ein Werkzeug zur Verfügung, um das Maß der Konformität zu einem Standard (oder einem Teil davon) zu bewerten: Der Anwender erfasst den Erfüllungsgrad der einzelnen Maßnahmen und das Werkzeug errechnet daraus die Gesamtbewertung. Den Erfüllungsgrad einer einzelnen Maßnahme kann der Anwender meist relativ leicht und zutreffend ermitteln. Die schwierigere Aufgabe, daraus die Gesamtbewertung zu bestimmen, übernimmt das Werkzeug. Insgesamt ergibt sich eine nachvollziehbarere, objektivere Bewertung als bisher.

Von Riskcat zu Qualicat

Bild 1: Die in Riskcat zusammengestellten Maßnahmen bewertet der Anwender in Qualicat einzeln. Qualicat errechnet daraus eine Gesamtbewertung.Hitex

Vor der Arbeit mit Qualicat muss der Anwender die Maßnahmen zusammenstellen, die bei der Entwicklung erfüllt werden sollen (Bild 1). Dazu dient das Werkzeug Riskcat: Mit ihm selektiert der Anwender komfortabel Maßnahmen eines Standards, beispielsweise IEC 61508. Im Extremfall sind dies alle Maßnahmen eines Standards, üblicherweise genügt aber die Untermenge, die sich ein Team tatsächlich vorgenommen hat. Mit Riskcat kann man beispielsweise alle Maßnahmen aus dem Teil 6 (SW-Entwicklung) der ISO 26262 selektieren, die mit Unit-Test zu tun haben und die auf ASIL-C „highly recommended“ sind. Neben Standards können geplante Maßnahmen auch aus der Firmenkultur resultieren.

Die Menge der selektierten Maßnahmen exportiert Riskcat in eine Datei, die Qualicat wiederum importiert. Mit den Maßnahmen wird auch ihre Wichtigkeit transferiert. Diese Wichtigkeit kann von der Kritikalität des Endprodukts abhängen. Sie wird üblicherweise in den Standards durch drei bis fünf Stufen angegeben, etwa durch den Safety Integrity Level (SIL) in IEC 61508 oder die Automotive Safety Integrity Level (ASIL) in ISO 26262. Beispielsweise ist in IEC 61508 die Maßnahme „Computer-aided design tools“ (IEC 61508, Teil 3, Tabelle A.4.2) auf SIL 1 (niedrigere Sicherheitsanforderung) nur „recommended“, jedoch auf SIL 3 (höhere Sicherheitsanforderung) „highly recommended“. Die vollständige Erfüllung der Maßnahme „Computer-aided design tools“ trägt bei der Zertifizierung eines Produkts nach SIL 1 also weniger zur Gesamtbewertung bei als bei der Zertifizierung nach SIL 3.

Baumstruktur der Maßnahmen

Die Maßnahmen, die erfüllt werden sollen oder müssen, kann man sich intern in Qualicat als Baum vorstellen, der nach unten wächst. Die Wurzel liegt oben und repräsentiert die Gesamtheit der zu bewertenden Maßnahmen. Die einzelnen Maßnahmen bilden die Blätter des Baums. Dazwischen liegen üblicherweise mehrere Ebenen von Knoten, die man mit den Kapiteln oder Teilen eines Standards assoziieren kann. Die Wichtigkeit einer Maßnahme ergibt sich aus der Bewertung der Kante zu dieser Maßnahme.

Bild 2: Die Baumstruktur in Qualicat gruppiert und gewichtet die einzelnen Maßnahmen.Hitex

Bild 2 zeigt die interne Baumstruktur an einem Beispiel aus ISO 26262. Die Knotenebene unterhalb der Wurzel wird von den Teilen der ISO 26262 gebildet; die Knotenebene darunter bilden die Kapitel des jeweiligen Teils. Aus der Kapitel-Ebene ist im Bild 2 nur der Knoten „Design & Coding Guidelines“ gezeigt, zu dem die drei Maßnahmen Defensive Implementation, Style Guides und Naming Conventions gehören. Diese Maßnahmen bilden Blätter des Baums und können vom Anwender in Qualicat bewertet werden. Die Buchstaben an den Kanten zu den Blättern geben die Dringlichkeit der Maßnahme für ASIL A an und bedeuten:

• P = Possible: Keine Empfehlung für oder gegen diese Maßnahme.
• R = Recommended: Empfohlene Maßnahme
• HR = Highly Recommended: Dringend empfohlene Maßnahme

Nach dem Import berechnet Qualicat aus der Kritikalität der Anwendung und der Dringlichkeit der Maßnahmen, wie wichtig die Teile, Kapitel und Maßnahmen sind. Diese Wichtigkeiten bilden Zielwerte für die Qualität beziehungsweise Sicherheit und dienen im Weiteren für den Vergleich mit der erreichten Qualität/Sicherheit.

Bewertung

Anschließend geht es ans Bewerten der Maßnahmen. Qualicat erlaubt zu jeder Maßnahme (den Blättern des Baums), eine der folgenden Bewertungen zuzuordnen (Bild 3): Not Fulfilled (nicht erfüllt, numerischer Wert 0), Major Deficiencies (kaum erfüllt, numerischer Wert 0,3), Satisfactorily Fulfilled (zufriedenstellend erfüllt, numerischer Wert 0,7) und Completely Fulfilled (vollständig erfüllt, numerischer Wert 1).

Darüber hinaus gibt es noch den initialen Zustand „nicht bewertet“. Da der Anwender jeweils eine einzelne Maßnahme isoliert bewertet, ist die Bewertung nicht allzu schwer („teile und herrsche“). Qualicat zwingt den Anwender übrigens zu einer Tendenz: halb erfüllt, also unentschieden, ist in der Bewertungsskala nicht vorgesehen.

Bild 3: Der Anwender bewertet den Erfüllungsgrad einzelner Maßnahmen in Qualicat isoliert voneinander. Beispiel hier: Teil der ISO 26262.Hitex

Zu jeder Maßnahme kann der Bewertende eine Notiz hinterlegen (Bild 3: „by clicking here, you can edit a note“) und damit beispielsweise eine Begründung für die getroffene Bewertung dokumentieren, auf die betreffenden Arbeitsprodukte verweisen oder ähnliche relevante Information ablegen. Somit bleibt die Bewertung nachvollziehbar.

Qualicat berechnet fortlaufend von unten nach oben die Bewertung der Knoten der Zwischenebenen im Baum bis hinauf zur Wurzel, die der Gesamtbewertung aller Maßnahmen entspricht. Falls die Gesamtbewertung die Konformität eines Produkts zu einem Standard darstellt, ergibt sich das Gesamtergebnis durch den Vergleich der errechneten Bewertung mit einem vorgegebenen Zielwert. Der Zielwert hängt von der Kritikalität des Produkts ab, also von der zu erreichenden Sicherheitsstufe (SIL). Die Zielwerte liegen zwischen 0 und 1; bei IEC 61508 beispielsweise verlangt Qualicat für SIL 2 den Zielwert 0,7.

Das Werkzeug zeigt errechnete Bewertungen und zugehörige Zielwerte an (Bild 3). Beispielsweise gilt für die Maßnahme „Use of naming conventions“ der Zielwert 0,42; die erreichte Bewertung liegt wegen „major deficiencies“ bei 0,3. Trotzdem ist die errechnete Gesamtbewertung für alle drei Maßnahmen mit dem Wert 0,81 besser als der vorgegebene Zielwert von 0,6. Dies liegt an den guten Bewertungen der anderen beiden Maßnahmen.

Kein Teufelskreis

Bild 4: Das farbige Kreisdiagramm schlüsselt die Bewertung eines Projekts (hier: nach ISO 26262) in Maßnahmengruppen und einzelne Maßnahmen auf.Hitex

Die Bewertung der Maßnahmen und Maßnahmenmengen präsentiert Qualicat zusätzlich farblich in einem Kreisdiagramm (Bild 4). Im äußersten Ring sind die Maßnahmen und ihre Bewertung aufgeführt, die inneren Ringe stehen für gebündelte Maßnahmen (also die Knoten der Zwischenebenen des Baums), der Kreis in der Mitte symbolisiert die Gesamtbewertung. Die verwendeten Farbschattierungen reichen von rot (= nicht erfüllt, Bewertung kleiner als Zielwert) über orange und gelb (= Bewertung entspricht Zielwert) nach grün (= erfüllt, Bewertung größer als Zielwert). Grau bedeutet (noch) nicht bewertet. Die Farbsymbolik zeigt auf einen Blick den Zustand des Gesamtprojekts und hebt Problemstellen hervor.

Beispiel

Das Beispiel in Bild 5 zeigt, wie sich Änderungen an den drei Maßnahmen aus Bild 2 auswirken: Gleiche Erfüllungsrade bei unterschiedlichen Maßnahmen haben unterschiedliche Auswirkungen auf die Gesamtbewertung. Wie in Bild 2 bezieht sich das Beispiel auf ISO 26262, ASIL A. Qualicat setzt den Zielwert der Gesamtbewertung auf 0,6.

Bild 5: Gleicher Erfüllungsgrad führt zu unterschiedlichen Gesamtbewertungen für drei Maßnahmen aus ISO 26262 bei ASIL A.Hitex

Zunächst sind alle Maßnahmen mit „kaum erfüllt“ (Major Deficiencies) bewertet, woraus Qualicat die Gesamtbewertung 0,6 errechnet (oberer linker Teil von Bild 3). Die rechte Spalte in Bild 5 zeigt die graphische Bewertung: Der äußere Ring des Kreises ist in drei Segmente unterteilt, welche den drei Maßnahmen entsprechen (links oben Defensive Implementation in grün; rechts oben Naming Conventions in orange; unten Style Guides in gelb). Obwohl alle drei Maßnahmen gleich schlecht erfüllt sind, sind sie farblich unterschiedlich dargestellt. Diese unterschiedliche Bewertung resultiert aus der unterschiedlichen Verbindlichkeit (Possible, Recommended, Highly Recommended) der drei Maßnahmen auf ASIL A. Die inneren Ringe des Kreisdiagramms sind nicht segmentiert, da im Beispiel nur die Maßnahmen des Knotens „Design & Coding Guidelines“ betrachtet werden. Die Farbe der inneren Ringe und des Kreises in der Mitte ist gelb, da die errechnete Gesamtbewertung mit dem Zielwert 0,6 übereinstimmt.

Die mittlere Zeile von Bild 5 zeigt die Situation, in der die Bewertung von Defensive Implementation von „kaum erfüllt“ auf „zufriedenstellend erfüllt“ geändert ist. Dies sorgt zwar für eine Farbänderung der Maßnahme selbst von hellgrün auf dunkelgrün, bewirkt aber keine Änderung der Gesamtbewertung! Ein Unterschied ergibt sich allerdings, wenn man stattdessen die Bewertung der Maßnahme Style Guides von „kaum erfüllt“ auf „zufriedenstellend erfüllt“ ändert (untere Zeile von Bild 5). Dadurch erhält zunächst die Maßnahme selbst eine höhere Bewertung (0,7) als der betreffende Zielwert (0,3) und wird deshalb grün dargestellt. Weiterhin berechnet Qualicat die Gesamtbewertung 0,81, also besser als der (Gesamt-) Zielwert von 0,6. Alle inneren Ringe und der innere Kreis im Diagramm sind daher ebenfalls grün.

Clever auswählen

Das Beispiel zeigt, dass für das Gesamtergebnis die Maßnahme Style Guides wichtiger ist als die Maßnahme Defensive Implementation. Das ist nicht ohne Weiteres vorauszusehen, selbst bei diesem überaus simplen Beispiel. Man könnte zudem den Erfüllungsgrad der dritten Maßnahme „naming conventions“ sowie den ASIL variieren. Bei modifiziertem ASIL würden sich auch der Gesamtzielwert sowie die Zielwerte der einzelnen Maßnahmen ändern, weil sich die Verbindlichkeit der Maßnahmen je nach ASIL unterscheiden.

Realistische Anwendungen umfassen mehrere hundert Maßnahmen; ohne Werkzeughilfe wäre es kaum möglich, die Auswirkung der Änderung des Erfüllungsgrades einer einzelnen Maßnahme auszurechnen.

Im Algorithmus, der die Bewertung von unten nach oben berechnet, liegt der Kernnutzen von Qualicat. Die Grundlage dazu entstand im Forschungs- und Entwicklungsprojekt Venus. Die Forscher hatten einen Prototyp erstellt, gegen den Qualicat im Back-to-Back-Test qualifiziert wurde. Die Ergebnisse von Qualicat wurden auch mit den Bewertungen von (menschlichen) Prüfern für reale Projekte verglichen und Algorithmus sowie die genutzen Koeffizienten angepasst.

Man kann davon ausgehen, dass die von Qualicat ermittelten Bewertungen ziemlich nahe bei den Bewertungen liegen, die erfahrene menschliche Prüfer bei der Zertifizierung von sicherheitskritischen Produkten ermitteln, wenngleich es diese nie zu 100 % treffen kann.

Fazit

Qualicat ermöglicht es, die Konformität zu verschiedenen Standards systematisch und nachvollziehbar zu beziffern. Hierbei bewertet und bündelt das Tool je nach Projekt hunderte von Maßnahmen, die mehr oder weniger vollständig erfüllt sind. Qualicat eignet sich nicht nur am Ende eines Projekts zu einer Eigenbewertung (Self-Assessment) vor der offiziellen Zertifizierung, sondern auch für projektbegleitende Eigenbewertungen. Dadurch lassen sich der Projektfortschritt verfolgen und das Projekt besser steuern: Das Tool hilft, herauszufinden wie man seine Ressourcen sinnvoll einsetzt und Maßnahmen mit einem guten Kosten-Nutzen-Verhältnis findet. Weiterhin kann Qualicat auch zum Qualitätsvergleich zwischen verschiedenen eigenen Projekten oder Produkten dienen.

(lei)