Digitale Qualität messen: Anwendbarkeit eines neuen Frameworks

In meiner Bachelor-Thesis habe ich ein neues Framework zur Messung digitaler Qualität von Softwareanwendungen auf seine Praxistauglichkeit geprüft. In diesem Artikel werden Bestandteile des Frameworks unter die Lupe genommen und ihre Eignung bewertet. Zudem wird ein auf das neue Framework abgestimmtes Messinstrument zur Messung digitaler Qualität vorgestellt.

Digitale Qualität messen

Software-Entwickler und Verantwortliche für Software-Projekte kennen vermutlich die zahlreichen Modelle für die Bewertung der digitalen Qualität. In der Theorie versprechen diese Ansätze praxisnahe Lösungen für die Messung und Bewertung der Qualität von Software. Bekannte Beispiele sind die ISO-Standards 9126 und 25010 oder ältere Konzepte wie die Modelle von McCall, et al. und Boehm, et al. aus den 1970er Jahren. In der Praxis können sie ihren versprochenen Nutzen jedoch oftmals nicht halten. Versucht man die Qualität eines Software-Produkts mit den genannten Modellen zu untersuchen, stellt man schnell fest, dass eine ganzheitliche Bewertung der Qualität mit diesen Modellen nicht möglich ist. Die Verknüpfung von Messkonzepten (wenn diese überhaupt vorhanden sind) mit Qualitätszielen sowie der hohe Abstraktionsgrad der verwendeten Begriffe (wenn diese überhaupt definiert sind) sind nur zwei Beispiele der vielen Probleme der bekannten Qualitätsmodelle.

Meine Bachelor-Thesis beschäftigt sich mit der Anwendung eines neu erstellten Frameworks, das zur Messung von digitaler Qualität dient. Dazu werden Kennzahlen passend zum Framework definiert und geeignete Messinstrumente dargestellt.  Der Schwerpunkt der Qualitätsmessung liegt auf der Qualität der Benutzeroberfläche. Nachdem eine Evaluation und Anwendung anhand von etablierten Messinstrumenten an der Webapplikation INCA (inovex-intern) stattgefunden hat, wird ein allgemeiner Fragebogen entwickelt, der vier relevante Kennzahlen zusammenfasst und analysiert. Es können Anwendungen aller Art mit dem Fragebogen bewertet werden. Dabei werden weniger etablierte Konzepte wie die Qualitätsbewertung der User Experience besonders in den Fokus gestellt.

Die Basis des Frameworks führt auf die Beschäftigung mit etablierten Software-Qualitätsmodellen und die Kritik ebendieser zurück. Die Analyse der Modelle und das neu entwickelte Framework werden in einem separaten Blogartikel behandelt.

Hintergrund und Grundlagen

Der oben genannte Link führt zu der Master-Thesis von Max Küchler, die die Grundlage dieser Bachel-Thesis darstellt. Dabei ging es um die Operationalisierung des Begriffs „digitale Qualität“ und die Entwicklung von Messansätzen. Daraus entstand ein theoretisches Framework, mit dem die digitale Qualität quantifizierbar und messbar gemacht werden sollte. Durch die Spezialisierung des Frameworks auf mobile Applikationen und Websites war eine geeignete Testanwendung nötig. Folglich wurde mit der inovex-internen Web-Applikation INCA ein geeignetes Praxisbeispiel gefunden. Um das Framework in der Praxis umzusetzen, mussten zuvor Kennzahlen und Messgrößen definiert, Messinstrumente gefunden und Anwendungsgebiete eingegrenzt werden.

INCA

INCA (INovex foreCAst tool) wird als Intranet-Applikation von den einzelnen Abteilungen bzw. Geschäftszweigen genutzt, um die Planung von Opportunities und Projekten zu erleichtern. Opportunities sind Chancen, die intern als Projekt aufgefasst und den jeweiligen Mitarbeitern zugewiesen werden. Zudem dient es als eine Mitarbeiterdatenbank, in der Mitarbeiter mit Status (Student, Operativ, Management), Urlaubszeiten und Abwesenheit, Skills und Kontaktmöglichkeiten eingepflegt sind. Nachfolgend sind stichpunktartig einige Alleinstellungsmerkmale von INCA aufgezählt:

• Synchronisierung mit dem zentralen Mitarbeiterverzeichnis (IDM)
• Anbindung an das zentrale Zeiterfassungsprogramm inkl. Abgleich von laufenden Projekten und der Zuordnung von Mitarbeitern zu Projekten
• Berücksichtigung von Fehlzeiten (Urlaub, Krankheit, Weiterbildung etc.) bei der Einsatzplanung
• Skill-DB pro Mitarbeiter inkl. Bedarfsmatch bei neuen Opportunities

Qualitätseigenschaften zur Evaluierung und Kennzahlenfindung

Zu Beginn werden die Basisqualitätseigenschaften des Frameworks betrachtet. Diese Qualitätseigenschaften sind in Anlehnung an das hierarchische Modell der ISO NORM 25010 entstanden. Dabei gelang es, dieses Modell durch eine neue Perspektive und neue Qualitätseigenschaften zu verfeinern. Dadurch wurde das Modell flexibel und anpassbar (siehe Abbildung 1).

Die Software-Qualität teilt sich in drei Perspektiven: die Produktqualität, die Nutzungsqualität und die neue Perspektive „User Experience“. Diese gliedern sich daraufhin in verschiedene Qualitätseigenschaften und -subeigenschaften.  Zudem ist auch die Usability als Qualitätseigenschaft ein neues und wichtiges Merkmal zur Bewertung der Benutzeroberfläche.

Abbildung 1: Basisqualitätseigenschaften des Frameworks

Diese Eigenschaften müssen, um quantifizierbar und messbar zu sein, mit verschiedenen Messinstrumenten verknüpft werden. Um dies in der Praxis realisieren zu können, müssen vorweg Kennzahlen für die Eigenschaften gefunden  und operationalisiert werden, die die Messung erst möglich machen. Danach müssen geeignete Messinstrumente zugeordnet werden. Dieser Prozess muss nur einmal für das Framework durchlaufen werden und kann danach standardisiert werden oder einzelne Kennzahlen und Messinstrumente können ergänzt oder ausgetauscht werden. In der folgenden Abbildung sieht man die drei Perspektiven des theoretischen Modells und die dazugehörigen Qualitätseigenschaften. Jeder Qualitätseigenschaft wurden Kennzahlen zugeordnet. Einige Messinstrumente sind bereits für die Evaluation ausgewählt, weitere Messinstrumente müssen bei weiteren Analysen gewählt werden. Das besondere an der Vorgehensweise ist, dass die Flexibilität des Frameworks auf die Probe gestellt wird.

Abbildung 2: Kennzahlen und Messinstrumente

Eingrenzung & Flexibilität des Frameworks

Im Rahmen meiner Bachelor-Thesis wurde das Framework eingegrenzt um die Flexibilität zu testen. Deswegen sind lediglich die Qualitätseigenschaften, die die Benutzeroberfläche betreffen, evaluiert worden. Anhand von Abbildung 2 lässt sich die Eingrenzung deutlich erkennen. Qualitätseigenschaften mit grünem Schatten wurden in die Evaluation einbezogen, die Eigenschaften mit rotem Schatten wurden vernachlässigt und die Qualitätseigenschaft mit dem blauen Schatten wurde zusätzlich ergänzt. Das bedeutet, dass das Framework an die eigenen Kriterien gut anpassbar ist. Auch die Gewichtung kann flexibel ausgewählt werden, z.B. wurde im INCA-Beispiel die Gewichtung bezüglich der Software User Experience besonders herausgestellt. In den grünen Kästchen sind Beispiele für geeignete Messinstrumente, die auch im Fallbeispiel INCA angewandt wurden.

Anwendung am Beispiel INCA & Ergebnisse

Die Anwendung am Fallbeispiel begrenzte sich auf die funktionelle Eignung, Handhabung, Usability und UX. Die Effizienz und Effektivität wurden in einigen Verfahren mitgemessen und ebenfalls evaluiert. Die Messinstrumente sind zum Teil leicht zugänglich und machen eine Evaluation gut möglich. Dafür wurden die in Abbildung 2 zu sehenden Messinstrumente alle verwendet und auf ihre Eignung geprüft. Die Evaluation hat ergeben, dass die Web-Applikation INCA den Erwartungen gerecht wird. Es konnte beobachtet werden, dass die funktionelle Eignung eine hohe Reife aufweist und die Handhabbarkeit gut umgesetzt wurde, sodass das Erlernen und der Umgang mit der Web-Applikation leicht fällt. Die Usability wurde anhand des Fragebogens ISONORM 9241/110-S bewertet und erzielte ebenfalls ansehnliche Ergebnisse. Die UX wurde mit mehreren Messinstrumenten evaluiert, um einen Vergleich darzustellen. Alle Messergebnisse lieferten aussagekräftige und vor allem positive Ergebnisse. In der folgenden Abbildung wird beispielsweise eine Auswertung aus dem UEQ (User Experience Questionnaire) gezeigt.

Abbildung 3: Auswertung des UEQ-Fragebogens

Deutlich zu sehen ist, dass die für die Anwendung wichtigsten Eigenschaften im grünen Bereich sind. Die Effizienz, Steuerbarkeit und Durchschaubarkeit sind in einer internen Datenbank- und Support-Anwendung besonders wichtig. Auch die restlichen Eigenschaften befinden sich deutlich im positiven Bereich und stellen kein Risiko dar.

Kritische Würdigung

Das Framework bietet eine gute Grundlage und Hilfestellung zur Bewertung der digitalen Qualität von Web-Applikationen. Die verschiedenen Messinstrumente bilden eine gute Basis für das Framework. Durch eine anschauliche Grafik kann die funktionelle Eignung anhand der Funktionalitätsgleichung dargestellt werden. Das Verfahren eignet sich besonders gut für Gegenüberstellungen der versprochenen und erhaltenen Funktionen. Zur Bewertung der Handhabung ist der System Usabilty Scale Fragebogen von Brooke besonders gut geeignet und durch eine einfache Gleichung erhält man schnell einen Score, mit dem eine Aussage bezüglich der Handhabbarkeit getroffen werden kann. Zusätzlich wäre es vorstellbar, die Handhabung dauerhaft ins Framework zu implementieren. Die Bewertungen der Usability können mit der ISONORM 9241/110-S oder der Isometrics durchgeführt werden. Beide Messinstrumente basieren auf der Norm DIN EN ISO 9241-110, jedoch ist die Durchführung der Isometrics zu lang und aufwändig, sodass sie keine Verwendung im Framework findet. Um eine Bewertung zur UX zu erhalten kann man AttrakDiff2, UEQ, SUMI und WAMMI verwenden. Alle Messinstrumente liefern gute Ergebnisse und aussagekräftige Grafiken. Allerdings wurden vorerst nur AttrakDiff2 und UEQ angewendet, um die Ergebnisse überschaubar zu halten.

Der Fragebogen „innoQue“

Aus der Bewertung der Webapplikation anhand des Frameworks und der Analyse der Messinstrumente entstand der Bedarf eines ganzheitlichen Messinstrumentes, das die Evaluation vereinfacht und schneller gestaltet.

Der Fragebogen ist für Anwendungen aller Art geeignet, vor allem für Web- und Mobilanwendungen. Der Schwerpunkt des Messinstrumentes liegt auf der funktionellen Eignung, Handhabung, Usability und UX, wobei die UX am stärksten gewichtet wird. Der Fragebogen enthält Fragen und Aussagen aus verschiedenen etablierten Ansätzen, wie z.B. von der System Usability Scale, AttrakDiff2, Funktionalitätsmessung nach Gilb, SUMI, WAMMI und UEQ. Das hat den Vorteil, dass man Kernfragen und -aussagen der etablierten Ansätze ohne Überschneidung verwenden kann.

innoQue bietet außerdem den Vorteil, dass verschiedene Qualitätseigenschaften mit einem Messinstrument evaluiert werden können. Dadurch ist es nicht mehr notwendig, gewisse Messansätze der Qualitätseigenschaften aus Zeitgründen zu streichen.

Hier kann der Fragebogen angesehen und durchgeklickt werden: http://innoque.questionpro.eu/

innoQue wurde für die Bewertung der Web-Applikation INCA verwendet und lieferte ähnliche Ergebnisse wie auch die Bewertung mit etablierten Messkonzepten. An der Umfrage nahmen ausschließlich inovex-Mitarbeiter aus verschiedenen Abteilungen teil.

Fazit & Ausblick

Meine Bachelor-Thesis behandelt die Anwendung und Evaluierung des neuen Frameworks. Dabei wurden Problemquellen behandelt, Kennzahlen definiert und Messinstrumente für die Evaluierung gewählt. Folglich entstand ein ganzheitliches Messinstrument optimiert für das Framework.

Das Messinstrument ist trotz Anwendung an der Web-Applikation noch nicht ausgereift. Eine Automatisierung der Auswertungsmöglichkeiten mit vordefinierten Diagrammen und einer individuell auswählbaren Gewichtung steht noch aus. Des Weiteren müssen die restlichen Qualitätseigenschaften, die sich vor allem auf den technischen Hintergrund einer Anwendung beziehen, evaluiert werden, um die vollständige Praxistauglichkeit gewährleisten zu können.

Der Fragebogen jedoch ist dazu geeignet, ein fester Bestandteil des Frameworks zu werden. Daraus entstehende Bewertungsergebnisse können beispielsweise ein Verkaufsargument für die Software darstellen und somit auch für Marketing und Recruiting interessant sein.