Menschenzentrierte Evaluation
Herzlich willkommen zum dritten Teil unserer Serie zum User-Centered Design (UCD)!
Falls ihr die ersten beiden Teile verpasst habt, könnt ihr sie hier nachlesen: Teil 1 und Teil 2.
Heute geht es um einen entscheidenden Aspekt im Entwicklungsprozess: Die menschenzentrierte Evaluation eines Produkts.
Jedes Produkt sollte getestet werden, bevor es veröffentlicht wird – aber wie?
Die richtige Evaluationsmethode zu wählen, kann den Unterschied zwischen einem guten und einem großartigen Produkt machen. In diesem Beitrag erfahrt ihr, wann ihr auf expertenorientierte Verfahren setzen solltet und wann nutzerorientierte Methoden die bessere Wahl sind.
Warum ist eine menschenzentrierte Evaluation wichtig?
Jeder Mensch nimmt Produkte subjektiv wahr – was für die eine Person intuitiv erscheint, kann für eine andere verwirrend sein. Deshalb ist es essenziell, die Mensch-Maschine-Interaktion zu testen und so die Gebrauchstauglichkeit eines Produkts zu optimieren.
Usability-Tests helfen, Schwachstellen frühzeitig zu erkennen und liefern wertvolle Hinweise für Verbesserungen. Dabei gibt es zwei Hauptkategorien von Evaluationsmethoden: Expertenorientierte und nutzerorientierte Verfahren.
Menschenzentrierte Evaluation
Expertenorientierte Verfahren
Expertenorientierte Verfahren werden von Usability/Human Factors oder DomänenexpertInnen durchgeführt. Sie sind effizient, kostengünstig und liefern schnell erste Erkenntnisse zur Usability eines Systems.
Wichtige Methoden:
- Heuristische Evaluation: Hierbei prüfen Usability oder Human Factors ExpertInnen das System anhand festgelegter Usability-Heuristiken, z. B. den „Goldenen Regeln“ nach Shneiderman. Diese Methode ist besonders effektiv, um offensichtliche Usability-Probleme schnell zu identifizieren.
- Cognitive Walkthrough: Dabei bearbeiten ExpertInnen typische Nutzungsszenarien und bewerten, wie gut sich ein System bedienen lässt. Besonders wertvoll ist diese Methode, wenn sie von Fachleuten aus dem entsprechenden Arbeitsbereich durchgeführt wird, die mit den typischen Abläufen und Herausforderungen der Branche vertraut sind.
- Leitfadenbasierte Evaluation: Wird heute nur noch selten genutzt, kann aber in spezifischen Kontexten sinnvoll sein.
Wann eignen sich expertenorientierte Verfahren?
Expertenmethoden sind ideal, wenn ihr schnell eine erste Einschätzung der Usability erhalten wollt. Sie eignen sich besonders in frühen Entwicklungsphasen, wenn noch keine User Tests möglich oder sinnvoll sind.
Nutzerorientierte Verfahren
Nutzerorientierte Verfahren beziehen echte Nutzenden in den Evaluationsprozess ein. Hier geht es nicht nur um Meinungen, sondern auch um konkrete Verhaltensweisen und Leistungsdaten. Die Verfahren lassen sich in verhaltensbasierte (Beobachtungen) und meinungsbasierte (Befragungen) Methoden unterteilen.
Wichtig ist hierbei, dass die Stichprobe der ProbandInnen repräsentativ ist. Das heißt, alle relevanten Eigenschaften der ProbandInnen stimmen mit denen der Personas überein bzw. reflektieren die ProbandInnen die Zielgruppe ausreichend.
Wichtige Methoden:
- Freie Exploration: Die ProbandInnen erkunden das System ohne Vorgaben. So können spontane Reaktionen und unerwartete Nutzungsmuster aufgedeckt werden.
- Bearbeitung von Testaufgaben: Die ProbandInnen erhalten konkrete Aufgaben, die sie innerhalb eines festgelegten Zeitraums lösen müssen. Dies verbessert die Vergleichbarkeit mit anderen Systemen und sorgt für realistische Testergebnisse.
Messmethoden:
Um belastbare Ergebnisse zu erhalten, können unterschiedliche Erhebungsmethoden eingesetzt werden. Wichtig zu beachten hierbei ist, dass subjektive Einschätzungen durch Störfaktoren, wie beispielsweise der sozialen Erwünschtheit einer Antwort, verzerrt sein können. Daher sollten auch objektive Messungen vorgenommen werden.
Subjektive Messungen:
- Fragebögen wie SUMI, IsoNorm, AttrakDiff oder UEQ zur Erfassung von Erleben und Zufriedenheit der Nutzenden.
- Psychologische Skalen wie der NASA Task Load Index zur Messung der empfundenen kognitiven Beanspruchung.
Objektive Messungen:
- Physiologische Werte wie Herzrate, Atemfrequenz oder Pupillenveränderungen können genutzt werden, um die Belastung oder Emotionen zu messen.
- Eye-Tracking mit Heatmaps oder Saccade Maps zeigt, worauf sich Nutzende besonders konzentrieren.
- EMG (Elektromyographie)-Messungen helfen, emotionale Reaktionen objektiv zu erfassen.
Wann eignen sich nutzerorientierte Verfahren?
Nutzerorientierte Verfahren sollten immer dann eingesetzt werden, wenn echte Meinungen und das Verhalten von Nutzenden im Zentrum der Evaluation stehen. Sie sind essenziell, um sicherzustellen, dass ein Produkt wirklich den Bedürfnissen der Zielgruppe entspricht.
Fazit: Wann sollte welches Verfahren eingesetzt werden?
| Kriterium | expertenorientiert | nutzerorientiert |
|---|---|---|
| Zeit-/Kostenaufwand | gering/mittel | hoch |
| Phase im Entwicklungsprozess | frühe Phasen (Konzepstests) | spätere Phasen |
| Ergebnisart | generelle Usability-Probleme | detaillierte Erfahrungen von Nutzenden |
| Benötigte Teilnehmer | ExpertInnen | repräsentative Nutzende |
Letztlich hängt die Wahl der Methode von den Zielen eurer Evaluation ab. In frühen Entwicklungsphasen helfen expertenorientierte Verfahren, grobe Fehler auszumerzen. Sobald ein funktionsfähiger Prototyp vorliegt, liefern nutzerorientierte Verfahren die entscheidenden Erkenntnisse für ein erfolgreiches Produkt.
Und wie gehen wir bei TBO damit um?
Für uns spielen sowohl expertenorientierte als auch nutzerorientierte Verfahren eine bedeutende Rolle. Unsere Usability ExpertInnen führen über die gesamte Entwicklung hinweg heuristische Evaluationen durch.
Zielt das Produkt darauf ab, vorwiegend von einer bestimmten Gruppe von Personen genutzt zu werden, führen wir den Cognitive Walkthrough mit ausgewählten VertreterInnen durch, um branchenspezifische Besonderheiten mitabzudecken.
Handelt es sich bei dem Produkt um eine breitgefächerte Nutzergruppe, so setzen wir User Tests, die eine Kombination freier Evaluation und Testaufgaben umfassen, ein, welche von repräsentativen NutzerInnen durchgeführt werden.
Quellen:
Nielsen, J. & Molich, R. (1990). Heuristic Evaluation of User Interfaces. In: CHI Proceedings 1990.
Mueller, M. et al. (2016). Smart Prototyping – Improving the Evaluation of Design Concepts Using Virtual Reality. In: S. Lackey and R. Shumaker (Eds.): VAMR 2016, LNCS 9740.
Jordan, P.W. (2000). Designing Pleasurable Products. An introduction to the new human factors. Taylor & Fran- cis, London, New York.
Schiessl, M. et al (2003). Eye tracking and its application in usability and media research. MMI Interaktiv.
