Die Usability von Enterprise Content Management Systemen ist immer ein spannendes Thema. Fast kein Redakteur ist mit der Usability seines Systems zufrieden. In der letzten Zeit habe ich als Produktmanager für ein Enterprise Content Management System viel über Usability im Enterprise-Umfeld gelernt. Eines der wichtigsten Tools war dabei das Usability Lab. In einem Usability Lab werden UI-Konzepte mit Hilfe von Prototypen unter realen Bedingungen mit Anwendern validiert. In diesem Blogbeitrag erkläre ich einige Aspekte, die bei der Durchführung von Usability Labs wichtig sind und wieso jeder ein Usability Lab durchführen sollte.
Wahl der Prototyping-Methode
Wichtig ist vor allem die Art und Weise, wie die Anwendung getestet werden soll. Wir haben in der Vergangenheit zwei Varianten genutzt:
Statischer Prototyp
Bei dieser Variante wird ein statischer Prototyp der Anwendung entwickelt, also eine fast fertige Webanwendung ohne Backend-Anbindung. Der Vorteil dieser Variante liegt darin, dass der Prototyp eine hohe Ähnlichkeit mit der fertigen Anwendung hat. Außerdem kann bei dieser Variante auch die technische Machbarkeit untersucht werden. Ein Nachteil ist vor allem der verhältnismäßig hohe Entwicklungsaufwand. Die Idee, Code aus der Prototyping-Phase später weiter zu verwenden, sollte man von vornherein streichen.
Mit Axure Entwickelter Prototyp
Mit Axure können über eine grafische Benutzeroberfläche Klickdummies entwickelt werden. Diese Variante erfordert deutlich weniger Aufwand als die Entwicklung eines statischen Prototypen durch die Produktentwicklung. Sie setzt jedoch ein gewisses Abstraktionsvermögen der Lab-Teilnehmer voraus, da ein Axure-Klickdummy meist nicht voll funktional ist. Außerdem erinnert das Design eines solchen Prototypen eher an Wireframes als an eine fertige Webanwendung.
Es gibt neben den beiden genannten Möglichkeiten sicherlich noch zahlreiche weitere Möglichkeiten, wie zum Beispiel Papierprototypen. Damit habe ich aber keine Erfahrung.
Neben dem Prototypen sind auch die Usecases wichtig, die getestet werden sollen. Diese formulieren wir in der Regel in Form von kurzen Arbeitsanweisungen für die Probanden. Wir nehmen uns für jede Testperson etwa eine Stunde Zeit. Die von uns definierten Usecases beanspruchen etwa 25 Minuten der Zeit. Den Rest der Zeit diskutieren wir mit den Testpersonen und lassen sie frei mit dem Prototypen arbeiten.
Organisation des Usability Labs und die optimale Teilnehmeranzahl
Ich glaube, dass der Mittelstand einen deutlichen Vorteil gegenüber großen Konzernen bei der Organisation eines Usability Labs hat: die Kundennähe. Wenn das Produktmanagement einen guten Draht zu den Anwendern der Software hat, fällt es leichter, Anwender neben ihrer täglichen Arbeit zu motivieren, eine Stunde für ein Usability Lab zu entbehren. Es ist wichtig, dass nicht nur Anwender von einem einzigen Kunden an einem Usability Lab teilnehmen. Gerade im Enterprise-Umfeld variieren die Anwendungsszenarien für ein und dieselbe Software aufgrund des oft hohen Customizing-Grades stark.
Wir organisieren unsere Usability Labs mit sechs bis neun Anwendern. Ab dem fünften bis sechsten Anwender nimmt der Erkenntnisgewinn pro Teilnehmer deutlich ab. Wenn also das Budget für ein größeres Usability Lab vorhanden ist, ergibt es Sinn, mehrere Labs zu unterschiedlichen Themen oder in unterschiedlichen Stadien des Entwicklungsprozesses zu organisieren. Die Nielsen Norman Group hat diesen Sachverhalt in einem Diagramm dargestellt:
Quelle: Nielsen, Jakob, 2000.
Das Usability Lab bei einem Kunden vor Ort zu organisieren, kann sehr interessant sein. Dadurch haben wir schon oft unvorhergesehene Einblicke in das alltägliche Arbeitsumfeld und die Prozesse unserer Kunden erhalten.
Ein Teilnehmer sollte übrigens meiner Meinung nach in keinem Falle bei einem Usability Lab fehlen: der Produktmanager. Es gibt keine bessere Möglichkeit, direktes Kundenfeedback zu erhalten. So etwas lässt sich nicht delegieren.
Erkenntnisse und Nutzen
Über den Mehrwert eines Usability Labs lässt sich nicht streiten. Gute Software kann nicht im Elfenbeinturm entwickelt werden. Die Erkenntnisse aus unseren Usability Labs sind immer ein Vielfaches des investierten Aufwandes wert. Zum einen lässt sich testen, ob die eigene große Vision die man von einer Anwendung hat, die richtige ist. Zum anderen erkennt man viele Details, die aber auf die tägliche Arbeit von Anwendern einen erheblichen Einfluss haben.
Einen weiteren Mehrwert möchte ich nicht außen vor lassen, die Kundenbindung. Wann immer wir ein Usability Lab mit Anwendern durchgeführt haben, war die Resonanz sensationell. Das ging bei uns so weit, dass Kunden, die nicht an einem Usability Lab teilnehmen konnten, enttäuscht waren. Ich bin mir sicher, dass die Einbeziehung von Anwendern in den Entwicklungsprozess in erheblichem Maße zur Akzeptanz einer Anwendung beim Kunden beiträgt. Seit ich als Produktmanager bei Usability Labs mit unseren Kunden dabei bin, habe ich einen viel besseren Draht zu diesen Kunden.
Keine Ausreden
Wenn man sich in deutschen mittelständischen Software-Unternehmen in der Entwicklungsabteilung umschaut, dann sieht man dort meist vor allem eines: Entwickler. Software-Entwicklung ist zu mindestens einem genauso großen Teil User Interface Design wie Coding. Ich behaupte jetzt einfach mal ohne Beweisführung, dass der deutsche Software-Mittelstand ein Usability-Problem hat. Ganz besonders deutlich wird das in kleinen Beratungs- und Dienstleistungsunternehmen. Durch Trends wie Cloud Computing, SaaS und Consumerization of IT stehen diese Unternehmen schon jetzt in Konkurrenz zu Anwendungen von großen US-Konzernen und sogar B2C-Software. Mittelständische Unternehmen müssen ihre große Kundennähe nutzen, um im Bereich der Usability die Konkurrenz zu schlagen. So können Sie im Wettbewerb bestehen. Usability Labs sind dafür ein sehr wichtiges und hilfreiches Werkzeug.
Hallo,
ich stimme dir in vielen Punkten zu. Allerdings hab ich zwei Anmerkungen:
1. Axureprototypen
Ich finde es extrem übertrieben Axure für wireframeartige Klickdummies zu verwenden.
Die Kosten die man mit Axure hat stehen in keinem Verhältnis zu Lösungen wie https://moqups.com/ oder Balsamiq.
Dafür kann man mit Axure und ein bisschen Zeit sehr hübsche Klickdummies bauen die nahe am Screendesign es fertigen Produkts sind oder geplante Screendesigns testen.
2. Nielsenkurve
Die von dir hier zitierte Grafik von Nielsen flacht deutlich vor dem 6 Nutzer ab. Ich persönlich habe die Erfahrung gemacht, dass es recht 4-5 Nutzer einen Prototypen zu zeigen und dann anhand deren Feedback den Prototypen zu verbessern und diese Optimierung zu validieren. Vor allem wenn man mit Wireframes arbeitet kommt man so recht schnell zu einem Ergebnis und hält die Kosten der Nutzertests geringen.
VG,
Christoph
Hi Christoph, du hast Recht. Die Kurve in der Grafik sagt, dass man schon mit drei bis vier Nutzern grob 75% der Usability-Probleme findet. Ich habe eigentlich eher damit gerechnet, dass die Meisten der Meinung sind, man bräuchte mehr User. Wir organisieren unsere Labs eher unwissenschaftlich und mit wenigen Nutzern. Ab dem dritten Nutzer lässt meine Konzentration in der Regel sowieso deutlich nach.
Simon
Ich denke die Anzahl der Nutzer hängt auch davon ab, wie viele Varianten man mit wie vielen Devices testen will. Da man ab einer gewissen Anzahl nicht mehr jede Kombination mit jedem Nutzer testen kann, machen hier und da schon mehr Nutzer Sinn. Bei OTTO testen wir in der Regel 7-9 Nutzer, von denen aber nicht jeder immer jede Variante zu sehen bekommt.
Ich kann die oben diskutierte Zahl, wie viele Testpersonen für einen Test sinnvoll sind aus einer anderen Perspektive beschreiben (unsere Firma rekrutiert Testpersonen für Usability-Tests). Je nachdem wie viele verschiedenen Zielgruppen für ein Produkt interessant sind, benötigt es auch entsprechend mehr Teilnehmer. Es hängt natürlich immer von zu testenden Produkt ab, aber man kann schon sagen, dass häufig 8 bis 10 Teilnehmer pro Zielgruppe gebucht werden. Wenn die Unterscheidungen sehr gering sind, also nur Facetten anders sein sollen, dann kann eine Zielgruppe auch nur aus 2 – 3 Personen besteht.
Für alle die zuverlässige Testpersonenrekrutierung suchen http://probandenrekrutierung.de sorry, wenn ich schon in der Arbeitszeit surfe, dann muss ich dem Chef wenigstens sagen können ein wenig Werbung gemacht zu haben ;-)