Usability Labs: If you’re not testing, you’re guessing

Die Usability von Enterprise Content Management Systemen ist immer ein spannendes Thema. Fast kein Redakteur ist mit der Usability seines Systems zufrieden. In der letzten Zeit habe ich als Produktmanager für ein Enterprise Content Management System viel über Usability im Enterprise-Umfeld gelernt. Eines der wichtigsten Tools war dabei das Usability Lab. In einem Usability Lab werden UI-Konzepte mit Hilfe von Prototypen unter realen Bedingungen mit Anwendern validiert. In diesem Blogbeitrag erkläre ich einige Aspekte, die bei der Durchführung von Usability Labs wichtig sind und wieso jeder ein Usability Lab durchführen sollte.

Wahl der Prototyping-Methode

Wichtig ist vor allem die Art und Weise, wie die Anwendung getestet werden soll. Wir haben in der Vergangenheit zwei Varianten genutzt:

Statischer Prototyp

Statischer Prototyp

Bei dieser Variante wird ein statischer Prototyp der Anwendung entwickelt, also eine fast fertige Webanwendung ohne Backend-Anbindung. Der Vorteil dieser Variante liegt darin, dass der Prototyp eine hohe Ähnlichkeit mit der fertigen Anwendung hat. Außerdem kann bei dieser Variante auch die technische Machbarkeit untersucht werden. Ein Nachteil ist vor allem der verhältnismäßig hohe Entwicklungsaufwand. Die Idee, Code aus der Prototyping-Phase später weiter zu verwenden, sollte man von vornherein streichen.

Mit Axure Entwickelter Prototyp

Axure Prototyp

Mit Axure können über eine grafische Benutzeroberfläche Klickdummies entwickelt werden. Diese Variante erfordert deutlich weniger Aufwand als die Entwicklung eines statischen Prototypen durch die Produktentwicklung. Sie setzt jedoch ein gewisses Abstraktionsvermögen der Lab-Teilnehmer voraus, da ein Axure-Klickdummy meist nicht voll funktional ist. Außerdem erinnert das Design eines solchen Prototypen eher an Wireframes als an eine fertige Webanwendung.

Es gibt neben den beiden genannten Möglichkeiten sicherlich noch zahlreiche weitere Möglichkeiten, wie zum Beispiel Papierprototypen. Damit habe ich aber keine Erfahrung.

Neben dem Prototypen sind auch die Usecases wichtig, die getestet werden sollen. Diese formulieren wir in der Regel in Form von kurzen Arbeitsanweisungen für die Probanden. Wir nehmen uns für jede Testperson etwa eine Stunde Zeit. Die von uns definierten Usecases beanspruchen etwa 25 Minuten der Zeit. Den Rest der Zeit diskutieren wir mit den Testpersonen und lassen sie frei mit dem Prototypen arbeiten.

Organisation des Usability Labs und die optimale Teilnehmeranzahl

Ich glaube, dass der Mittelstand einen deutlichen Vorteil gegenüber großen Konzernen bei der Organisation eines Usability Labs hat: die Kundennähe. Wenn das Produktmanagement einen guten Draht zu den Anwendern der Software hat, fällt es leichter, Anwender neben ihrer täglichen Arbeit zu motivieren, eine Stunde für ein Usability Lab zu entbehren. Es ist wichtig, dass nicht nur Anwender von einem einzigen Kunden an einem Usability Lab teilnehmen. Gerade im Enterprise-Umfeld variieren die Anwendungsszenarien für ein und dieselbe Software aufgrund des oft hohen Customizing-Grades stark.

Wir organisieren unsere Usability Labs mit sechs bis neun Anwendern. Ab dem fünften bis sechsten Anwender nimmt der Erkenntnisgewinn pro Teilnehmer deutlich ab. Wenn also das Budget für ein größeres Usability Lab vorhanden ist, ergibt es Sinn, mehrere Labs zu unterschiedlichen Themen oder in unterschiedlichen Stadien des Entwicklungsprozesses zu organisieren. Die Nielsen Norman Group hat diesen Sachverhalt in einem Diagramm dargestellt:

Testen mit nur 5 Teilnehmern

Quelle: Nielsen, Jakob, 2000.

Das Usability Lab bei einem Kunden vor Ort zu organisieren, kann sehr interessant sein. Dadurch haben wir schon oft unvorhergesehene Einblicke in das alltägliche Arbeitsumfeld und die Prozesse unserer Kunden erhalten.

Ein Teilnehmer sollte übrigens meiner Meinung nach in keinem Falle bei einem Usability Lab fehlen: der Produktmanager. Es gibt keine bessere Möglichkeit, direktes Kundenfeedback zu erhalten. So etwas lässt sich nicht delegieren.

Erkenntnisse und Nutzen

Über den Mehrwert eines Usability Labs lässt sich nicht streiten. Gute Software kann nicht im Elfenbeinturm entwickelt werden. Die Erkenntnisse aus unseren Usability Labs sind immer ein Vielfaches des investierten Aufwandes wert. Zum einen lässt sich testen, ob die eigene große Vision die man von einer Anwendung hat, die richtige ist. Zum anderen erkennt man viele Details, die aber auf die tägliche Arbeit von Anwendern einen erheblichen Einfluss haben.

Einen weiteren Mehrwert möchte ich nicht außen vor lassen, die Kundenbindung. Wann immer wir ein Usability Lab mit Anwendern durchgeführt haben, war die Resonanz sensationell. Das ging bei uns so weit, dass Kunden, die nicht an einem Usability Lab teilnehmen konnten, enttäuscht waren. Ich bin mir sicher, dass die Einbeziehung von Anwendern in den Entwicklungsprozess in erheblichem Maße zur Akzeptanz einer Anwendung beim Kunden beiträgt. Seit ich als Produktmanager bei Usability Labs mit unseren Kunden dabei bin, habe ich einen viel besseren Draht zu diesen Kunden.

Keine Ausreden

Wenn man sich in deutschen mittelständischen Software-Unternehmen in der Entwicklungsabteilung umschaut, dann sieht man dort meist vor allem eines: Entwickler. Software-Entwicklung ist zu mindestens einem genauso großen Teil User Interface Design wie Coding. Ich behaupte jetzt einfach mal ohne Beweisführung, dass der deutsche Software-Mittelstand ein Usability-Problem hat. Ganz besonders deutlich wird das in kleinen Beratungs- und Dienstleistungsunternehmen. Durch Trends wie Cloud Computing, SaaS und Consumerization of IT stehen diese Unternehmen schon jetzt in Konkurrenz zu Anwendungen von großen US-Konzernen und sogar B2C-Software. Mittelständische Unternehmen müssen ihre große Kundennähe nutzen, um im Bereich der Usability die Konkurrenz zu schlagen. So können Sie im Wettbewerb bestehen. Usability Labs sind dafür ein sehr wichtiges und hilfreiches Werkzeug.

Über Simon Michaelis

Simon ist Produktmanager bei der Imperia AG für das Produkt pirobase. Die langfristige Verantwortung für ein Produkt und die Organisation einer ganzheitlichen Produktentwicklung macht ihm mehr Spass als jedes noch so spannende, kurzweilige Projekt. Er verantwortet bei der Imperia AG die Konzeption, Roadmapplanung und Produktstrategie. Zeitlose, analoge Produkte begeistern ihn ebenso sehr wie digitale Produkte.

4 Kommentare

  1. Christoph Ullmann

    Hallo,
    ich stimme dir in vielen Punkten zu. Allerdings hab ich zwei Anmerkungen:

    1. Axureprototypen

    Ich finde es extrem übertrieben Axure für wireframeartige Klickdummies zu verwenden.
    Die Kosten die man mit Axure hat stehen in keinem Verhältnis zu Lösungen wie https://moqups.com/ oder Balsamiq.
    Dafür kann man mit Axure und ein bisschen Zeit sehr hübsche Klickdummies bauen die nahe am Screendesign es fertigen Produkts sind oder geplante Screendesigns testen.

    2. Nielsenkurve

    Die von dir hier zitierte Grafik von Nielsen flacht deutlich vor dem 6 Nutzer ab. Ich persönlich habe die Erfahrung gemacht, dass es recht 4-5 Nutzer einen Prototypen zu zeigen und dann anhand deren Feedback den Prototypen zu verbessern und diese Optimierung zu validieren. Vor allem wenn man mit Wireframes arbeitet kommt man so recht schnell zu einem Ergebnis und hält die Kosten der Nutzertests geringen.

    VG,
    Christoph


  2. Simon Michaelis Artikelautor

    Hi Christoph, du hast Recht. Die Kurve in der Grafik sagt, dass man schon mit drei bis vier Nutzern grob 75% der Usability-Probleme findet. Ich habe eigentlich eher damit gerechnet, dass die Meisten der Meinung sind, man bräuchte mehr User. Wir organisieren unsere Labs eher unwissenschaftlich und mit wenigen Nutzern. Ab dem dritten Nutzer lässt meine Konzentration in der Regel sowieso deutlich nach.

    Simon


  3. Wolf Brüning

    Ich denke die Anzahl der Nutzer hängt auch davon ab, wie viele Varianten man mit wie vielen Devices testen will. Da man ab einer gewissen Anzahl nicht mehr jede Kombination mit jedem Nutzer testen kann, machen hier und da schon mehr Nutzer Sinn. Bei OTTO testen wir in der Regel 7-9 Nutzer, von denen aber nicht jeder immer jede Variante zu sehen bekommt.


  4. Michael

    Ich kann die oben diskutierte Zahl, wie viele Testpersonen für einen Test sinnvoll sind aus einer anderen Perspektive beschreiben (unsere Firma rekrutiert Testpersonen für Usability-Tests). Je nachdem wie viele verschiedenen Zielgruppen für ein Produkt interessant sind, benötigt es auch entsprechend mehr Teilnehmer. Es hängt natürlich immer von zu testenden Produkt ab, aber man kann schon sagen, dass häufig 8 bis 10 Teilnehmer pro Zielgruppe gebucht werden. Wenn die Unterscheidungen sehr gering sind, also nur Facetten anders sein sollen, dann kann eine Zielgruppe auch nur aus 2 – 3 Personen besteht.
    Für alle die zuverlässige Testpersonenrekrutierung suchen http://probandenrekrutierung.de sorry, wenn ich schon in der Arbeitszeit surfe, dann muss ich dem Chef wenigstens sagen können ein wenig Werbung gemacht zu haben ;-)


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Mit Absenden des Kommentars stimmst Du der Speicherung deiner persönlichen Daten (Name, eMail-Adresse, Webseite und Nachricht) durch uns bis auf Widerruf zu. Zur Vermeidung von Spam und zur rechtlichen Absicherung wird deine IP für 2 Monate gespeichert. Ebenfalls zur Vermeidung von Spam werden diese Daten einmalig an Server der Firma Automattic inc. geschickt. Zur Darstellung eines Nutzerbildes wird die eMail-Adresse im pseudonymisierter Form an Automattic inc. übermittelt. Wenn du einen oder beide Haken für die eMail-Benachrichtigungen setzt, wird deine eMail-Adresse bei Automattic inc. gespeichert. (Datenschutzerklärung)

Du hast noch viel mehr zu erzählen?

Dann schreib doch einen eigenen Artikel auf produktbezogen.

Artikel vorschlagen →