Wie genau bewältigt man einen User Research, bei dem mehrere Tausend Insights entstehen? Wie bringt man das Ergebnis dem Auftraggeber dann wirklich nahe, ohne ihn mit Papier zu überhäufen? Diese beiden Fragen wollen wir anhand der folgenden Case Study beantworten.
Im ersten Teil dieses Artikels zeigen wir Schritt für Schritt, wie man große Mengen an Insights nach und nach strukturiert und analysiert und im Anschluss belastbare Ergebnisse herausarbeiten kann. Wie man diese möglichst verständlich dem Auftraggeber vermittelt, erläutern wir im zweiten Teil, der nächste Woche erscheint.
Wenn du in User Research Projekten mitarbeitest und immer schon einmal wissen wolltest, was außer der guten alten Post-It-Wand methodisch noch so geht oder wie man dafür sorgt, dass die erarbeiteten Personas am Ende nicht beim Auftraggeber in einer Schublade schlummern, wirst du sicher einige hilfreiche Anregungen und Tipps finden.
Worum es konkret geht: Wir als Design- und Usability Agentur arbeiten momentan für einen unserer Auftraggeber aus der Automobil-Branche an einem größeren Usability-Projekt. Bisher haben wir einen User Research durchgeführt und diesen ausgewertet – uns also mit der „Verstehen“- und der „Spezifizieren“-Phase des User Centered Design Prozesses beschäftigt.
Inhaltlich geht es dabei um eine unternehmensweit eingesetzte Verwaltungssoftware. Von über 25.000 Nutzern weltweit werden darin momentan ca. 330.000 Datensätze gesammelt, dokumentiert, verwaltet, organisiert, bewertet und vieles mehr. Dabei wächst der Datenbestand täglich.
Dieses historisch gewachsene Tool soll grundlegend überarbeitet werden. Dazu haben wir im User Research mit ca. 30 Nutzern Telefon-Interviews sowie vor Ort Beobachtungen am Arbeitsplatz durchgeführt. Daraus ergaben sich etwa 3.500 Einzel-Insights.
Aufgrund der komplexen Unternehmensstruktur, unterschiedlichster Kontexte und vielfältiger Aufgaben der Nutzer, haben wir daraus zwei primäre Personas, fünf unterstützende Personas und drei ergänzende Personas sowie insgesamt ca. 35 Kontextszenarien abgeleitet.
User Research – Vorgehen und Tools
Bei der beschriebenen Datenmenge von 3.500 einzelnen Erkenntnissen ist eine analoge Vorgehensweise über Post-Its, wie man es in einschlägigen Quellen häufig zu dem Thema findet, nicht mehr machbar. Zur Veranschaulichung: 3.500 Insights auf jeweils einem Post-It hätten nebeneinander geklebt eine Länge von 266 Metern. Damit könnte man den Petersdom einmal von unten nach oben und wieder zurück mit einer Klebezettel-Reihe bekleben.
Wir mussten uns also für den ersten Teil der Auswertung für ein digitales Tool entscheiden. Online Research Tools wie z. B. Reframer bieten aus unserer Sicht für diesen Umfang nur unzureichende Funktionen. Aus diesem Grund haben wir Excel gewählt: Mit einer Tabelle, in der jedes Insight in einer Zeile untereinander steht, kann man flexibel arbeiten. Man kann nach einzelnen Begriffen suchen, filtern, sortieren etc.
Die Grundlage unserer Verarbeitung waren 30 digitale Protokolle mit Einzel-Insights in der Ich-Perspektive (z. B. „Ich benutze das Tool ca. drei Mal pro Woche für 60 Minuten“). Diese wurden im ersten Schritt in einer großen Excel-Datei zusammengeführt.
Aber was nun tun mit einer Tabelle, die 3.500 Zeilen lang ist? Zunächst einmal wurde jedes Insight genau einer Kategorie zugeordnet. Die Kategorien sind später essentiell, um die Personas mit Inhalt zu füllen. Wir haben u. a. folgende Kategorien verwendet: Arbeitsweise, Auslöser, Beziehungen, Demografisch, Einstellung zum System, Frustration/Probleme, Job, Motivation, Umgebung, Workarounds und Wünsche.
Die Kategorien sind dabei natürlich von Projekt zu Projekt unterschiedlich. So sind die Kategorien „Einstellung zum System“ oder „Workarounds“ nur sinnvoll, wenn man sich wie in unserem Fall mit einem digitalen Produkt beschäftigt, das der Nutzer prinzipiell durch Verwendung einer anderen Software umgehen kann, wenn er das möchte. Bei der Untersuchung eines Prozesses wären diese Kategorien weniger geeignet.
Im zweiten Schritt wurden zu jedem Insight mehrere Tags vergeben. Diese Tags erleichtern später die Durchsuchbarkeit und Filterbarkeit, aber sie vereinheitlichen auch das unterschiedliche Wording der Probanden. So können alle Meinungen zu einem bestimmten Thema zusammengefasst und somit einfach nachvollzogen werden. In diesem Projekt haben wir insgesamt 115 verschiedene Tags verwendet. Größtenteils beschrieben die Tags bestimmte Bereiche des Systems oder häufig verwendete Prozesse. Es waren aber auch allgemeine Tätigkeiten unter den Tags, z. B.: anlegen, bearbeiten, bekommen, bewerten, drucken, durchführen, fragen, informieren, interessieren, planen, präsentieren, prüfen, vergleichen, vorbereiten,…
Vor allem beim Tagging der ersten Protokolle kommen immer wieder neue Tags hinzu, aber es werden auch bestehende Tags zusammengelegt. Wichtig ist hier, einheitlich und iterativ vorzugehen: wenn das Tagging von mehreren Personen parallel durchgeführt wird, sollte ihr euch sehr eng abstimmen.
Nach diesen vorbereitenden Schritten sind nun alle Insights zusammen mit ihren Kategorien und Tags in der Liste enthalten. Für den folgenden Prozess des Auswertens (zusammengehörende Themen finden) kann nun flexibel gefiltert und verglichen werden. Mit den Funktionen von Excel lassen sich zusammengehörende tagbasierte Themen sehr gut finden. Fragen wie
- Welche Tätigkeiten sind in Vorbereitung eines Workshops notwendig?
- Welche Personen führen die Vorbereitungen durch?
- Mit welchen Kollegen kommunizieren sie dabei?
- Welche Informationen benötigen Sie zwingend für ihre Vorbereitung?
- Welche Fristen müssen sie einhalten?
lassen sich so schnell beantworten.
Auch Filter-Kombinationen aus Tags und Kategorien sind natürlich möglich. „Bei welchen Schritten treten häufiger Probleme auf? Was sind das für Probleme? Wie versuchen die Personen heute, diese Probleme zu umgehen oder zu lösen?”
Im folgenden Beispiel kannst du dir selber ein Bild von Aufbau und Funktionsweise solch einer Tabelle machen:
All diese Fragen hätten mit analogen Werkzeugen nach der Durchführung der Interviews nicht so detailliert beantworten werden können. Deshalb ist der nicht unerhebliche Aufwand, der zu Beginn in die Erstellung der Liste fließt, definitiv sinnvoll investiert.
Personen- und Szenarienerstellung
Im nächsten Schritt haben wir die Personas entwickelt. Dazu sind wir zu einer halb-analogen Arbeitsweise übergegangen. Auf einem großen Whiteboard haben wir im Team Hypothesen über einzelne Nutzergruppen sowie deren Gemeinsamkeiten und Unterschiede aufgestellt. Bei der Erstellung haben wir uns dabei an das Vorgehen nach Kim Goodwin gehalten.
Unterstützend wurde hierbei immer wieder die Excel-Liste zu bestimmten Fragestellungen als Kombination von Tag(s) und Kategorien zu Rate gezogen.
Im Weiteren sind mit Hilfe der Tags die Szenarien entstanden. Dazu können Kombinationen von Tags gesucht werden, die besonders häufig gemeinsam auftauchen. Kombinationen können z. B. „spezielle Bestandteile des Tools” oder “Prozesse um das Tool herum” verbunden mit den oben genannten Tätigkeiten sein. Über eine entsprechende Filterung und der (automatischen) Zählung der gefunden Insights ergeben sich schnell Muster: Zur Befüllung des Tools mit Daten werden im Vorfeld Workshops durchgeführt. Daher ist „Workshop“ einer der Tags. Zusammen mit dem Tag „durchführen“ ließen sich 42 Insights finden, die beides kombiniert enthalten.
Um Insights später einfach wieder zuordnen zu können, wurde auch in diesem Schritt das Ergebnis in der Excel-Liste vermerkt, d. h. es wurde eine neue Spalte „Szenario“ angelegt. Zu jedem Insight wurde gespeichert, zu welchem Szenario es gehört. Dabei müssen nicht alle Insights zugeordnet werden. Insights aus der Kategorie „Demografisch“ bleiben häufig “Nicht zugeordnet”, weil diese bei den Szenarien oftmals keine größere Rolle spielen. Am Ende dieses iterativen Schrittes konnten auf dieser Grundlage die Prosa-Szenarien ausformuliert werden.
Zusammenfassend kann man sagen:
- Excel hilft, die Datenmengen zu organisieren! Auch wenn es sonst nicht gerade ein Freund der Kreativität ist ;-)
- Tags und Kategorien ermöglichen eine fundierte Beantwortung von spezifischen Fragen zum Nutzungsverhalten!
- Die Arbeit im Team ist sehr hilfreich! – ob bei der Vergabe von Tags und Kategorien, dem Bilden von Persona-Hypothesen oder dem verteilten Schreiben der Szenarien. Es muss aber eng abgestimmt werden!
Ausblick
Welche Tricks und Kniffe kennst du? Wir freuen uns auf deine Erfahrungen und Feedback.
Im Teil 2 unseres Artikels erläutern wir konkret, wie man diese Ergebnisse beim Auftraggeber glaubhaft präsentiert, nachhaltig in deren Köpfen verankert und auch noch Spaß dabei hat.
- Teil 1: Tausende Insights auswerten
- Teil 2: Tausende Insights erlebbar machen (Erscheint am 05. April 2016)
Weiterführende Literatur
- Doing qualitative research using your computer: A practical guide
(Christopher Hahn) - The Essential Persona Lifecycle
(Tamara Adlin, John Pruitt) - Observing the User Experience
(Elizabeth Goodman)