User Research at Scale – Teil 1: Tausende Insights auswerten

Wie genau bewältigt man einen User Research, bei dem mehrere Tausend Insights entstehen? Wie bringt man das Ergebnis dem Auftraggeber dann wirklich nahe, ohne ihn mit Papier zu überhäufen? Diese beiden Fragen wollen wir anhand der folgenden Case Study beantworten.

Im ersten Teil dieses Artikels zeigen wir Schritt für Schritt, wie man große Mengen an Insights nach und nach strukturiert und analysiert und im Anschluss belastbare Ergebnisse herausarbeiten kann. Wie man diese möglichst verständlich dem Auftraggeber vermittelt, erläutern wir im zweiten Teil, der nächste Woche erscheint.

Wenn du in User Research Projekten mitarbeitest und immer schon einmal wissen wolltest, was außer der guten alten Post-It-Wand methodisch noch so geht oder wie man dafür sorgt, dass die erarbeiteten Personas am Ende nicht beim Auftraggeber in einer Schublade schlummern, wirst du sicher einige hilfreiche Anregungen und Tipps finden.

Worum es konkret geht: Wir als Design- und Usability Agentur arbeiten momentan für einen unserer Auftraggeber aus der Automobil-Branche an einem größeren Usability-Projekt. Bisher haben wir einen User Research durchgeführt und diesen ausgewertet – uns also mit der „Verstehen“- und der „Spezifizieren“-Phase des User Centered Design Prozesses beschäftigt.

User Centered Design Process

Inhaltlich geht es dabei um eine unternehmensweit eingesetzte Verwaltungssoftware. Von über 25.000 Nutzern weltweit werden darin momentan ca. 330.000 Datensätze gesammelt, dokumentiert, verwaltet, organisiert, bewertet und vieles mehr. Dabei wächst der Datenbestand täglich.

Dieses historisch gewachsene Tool soll grundlegend überarbeitet werden. Dazu haben wir im User Research mit ca. 30 Nutzern Telefon-Interviews sowie vor Ort Beobachtungen am Arbeitsplatz durchgeführt. Daraus ergaben sich etwa 3.500 Einzel-Insights.

Aufgrund der komplexen Unternehmensstruktur, unterschiedlichster Kontexte und vielfältiger Aufgaben der Nutzer, haben wir daraus zwei primäre Personas, fünf unterstützende Personas und drei ergänzende Personas sowie insgesamt ca. 35 Kontextszenarien abgeleitet.

User Research – Vorgehen und Tools

Bei der beschriebenen Datenmenge von 3.500 einzelnen Erkenntnissen ist eine analoge Vorgehensweise über Post-Its, wie man es in einschlägigen Quellen häufig zu dem Thema findet, nicht mehr machbar. Zur Veranschaulichung: 3.500 Insights auf jeweils einem Post-It hätten nebeneinander geklebt eine Länge von 266 Metern. Damit könnte man den Petersdom einmal von unten nach oben und wieder zurück mit einer Klebezettel-Reihe bekleben.

Wir mussten uns also für den ersten Teil der Auswertung für ein digitales Tool entscheiden. Online Research Tools wie z. B. Reframer bieten aus unserer Sicht für diesen Umfang nur unzureichende Funktionen. Aus diesem Grund haben wir Excel gewählt: Mit einer Tabelle, in der jedes Insight in einer Zeile untereinander steht, kann man flexibel arbeiten. Man kann nach einzelnen Begriffen suchen, filtern, sortieren etc.

Die Grundlage unserer Verarbeitung waren 30 digitale Protokolle mit Einzel-Insights in der Ich-Perspektive (z. B. „Ich benutze das Tool ca. drei Mal pro Woche für 60 Minuten“). Diese wurden im ersten Schritt in einer großen Excel-Datei zusammengeführt.

Aber was nun tun mit einer Tabelle, die 3.500 Zeilen lang ist? Zunächst einmal wurde jedes Insight genau einer Kategorie zugeordnet. Die Kategorien sind später essentiell, um die Personas mit Inhalt zu füllen. Wir haben u. a. folgende Kategorien verwendet: Arbeitsweise, Auslöser, Beziehungen, Demografisch, Einstellung zum System, Frustration/Probleme, Job, Motivation, Umgebung, Workarounds und Wünsche.

01-artikel_03-schritte

Die Kategorien sind dabei natürlich von Projekt zu Projekt unterschiedlich. So sind die Kategorien „Einstellung zum System“ oder „Workarounds“ nur sinnvoll, wenn man sich wie in unserem Fall mit einem digitalen Produkt beschäftigt, das der Nutzer prinzipiell durch Verwendung einer anderen Software umgehen kann, wenn er das möchte. Bei der Untersuchung eines Prozesses wären diese Kategorien weniger geeignet.

Im zweiten Schritt wurden zu jedem Insight mehrere Tags vergeben. Diese Tags erleichtern später die Durchsuchbarkeit und Filterbarkeit, aber sie vereinheitlichen auch das unterschiedliche Wording der Probanden. So können alle Meinungen zu einem bestimmten Thema zusammengefasst und somit einfach nachvollzogen werden. In diesem Projekt haben wir insgesamt 115 verschiedene Tags verwendet. Größtenteils beschrieben die Tags bestimmte Bereiche des Systems oder häufig verwendete Prozesse. Es waren aber auch allgemeine Tätigkeiten unter den Tags, z. B.: anlegen, bearbeiten, bekommen, bewerten, drucken, durchführen, fragen, informieren, interessieren, planen, präsentieren, prüfen, vergleichen, vorbereiten,…

Vor allem beim Tagging der ersten Protokolle kommen immer wieder neue Tags hinzu, aber es werden auch bestehende Tags zusammengelegt. Wichtig ist hier, einheitlich und iterativ vorzugehen: wenn das Tagging von mehreren Personen parallel durchgeführt wird, sollte ihr euch sehr eng abstimmen.

01-artikel_04-schritte

Nach diesen vorbereitenden Schritten sind nun alle Insights zusammen mit ihren Kategorien und Tags in der Liste enthalten. Für den folgenden Prozess des Auswertens (zusammengehörende Themen finden) kann nun flexibel gefiltert und verglichen werden. Mit den Funktionen von Excel lassen sich zusammengehörende tagbasierte Themen sehr gut finden. Fragen wie

  • Welche Tätigkeiten sind in Vorbereitung eines Workshops notwendig?
  • Welche Personen führen die Vorbereitungen durch?
  • Mit welchen Kollegen kommunizieren sie dabei?
  • Welche Informationen benötigen Sie zwingend für ihre Vorbereitung?
  • Welche Fristen müssen sie einhalten?

lassen sich so schnell beantworten.

Auch Filter-Kombinationen aus Tags und Kategorien sind natürlich möglich. „Bei welchen Schritten treten häufiger Probleme auf? Was sind das für Probleme? Wie versuchen die Personen heute, diese Probleme zu umgehen oder zu lösen?”
Im folgenden Beispiel kannst du dir selber ein Bild von Aufbau und Funktionsweise solch einer Tabelle machen:

01-artikel_05-excel-animiert

Zum Vergrößern anklicken

All diese Fragen hätten mit analogen Werkzeugen nach der Durchführung der Interviews nicht so detailliert beantworten werden können. Deshalb ist der nicht unerhebliche Aufwand, der zu Beginn in die Erstellung der Liste fließt, definitiv sinnvoll investiert.

Personen- und Szenarienerstellung

Im nächsten Schritt haben wir die Personas entwickelt. Dazu sind wir zu einer halb-analogen Arbeitsweise übergegangen. Auf einem großen Whiteboard haben wir im Team Hypothesen über einzelne Nutzergruppen sowie deren Gemeinsamkeiten und Unterschiede aufgestellt. Bei der Erstellung haben wir uns dabei an das Vorgehen nach Kim Goodwin gehalten.

Unterstützend wurde hierbei immer wieder die Excel-Liste zu bestimmten Fragestellungen als Kombination von Tag(s) und Kategorien zu Rate gezogen.

Im Weiteren sind mit Hilfe der Tags die Szenarien entstanden. Dazu können Kombinationen von Tags gesucht werden, die besonders häufig gemeinsam auftauchen. Kombinationen können z. B. „spezielle Bestandteile des Tools” oder “Prozesse um das Tool herum” verbunden mit den oben genannten Tätigkeiten sein. Über eine entsprechende Filterung und der (automatischen) Zählung der gefunden Insights ergeben sich schnell Muster: Zur Befüllung des Tools mit Daten werden im Vorfeld Workshops durchgeführt. Daher ist „Workshop“ einer der Tags. Zusammen mit dem Tag „durchführen“ ließen sich 42 Insights finden, die beides kombiniert enthalten.

Um Insights später einfach wieder zuordnen zu können, wurde auch in diesem Schritt das Ergebnis in der Excel-Liste vermerkt, d. h. es wurde eine neue Spalte „Szenario“ angelegt. Zu jedem Insight wurde gespeichert, zu welchem Szenario es gehört. Dabei müssen nicht alle Insights zugeordnet werden. Insights aus der Kategorie „Demografisch“ bleiben häufig “Nicht zugeordnet”, weil diese bei den Szenarien oftmals keine größere Rolle spielen. Am Ende dieses iterativen Schrittes konnten auf dieser Grundlage die Prosa-Szenarien ausformuliert werden.

01-artikel_06-schritte

Zusammenfassend kann man sagen:

  • Excel hilft, die Datenmengen zu organisieren! Auch wenn es sonst nicht gerade ein Freund der Kreativität ist ;-)
  • Tags und Kategorien ermöglichen eine fundierte Beantwortung von spezifischen Fragen zum Nutzungsverhalten!
  • Die Arbeit im Team ist sehr hilfreich! – ob bei der Vergabe von Tags und Kategorien, dem Bilden von Persona-Hypothesen oder dem verteilten Schreiben der Szenarien. Es muss aber eng abgestimmt werden!

Ausblick

Welche Tricks und Kniffe kennst du? Wir freuen uns auf deine Erfahrungen und Feedback.

Im Teil 2 unseres Artikels erläutern wir konkret, wie man diese Ergebnisse beim Auftraggeber glaubhaft präsentiert, nachhaltig in deren Köpfen verankert und auch noch Spaß dabei hat.

  • Teil 1: Tausende Insights auswerten
  • Teil 2: Tausende Insights erlebbar machen (Erscheint am 05. April 2016)

Weiterführende Literatur

Avatar-Foto

Über Nadine Kempe

Nadine ist Key Account Managerin bei der Design- und Usability Agentur UCD+. Seit über 8 Jahren managt sie Projekte im IT-Umfeld und behält dabei die Zufriedenheit Ihrer Kunden immer fest im Blick. Besonderen Spaß hat sie als Dipl.-Ing. für Computervisualisitik dabei an der Leitung von heterogenen Teams aus verschiedenen Bereichen.

Avatar-Foto

Über Susi Augustin

Susi ist leitende Senior Interface Designerin für Software-Lösungen bei der Design- und Usability-Agentur UCD+. Seit mehr als 7 Jahren versorgt sie Auftraggeber aus allen Industriebranchen mit hochwertigen digitalen Interfaces – stets mit dabei: Usability. Denn als zertifizierter Usability Consultant sorgt sie dafür, dass der Nutzer mit seinen Bedürfnissen stets an erster Stelle der Produktentwicklung steht.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Mit Absenden des Kommentars stimmst Du der Speicherung deiner persönlichen Daten (Name, eMail-Adresse, Webseite und Nachricht) durch uns bis auf Widerruf zu. Zur Vermeidung von Spam und zur rechtlichen Absicherung wird deine IP für 2 Monate gespeichert. Ebenfalls zur Vermeidung von Spam werden diese Daten einmalig an Server der Firma Automattic inc. geschickt. Zur Darstellung eines Nutzerbildes wird die eMail-Adresse im pseudonymisierter Form an Automattic inc. übermittelt. Wenn du einen oder beide Haken für die eMail-Benachrichtigungen setzt, wird deine eMail-Adresse bei Automattic inc. gespeichert. (Datenschutzerklärung)

Du hast noch viel mehr zu erzählen?

Dann schreib doch einen eigenen Artikel auf produktbezogen.

Artikel vorschlagen →