Am fünften Tag des Product Design Sprints geht es darum sich für die im Team gemeinsam erschaffenen Produkt-Konzepte das Feedback der Nutzer einzuholen. Die Reaktionen der Nutzer können einen zum Einen zu sinnvollen Weiterentwicklungen der Konzepte inspirieren, können aber auch verhindern, dass zuviel Zeit und Energie in die falsche Lösung investiert wird. Im fünften und letzten Teil der Product Design Sprint Artikelreihe wollen wir euch die wichtigsten Tipps & Tricks mit an die Hand geben – von der optimalen Vorbereitung bis hin zur Priorisierung der Ergebnisse – um den User Feedback Tag selbst erfolgreich gestalten zu können.
User Tests machen ist im Trend und viele Firmen und Teams haben mittlerweile eigene User Labs und veranstalten wöchentliche Test-Tage. Die Ergebnisse und der Nutzen von User Tests werden trotzdem gerne hinterfragt – vor Allem wenn die Ergebnisse nicht positiv ausfallen, wird angezweifelt, dass der Nutzer zur Zielgruppe gehört oder das man die Ergebnisse bei diesem sehr innovativen Thema überhaupt verwenden kann. “Die Idee ist viel zu neu und innovativ, da braucht man keine Nutzer zu fragen, die haben doch eh keine Ahnung!”. Zudem ist das User Testing in schnellen und dynamischen Design Sprints sehr anspruchsvoll, da man eine gewisse Planbarkeit (wie z.B. Nutzer einladen) mit dem kreativen Chaos eines Design Sprints in Einklang bringen muss. Aber es lohnt sich – schnelles und iteratives User Testen macht einfach Spaß und ist sehr lehrreich!
Damit euer User Test Tag ein Erfolg wird, haben wir euch die wichtigsten Tipps in diesem Artikel zusammengestellt. Los geht es mit der richtigen Vorbereitung!
Die Vorbereitung – was vor dem User Feedback Tag zu erledigen ist
Die richtige Vorbereitung ist wichtig, damit ihr den User Feedback Tag gut und positiv gestalten könnt. Es ist einfach nur ärgerlich, wenn das ganze Team viel Zeit und Energie in die neuen Ideen und Konzepte steckt und der User Test dann nicht läuft. Die folgenden 3 Tipps sollen euch helfen, dass mit der entsprechenden Vorbereitung zu vermeiden.
- Vorbereitung #1: Die richtigen Nutzer finden
“Naja, der gehörte einfach nicht zur Zielgruppe – die Ergebnisse können wir nicht verwenden”. Solche Aussagen hört man immer wieder in User Tests und sie sind häufig gerechtfertigt. Bei einer Software für Investment Banker macht es zum Beispiel wenig Sinn mit Nutzern zu testen, die nicht zur Zielgruppe gehören. Die Ergebnisse können im schlimmsten Fall die Produktentwicklung in die verkehrte Richtung lenken.Bei der Planung der Tests und der Rekrutierung der Nutzer ist die Definition von Nutzertypen daher wichtig, um frühzeitig die wichtigsten Charakteristiken der Testpersonen zu bestimmen. Neben dem Alter, dem Beruf und der digitalen Affinität können das bestimmte Vorlieben und die Nutzungshäufigkeit von Produkten sein. Personas sind zur Definition dieser Kriterien hilfreich, es geht aber notfalls auch ohne. Mit Hilfe einer einfachen Tabelle (siehe Abbildung oben) könnt ihr die Kriterien dann festhalten.Wenn man regelmäßig für ein bestehendes Produkt testet, kann man die richtigen Nutzer leicht unter den Bestandskunden finden. Die Zeit sich ein eigenes Panel oder eine Lead User Group aufzubauen lohnt sich.
- Vorbereitung #2: Test-Konzept erstellen
Das Test-Konzept legt die Methode fest, mit der getestet werden soll und enthält zudem den Interview-Leitfaden, d.h. die Fragen, die während des Tests gestellt werden sollen. Wichtig ist vor der Erstellung des Test-Konzeptes die Ziele bzw. eure Hypothesen gemeinsam zu definieren, also was man mit dem User Test überhaupt herausfinden will. Die beste Test-Methode kann man dann ganz leicht anhand der Ziele auswählen. Bei den Test-Methoden haben wir mit Kombinationen von Speed-Tests, User Value Tests und Usability Tests gute Erfahrungen gemacht.Wenn es zum Beispiel das Ziel ist möglichst viele erste Eindrücke zu sammeln, um anhand der ersten Reaktionen das Interesse der Zielgruppe am Konzept besser einschätzen zu können, bietet sich ein Speed-Testing an. Das Speed-Testing kann man gut mit der World Cafe Methode aufsetzen.Wenn man sich mit den Nutzer intensiver austauschen möchte und tiefer in Bedürfnisse und Interesse am Produkt erfahren möchte, bietet sich ein User Value Test an. Ein User Value Test hilft euch dabei zu erkennen, ob eure Zielgruppe in eurer Idee einen Mehrwert sieht und es benutzen würde. Der Test startet mit einem Interview und einer evtl. Beobachtung der Nutzung des derzeitigen Produktes. Erst danach beginnt ihr den Nutzer bei der Interaktion mit dem Vision Prototype zu beobachten.Unabhängig davon welche Methode ihr wählt – da die Zeit in einem Sprint immer sehr knapp bemessen ist, solltet ihr schon parallel zu Paper Prototyping und Vision Prototyping die Test-Szenarien für den Test bestimmen. In der Prototypen Erstellung kann so auch viel Zeit und Nerven gespart werden, wenn ihr es so aufsetzt das im Prototype nur relevante Funktionen und Seiten enthalten sind.
- Vorbereitung #3: Das passende Set-Up wählen
Das richtige Set-Up sollte ebenfalls mit Bedacht ausgewählt werden. Ihr braucht nicht unbedingt ein klassisches Test Lab mit einem Einweg-Spiegel – zwei Konferenzräume in euren Büroräumen sind vollkommen ausreichend. Wenn ihr euch noch keine richtige Übertragungssoftware wie zum Beispiel den Klassiker Morae leisten wollt und könnt, reicht auch eine Übertragung mit Skype für den schlanken Anfang. Wenn ihr aber ein Bild aus dem Testraum aus mehreren Perspektiven übertragen möchtet, wird das Ganze komplexer. Vor allem Test mit Smartphones und Tablets sind da deutlich anspruchsvoller als mit dem stationären Rechner, da ihr idealerweise neben der Person auch die Fingerbewegungen sehen wollt. Am Besten zeichnet ihr euch das beste Set-Up vor dem Start auf und erstellt eine Liste mit dem technischen Equipment, das ihr dafür braucht. Je nach den Anforderungen gibt es hier eine Menge an Möglichkeiten, wie ihr das Set-Up gestalten könnt. Ihr solltet es nur frühzeitig mit als Aufgabe einplanen, wenn ihr noch kein bestehendes Test Set-Up habt.
Die Durchführung – User Tests gemeinsam gestalten
Es ist soweit – der User Feedback Tag beginnt! Test-Konzept und Set-Up sind vorbereitet und alle warten gespannt darauf, dass die ersten Nutzer eintreffen. Wenn ihr ein Set-Up mit Beobachtungsraum und Übertragung habt, denkt daran einen Testlauf mit der Technik zu machen. Hilfreich ist außerdem ein Zettel, der den Ablauf des Tages mit einer kurzen Übersicht über die eingeladenen Nutzern und den Zeitplan zeigt.
- Durchführung #1: User Tests sind Team-Sache!
Die Auseinandersetzung mit dem Nutzer ist auf jeden Fall nichts was von einem Einzelkämpfer erledigt werden sollte, da das Feedback viel zu wertvoll ist. Beim User Feedback Tag sollte also das gesamte Team anwesend sein. Das Interview mit dem Nutzer sollte von 2 Leuten durchgeführt werden, der Rest des Teams kann dann ihre Beobachtungen auf Post-Its notieren. Das Interview-Duo kann dabei immer wieder wechseln, damit möglichst viele Team-Mitglieder die Chance haben selbst aktiv einen User Test durchzuführen.Nach jeder Testrunde solltet ihr ausreichend Zeit für eine kurze Reflektion mit den Beobachtern einplanen. Es tut gut, sich gemeinsam über das Gesehene und die gewonnenen Erkenntnisse kurz auszutauschen. Bei einem Speed-Test könnt ihr das natürlich nur am Ende machen, da zwischendurch keine Zeit ist.
- Durchführung #2: Die richtigen Fragen richtig stellen
Während des Tests ist eure Haltung zum Nutzer sehr wichtig. Wenn ihr die Testperson nicht ernst nehmt und kein aufrichtiges Interesse zeigt, wird die Testperson das merken und sich unwohl fühlen. Die richtige Haltung ist hier wichtig. Die Fragen, die ihr stellt, habt ihr euch ja zuvor im Interview-Leitfaden definiert und habt idealerweise schon einen Testlauf gemacht, um das Ganze zu üben. Wichtig bei den Fragen ist, dass ihr nicht versucht dem Nutzer euer Konzept zu verkaufen und ihn zu überzeugen. Das ist nicht so einfach, wenn es sich um eure Ideen und euer Konzept handelt – aber macht nicht den Fehler euch in eure Ideen zu sehr zu verlieben. Ideen, die nicht funktionieren oder die keiner will, muss man auch loslassen können.
- Durchführung #3: Auswertung der Ergebnisse im Team
Es ist geschafft. Die Nutzer sind weg und eure Team-Beobachtungen sind auf einem Haufen bunter Post-Its an der Wand verewigt. Jetzt geht es an die Auswertung der Ergebnisse mit dem Team. Auch wenn ihr direkt nach den Sessions die ganzen Post-Its grob geclustert habt, solltet ihr euch jetzt die Zeit nehmen die Erkenntnisse gemeinsam zusammenzufassen und zu priorisieren. Es ist wichtig gemeinsam zu definieren was ihr gelernt habt und welche der Hypothesen vom Start des Design Sprints sich als zutreffend und welche als fragwürdig erwiesen haben. Für die Auswertung und Reflektion der Ergebnisse solltet ihr mindestens eine Stunde einplanen. Wenn ihr am Abend nach den Tests dazu keine Lust und Energie mehr habt, könnt ihr das auch auf den nächsten Tag verschieben.Am Ende der Auswertung solltet ihr eine Liste der wichtigsten Erkenntnisse aus dem Test haben, am Besten sortiert nach den jeweiligen Hypothesen, die ihr validieren wolltet. Diese Liste fasst die relevantesten Learnings kurz und übersichtlich zusammen und ist ein idealer Startpunkt, um zu entscheiden wie es weitergeht.
Nach den Tests – was tun mit den Ergebnissen
Es ist geschafft – der User Feedback Day ist vorbei und das ganze Team freut sich schon auf die nächste Design Sprint Runde. Nach dem Test ist bei Design Sprints stets auch vor dem Test, deswegen ist es wichtig die nächste Runde mit den Ergebnissen der vorherigen Runde zu verknüpfen.
- Nach dem Test #1: Bewertung der Ergebnisse
Zu Beginn der nächsten Design Sprint Runde solltet ihr die wichtigsten Erkenntnisse aus der ersten Runde, die ihr nach den User Tests zusammengefasst habt, noch mal gemeinsam priorisieren. So habt ihr ein optimales Sprungbrett für die zweite Runde, da ihr sofort seht wo ihr noch nachlegen müsst.Zur gemeinsamen Bewertung eignen sich Voting Dots und jedes Team-Mitglied darf 3-5 Punkte für die für ihn wichtigsten Erkenntnissen und Fragestellungen vergeben. In einer einfachen Tabelle könnt ihr dann die Top-Learnings und die Ansätze für die zweite Runde definieren (siehe Abbildung oben), also was ihr ausprobieren und herausfinden wollt.
- Nach dem Test #2: Auf in die nächste Runde
Nach der ersten Design Sprint Runde und zu Beginn der zweiten sollte man sich bereits Gedanken über die beste Test-Methode machen. In den ersten Design Sprint Runden bieten sich User Value Tests oder Speed-Tests meist an – später solltet ihr vermehrt Usability Tests oder auch Lean Analytics Tests einsetzen. Mit Methoden wie Fake Door Tests könnt ihr im Rahmen der Discovery Arbeit frühzeitig relevante Analytics Kennzahlen generieren, die die Affinität der Nutzer an euren Ideen mit Zahlen untermauern. Auch Online User Tests wie bei rapidusertests.com sind eine gute Variante, mit der ihr arbeiten könnt, um schnell mehr Masse zu erreichen.Wichtig ist die Test-Ansätze strategisch anhand eurer Produkt-Hypothesen auszuwählen.
- Nach dem Test #3: Die Kommunikation nicht vergessen
In der Hektik der Design Sprints wird oft die Kommunikation an andere Teams oder auch an die Stakeholder vergessen. Die Test-Ergebnisse sind aber für alle da und ihr solltet sie nicht hinter der Wand zu eurem Projektraum oder in eurem Wiki verschwinden lassen. Schreibt eine kurze Zusammenfassung über den Test und die Erkenntnisse (eine Email mit ein paar Bullet Points reicht hier vollkommen aus!) und schickt sie herum. Oder stellt ein kurzes Highlight Video zusammen, dass die wichtigsten Abschnitte zeigt. Es gibt hier eine Fülle von guten Möglichkeiten, ihr müsst das nur wichtig genug finden, um es voranzutreiben.
Das war er – der letzte Artikel zu unserer Product Design Sprint Artikelreihe. Wir hoffen, dass wir euch den ein oder anderen Anreiz aus unserer Design Sprint Arbeit mit auf den Weg geben konnten.
Alle Artikel aus dieser Serie:
- Einleitung: Die besten Methoden für kompakte 5 Tage Wozu ist ein Product Design Sprint gut, wie bereitet man ihn vor und was folgt in den fünf Sprint-Tagen?
- Tag 1: Experience Mapping Wie soll der Nutzer idealerweise mit dem neuen Produkt umgehen und welches Erlebnis hat er mit dem aktuellen Produkt?
- Tag 2: Storyboarding Die in der Experience Map gesammelten Erkenntnisse über das Nutzererlebnis in konkrete Stories verwandeln und so neue Perspektiven einnehmen.
- Tag 3: Principles & Paper Prototyping Entschieden, welche Konzepte am Besten zu Marke oder Vision passen und diese Konzepte mit Papier-Prototypen schärfen.
- Tag 4: Vision Prototyping Mithilfe von Screen-Flows Konzept und Idee des Produktes vermitteln uns so den Nutzwert testbar machen.
- Tag 5: User Feedback Talks & Bewertung Vision Prototypen mithilfe von Nutzern validieren und das Feedback zusammentragen.
Hallo Inken und Wiebke,
danke für die sehr informative Artikelserie, die ich mit Gewinn gelesen habe. Hoffe, ihr seid auch nach über einem Jahr noch ab und an auf dieser Site unterwegs und lest die Kommentare. Zwei Fragen sind mir beim Durchlesen gekommen:
1) Liesse sich der Sprint auch von einer Woche auf zwei Wochen verlängern? Seht ihr Probleme dabei?
2) Was versteht ihr unter einem Speedtest?
Hallo Patrick,
schön, dass dir die Artikelserie gefällt! Zu deinen Fragen:
1) Design Sprint Dauer:
Das mit den 2 Wochen ist unserer Erfahrung auf jeden Fall möglich und in bestimmten Fällen sogar besser. In den meisten Unternehmen dauern die Design Sprints z.B. eher 2 Wochen, da Mitarbeiter selten 100% für Design Sprints freigestellt werden. Und mit anderen Themen auf dem Tisch ist der wöchentliche Rhythmus nicht zu schaffen. Ein Nachteil ist hier, dass man sich nicht so auf das Thema konzentrieren kann. Die Sprint Dauer sollte also an den Kontext angepasst werden, damit es gut läuft (z.B. Marktsegment, Teamgröße,…). Länger als 3 Wochen sollten es aber nicht werden.
2) Speed Test:
Ein Speed Test sind alle Tests, die es ermöglichen von einer größeren Gruppe von Leuten Feedback einzuholen – ähnlich wie beim Speed Dating. Üblicherweise dauern Tests ja 60-90 Minuten. Speed Tests dauern 10-15 Minuten. In der Fußgängerzone Leute ansprechen fällt z.B. auch in diese Kategorie.
Hoffe das beantwortet deine Fragen. Arbeitest du denn auch schon nach einem Design Sprint Ansatz?
Viele Grüße
Inken
Hallo Inken,
danke für die Antworten! Das mit der Dauer habe ich mir schon gedacht. Man muss schon sehr konzentriert bei der Sache sein, um das beschriebene Pensum innerhalb von einer Woche schaffen zu können. Ich persönlich habe noch keine Erfahrungen mit Sprints gemacht — als selbständiger UX-Designer bin ich bis jetzt meistens in bestimmten Phasen (z.B. Feinkonzept) des UCD-Prozesses zum Team gestoßen und dann dort gezielt eingesetzt worden.
Dennoch ist die gesamte Thematik hochinteressant und erfordert natürlich ein Umdenken bei allen Beteiligten. Prozessmässig bewegt man sich ja von einem modifizierten Wasserfall hin zu einem vollagilen Ansatz. Das birgt denke ich viele Chancen, aber auch Risiken. Ich zumindest hoffe, dass ich in einem meiner nächsten Projekte mal Design Sprints machen kann :-)
Speedtests: Macht Sinn. Bei uns in der Nähe gibt es das “Usability Testessen” (http://usability-testessen.de/), was sehr in diese Richtung geht: Schnelles Nutzerfeedback in jeder Projektphase.
Grüsse,
Patrick