Der Perfekte Product Design Sprint – Tag 5: 3×3 Tipps für Euren User Feedback Tag

Am fünften Tag des Product Design Sprints geht es darum sich für die im Team gemeinsam erschaffenen Produkt-Konzepte das Feedback der Nutzer einzuholen. Die Reaktionen der Nutzer können einen zum Einen zu sinnvollen Weiterentwicklungen der Konzepte inspirieren, können aber auch verhindern, dass zuviel Zeit und Energie in die falsche Lösung investiert wird. Im fünften und letzten Teil der Product Design Sprint Artikelreihe wollen wir euch die wichtigsten Tipps & Tricks mit an die Hand geben – von der optimalen Vorbereitung bis hin zur Priorisierung der Ergebnisse – um den User Feedback Tag selbst erfolgreich gestalten zu können.

User Tests machen ist im Trend und viele Firmen und Teams haben mittlerweile eigene User Labs und veranstalten wöchentliche Test-Tage. Die Ergebnisse und der Nutzen von User Tests werden trotzdem gerne hinterfragt – vor Allem wenn die Ergebnisse nicht positiv ausfallen, wird angezweifelt, dass der Nutzer zur Zielgruppe gehört oder das man die Ergebnisse bei diesem sehr innovativen Thema überhaupt verwenden kann. “Die Idee ist viel zu neu und innovativ, da braucht man keine Nutzer zu fragen, die haben doch eh keine Ahnung!”. Zudem ist das User Testing in schnellen und dynamischen Design Sprints sehr anspruchsvoll, da man eine gewisse Planbarkeit (wie z.B. Nutzer einladen) mit dem kreativen Chaos eines Design Sprints in Einklang bringen muss. Aber es lohnt sich – schnelles und iteratives User Testen macht einfach Spaß und ist sehr lehrreich!

Damit euer User Test Tag ein Erfolg wird, haben wir euch die wichtigsten Tipps in diesem Artikel zusammengestellt. Los geht es mit der richtigen Vorbereitung!

Die Vorbereitung – was vor dem User Feedback Tag zu erledigen ist

Vorbereitung

Die richtige Vorbereitung ist wichtig, damit ihr den User Feedback Tag gut und positiv gestalten könnt. Es ist einfach nur ärgerlich, wenn das ganze Team viel Zeit und Energie in die neuen Ideen und Konzepte steckt und der User Test dann nicht läuft. Die folgenden 3 Tipps sollen euch helfen, dass mit der entsprechenden Vorbereitung zu vermeiden.

  • Vorbereitung #1 – Die richtigen Nutzer finden
    “Naja, der gehörte einfach nicht zur Zielgruppe – die Ergebnisse können wir nicht verwenden”. Solche Aussagen hört man immer wieder in User Tests und sie sind häufig gerechtfertigt. Bei einer Software für Investment Banker macht es zum Beispiel wenig Sinn mit Nutzern zu testen, die nicht zur Zielgruppe gehören. Die Ergebnisse können im schlimmsten Fall die Produktentwicklung in die verkehrte Richtung lenken.Bei der Planung der Tests und der Rekrutierung der Nutzer ist die Definition von Nutzertypen daher wichtig, um frühzeitig die wichtigsten Charakteristiken der Testpersonen zu bestimmen. Neben dem Alter, dem Beruf und der digitalen Affinität können das bestimmte Vorlieben und die Nutzungshäufigkeit von Produkten sein. Personas sind zur Definition dieser Kriterien hilfreich, es geht aber notfalls auch ohne. Mit Hilfe einer einfachen Tabelle (siehe Abbildung oben) könnt ihr die Kriterien dann festhalten.Wenn man regelmäßig für ein bestehendes Produkt testet, kann man die richtigen Nutzer leicht unter den Bestandskunden finden. Die Zeit sich ein eigenes Panel oder eine Lead User Group aufzubauen lohnt sich.
  • Vorbereitung #2 –Test-Konzept erstellen
    Das Test-Konzept legt die Methode fest, mit der getestet werden soll und enthält zudem den Interview-Leitfaden, d.h. die Fragen, die während des Tests gestellt werden sollen. Wichtig ist vor der Erstellung des Test-Konzeptes die Ziele bzw. eure Hypothesen gemeinsam zu definieren, also was man mit dem User Test überhaupt herausfinden will. Die beste Test-Methode kann man dann ganz leicht anhand der Ziele auswählen. Bei den Test-Methoden haben wir mit Kombinationen von Speed-Tests, User Value Tests und Usability Tests gute Erfahrungen gemacht.Wenn es zum Beispiel das Ziel ist möglichst viele erste Eindrücke zu sammeln, um anhand der ersten Reaktionen das Interesse der Zielgruppe am  Konzept besser einschätzen zu können, bietet sich ein Speed-Testing an. Das Speed-Testing kann man gut mit der World Cafe Methode aufsetzen.Wenn man sich mit den Nutzer intensiver austauschen möchte und tiefer in Bedürfnisse und Interesse am Produkt erfahren möchte, bietet sich ein User Value Test an. Ein User Value Test hilft euch dabei zu erkennen, ob eure Zielgruppe in eurer Idee einen Mehrwert sieht und es benutzen würde. Der Test startet mit einem Interview und einer evtl. Beobachtung der Nutzung des derzeitigen Produktes. Erst danach beginnt ihr den Nutzer bei der Interaktion mit dem Vision Prototype zu beobachten.Unabhängig davon welche Methode ihr wählt – da die Zeit in einem Sprint immer sehr knapp bemessen ist, solltet ihr schon parallel zu Paper Prototyping und Vision Prototyping die Test-Szenarien für den Test bestimmen. In der Prototypen Erstellung kann so auch viel Zeit und Nerven gespart werden, wenn ihr es so aufsetzt das im Prototype nur relevante Funktionen und Seiten enthalten sind.
  • Vorbereitung #3 –Das passende Set-Up wählen
    Das richtige Set-Up sollte ebenfalls mit Bedacht ausgewählt werden. Ihr braucht nicht unbedingt ein klassisches Test Lab mit einem Einweg-Spiegel – zwei Konferenzräume in euren Büroräumen sind vollkommen ausreichend. Wenn ihr euch noch keine richtige Übertragungssoftware wie zum Beispiel den Klassiker Morae leisten wollt und könnt, reicht auch eine Übertragung mit Skype für den schlanken Anfang. Wenn ihr aber ein Bild aus dem Testraum aus mehreren Perspektiven übertragen möchtet, wird das Ganze komplexer. Vor allem Test mit Smartphones und Tablets sind da deutlich anspruchsvoller als mit dem stationären Rechner, da ihr idealerweise neben der Person auch die Fingerbewegungen sehen wollt. Am Besten zeichnet ihr euch das beste Set-Up vor dem Start auf und erstellt eine Liste mit dem technischen Equipment, das ihr dafür braucht. Je nach den Anforderungen gibt es hier eine Menge an Möglichkeiten, wie ihr das Set-Up gestalten könnt. Ihr solltet es nur frühzeitig mit als Aufgabe einplanen, wenn ihr noch kein bestehendes Test Set-Up habt.

Die Durchführung – User Tests gemeinsam gestalten

Testsessions

Es ist soweit – der User Feedback Tag beginnt! Test-Konzept und Set-Up sind vorbereitet und alle warten gespannt darauf, dass die ersten Nutzer eintreffen. Wenn ihr ein Set-Up mit Beobachtungsraum und Übertragung habt, denkt daran einen Testlauf mit der Technik zu machen. Hilfreich ist außerdem ein Zettel, der den Ablauf des Tages mit einer kurzen Übersicht über die eingeladenen Nutzern und den Zeitplan zeigt.

  • Durchführung #1 – User Tests sind Team-Sache!
    Die Auseinandersetzung mit dem Nutzer ist auf jeden Fall nichts was von einem Einzelkämpfer erledigt werden sollte, da das Feedback viel zu wertvoll ist. Beim User Feedback Tag sollte also das gesamte Team anwesend sein. Das Interview mit dem Nutzer sollte von 2 Leuten durchgeführt werden, der Rest des Teams kann dann ihre Beobachtungen auf Post-Its notieren. Das Interview-Duo kann dabei immer wieder wechseln, damit möglichst viele Team-Mitglieder die Chance haben selbst aktiv einen User Test durchzuführen.Nach jeder Testrunde solltet ihr ausreichend  Zeit für eine kurze Reflektion mit den Beobachtern einplanen. Es tut gut, sich gemeinsam über das Gesehene und die gewonnenen Erkenntnisse kurz auszutauschen. Bei einem Speed-Test könnt ihr das natürlich nur am Ende machen, da zwischendurch keine Zeit ist.
  • Durchführung #2 –Die richtigen Fragen richtig stellen
    Während des Tests ist eure Haltung zum Nutzer sehr wichtig. Wenn ihr die Testperson nicht ernst nehmt und kein aufrichtiges Interesse zeigt, wird die Testperson das merken und sich unwohl fühlen. Die richtige Haltung ist hier wichtig. Die Fragen, die ihr stellt, habt ihr euch ja zuvor im Interview-Leitfaden definiert und habt idealerweise schon einen Testlauf gemacht, um das Ganze zu üben. Wichtig bei den Fragen ist, dass ihr nicht versucht dem Nutzer euer Konzept zu verkaufen und ihn zu überzeugen. Das ist nicht so einfach, wenn es sich um eure Ideen und euer Konzept handelt – aber macht nicht den Fehler euch in eure Ideen zu sehr zu verlieben. Ideen, die nicht funktionieren oder die keiner will, muss man auch loslassen können.
  • Durchführung #3 –Auswertung der Ergebnisse im Team
    Es ist geschafft. Die Nutzer sind weg und eure Team-Beobachtungen sind auf einem Haufen bunter Post-Its an der Wand verewigt. Jetzt geht es an die Auswertung der Ergebnisse mit dem Team. Auch wenn ihr direkt nach den Sessions die ganzen Post-Its grob geclustert habt, solltet ihr euch jetzt die Zeit nehmen die Erkenntnisse gemeinsam zusammenzufassen und zu priorisieren. Es ist wichtig gemeinsam zu definieren was ihr gelernt habt und welche der Hypothesen vom Start des Design Sprints sich als zutreffend und welche als fragwürdig erwiesen haben. Für die Auswertung und Reflektion der Ergebnisse solltet ihr mindestens eine Stunde einplanen. Wenn ihr am Abend nach den Tests dazu keine Lust und Energie mehr habt, könnt ihr das auch auf den nächsten Tag verschieben.Am Ende der Auswertung solltet ihr eine Liste der wichtigsten Erkenntnisse aus dem Test haben, am Besten sortiert nach den jeweiligen Hypothesen, die ihr validieren wolltet. Diese Liste fasst die relevantesten Learnings kurz und übersichtlich zusammen und ist ein idealer Startpunkt, um zu entscheiden wie es weitergeht.

Nach dem Tests – was tun mit den Ergebnissen

Nach dem Test

Es ist geschafft – der User Feedback Day ist vorbei und das ganze Team freut sich schon auf die nächste Design Sprint Runde. Nach dem Test ist bei Design Sprints stets auch vor dem Test, deswegen ist es wichtig die nächste Runde mit den Ergebnissen der vorherigen Runde zu verknüpfen.

  • Nach dem Test #1 – Bewertung der Ergebnisse
    Zu Beginn der nächsten Design Sprint Runde solltet ihr die wichtigsten Erkenntnisse aus der ersten Runde, die ihr nach den User Tests zusammengefasst habt, noch mal gemeinsam priorisieren. So habt ihr ein optimales Sprungbrett für die zweite Runde, da ihr sofort seht wo ihr noch nachlegen müsst.Zur gemeinsamen Bewertung eignen sich Voting Dots und jedes Team-Mitglied darf 3-5 Punkte für die für ihn wichtigsten Erkenntnissen und Fragestellungen vergeben. In einer einfachen Tabelle könnt ihr dann die Top-Learnings und die Ansätze für die zweite Runde definieren (siehe Abbildung oben), also was ihr ausprobieren und herausfinden wollt.
  • Nach dem Test #2 –Auf in die nächste Runde
    Nach der ersten Design Sprint Runde und zu Beginn der zweiten sollte man sich bereits Gedanken über die beste Test-Methode machen. In den ersten Design Sprint Runden bieten sich User Value Tests oder Speed-Tests meist an – später solltet ihr vermehrt Usability Tests oder auch Lean Analytics Tests einsetzen. Mit Methoden wie Fake Door Tests könnt ihr im Rahmen der Discovery Arbeit frühzeitig relevante Analytics Kennzahlen generieren, die die Affinität der Nutzer an euren Ideen mit Zahlen untermauern. Auch Online User Tests wie bei rapidusertests.com sind eine gute Variante, mit der ihr arbeiten könnt, um schnell mehr Masse zu erreichen.Wichtig ist die Test-Ansätze strategisch anhand eurer Produkt-Hypothesen auszuwählen.
  • Nach dem Test #3 – Die Kommunikation nicht vergessen
    In der Hektik der Design Sprints wird oft die Kommunikation an andere Teams oder auch an die Stakeholder vergessen. Die Test-Ergebnisse sind aber für alle da und ihr solltet sie nicht hinter der Wand zu eurem Projektraum oder in eurem Wiki verschwinden lassen. Schreibt eine kurze Zusammenfassung über den Test und die Erkenntnisse (eine Email mit ein paar Bullet Points reicht hier vollkommen aus!) und schickt sie herum. Oder stellt ein kurzes Highlight Video zusammen, dass die wichtigsten Abschnitte zeigt. Es gibt hier eine Fülle von guten Möglichkeiten, ihr müsst das nur wichtig genug finden, um es voranzutreiben.

Das war er – der letzte Artikel zu unserer Product Design Sprint Artikelreihe. Wir hoffen, dass wir euch den ein oder anderen Anreiz aus unserer Design Sprint Arbeit mit auf den Weg geben konnten.


Weitere Artikel aus dieser Serie:

Über Inken Petersen

Inken Petersen ist Gründerin & Design Partner beim Ubercreative Product Design Lab in Hamburg. Mit Lean UX-Training und Discovery Coaching hilft sie Teams schneller, kreativer und mit mehr Nutzerfokus gute Produkte zu entwickeln.

Über Wiebke Kudernatsch (Gastautor)

Wiebke Kudernatsch ist passionierte Product Design Expertin, die seit über einem Jahrzehnt Unternehmen und Produktmarken für nutzerzentrierte Lösungen begeistert. Ihre agile Arbeitsweise ist geprägt durch designgetriebene Vorgehensmodelle sowie starke UX Methoden. Wiebke Kudernatsch ist Gründerin von Ubercreative.

3 Kommentare

  1. Patrick

    Hallo Inken und Wiebke,

    danke für die sehr informative Artikelserie, die ich mit Gewinn gelesen habe. Hoffe, ihr seid auch nach über einem Jahr noch ab und an auf dieser Site unterwegs und lest die Kommentare. Zwei Fragen sind mir beim Durchlesen gekommen:

    1) Liesse sich der Sprint auch von einer Woche auf zwei Wochen verlängern? Seht ihr Probleme dabei?
    2) Was versteht ihr unter einem Speedtest?

  2. Inken Petersen Artikelautor

    Hallo Patrick,

    schön, dass dir die Artikelserie gefällt! Zu deinen Fragen:

    1) Design Sprint Dauer:
    Das mit den 2 Wochen ist unserer Erfahrung auf jeden Fall möglich und in bestimmten Fällen sogar besser. In den meisten Unternehmen dauern die Design Sprints z.B. eher 2 Wochen, da Mitarbeiter selten 100% für Design Sprints freigestellt werden. Und mit anderen Themen auf dem Tisch ist der wöchentliche Rhythmus nicht zu schaffen. Ein Nachteil ist hier, dass man sich nicht so auf das Thema konzentrieren kann. Die Sprint Dauer sollte also an den Kontext angepasst werden, damit es gut läuft (z.B. Marktsegment, Teamgröße,…). Länger als 3 Wochen sollten es aber nicht werden.

    2) Speed Test:
    Ein Speed Test sind alle Tests, die es ermöglichen von einer größeren Gruppe von Leuten Feedback einzuholen – ähnlich wie beim Speed Dating. Üblicherweise dauern Tests ja 60-90 Minuten. Speed Tests dauern 10-15 Minuten. In der Fußgängerzone Leute ansprechen fällt z.B. auch in diese Kategorie.

    Hoffe das beantwortet deine Fragen. Arbeitest du denn auch schon nach einem Design Sprint Ansatz?

    Viele Grüße
    Inken

  3. Patrick

    Hallo Inken,

    danke für die Antworten! Das mit der Dauer habe ich mir schon gedacht. Man muss schon sehr konzentriert bei der Sache sein, um das beschriebene Pensum innerhalb von einer Woche schaffen zu können. Ich persönlich habe noch keine Erfahrungen mit Sprints gemacht — als selbständiger UX-Designer bin ich bis jetzt meistens in bestimmten Phasen (z.B. Feinkonzept) des UCD-Prozesses zum Team gestoßen und dann dort gezielt eingesetzt worden.

    Dennoch ist die gesamte Thematik hochinteressant und erfordert natürlich ein Umdenken bei allen Beteiligten. Prozessmässig bewegt man sich ja von einem modifizierten Wasserfall hin zu einem vollagilen Ansatz. Das birgt denke ich viele Chancen, aber auch Risiken. Ich zumindest hoffe, dass ich in einem meiner nächsten Projekte mal Design Sprints machen kann 🙂

    Speedtests: Macht Sinn. Bei uns in der Nähe gibt es das „Usability Testessen“ (http://usability-testessen.de/), was sehr in diese Richtung geht: Schnelles Nutzerfeedback in jeder Projektphase.

    Grüsse,
    Patrick

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.