In meinem letzten Artikel habe ich darüber geschrieben, dass jeder Produktmanager das große Interesse haben sollte, sich direkt mit seinen (potentiellen) Kunden und Nutzern zu unterhalten. Produktmanager sollten also selber User Research betreiben, um die Anforderungen der Nutzer bestmöglich zu verstehen.
Häufig werde ich allerdings gefragt, wie man User Research richtig einsetzt und wie man die Ergebnisse aus User Research richtig interpretiert. Eine spannende Frage, denn ich erlebe immer wieder, dass die Aussagen und Erkenntnisse aus User-Tests falsch genutzt werden, z.B. indem die Antworten aus 5 Interviews dazu dienen, Entscheidungen für oder gegen ganze Produktideen zu treffen.
Aus diesem Grunde möchte ich hier eine kurze Übersicht darüber bieten, für welche Fragestellungen sich welche Research Methoden eignen – oder auch nicht.
Die richtige Fragestellung
Fragestellungen sind ein gutes Stichwort, denn alles beginnt damit, dass man sich klar darüber sein sollte, was man eigentlich herausfinden möchte. Typischer Weise treffe ich dabei immer wieder auf die folgenden drei Dinge, an denen Produktmanager, UX Leads und Entwicklungsteams interessiert sind:
- Wer sind meine Nutzer, welche Bedürfnisse haben diese und welche Chancen ergeben sich für mich, diese Bedürfnisse zu befriedigen?
→ Nennen wir dies die Fragen nach Nutzerbedürfnissen - Wie bewerten (potentielle) Nutzer meine Ideen und Konzepte für ein neues Produkt. Was gefällt den Leuten daran, was sollte ich ggf. überdenken oder anders machen?
→ Das sind die Fragen nach dem Nutzwert - Wie benutzen (potentielle) Nutzer meine Ideen, Funktionen oder mein Produkt? Kommen sie damit klar? Verstehen sie das Konzept und können die typischen Aufgaben durchgeführt werden?
→ Das sind Fragen nach der Usability
Bevor man also User Research plant, sollte man sicherstellen, dass man sich darüber klar ist, welche Fragen man beantwortet haben möchte.
Ok, nachdem die Fragestellung also geklärt ist, ist es als nächstes wichtig, die richtige Methode zu wählen. Denn es gibt viele verschiedene Methoden, mit denen man Erkenntnisse über die Nutzer einholen kann: es gibt quantitative Methoden (bei denen sich alles um Zahlen dreht; daher werden hierfür häufig Surveys genutzt) und es gibt qualitative Methoden (wo es mehr um Ideen und Feedback geht, statt um signifikante Ergebnisse; daher kommt man mit weniger Nutzern aus).
Die Frage ist nun, welche Methode sich für welche Fragestellung am besten eignet. Daher möchte ich im Folgenden drei einfach durchzuführende Methoden im Detail erläutern und dabei auch beschreiben, wofür die Methoden jeweils gut sind (und wofür nicht).
Tiefeninterviews
Vorgehen:
- Man lädt ein paar Personen (ca. 10-15) entsprechend der Zielgruppe / Persona ein, über die man mehr erfahren möchte.
- Man schafft eine angenehme Gesprächssituation und sitzt gemütlich auf einem Sofa oder an einem Tisch.
- Man zeigt den Personen nichts (und erzählt auch nicht viel), sondern fragt viele Fragen und hört auf das, was sie zu erzählen haben.
- Wenn die Personen Probleme beschreiben oder Bedürfnisse nennen (meist eher implizite), fragt man weiter nach, bis man denkt das Problem / Bedürfnis genau verstanden zu haben.
- Falls die Personen Wünsche oder Feature-Ideen haben, hört man zu, nimmt diese aber nicht wörtlich.
- Die Daten analysiert man, indem man hinter die Kulissen schaut und alles hinterfragt. Was sind die wirklichen Gründe, die dahinter stecken (dies ist meist der schwierigste Teil!).
Wofür Tiefeninterviews gut sind:
- Besseres Kennenlernen der Zielgruppe, z.B. was machen die Personen, wie arbeiten sie, welche Probleme haben sie, wie wird mit Problemen umgegangen, etc.
- Besseres Verständnis über bestimmte Themen schaffen, z.B. was gehört alles zum Thema, wie sieht das Mentale Modell der Nutzer zum Thema aus, etc.
- Neue Chancen für Innovationen identifizieren. Falls man in den Interviews echte Nutzerbedürfnisse aufdeckt, für die es noch keine richtige Lösung gibt, dann ist dies eine echte Gelegenheit für eine Innovation.
Wofür Tiefeninterviews NICHT gut sind:
- Man sollte nicht alles wörtlich nehmen, was die Nutzer sagen. Das (angebliche) Zitat von Henry Ford über Pferde und Autos beschreibt, warum. Nutzer sind (meistens) keine Produktdesigner und können selten abstrahieren. Innovative Lösungen für die entdeckten Chancen zu entwickeln ist Job des Produktmanagers und des Teams!
User Value Test
Vorgehen:
- Man hat schon konkrete Ideen für eine Funktion oder ein Produkt und möchte diese mit Nutzern besprechen.
- Man lädt ein paar Nutzer ein (ca. 5-6 genügen, aber je mehr, desto besser) die zu der Zielgruppe / Persona passen, die an der Idee interessiert sein könnten.
- Zu Beginn stellt man ein paar allgemeine Fragen, um den Hintergrund der jeweiligen Person besser zu verstehen und um einzuschätzen, ob die Person wirklich zu der Zielgruppe gehört.
- Man zeigt den Personen die Ideen oder Konzepte (als Zeichnung, Prototyp, Screen-Ausdruck etc.) und lässt sie das Konzept soweit wie möglich ausprobieren, damit sie einen guten ersten Eindruck bekommen.
- Anschließend fragt man nach den Vor- und Nachteilen der Ideen bzw. Funktionen, was gut gefällt und was weniger.
- Dann fragt man, ob die Personen sich vorstellen könnten, die Funktion / das Produkt tatsächlich zu nutzen oder sogar Geld dafür zu zahlen.
- Falls sie kein Interesse zeigen, fragt man nach was man tun müsstet, damit das Produkt für sie interessant wäre.
Wofür User Value Tests gut sind:
- Ein erstes grobes Gefühl für die Akzeptanz der Idee bekommen (-> Daumenpeilung).
- Chancen und Risiken der Idee sammeln – was könnte zum Erfolg führen, was eher zum Scheitern des Produkts.
- Sammeln von Ideen, wie man das Konzept weiter verbessern kann – oder auch ganz die Richtung ändern könnte (→ Pivot).
Wofür User Value Tests NICHT gut sind:
- Ein User Value Test sagt nicht voraus, ob eine Idee zum Erfolg werden wird oder nicht! Die Methode dient nicht der Entscheidungsfindung, sie gibt nur ein Gefühl, ob man auf dem richtigen Weg ist. Wenn alle Leute die Idee lieben oder das Produkt morgen nutzen wollen, ist dies ein gutes Zeichen dafür, dass man auf dem richtigen Weg ist. Wenn alle die Idee hassen, weiß man, dass man das Ganze nochmal überdenken sollte (oder ggf. eine andere Zielgruppe in Betracht ziehen sollte).
Usability Test
Vorgehen:
- Man hat einen funktionalen Prototypen von der Produktidee, die umgesetzt werden soll. Jetzt möchte man herausfinden, ob die Leute den Prototypen auch nutzen können.
- Man lädt 5-6 potentielle Nutzer aus der Zielgruppe / der Persona ein, die an dem Produkt interessiert sein könnten.
- Man lässt die Personen die wichtigsten Szenarien / Use Cases ausprobieren, die das Produkt künftig bieten soll.
- Man beobachtet, wie die Personen vorgehen, wie sie reagieren, wie sie sich dabei fühlen und ob sie die Szenarien durchlaufen können (soweit dies der Prototyp erlaubt).
- Man achtet insbesondere auf Stellen, an denen die Personen Probleme haben, nicht weiter kommen, ins Stocken geraten etc. In diesen Fällen fragt man nach was los ist und was die Personen stattdessen erwartet hätten.
- Man Fragt nur dann nach oder unterbricht die Personen, wenn nicht ganz klar ist, was gerade passiert.
Wofür Usability Tests gut sind:
- Ein erstes Verständnis davon bekommen, wie die Nutzer das Produkt tatsächlich nutzen werden.
- Ein erstes Gefühl davon bekommen, ob die Use Cases wirklich relevant sind, oder eher Ausnahmefälle sind.
- Aufdecken von Usability-Problemen, die die Nutzer entweder stören / nerven, oder die sogar ganz zu Abbrüchen führen.
- Optimierungspotentiale aufdecken.
Wofür Usability Tests NICHT gut sind:
- Ein Usability Test sagt nicht voraus, ob eine Idee zum Erfolg werden wird oder nicht! Die Methode dient nicht der Entscheidungsfindung, sie zeigt nur potentielle Probleme bei der Nutzung auf und gibt Hinweise darauf, ob die richtigen Use Cases integriert sind.
Viele Möglichkeiten – ausprobieren!
Dies war nur ein kleiner Ausschnitt aus dem großen Methodenportfolio, welches heute verfügbar ist. So gibt es beispielsweise noch:
- Card Sortings, wenn es darum geht, eine Informationsarchitektur zu bestimmen
- Fokusgruppen, in denen Themen mit einer größeren Gruppe diskutiert werden
- Tagebuchstudien, mit deren Hilfe die tägliche Produkt-Nutzung im Alltag ermittelt werden
- Eyetracking, bei dem es um die Aufmerksamkeitsverteilung auf Seiten geht
- und vieles mehr.
Aber die drei oben genannten Methoden sind sicherlich diejenigen, die am wenigsten Aufwand bereiten und die daher jeder Produktmanager einmal ausprobieren sollte.
Natürlich kann man dabei auch verschiedene Methoden kombinieren und zum Beispiel im ersten Teil eines Gesprächs mit dem Nutzer ein Tiefeninterview führen und im zweiten Teil einen Prototypen zeigen und die Usability davon testen. Wichtig ist nur, dass man die Interpretationen der Ergebnisse auseinander hält.
Vielleicht habe ich an dieser Stelle noch eine Frage nicht beantwortet: Wie kann man sicher gehen, dass die Nutzer ein Produkt lieben werden und dass ein Produkt ein wirklicher Erfolg wird?
Die kurze Antwort: man kann es nicht!
Man kann immer noch mehr Aufwand in die Erhebung von quantitativen und qualitativen Daten stecken, aber am Ende wird man niemals 100% sicher sein, wenn man es nicht ausprobiert! Wenn man mehr Research betreibt kann man das Risiko des Scheiterns vielleicht etwas reduzieren – aber man wird dadurch auch viel Zeit (und wahrscheinlich auch Geld) verlieren und dann ist vielleicht ein Wettbewerber schneller.
Viel wichtiger ist, dass man eine gut durchgeführte Product Discovery macht mit einer vernünftigen Anzahl an Interviews und User Tests, aber danach sollte gelten: ship it – learn from it – optimize it!
Danke für diesen wirklich guten Artikel. Werde den in meine Literaturempfehlung für Shop-Manager / Product Owner aufnehmen. :)
Sehr schön und knapp erklärt was eigentlich der Sinn von Nutzertests ist und das man sie aber auch definitiv nicht übertreiben sollte!
Vielen Lieben Dank für diesen tollen Artikel! Er beschreibt wirklich sehr gut, was ein User Researcher eigentlich macht und dass diese Position keine “alone-standing” Funktion hat! Es kommt vielmehr auf das Zusammenspiel des gesamten Product Discovery Teams an!
Ich arbeite gerne zu Beginn einer Product Discovery mit Bedürfnissworkshops zu denen ich Nutzer und Product Manager und UX Designer einlade. Anstelle von Tiefeninterviews schaffe ich so schon ein anderes Gefühl gegenüber und für den Nutzer! Besonders schön zu sehen ist es dann, wenn ein Nutzer der an dem Bedürfnissworkshop teilgenommen hat später auch zu den Usabillity Tests kommt und begeistert von unserer Arbeit nach Hause geht!
Sehr schöner Artikel. Eine kurze Frage, wie meinen Sie das “Usability Test dient nicht zur Entscheidungsfindung?”. Ich danke herzlich für eine Antwort.
Hallo Iris,
Damit ist gemeint, dass Usability-Tests aufgrund der geringen Fallzahl und der Art der Durchführung nicht dafür genutzt werden sollten, Entscheidungen für oder wider ein Konzept oder eine Produktidee zu treffen, also die Idee an sich zu validieren. Dafür sollte man dann andere Methoden wählen.
Viele Grüße
Rainer
Super Artikel!
Gibt es denn auch gute Literatur zum Thema ‘User Value Test’, bspw. mit Hinweisen zur Durchführung oder allgemein eine detailliertere Ausführung.
Vielen Dank für eine Antwort.
Hallo Lena,
bitte entschuldige die arg verspätete Antwort. Ich kenne leider kein direktes Buch zu dem Thema. Nur allgemein zu User Testing.
Viele Grüße
Rainer