Daten in der Produktentwicklung – Teil 1 des Recap vom ProductTank Hamburg, Mai 2014

Zum zweiten Mal trafen sich am Freitag den 16. Mai die Hamburger Produktentwickler zu einem Blick über den Tellerrand, kombiniert mit anschließendem Networking bei Pizza und Bierchen. Wer nicht da war, dem sei verraten: „Du hast was verpasst! “ 🙂

Trotzdem wollen wir Euch nicht vorenthalten, was wir aus den zwei inhaltlich doch sehr verschiedenen Vorträgen lernen konnten. Beide Vorträge waren so intensiv, dass wir uns entschieden haben, einen Zweiteiler daraus zu machen.

Wir starten mit dem Vortrag „Use Data to Inform Product Decisions“ von Marc Abraham, seines Zeichen Product Manager bei beamly, einem TV-basierten Social Network aus London. Marc betreibt außerdem den spannenden Blog „As i learn ...“,  in welchem er unter Anderem über die Entwicklung seines eigenen Produktes HipHopListings berichtet.

Von Dashboard-Terror und Data-Vomit

Wir alle kennen das: Am Montag morgen erhält man per Email die wichtigsten Zahlen der letzten Woche. In Sachen Darstellung schwankt dieses Mail von langen Reports, großen Tabellen, es müssen schließlich alle Zahlen untergebracht werden oder, falls sich jemand im Unternehmen Gedanken über Datenvisualisierung gemacht hat, in Form eines Dashboards:

Dashboard-Terror

Echter Dashboard-Terror! Wir verwenden mindestens 30 Minuten unseres Tages damit, die Zahlen zu verstehen und zu interpretieren. Noch ineffizienter wird es, wenn wir dies, im Kollektiv, in einem gemeinsamen Meeting tun. Da kaum jemand durch diese Datenfluten durchsteigt, endet das Ganze dann meist, mit einer HIPPO-Entscheidung (=highest paid person’s opinion). Jemand muss schließlich eine Entscheidung treffen und, berechtigterweise, gilt hier oft das Motto von Jim Barksdale, dem ehemaligen CEO von Netscape:

“If we have data, let’s look at data. If all we have are opinions, let’s go with mine.“

Daten in der Produktentwicklung – wozu?

Dass die oben dargestellte Situation unglücklich ist, ist uns allen klar. Doch wie nun damit umgehen? Marc lieferte ein gutes Beispiel aus seiner Zeit bei 7digital, einem grossen Musikdienstleister für Download und Streaming. Sein Vorgesetzter war der Meinung, dass unkomprimierte Musikdateien, wie Flac oder Wav, die Zukunft der Musikindustrie seien. Allerdings konnte Marc feststellen, dass diese Dateiformate auf Labelseite erstens selten vorhanden waren und zweitens überhaupt kein Fokus darauf gelegt wurde. Noch interessanter: Auf Konsumentenseite kam heraus, dass sich niemand für diese Format interessierte, ihnen war die mittelmäßige MP3-Qualität völlig ausreichend.

Da keiner von uns Hellseher ist, können wir uns Daten zu Nutze machen…

  • um über unsere Nutzer und unser Produkt zu lernen
  • um Erfolg zu messen
  • um zwischen Optionen abwägen zu können
  • um Nutzerinteraktionen zu verstehen
  • um Produktentscheidungen zu treffen

Dabei ist zunächst ist erst mal eines wichtig: Auch qualitative Ergebnisse, z.B. Befragungen, sind Daten!

Quantitative Daten helfen uns also, die richtigen Fragen zu stellen, indem wir messen:

  • wie Nutzer aktuell unser Produkt nutzen
  • ob unser neuestes Feature wirklich einen Unterschied macht

Ein Beispiel aus der Luftfahrt: Die Reservierungsdaten zeigen, dass 30% der Sitze eines Fluges leer geblieben sind. Durch gezielte Befragungen kann man nun in Erfahrung bringen, dass dies an den trockenen Nüssen liegt, welche auf den Flügen als Snacks verteilt werden. Im Gegensatz dazu gibt es bei der Konkurrenz die Wahl zwischen einem frisches Sandwich und einem knackigen Salat – zugegeben auf Inlandsflügen ein unwahrscheinliches Szenario 😉

Doch nun zurück zu unseren digitalen Geschäftsmodellen. Wie setzen wir Daten nun wirklich in der Produktentwicklung ein?

Zwei Ansätze Daten-gestützter Produktentwicklung

Wie schon William Edwards Deming sagte:

„In God we trust; all others must bring data.“

Datengetrieben Produktentwicklung wird von vielen Gaminganbietern, z.B. von Wooga sehr erfolgreich eingesetzt. Ein sehr rigoroser Prozess, welcher einen extrem hohen Fokus erfordert. Dabei trifft sich das Team Anfang der Woche und bestimmt eine Metrik, auf die es sich diese Woche zu fokussieren gilt („One Metric That Matters“). Hierzu werden Hypothesen gebildet und zahlreiche A/B-Tests dazu gebaut, mit dem einzigen Ziel, diese Metrik zu verbessern.

Gerade bei Spielen erscheint dieser sehr rationale Prozess irgendwie sehr merkwürdig, oder? Bei Spielen geht es doch um Spaß. Metriken zeigen aber immer nur einen Ausschnitt der Realität. Sie zeigen z.B. ob jemand ein Feature genutzt hat. Was dabei aber auf der Stecke bleibt, ist das große Bild. Werden unsere Kunden dieses Spiel jetzt häufiger und länger nutzen? Oder führt das neue Feature nur zu einer sehr intensiven Einmal-Nutzung? Diese Schwächen versucht die Daten-getriebene Produktentwicklung durch sehr schnelle Iterationen auszugleichen.

Ein zweiter Ansatz ist die sog. dateninformierte Produktentwicklung, vorgestellt von Facebook’s Adam Mosseri (Data Informed, Not Data Driven). Dabei werden Daten als eine (von vielen möglichen) Informationsquelle genutzt. Es gibt einfach zu viele Faktoren, welche Produktentscheidungen beeinflussen können: Strategie, Marke, rechtliche Rahmenbedingungen, Nutzer, Zeit, Technologie, usw.

Übrigens sind die beiden letzten Faktoren in Marc’s Erfahrung die am häufigsten Unterschätzten.

Ein Beispiel von Facebook: Das Facebook Team entwickelte ein Feature „Comment Liking“. Es wahr ein herausragender Erfolg! Das Einführen des Features führte zu einer Steigerung der gesamten Likes um 11%! Es stellte sich jedoch heraus, dass diese Likes hauptsächlich von Nutzern stammten, welche sich mehr als 25 Mal pro Monat einloggten, zu diesem Zeitpunkt ca. 20% aller FB-Nutzer. Bei der Größe von Facebook lässt sich leicht vorstellen, wie schnell der Feed eines „Casual Users“ überfrachtet wäre mit likes aller möglichen Kommentare. Facebook erkannte, dass es zwar den Powernutzern eine Gefallen tat, dies aber auf kosten der normalen Nutzer.

Wie nun also Daten nutzen?

Daten haben ihre Grenzen. Es ist schwer, vielleicht sogar unmöglich, ein Datenset zu definieren, welches eine vollständige Repräsentation eurer Vision ist. Einige Dinge sind schwer oder gar nicht messbar. Trotzdem sollte man keine Angst vor Daten haben, sondern sie in seinen Werkzeugkasten aufnehmen, sie werden von unschätzbarem Wert sein!

Daten eignen sich hervorragend, um Hypothesen zu generieren, Annahmen zu überprüfen oder die Sinnhaftigkeit neuer Projekte zu bestimmen. Sucht z.B. Schwächen in euren User Flows, konzentriert euch dabei aber auf wichtige Interaktionen. Wie ihr dazu vorgehen könnt, wisst ihr sicherlich, die Daten haben Euch ja bereits verraten was schief läuft. Wie ihr weiter vorgeht, hängt stark von der Problemstellung ab. Optionen sind User Tests, A/B-Tests, Prototypen, usw.

Daten können Euch nicht die Arbeit abnehmen. Sie verraten nicht, ob eine Maßnahme wirklich eine gute Produktidee ist oder welche Auswirkungen dies auf die gesamte Nutzererfahrung hat. Dafür gibt es ja auch schließlich uns Produktschaffende 🙂

Ich möchte mit einem Zitat von Marc schließen, welches alles schön auf den punkt bringt:

„It’s not about data, it’s about the question you want to be answered!“

Vergesst nicht, euch Marc’s Slides anzusehen! Dort gibt es einige zusätzliche, spannende Quellen zur Vertiefung:

Der zweite Teil des Recap mit dem Vortrag von Petra Wille zum Thema „Wahrnehmung verstehen – Warum Produktmanager Hobby-Psychologen sein sollten“ folgt in Kürze!

Über Timo Fritsche

Timo arbeitet derzeit als Senior Product Manager bei LOVOO, einem der am schnellsten wachsenden Unternehmen Europas. Zuvor war er als Produktmanager des "Growth Teams" bei XING für das organische Nutzerwachstum des sozialen Netzwerks verantwortlich. Er beschäftigt sich mit nachhaltigen Strategien, wie Produkte aus sich selbst heraus wachsen können. Mit Leidenschaft entwickeln er und sein Team schnell, iterativ und metrikengetrieben das Produkt über den gesamten Kundenlebenszyklus. Durch rigoroses A/B-Testing stellen sie so sicher, dass Features wirklich einen Mehrwert für Nutzer UND Business darstellen. Seine Erfahrungen teilt er auf seinem (englischsprachigem) Blog: www.hacking-growth.com

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.