Quantitative und qualitative Spezialist:innen reden gerne mal aneinander vorbei und wollen sich auch gar nicht so richtig verstehen.
Hat man sich erstmal ein Forschungsziel gesteckt, stehen wir vor einer Flut an UX-Methoden und Möglichkeiten.
Anschließend fällt die Entscheidung oft auf die quantitative Online-Umfrage, „weil sie halt einfach einfach ist“.
Oder es wird das aufwendige qualitative Research-Projekt.
Dabei ist das Erfolgsrezept, um belastbare Ergebnisse zu erhalten, die Kombination verschiedener Research-Methoden.
Reicht uns ein erstes Konfidenzintervall aus oder wollen wir auch das Warum dahinter verstehen? Oder andersherum: Legen wir uns nur auf das qualitative Warum fest oder wollen wir Ideen und Hypothesen auch messbar skalieren?
Nur weil vielleicht 10 Menschen die App nicht wie angestrebt bedienen konnten, ändert man nicht das ganze Interface…
Oder doch, und wenn ja, auf Basis welcher Erkenntnisse?
Und wie stellt man den grundlegenden Research-Erfolg sicher?
In diesem Beitrag blicke ich auf das Mixed-Methods-Design und gebe Einblicke:
Wie der Methodenmix bei der empirischen Forschung hilft
Welche Methoden sich gut für ein tieferes Verständnis kombinieren lassen
Warum man als Resultat eine bessere User Experience erarbeitet
Was Mixed-Methods mit Business-Entscheidungen und A/B-Testing zu tun haben
Was sind Mixed-Methods?
Mixed-Methods oder Mixed-Methods-Design bezeichnet das Vorgehen, qualitative und quantitative Methoden so zu kombinieren, dass die Ergebnisse miteinander verknüpft werden können. Mixed-Methods haben immer das Ziel, ein möglichst tiefes Verständnis über die eigene Zielgruppe oder Fragestellung zu erhalten.
Mixed-Methods ist eine Kombination aus qualitativer und quantitativer Forschung, um das beste beider Research-Welten für unsere Anforderungen zu nutzen.
Wenn wir heute von Personalisierungsmaßnahmen oder effektivem CX-Management sprechen, dann liegen gute Ideen und Maßnahmen oftmals darin begründet, dass erst die Research vorab, und insbesondere eine Kombination von Methoden, den 360-Grad-Blick auf die Fragestellung und eine wirksame Lösung ermöglicht haben.
Im Mixed-Methods-Design sprechen wir auch von der Methodentriangulation. Diese bezeichnet die Kombination verschiedener qualitativer und quantitativer Methoden, um sich konkret einem Untersuchungsgegenstand anzunähern.
Bei einer Triangulation beziehen sich Ergebnisse auf ein einziges Research-Ziel, innerhalb der Mixed-Methods sollen die Ergebnisse jedoch aufeinander aufbauen.
Im Kern setzen wir Mixed-Methods immer dann ein, wenn wir ein ganzheitliches Verständnis durch unsere empirische Forschung erhalten wollen.
Im Mixed-Methods-Design bauen Untersuchungen für ein besseres Verständnis aufeinander auf.
Ein gängiges Beispiel für ein Mixed-Methods-Design im E-Commerce ist das Onsite Survey in Kombination mit Analytics/User Tracking. Nach dieser ersten Auswertung würde man mit Ideen und Hypothesen in ein Tiefeninterview oder Testing gehen, eventuell erfolgt darauf eine Neukonzeption und weitere UX-Analysen.
Warum sind Mixed-Methods so wichtig?
Im User-Centered-Design-Prozess gehen quantitative und qualitativen UX-Methoden am besten Hand in Hand, um die Vorzüge beider Welten zu verbinden und als Resultat eine bessere User Experience zu erarbeiten.
Mixed-Methods sorgen dafür, dass wir das Beste beider Research-Welten kombinieren, um etwaige Schwächen auszugleichen. Quantitative Methoden liefern uns hierbei die Antworten auf das Was, und qualitative UX-Methoden die Antworten auf das Wie und das Warum.
Qualitative Methoden & Quantitative Methoden
Bevor wir uns einige Ansätze für ein Mixed-Methods-Design anschauen, blicken wir noch kurz in die Forschungsmethoden qualitativ und quantitativ.
Quantitative UX-Methoden liefern uns 2 Dinge:
Zahlen, Daten, Fakten
Antworten auf: Was? Wie viel? Wie oft? Wie stark?
Die geschlossene Datenerhebung mit standardisierten Fragen ermöglicht uns, mit geringem Aufwand eine große Stichprobe zu untersuchen.
Größere Stichproben ermöglichen je nach Auswertungsmethodik repräsentative Ergebnisse, denn durch eine gute Stichprobe ist ein hoher Grad an Verallgemeinerbarkeit der Ergebnisse möglich. Trotz einer großen Stichprobe hält sich der Auswertungsaufwand verhältnismäßig in Grenzen, da man mathematische Analysen einsetzen kann.
Der Untersuchungsgegenstand sollte jedoch bereits soweit bekannt sein, sodass man Hypothesen über mögliche Zusammenhänge besitzt – denn alles, was man nicht abfragt, kann in der Studie natürlich auch nicht herauskommen.
Auch die Interpretation der Daten sollte sorgfältig durchgeführt werden. Quantitative Methoden liefern i.d.R. als Ergebnis nur, was gut oder schlecht, wichtig oder unwichtig etc. ist – jedoch nicht das Warum dahinter.
Qualitative UX-Methoden ermöglichen es, mit offenen Fragen detailliertere, „weichere“, realitätsnähere Einblicke zu erheben – das Warum.
Bei der qualitativen Datenerhebung werden detaillierte, subjektive und individuelle Erkenntnisse über Einstellungen und Handlungen ermittelt.
Die Stichproben sind kleiner und die Datenerhebung erfolgt offen.
Entsprechend ist bei qualitativen Methoden auch der Auswertungsaufwand erhöht, da die Antworten und das Verhalten von Menschen einzeln interpretiert und geclustert werden müssen.
5 Ansätze für Mixed-Methods-Design: welche Methoden können gut kombiniert werden?
#1 Online-Survey
Wer noch keine Umfrage ausgefüllt hat, werfe den ersten Stein!
Online-Umfragen, Onsite-Surveys etc. sind omnipräsent, beliebt und nützlich. Der geringe Aufwand und die Aussicht auf eine bessere UX, macht es immer sinnvoll bspw. Neukunden zu Hürden beim Einkauf zu befragen.
Warum Surveys kombinieren?
Die Validität der Umfrage kann jedoch je nach Stichprobengröße schwanken. Außerdem verschiebt sich die Qualität der Antworten je nach Funnel-Stufe. Denn es ergibt schon einen Unterschied, wann wir bspw. nach der Zufriedenheit fragen, wie oft und auf welchem Weg.
Zusätzlich existiert auf dieser Welt auch schlechtes Umfrage-Design – wer bereits an der ein oder anderen Telefonumfrage (nicht benannter Institute) teilgenommen hat, weiß, was ich meine.
Schlecht erhobene Insights verschieben den Blick auf unsere Realität und sind in der Lage falsche oder verkürzte Ergebnisse, Schlussfolgerungen und Maßnahmen zu erzeugen = Business-Fail-Gefahr.
Außerdem können wir mit einer Umfrage nicht das Warum bzw. unbewusste Verhaltensmuster ergründen. Daher ergibt es oftmals Sinn, sich bei Umfragen im E-Commerce eher auf rationale Elemente entlang der Customer Journey zu konzentrieren (Preis, Funktionalität etc.).
Umfragen können gut kombiniert werden mit:
Analytics
Interviews
Fokusgruppen
UX & Usability-Testing
Tagebuchstudien
Feldforschung
Jobs-to-Be-Done-Methoden
#2 Analytics
Viele starten hier, denn eine gute Datenanalyse liefert wertvolle Erkenntnisse zur Nutzung der Website, aber auch zum Vorqualifizieren von Ideen.
Data Analytics bspw. mittels Google Analytics beantwortet unter anderem Fragen wie:
Wer besucht meine Seite?
Wie groß ist der Anteil an bestimmten User-Eigenschaften?
Mit welchen Endgeräten wird die Seite besucht?
Welche Seiten werden wie lange besucht?
Wo wird geklickt?
Wo brechen User den Website-Besuch ab?
Welche besuchten Unterseiten zeigt die Funnel-Analyse?
Warum Analytics kombinieren?
Die nüchterne Datenanalyse liefert nicht das Warum hinter den Werten, doch genau das sollte nach der Datensichtung ergründet werden. Zusätzlich kann eine Verzerrung oder das Überinterpretieren von Daten zu verfälschten Annahmen führen. Daher können quantitativen Analytics-Daten gut mit qualitativen Methoden kombiniert werden, um tiefer in das Verhalten und die Beweggründe der Zielgruppe vorzudringen.
Nichtsdestotrotz ist auch eine auf Analytics-Daten aufbauende Survey denkbar, um sowohl am richtigen Ort als auch mit der passenden Fragestellung auszustreuen.
Analytics-Daten sind gut kombinierbar mit:
Interviews
UX & Usability-Testing
Online-Umfragen
Expert Reviews
#3 Personas
Archetypische Kundenprofile helfen weltweit bei der Kundenzentrierung und Personalisierung weiter. Valide Persona-Profile werden immer aus qualitativen und quantitativen Methoden erstellt. Sie beinhalten die bewussten und unbewussten Ebenen, das Rationale und das Emotionale, das Was und das Warum.
Warum Personas kombinieren?
Damit Persona-Profile keiner kühlen numerischen Willkür unterliegen und zu oberflächlichen Spiegelbildern ohne Wissen über tiefere Präferenzen und Bedürfnisse verkümmern, sollten qualitative Methoden durch quantitative ergänzt werden bzw. ein Wechselspiel erzeugen. Eine falsche Herangehensweise mindert immer den Wert von Persona-Profilen.
Wir nutzen zur Erstellung von Personas daher eine Kombination aus qualitativen Stakeholder- und Nutzer-Interviews, um Hypothesen zu generieren, und quantitativen Befragungen, um die Hypothesen zu validieren, zu priorisieren und Personen-Cluster zu bilden.
Beispielhaftes Benchmarking im zeitlichen Verlauf oder als Wettbewerbsvergleich
Benchmarking ermöglicht uns nicht nur einen Vergleichswert zu erhalten, sondern schafft auch Raum für Innovation und Weiterentwicklung.
Somit definieren sich die Fragen beim Konkurrenzvergleich häufig über Produktvergleiche, Website- und Appvergleiche oder Customer-Support-Benchmarking.
Standardisierte UX-Fragebögen wie UEQ, SUR-Q oder SUS ermöglichen es, eine E-Commerce-Benchmark zu definieren und die Zufriedenheit von Menschen bezogen auf ein Produkt, eine Fragestellung oder einen Service mit verschiedenen Varianten zu vergleichen.
Warum UX-Benchmarking kombinieren?
Neben Fragebögen können im Benchmarking noch viel tiefgreifendere Erfahrungswerte und Ideen erzeugt werden. Es ergeben sich hier Möglichkeiten der Stärken/Schwächen-Analyse im Webauftritt von Wettbewerbern, Live-Checks vom Support-Verhalten, Designvergleiche sowie die Analyse grundlegender emotionaler Trigger und Bedürfnisse der Käufergruppe.
Ein Card-Sorting ist eine schnelle und kosteneffziente UX-Methode, um die Informationsarchitektur einer Anwendung an die Anforderungen der Zielgruppe anzupassen. Card-Sortings können offen oder geschlossen, moderiert und unmoderierte, offline oder online – und eben auch qualitativ oder quantitativ – durchgeführt werden.
Warum Card-Sorting kombinieren?
Card-Sorting sollte ähnlich den Persona-Profilen ebenfalls in einem Mixed-Methods-Design ablaufen, also quantitative und qualitative Herangehensweisen kombinieren. Denn beim Analysieren der Informationsarchitektur durch die quantitativen Ergebnisse des Card-Sortings, können falsche Annahmen entstehen, oder wichtiges Wissen über tiefergehende Bedürfnisse verborgen bleiben.
Ich empfehle, mit einer großen Stichprobe ein unmoderiertes Online-Card-Sorting für valide quantitative Ergebnisse durchzuführen und mit einer wesentlich kleineren Stichprobe das Card-Sorting mit der Laut-denken-Methode zu kombinieren, um qualitative Insights zu generieren.
Letzteres könnte klassisch in einer moderierten (synchronen) Card-Sorting-Session vor Ort stattfinden.
Eine valide Research hilft, Zielgruppen besser zu verstehen und Produkte oder Unternehmensentscheidungen auf Basis empirischer Daten abzusichern.
Aber die Realität ist auch, dass ein schnelles Umfrageergebnis und eine daraus resultierende Business-Entscheidung nicht automatisch einen Mehrwert erzeugen.
Ein schwammiges Verständnis der Kundenrealität führt immer wieder zu schlechten Entscheidungen.
Neue Designs oder neue Produkte sind das Resultat von Research und sie stellen auch eine Veränderung dar.
Diese Veränderungen können und sollten wir quantitativ messbar gestalten, und mittels A/B-Testing validieren.
Denn neben all der Kundenzentrierung geht es ebenfalls um die Wertschöpfung.
Auf der anderen Seite können wir starke neue Produkte erst durch gute Ideen, User-Research und nützliche Hypothesen gewinnen.
Grundlage eines A/B-Tests sind Hypothesen nach dem Muster:
„Wir erkennen/beobachten [objektive Beobachtung].
Indem wir [Veränderung auf der Webseite] werden wir [Verhaltensänderung] und die Kennzahl [KPI] ändert sich um [X-Y%].“
Diese Hypothesen werden oft nur intern im Brainstorming generiert. Sie basieren daher sehr häufig nicht auf einer konkreten Erstanalyse mittels Research oder verhindern durch das Fehlen einer Research kreative neue Ideen oder ein tiefergehendes Kundenverständnis.
Hier schließt sich nun auch der Kreis zwischen Mixed-Methods, Kundenzentrierung und einer kontinuierlichen Erfolgsmessung.
Prüfen Sie daher innerhalb Ihrer Research-Projekte, welche Ergebnisse und Maßnahmen Sie durch einen A/B-Test weiter validieren oder skalieren können.
Können wir Sie bei der Umsetzung Ihrer Research-Projekte mit Mixed-Methods unterstützen? Kontaktieren Sie uns gerne kostenlos und unverbindlich:
Fazit: Mixed-Methods-Design für eine empirisch gestützte Kundenzentrierung
Mixed-Methods ermöglichen eine bessere Produktentwicklung und eröffnen viele Möglichkeiten zur Personalisierung und empirisch gestützten Kundenzentrierung.
Wir alle wollen mit unserer täglichen Forschungsarbeit Menschen bei der Bedienung und Interaktion mit Marken, Apps oder Anwendungen glücklich machen und unterstützen. Dafür müssen wir Bedürfnisse, Motivatoren, Bedenken und Hürden bestmöglich kennenlernen.
Unsere Aufgabe ist es daher, sowohl eine Forschung aus verschiedenen Perspektiven durchzuführen als auch Dinge zu erkennen, die im Verborgenen liegen, und solche, die erst noch von Relevanz werden.
Um das Beste beider Research-Welten zu nutzen, sollten Sie kontinuierlich prüfen, wann ein Einsatz von Mixed-Methods sinnvoll ist, um die gesteckten Ziele besser zu erreichen oder Fallstricke zu eliminieren.
Claudia hat unsere Kunden viele Jahre lang in allen Phasen des Human-Centered-Design-Prozesses von der Projektplanung bis zum finalen Design begleitet, darunter BMW, BOSCH, SIEMENS und Melitta. Inzwischen ist sie UX-Lead bei CLICKDOC.
Willkommen auf dem UX-Blog der UX-Agentur Userlutions. Hier schreiben wir über alles rund um User-Experience, User-Research-Methoden, Konzeption, Interaction-Design und Neuigkeiten aus unserem Agentur-Alltag. Viel Spaß beim Lesen!
Teilen
Diesen Artikel teilen