UX-KPIs – Wie misst man UX?

Immer mehr Unternehmen spüren die große Relevanz von Usability und User-Experience (UX) an der eigenen Haut. Zum Beispiel, weil die eigenen Kunden zur Konkurrenz mit den besseren Produkten, eleganteren Websites oder intuitiveren Apps abwandern, oder die Conversion-Rate (CR) in den Keller geht.

Das Resultat: Eine zunehmende Zahl von Unternehmen investiert in User-Research, Usability-Testing und UX-Design. In über 900 Kundenprojekten mit großen und kleinen Unternehmen haben wir jedoch festgestellt, dass nur die wenigsten Unternehmen konsequent UX-KPIs erfassen.

Im Folgenden zeige ich, warum es so wichtig ist, UX-KPIs zu messen, worauf man dabei achten muss und wie man die richtigen KPIs auswählt. Am Ende des Artikels gibt es dann noch eine Checkliste zum Herunterladen, mit der Sie die richtigen KPIs für Ihr Unternehmen auswählen können.

Inhalt

• UX-Chaos und Ineffektivität – Was passiert, wenn ich keine UX-KPIs erfasse? 
• Back to Basics: Was sind KPIs? 
• Kriterien für gute KPIs – Worauf muss ich beim Messen achten? 
• KPIs auf allen Ebenen – Was unterscheidet Process-, Impact- und Outcome KPIs? 
• Fazit: KPIs sind die einzige Möglichkeit evidenzbasierte Entscheidungen zu treffen.   
• Checkliste: So wählen Sie die richtigen KPIs für Ihr Unternehmen aus 

UX-Chaos und Ineffektivität – Was passiert, wenn ich keine UX-KPIs erfasse?

Natürlich funktionieren UX-Research, UX-Testing und UX-Design auch ohne KPIs. Nicht auf UX-KPIs zurückgreifen zu können, bedeutet jedoch, dass Entscheidungen aus dem Bauch heraus getroffen, Prozesse nach Gefühl verschlimmbessert werden und Budgets und Freigaben vom Management ohne solide Argumentationsgrundlage erkämpft werden müssen.

Ohne KPIs ist die Effizienz und Effektivität von UX-Research-, UX-Testing- und UX-Design-Aktivitäten unklar. UX-Researcher wissen nicht, was sie als nächstes testen sollen, Produktmanager wissen nicht, welche Usability-Probleme als erstes gelöst werden müssen und niemand weiß, was das Lösen der letzten Usability-Probleme überhaupt gebracht hat.

So sieht die Arbeit in UX- und Produktteams ohne KPIs häufig aus (zum Vergrößern anklicken):

(Illustration: Christin Herrmann)

Wenn Sie eine der folgenden Fragen mit „keine Ahnung“ oder „das entscheidet das Management“ oder „das entscheide ich halt aus dem Bauch heraus“ beantworten und keine UX-KPIs erfassen, dann ist es höchste Zeit, damit anzufangen!  

Sollten Sie bereits UX-KPIs erfassen und die Fragen trotzdem so beantworten, sollten Sie unbedingt Ihr KPI-System überdenken! 

• „Woher wissen Sie, welche Seite / welchen Produktaspekt Sie als nächstes testen sollen?“
• „Welche Usability-Probleme sollen als nächstes gelöst werden?“
• „Welche Feature-Ideen sollten als nächstes umgesetzt werden?“
• „Welche Tickets aus dem Backlog kommen in den nächsten Sprint?“ 
• „Warum wurden bisher keine der Usability-Probleme, die ich identifiziert habe, gelöst?“
• „Was hat das eigentlich gebracht, dass wir letztens dieses eine Usability-Problem gelöst haben?“ 
• „Wie überzeuge ich mein Management, mir das notwendige UX-Budget zur Verfügung zu stellen?“ 

Back to Basics: Was sind KPIs?

Key-Performance-Indicators (KPI), bezeichnen Kennzahlen, die den aktuellen Status-Quo eines Geschäftsbereiches widerspiegeln. Sie eignen sich als Indikatoren für den Erfolg, die Leistung oder die Auslastung des jeweiligen Geschäftsbereiches.

KPIs sind die einzige Möglichkeit, die Wirksamkeit unternehmerischer Tätigkeiten (möglichst) objektiv zu erfassen und so informierte Entscheidungen zu treffen! 

Das klingt jetzt erstmal nach trockener Definition und so als hätte man das auch bei Wikipedia nachlesen können. Aber insbesondere im UX-Bereich werden KPIs häufig gar nicht oder nur sehr schlecht gemessen, weil UX-spezifische Feinheiten außer Acht gelassen werden. Und weil schlecht erfasste KPIs schlechte Entscheidungen wie gute Entscheidungen aussehen lassen, ist ein schlechtes KPIs-System häufig sogar noch fataler für den Geschäftserfolg als gar keine KPIs zu verwenden.

Damit es Ihnen gelingt, das Potenzial von UX-KPIs voll auszuschöpfen, fokussiert sich dieser Artikel explizit auf die Anwendung von KPIs im UX-Bereich. Zunächst folgen aber noch ein paar universelle Grundlagen, die für KPIs in allen Geschäftsbereichen gelten. 

Das Objekt der KPI-Messung

KPIs können die Performance von Einzelpersonen, dem ganzen UX-Team oder dem Gesamtunternehmen repräsentieren.

KPIs auf individueller Ebene können als Maßgabe für variable Bonuszahlungen verwendet werden. Eine UX-Researcherin könnte zum Beispiel für eine hohe Anzahl (#) an durchgeführten Usability Tests innerhalb einer gewissen Zeiteinheit belohnt werden.

KPIs auf Ebene des Teams oder dem gesamten Unternehmen liefern häufig bessere Anhaltspunkte für gezielt abgeleitete Maßnahmen als individuelle KPIs. So könnte die gemeinsame Effektivität der UX-, Produkt- und Development-Teams an der Anzahl (#) gelöster Usability Probleme pro Zeiteinheit bewertet werden. Die Effizienz lässt sich anhand der durchschnittlichen Kosten (€) messen, die nötig sind, um ein Usability Problem zu lösen. 

Neben Performance-Messungen von Einzelpersonen oder Gruppen von Personen, eignen sich KPIs außerdem, um die Performance von Produkten zu erfassen. Dies gilt insbesondere für Digitalprodukte. So können sich KPIs zum Beispiel auf Nutzerverhalten wie Häufigkeit oder Dauer oder auf Usability-Aspekte wie die Einfachheit der Nutzung beziehen.

Die Dimension der KPI-Messung

Bei KPIs handelt es sich immer um quantitative Maße, also Zahlen, mit denen mathematische Operationen durchgeführt werden können. Die Dimension dieser Zahlen kann zum Beispiel eine Anzahl (#), ein Geldwert (€), eine Dauer (t) oder ein Anteil (%) sein. Während eine Anzahl (#) meistens am einfachsten gemessen werden kann, liefern die übrigen Dimensionen häufig eine bessere Informationsgrundlage, um Entscheidungen zu treffen und sind zumeist weniger stark manipulierbar. 

Zielsetzung und Entscheidungen mit KPIs treffen

KPIs als solche zeigen nur den Status quo an (z.B. die durchschnittliche Conversion-Rate einer Website in einem Monat beträgt 34%). Spezifische Zielsetzungen (z.B. angestrebt wird eine Conversion-Rate von 42%) ermöglichen eine relative Einordnung des Status Quo im Vergleich zum Ziel. Bleibt man hinter dem Ziel zurück, gilt es unternehmerische Maßnahmen abzuleiten, um dem Ziel näher zu kommen. Auf diese Weise eignen sich KPIs außerdem, um variable Bonuszahlungen zu bestimmen und dienen so Individuen und Teams als Incentives.

Kurz: KPIs zeigen mir, wo ich aktuell relativ zu meinen Zielen stehe, und ermöglichen mir informierte Entscheidungen zu treffen und gezielt unternehmerische Tätigkeiten abzuleiten.

Kriterien für gute UX-KPIs – Worauf muss ich beim Messen achten?

Damit eine UX-KPI ihren Zweck erfüllt, gute Entscheidungen begünstigt und auf keinen Fall schlechte Entscheidungen fördert, muss sie einige Kriterien erfüllen.

Gute UX-KPIs…

• sind valide, reliabel, objektiv und ökonomisch
• sind für das Gesamtunternehmen relevant 
• sind nicht manipulierbar, aber veränderbar
• werden regelmäßig erfasst und unterliegen Schwankungen
• korrelieren mit anderen Unternehmensgrößen 
• sind individuell an das Unternehmen angepasst 

Gute KPIs sind valide, reliabel, objektiv und ökonomisch

Vielleicht haben Sie schon einmal von den drei Gütekriterien quantitativer Forschung gehört: Validität, Reliabilität und Objektivität. Wenn sie KPIs erfassen, die eines oder mehrere dieser Gütekriterien nicht oder nur unzureichend erfüllen, können Sie es auch gleich lassen.

In der Praxis trifft man häufig auf die Meinung, dass Gütekriterien nur etwas für die Wissenschaft sind und in der Praxis nichts zu suchen haben. Die Argumente: Das kostet nur Zeit, dieser Aufwand lohnt sich nicht. Solche Argumente mögen für einzelne Methoden der UX-Research wie zum Beispiel Guerilla-Tests oder -Interviews gelten, beim Aufsetzen von KPI-Systemen, die über lange Zeit Entscheidungen informieren sollen, führt eine solche Nachlässigkeit jedoch zu schlechten KPIs, die wiederum schlechte Entscheidungen und schlechte Geschäftsergebnisse begünstigen. Neben dem leidenden Geschäft, leiden in solchen Situationen auch immer die UX-Teams unter dem schwindenden Vertrauen von Kollegen und Kolleginnen, dem Management und der Geschäftsführung.

Validität

Eine KPI ist valide, wenn sie wirklich das misst, was sie messen soll.

Das klingt erstmal irgendwie lächerlich und so als sei es eh klar, ist jedoch insbesondere bei abstrakten Konstrukten wie Zufriedenheit, Ease of Use oder ähnlichem gar nicht so einfach zu gewährleisten.

KPIs wie die Anzahl an monatlichen Websitebesuchern werden von Systemen wie Google Analytics valide erfasst, denn es gibt nur eine Art sie auszuzählen. Möchte man jedoch wissen, wie einfach es den Nutzer:innen fällt, auf der eigenen Website eine bestimmte Aufgabe zu lösen (z.B. ein Zugticket zu buchen), gibt es mehrere Möglichkeiten diese KPIs zu erfassen. Die Nutzer:innen könnten gefragt werden, wie einfach es ihnen gefallen ist, z.B. auf einer Skala von sehr schwierig bis sehr einfach. Man könnte aber auch die Zeit erfassen, die die Nutzer:innen durchschnittlich für die Zugbuchung brauchen oder wie viel Prozent der Nutzer:innen die Aufgabe überhaupt nicht lösen können.

Die Verwendung von offenen Fragen und Skalen erfassen eher die subjektive Wahrnehmung der Einfachheit einer Aufgabe, die zwischen Nutzer:innen stark variieren kann, während das Messen der Zeit (Time on Task) oder der Erfolgsrate (Task Success Rate) objektivere Maße darstellen, die z.B. auch gut zwischen verschiedenen Systemen (z.B. im A/B-Test oder in einem Konkurrenz Vergleichstest verschiedener Bahnbuchungssysteme) vergleichen können.

Wie man ein (abstraktes) Konstrukt messbar macht (operationalisiert), hängt also von der eigenen Fragestellung ab. Geht es mir um das subjektive Erleben der Nutzer:innen, das Erfassen eines objektiven Maßes oder etwas ganz anderes?

Häufig lohnt es sich jedoch, auf Maße zurückzugreifen, die in der Physik verankert sind (z.B. Zeit) oder die einen klaren Bezug zu Zahlensystemen haben (z.B. Geld). Diese messen verlässlicher, was sie messen sollen (hundert Euro sind immer hundert Euro). Es sei denn es geht einem um subjektive Erlebnisse der eigenen Zielgruppe, denn was sind schon hundert Euro für einen Porschekunden?

Reliabilität 

Eine KPI ist reliabel, wenn sie in mehreren Messungen über die Zeit oder an verschiedenen Orten verlässlich genau gemessen wird. 

Ein Zentimetermaß misst zehn Zentimeter immer und überall gleich und dasselbe wünschen wir uns auch für unsere KPIs. Eine Skala, die montags etwas anderes misst als mittwochs oder die von brasilianischen Nutzer:innen anders verstanden wird, als von deutschen Nutzer:innnen, eignet sich nicht als reliables Maß, außer ich messe stets montags und nur in Deutschland.

Ähnlich wie bei der Validität gilt, Maße, die in der Physik verankert sind oder einen natürlichen Zahlenbezug haben und mit standardisierten Messverfahren gemessen werden, haben eine höhere Reliabilität als die Maße für abstrakte Konstrukte.

Objektivität

Eine KPI ist objektiv, wenn es für die Messung egal ist, welche Person (oder welches System) sie erfasst.

Zurück zum Beispiel eines Buchungssystem für Zugtickets. Nehmen wir an, ein UX-Team hat sich entschieden, die Einfachheit der Buchungsaufgabe zu messen, indem eine UX-Researcherin die Nutzer:innen beobachtet und auf einer Skala einschätzt, wie leicht es ihnen gefallen ist. Das UX-Team hat in der Vergangenheit außerdem die Zeit gemessen, die Nutzer:innen benötigen, um die Aufgabe zu erfüllen und diese selbst eine Skala ausfüllen lassen. Dabei ist ihnen aufgefallen, dass die Einschätzung der UX-Researcherin angemessen mit den anderen Maßen der Einfachheit korreliert und haben deshalb die Einschätzung als valides Maß anerkannt. Außerdem hat die UX-Researcherin bei Wiederholungsmessungen mit denselben Systemen und denselben Nutzer:innen konsistente Einschätzungen geliefert, weshalb außerdem auf Reliabilität geschlossen wurde.

Das UX-Team ist glücklich, denn die Einschätzung der Researcherin ist einfacher als aufwändige Zeitmessungen. Das Beste: Neuerdings haben sie noch einen UX-Researcher im Team, der auf dieselbe Weise bewiesen hat, dass er valide und reliabel die Ease of Use einschätzen kann. Doch dann passiert es. Nur so zum Spaß entscheidet das UX-Team, dass die beiden einfach mal dieselben zehn Nutzer:innen einschätzen sollen und zum Entsetzen aller Beteiligten gibt es riesige Unterschiede zwischen den Einschätzungen der UX-Researcherin und dem UX-Researcher. Sie fordert gravierende Änderungen am Buchungssystem, während er der Meinung ist, dass das schon alles passt. Das etablierte Verfahren ist nicht objektiv.

Das obige Beispiel illustriert, wie wichtig es ist, alle drei Gütekriterien zu überprüfen. Auch für die Objektivität gilt, physikalische Maße und natürliche Zahlensysteme haben häufig eine höhere Objektivität als Befragungen, Beobachtungen und Experteneinschätzungen. Jedoch kann es auch mit dem genausten Zentimetermaß passieren, dass eine Person beim Messen verrutscht und so zu einem anderen Ergebnis kommt als eine andere. Wichtig ist in so einem Fall, dass sich das Team zusammensetzt und über die Inkonsistenz zwischen verschiedenen Messungen durch verschiedenen Researcher:innen spricht und die zukünftige Messung der KPIs zum Beispiel durch eine stärkere Standardisierung verbessert.

Ökonomie

Eine KPI ist ökonomisch, wenn Ihr Nutzen die Kosten Ihrer Messung übertrifft.

Bei der Ökonomie handelt es sich nicht um ein klassisches Gütekriterium, das notwendig ist, um eine saubere Messung zu garantieren. Aber insbesondere im wirtschaftlichen Kontext sollte die Ökonomie einer Messung unbedingt beachtet werden. KPIs, deren Messung teuer oder zeitintensiv sind oder die einen hohen Personalaufwand erfordern, sind nur dann sinnvoll, wenn der Erkenntnisgewinn, das Vermeiden schwerwiegender Fehlentscheidungen und die Vorteile evidenzbasierter Entscheidungen diese Kosten überwiegen.

Das Erfassen unökonomischer KPIs kann dadurch vermieden werden, dass KPIs gezielt und bewusst ausgewählt werden (z.B. indem Sie der Checkliste am Ende des Artikels folgen) und kontinuierlich evaluiert werden. Es lohnt sich nicht, alles zu messen, was man messen kann, besser ist es die Dinge zu messen, die einen wirklich weiterbringen.

Gute KPIs sind für das Gesamtunternehmen relevant

Theoretisch kann beinahe alles messbar gemacht und mit einem Performance-Ziel versehen werden. Je kleinteiliger solche Messobjekte jedoch sind, desto weniger relevant sind sie für das Gesamtunternehmen.

Die Anzahl an Testpersonen, die ein UX-Researcher an einem Montagabend zwischen 18:00 und 20:00 Uhr dazu motivieren kann an einem Tiefeninterview teilzunehmen, ist für den UX-Researcher, der verschlafen hat und unbedingt noch zehn Interviews führen muss, um sein Performanceziel zu erreichen, möglicherweise persönlich sehr wichtig. Das Gesamtunternehmen interessiert jedoch viel mehr, welche Erkenntnisse aus Tiefeninterviews zu neuen Feature-Releases geführt haben und wie diese Feature-Releases mit der Conversion-Rate, dem Nutzerwachstum, der Marktdurchdringung oder dem Ad-Revenue zusammenhängen.

Gute KPIs sind nicht manipulierbar, aber veränderbar

Insbesondere, wenn Bonuszahlungen von der Zielerreichung bestimmter KPIs abhängen, dürfen diese nicht manipulierbar sein. Ist eine KPI manipulierbar, kann dies dazu führen, dass ineffektives oder sogar schädliches Verhalten incentiviert wird und die KPI letztendlich nicht wirklich das misst, was sie messen soll.

Definiert man z.B. die Anzahl gefundener Usability Probleme als KPI, ist diese einfach durch diejenigen Personen, die den Test auswerten, manipulierbar und so können entweder wichtige Probleme unterschlagen werden oder unwichtige Feinheiten die Development-Pipeline fluten.  

Dass eine KPI nicht manipulierbar ist, darf jedoch nicht heißen, dass sie nicht beeinflusst werden kann, also nicht veränderbar ist. Sind Bonuszahlungen an solche KPIs geknüpft, kann es für Mitarbeitende sehr frustrierend werden, wenn Sie das Gefühl haben, dass ihre Aktivitäten keinerlei Einfluss auf die Zielerreichung haben.

Wenn z.B. die Bonuszahlung eines UX-Researchers an die Anzahl gelöster Usability-Probleme geknüpft ist, hat dieser nur einen minimalen Einfluss auf diese KPI, denn der größte Aufwand liegt hier in der Konzeption und in der Entwicklung.

Gute KPIs werden regelmäßig erfasst und unterliegen Schwankungen

Nur wenn KPIs in regelmäßigen Zeitabständen erfasst werden, können sie eine Entwicklung über die Zeit widerspiegeln. Prinzipiell gilt, je höher die Frequenz der Messung, desto besser. Denn je mehr Datenpunkte es gibt, desto detaillierter kann ausgewertet werden.

Während sich einige KPIs täglich oder sogar stündlich erfassen lassen (z.B. Besucherzahl auf der Website) und wichtige Schlüsse ermöglichen (z.B. um 16 Uhr sollte Werbung geschaltet werden, weil dann die meisten Besucher auf der Website sind), lassen sich andere nur monatlich oder seltener erfassen (z.B. Monat zu Monat Retention Rate).  

Für KPIs, die nur selten gemessen werden können, gilt, dass sie mindestens einmal im Quartal erfasst werden sollten, um Effekte der Saisonalität zu berücksichtigen. Für solche KPIs gilt auch, dass zunächst einige Messungen vorliegen müssen, bevor sinnvolle Rückschlüsse gezogen werden können.

Man stelle sich vor, der Umsatz des eigenen Onlineshops legt im vierten Quartal um 50% gegenüber dem dritten Quartal zu. Begeistert fragt man bei der Product-Ownerin nach, was zuletzt auf der Website umgesetzt wurde und erhält die stolze Antwort, dass die Suchfunktion entfernt wurde, um mehr Platz für Werbung zu schaffen. Zufrieden und entspannt geht man in den Winterurlaub mit der Familie, nur um im nächsten Jahr mit einem großen Schock einen immensen Umsatzeinbruch und entgeisterte E-Mails von UX-Researchern zu erhalten, die fragen, warum keine Ihrer Testpersonen noch irgendetwas auf der Website findet, dafür aber auf die Werbung für den Konkurrenzshop klicken. Und das alles nur, weil man die Saisonalität des Weihnachtsgeschäftes vergessen hat…

Gute KPIs müssen nicht nur regelmäßig gemessen werden, sie müssen auch Schwankungen zwischen diesen Messzeitpunkten unterliegen. Denn bewegt sich eine KPI immer nur im oberen (Deckeneffekt) oder unteren (Bodeneffekt) Bereich relativ zur Zielsetzung, egal welche unternehmerischen Aktivitäten vorher stattgefunden haben, hat sie keinerlei Aussagekraft und muss angepasst werden.

Gute KPIs korrelieren mit anderen Unternehmensgrößen

Mit „anderen Unternehmensgrößen“ sind hier zum Beispiel der Unternehmensumsatz, die Anzahl der Mitarbeitenden im Unternehmen, die jährlichen Ausgaben des Unternehmens oder ähnliches gemeint. All diese Größen können natürlich auch selbst KPIs sein und häufig sind sie das auch. Diese liegen jedoch meistens in anderen Abteilungen als dem UX-Team, weshalb sie hier als „andere Unternehmensgrößen“ bezeichnet sind.  

Diese Unternehmensgrößen sind häufig die ultimativen Erfolgskennzahlen des Unternehmens, die anzeigen, ob es insgesamt bergauf geht oder der Bankrott bevorsteht. Dementsprechend sollten also auch alle Aktivitäten auf niedrigeren Ebenen, wie auch dem UX-Team, einen positiven Effekt auf diese haben. So sollte zum Beispiel die Anzahl gelöster Usability Probleme positiv mit dem Jahresumsatz und der Mitarbeiterzahl (im UX und Produktbereich) korrelieren. Fehlt die Korrelation mit dem Jahresumsatz, waren die gelösten Usability-Probleme womöglich egal. Besteht eine negative Korrelation mit der Anzahl der Mitarbeitenden kann dies auf schwere Prozessprobleme und eine geringe Effizienz im UX und Produktteam hindeuten. 
Natürlich handelt es sich bei Korrelationen zwischen KPIs auf niedrigeren Komplexitätsebenen mit den höchsten Unternehmensgrößen stets um komplexe Zusammenhänge, weshalb bei solchen Berechnungen auch andere Faktoren wie zum Beispiel KPIs aus anderen Teams konfundierend berücksichtigt werden müssen.  

Gute KPIs sind individuell an das Unternehmen angepasst

Obwohl es eine Reihe klassischer KPIs gibt, die beinahe für jedes Unternehmen relevant sind, müssen die KPIs für jedes Unternehmen individuell ausgewählt werden, um die jeweiligen Umstände zu berücksichtigen. 

Für ein Unternehmen, welches den Großteil seines Umsatzes über Sales-Telefonate gewinnt, ist eine hohe Abbruchquote auf der Website nicht so schlimm, solange genügend Interessierte anrufen. Für ein Unternehmen, das beinahe ausschließlich auf den Verkauf im eigenen Onlineshop setzt, kann eine hohe Abbruchquote auf der Website fatal sein.  

Kontaktieren Sie uns, wenn wir Sie bei der Auswahl und Definition Ihrer UX-KPIs unterstützen können.

UX-KPIs auf allen Ebenen – Process-, Impact- und Outcome-KPIs

Im Bereich UX unterscheiden wir zwischen Process-, Impact- und Outcome-KPIs. Diese bauen hierarchisch aufeinander auf und wir empfehlen jedem Unternehmen mindestens eine UX-KPI in jedem dieser Bereiche zu messen.

Process-KPIs

Was sind Process-KPIs?

Process-KPIs können sehr einfach und häufig gemessen werden, haben jedoch nur eine geringe Bedeutung für das Gesamtunternehmen. Hierbei handelt es sich um KPIs, welche die Effizienz (und manchmal die Effektivität) von Research-, Testing-, Konzeptions- (und Entwicklungs-) Prozessen messen.

Gute und schlechte Process-KPIs

Ein einfaches Beispiel für eine schlechte Process-KPI ist die Anzahl an gefundenen Usability Problemen in einem Nutzertest. Theoretisch misst diese KPI die Effektivität eines einzelnen Usability-Tests. Praktisch ist sie jedoch eine schlechte KPI, denn sie kann sehr einfach manipuliert werden. Nützlicher wird diese KPI, wenn dieselbe Website über die Zeit immer wieder getestet wird und verschiedene Personen die Tests auswerten. Auf diese Weise wird die Gefahr der Manipulation und damit einer schlechten Messgenauigkeit (Reliabilität) reduziert und über die verschiedenen Messzeitpunkte kann eine positive oder negative Entwicklung abgelesen werden.

Obwohl das obere Beispiel illustriert, dass auch schlechte KPIs durch bestimmte Anpassungen einen Mehrwert liefern können, ergibt es meistens mehr Sinn, KPIs auf den Dimensionen des Geldwertes (€), der Zeit (t), oder des Anteils (%) zu definieren. Außerdem ist es sinnvoll, KPIs zu erfassen, die einen größeren Prozess erfassen, also nicht nur die Identifikation eines Problems in einem Test, sondern zum Beispiel das Lösen dieses Problems durch die Zusammenarbeit von UX-Researcher:innen, UX-Designer:innen und Entwickler:innen.

Gute Process-KPIs wären daher die durchschnittliche Zeit, um ein Usability-Problem zu lösen oder die durchschnittlichen Kosten, um ein Usability-Problem zu lösen. Diese KPIs messen die Effizienz und nicht die Effektivität, sind weniger stark manipulierbar und haben eine höhere Bedeutung für das Gesamtunternehmen, da sie die Effizienz eines Prozesses erfassen, der sich über mehrere Teams erstreckt. Nachdem die UX-Researcher die Probleme im Usability Test identifiziert haben, müssen außerdem UX-Designerinnen Konzepte und Designs entwickeln und das Development muss diese implementieren.

Beispiele für Process-KPIs

• t durchschnittliche Zeit oder € Kosten pro identifiziertem Usability-Problem
• t durchschnittliche Zeit oder € Kosten pro gelöstem Usability-Problem
• % Anteil gelöster Usability-Probleme an identifizierten Usability-Problemen
• # Anzahl Usability-Probleme im Backlog
• # Anzahl Usability-Tests im Sprint
• t durchschnittliche Zeit oder € Kosten pro Usability-Test im Sprint
• t Dauer einer vollständigen Iteration (Test > Konzeption > Test)

Impact-KPIs

Was sind Impact-KPIs? 

Impact-KPIs können relativ einfach und häufig gemessen werden, jedoch nicht so einfach und häufig wie Process-KPIs, da vor jedem Messzeitpunkt eine signifikante Änderung am eigenen Produkt passiert sein muss. Die Bedeutung dieser KPIs für das Gesamtunternehmen ist ungleich höher als die von Process-KPIs, denn sie messen den Effekt, den bestimmte unternehmerische Aktivitäten auf die Usability und UX des eigenen Produktes haben. Eine höhere Usability und UX bedeuten eine bessere Erfahrung für die Nutzer, was wiederum zu einem besseren Geschäftsergebnis führt.

Gute und schlechte Impact-KPIs

Da Impact-KPIs die Usability und UX eines Produktes testen, liegt es nah, diese einfach mit denselben Methoden zu messen, die man bereits in seinen UX-Research und UX-Testing Prozessen verwendet, zum Beispiel also Usability-Tests. Dies könnte dazu verleiten, einfach die Anzahl an gefundenen Usability-Problemen in einem Nutzertest als KPI zu erfassen. Dass es sich hierbei jedoch um eine schlechte KPI handelt, wurde bereits bei den Process-KPIs deutlich. Dieses Beispiel illustriert jedoch auch, dass dieselbe KPI als Process-KPI oder als Impact-KPI verstanden werden kann. Wenn man sie als Performancemerkmal eines UX-Researchers versteht, der möglichst viele Probleme identifizieren soll, gilt sie als Process-KPI. Wenn sie als Performancemerkmal einer Website verstanden wird, die möglichst wenige Usability-Probleme beinhalten sollte, gilt sie als Impact-KPI. Egal, wie man diese KPI versteht, es gibt bessere KPIs, um Process und Impact zu messen.

Standardisierte und vor allem natürliche quantitative Maße eignen sich deutlich besser als Impact-KPIs, als die Quantifizierung qualitativer Methoden (z.B. das Auszählen von Problemen in Nutzertests).

Standardisierte Maße bezeichnen validierte Skalen, wie z.B. User Experience Questionnaire (UEQ), System Usability Scale (SUS), Single Ease Question (SEQ), Customer Satisfaction (CSAT) oder Net Promoter Score (NPS). Hier gilt es den Grundsatz zu beachten, dass jede KPI an das Unternehmen individuell angepasst sein muss. Je nach Produkt, Branche und Fragestellung eignet sich die eine oder andere oder sogar gar keine der eben genannten Skalen.

Mit natürlichen quantitativen Maßen sind solche gemeint, die fest in der Physik verankert sind (z.B. die durchschnittliche Zeit, die eine Testperson benötigt, um eine bestimmte Aufgabe zu erfüllen) oder solche, die ohne größere Umstände quantifizierbar sind (z.B. der Anteil an Testpersonen, denen es gelingt, eine Aufgabe zu erfüllen oder der Anteil an Testpersonen, die einen bestimmten Fehler machen).

Um Impact-KPIs mit einer ausreichenden Datenqualität zu erfassen, reicht es nicht, fünf, sieben oder zehn Testpersonen in einem Usability Test einen Fragebogen ausfüllen zu lassen. Vielmehr sollten einfache Skalen direkt auf der Website eingebunden sein oder auf quantitative Methoden wie Umfragen, Klicktests oder auch einfach die Website-Analytics zurückgegriffen werden.

Beispiele für Impact-KPIs 

• Standardisierte Skalen und Metriken
  • User Experience Questionnaire (UEQ)
  • System Usability Scale (SUS)
  • Single Ease Question (SEQ)
  • Customer Satisfaction (CSAT)
  • Net Promoter Score (NPS)
• Aufgabenbezogene Maße
  • % Task Success Rate
  • % Error Rate
  • t Time on Task
• (Quantifizierung qualitativer Aussagen in Usability-Tests oder anderen Methoden)

Outcome-KPIs

Was sind Outcome-KPIs?

Outcome-KPIs können noch seltener erfasst werden als Impact-KPIs, da die Zeitverzögerung zwischen einer unternehmerischen Tätigkeit (z.B. Identifikation eines Usability-Problems und Überarbeitung der Website) und dem, was gemessen wird (z.B. die Conversion-Rate) einiges an Zeit vergeht. Dafür haben die Outcome-KPIs eine sehr hohe Relevanz für das Gesamtunternehmen, da sie in direktem Bezug zu den wichtigsten Unternehmenskennzahlen (z.B. dem Gesamtumsatz) stehen. Während Impact-KPIs die Bedeutung von unternehmerischen Tätigkeiten für die Nutzer:innen anzeigen (z.B. das Produkt ist einfach zu bedienen und es macht mehr Spaß es zu benutzen), zeigen Outcome-KPIs wiederum die Bedeutung, die dieser Impact auf die Nutzer:innen für das Unternehmen hat (z.B. mehr Nutzer:innen benutzen das Produkt regelmäßiger und kaufen mehr).

Gute und schlechte Impact KPIs

Es gibt kaum schlechte Outcome-KPIs in dem Sinne, dass sie manipulierbar wären oder schlechte Entscheidungen begünstigen. Schlechte KPIs sind hier vielmehr KPIs, die irrelevant für das Unternehmen sind. Während für einige Unternehmen nur die Conversion-Rate zählt und es darum geht, Nutzer:innen möglichst direkt und schnell zum Kaufabschluss zu bewegen (z.B. Onlineshop), kann es für andere Unternehmen von hoher Wichtigkeit sein, dass ihre Nutzer:innen möglichst viel Zeit mit dem eigenen Produkt verbringen, zum Beispiel um dort Werbung zu schalten (z.B. Soziale Netzwerke).

Daher gilt: Jedes Unternehmen muss für sich selbst definieren, welche Outcome-KPIs am relevantesten sind.

Beispiele für Outcome-KPIs 

• Verhalten auf Websites
  • % Click Rate
  • % Conversion Rate
  • % Bounce Rate
  • t Verweildauer
  • # Anzahl besuchter Seiten
• Kaufverhalten
  • € Warenkorbgrößen
  • % Retention Rate
  • t Retention Intervalle
• Nutzungsverhalten von Produkten
  • #/t Nutzungshäufigkeit pro Zeiteinheit
  • t Nutzungsdauer
• (Andere Unternehmensgrößen)
  • € Umsatz
  • % Wachstum
  • € Kosten

Zusammenhänge zwischen Process-, Impact- und Outcome-KPIs

Eingangs habe ich erwähnt, dass die drei verschiedenen KPI-Typen aufeinander aufbauen und miteinander zusammenhängen. Ob und in welchem Maße dieser Zusammenhang besteht, kann quasi als eigene KPIs für die Qualität des eigenen KPI-Systems gewertet werden.

Process-KPIs zeigen Effektivität und Effizienz des UX- und Produktteams an, was wiederum einen direkten Einfluss auf die Impact-KPIs, also den Effekt für die Nutzer:innen haben sollte. Wenn das UX- und Produktteam zum Beispiel auf eine solide Testing- und Research-Strategie zurückgreifen und innerhalb kurzer Zeit viele Usability-Probleme lösen, so sollte auch der Effekt auf die Usability und UX für die Nutzer:innen, also auf die Impact-KPIs, groß sein.

Impact-KPIs wiederum beeinflussen das (Kauf-)Verhalten der Nutzer:innen und haben damit einen direkten Einfluss auf die Outcome-KPIs. Wenn das Verwenden eines sozialen Netzwerks den Nutzer:innen viel Spaß macht und eine gute UX bietet (z.B. durch Infinite Scrolling), verbringen sie dort mehr Zeit, was eine relevante Outcome-KPI für Social-Media-Unternehmen darstellt.

Die Outcome-KPIs sollten wiederum mit den wichtigsten Unternehmenskennzahlen in Bezug stehen. Wenn die Nutzer:innen zum Beispiel mehr Zeit auf dem sozialen Netzwerk verbringen, konsumieren sie mehr Werbung und das Unternehmen steigert somit seinen Umsatz.

Bestehen diese Zusammenhänge zwischen den verschiedenen KPI-Typen nicht, kann es dafür zwei Gründe geben:

Entweder, einzelne KPIs sind schlecht gewählt. Für ein Fitnessstudio sind beispielsweise neu abgeschlossene Abonnements (Conversion-Rate) vermutlich viel wichtiger als die Zeit, die diese Kunden auf der Website oder im Fitnessstudio verbringen (Nutzungsdauer). Für ein Fitnessstudio stellt also die Verweildauer vermutlich keine relevante Outcome-KPI dar und wenn kein Zusammenhang zwischen den Aktivitäten des UX- und Produktteams und der Nutzungsdauer besteht, ist dies nicht weiter schlimm.

Der andere Grund für einen mangelnden Zusammenhang könnte sein, dass die Aktivitäten der UX- und Produktteams schlecht gewählt sind. So löst das Team möglicherweise viele Usability-Probleme in kurzer Zeit und erreicht deren Process-KPIs, diese sind jedoch so klein und irrelevant, dass sie keinen messbaren Impact und Outcome erzielen. In diesem Fall erfüllen die KPIs genau ihren Zweck: Sie zeigen an, dass die aktuellen unternehmerischen Tätigkeiten ineffektiv sind und ein Umdenken erforderlich wird.

Können wir Sie beim Festlegen und Optimieren Ihrer UX-KPIs unterstützen? Kontaktieren Sie uns kostenlos und unverbindlich:

Fazit: UX-KPIs sind die einzige Möglichkeit evidenzbasierte Entscheidungen zu treffen.

Zu Beginn habe ich beschrieben, was passieren kann, wenn man auf das Erheben von UX-KPIs verzichtet – Product-Owner:innen werden von UX-Research:innen mit einem Berg an Problemen überfordert, können nur schlecht diejenigen Optimierungen auswählen, die am wichtigsten sind und nach der Optimierung ist unklar, was diese eigentlich gebracht haben.

Erfasst man jedoch UX-KPIs, sieht das Ganze anders aus. Bereits die UX-Researcher:innen können eine evidenzbasierte Vorauswahl an Problemen und Empfehlungen treffen, welche kompakt an POs übergeben werden. Den POs fällt es deutlich leichter, Optimierungen zu priorisieren und für den nächsten Sprint auszuwählen. Und wenn am Ende das Management fragt, was das Ganze gebracht hat, gibt es eine klare Antwort anstelle von betretenem Schweigen.

So sieht die Arbeit in UX- und Produktteams mit KPIs aus (zum Vergrößern anklicken):

(Illustration: Christin Herrmann)