Wie Fragebögen Ihre Usability-Tests verbessern
Usability-Tests liefern wertvolle Erkenntnisse, doch oft fehlen quantitative Kennzahlen. Fragebögen bieten eine ideale Ergänzung: Sie ermöglichen Benchmark-Vergleiche und liefern messbare Ergebnisse. Erfahren Sie, welche Fragebögen sich eignen und wie Sie diese sinnvoll in Ihre Tests integrieren.
Usability Tests sind eine qualitative UX-Methode ohne die Quantifizierung von Urteilen anhand von Kennwerten. Dennoch entsteht oft der Wunsch, genau eine solche Kennzahl zu erhalten. Zahlen und Diagramme ermöglichen es, auf einen Blick den Status Quo zu erfassen. Dies stellt einen eindeutigen Vorteil zu einem langen Ergebnisbericht dar.
Bei wissenschaftlich entwickelten Fragebögen stehen zudem sehr häufig gute Benchmarkwerte zur Verfügung. Dies bedeutet, dass auch bei einer erstmaligen Erfassung via Fragebogen ein direkter Vergleich zur Branche möglich ist. Dieser Beitrag zeigt auf, was beim Einsatz von Fragebögen als Ergänzung von Labtests beachtet werden muss.
Inhalt
Wie setze ich Fragebögen im Usability Test ein?
Der Fragebogen ist ein standardisiertes Instrument – daher sollte auch die Erhebungssituation soweit wie möglich gleich gehalten werden. Die Fragebögen sollten möglichst früh im Test den Teilnehmenden vorgelegt werden. Bestenfalls beginnt das eigentliche Interview erst danach.
Optimaler Weise erhalten die Teilnehmenden nur eine kleine Einführung bzw. Warm Up zum Test, dann eine (standardisierte!) Aufgabe, die jedem Teilnehmenden im gleichen Wortlaut gestellt wird (hier empfiehlt sich ggf. ein kurzes Nachfragen, um sicherzugehen, dass der/die Teilnehmende die Aufgabe richtig verstanden hat). Der Interviewer bzw. die Interviewerin sollte nun den Raum verlassen und das Verhalten des Teilnehmenden im Beobachtungsraum ansehen.
Sollte dies nicht möglich sein, muss sich der Interviewer/die Interviewerin stark zurücknehmen und darf nur bei Sackgassen helfen, aus denen der Teilnehmende ohne weitere Hilfe nicht mehr herausfindet. Im Anschluss kann nach dem gleichen Prinzip noch eine zweite oder dritte standardisierte Aufgabe gestellt werden. Wichtig hierbei ist, dass alle Teilnehmenden die gleiche Aufgabe bekommen. Direkt nach diesen Aufgaben erhalten die Teilnehmenden den Fragebogen.
Während die Teilnehmenden den Fragebogen ausfüllen, sollte der Interviewer/die Interviewerin entweder wieder den Raum verlassen oder sich stark im Hintergrund halten und nur auf Nachfragen kurz antworten. Dies erhöht wahrheitsgemäße Antworten, da die Teilnehmenden sich anonym äußern können. Werden mehrere Fragebögen verwendet, sollte die Reihenfolge zwischen den Teilnehmenden rotiert werden, um einen Reihenfolgeeffekt zu vermeiden. Erst jetzt startet der eigentliche Usability Test mit Interviewteil.
Wie viele Personen werden bei einem User Experience Fragebogen benötigt?
Bei 4 Teilnehmenden pro Testobjekt ist auch eine Kennzahl des Fragebogens nicht aussagekräftig. Die Statistik empfiehlt uns N = 30 Teilnehmende pro Objekt, um signifikante Aussagen anhand parametrischer Tests wie T-Tests oder Varianzanalysen treffen zu können. Diese Fallzahl ist jedoch für einen Usability Test im Labor meist nicht realisierbar und für den Usability Test selbst auch gar nicht sinnvoll. Nichtparametrische Verfahren wie der Kolmogorov-Smirnov-Test oder der Wilcoxon-Mann-Whitney-U-Test erlauben auch eine statistische Überprüfung von kleinen Stichproben, ohne dass die Voraussetzung einer Normalverteilung erfüllt sein muss.
Der System Usability Scale (SUS) liefert laut den Autoren Tullis und Stetson (2004) beispielsweise schon reliable Ergebnisse bei 8 bis 10 Teilnehmenden. Wir bei eresult nutzen daher folgende Eckpunkte als Orientierung, um das Ganze auch wirtschaftlich umsetzen zu können:
- 10 Teilnehmende pro Testobjekt als Orientierung, in Einzelfällen auch darunter.
- Die Standardabweichung der einzelnen Skalen im Fragebogen wird IMMER mit betrachtet. Diese liefert das Maß der Übereinstimmung der Teilnehmenden.
- Bei zu hoher Standardabweichung kann der Fragebogenwert nicht als quantitative Kennzahl genutzt und interpretiert werden. “Zu hoch” ist dabei nicht eindeutig von uns festgelegt und hängt von der jeweiligen Antwortskala des Fragebogens und der Anzahl der Teilnehmenden ab.
Diese Fragebögen eignen sich für den Einsatz im Usability Test
Die Zeit in einem Usability Test ist kostbar und sollte daher möglichst effizient genutzt werden. Durch die standardisierten Aufgaben zu Beginn wird viel Zeit benötigt, die nicht mehr für den eigentlichen Usability-Test zur Verfügung steht. Deshalb sollte das Ausfüllen eines Fragebogens einfach und schnell sein und das richtige Konstrukt messen. Es empfehlen sich daher wissenschaftlich entwickelte Fragebögen mit einer Likert-Skala zum Ankreuzen und ohne weitere Eingabefelder für Kommentare und Anmerkungen. Für qualitative Ergebnisse folgt schließlich der Usability Test.
Wie wirken sich Usability und Co. auf Zielaspekte aus?
Um das Zusammenspiel von Website-Inhalten, Usability und Ästhetik zu verstehen und deren Einflüsse auf Variablen wie Ersteindruck, Gesamteindruck, Wiederbesuchsintention und Weiterempfehlungsbereitschaft ist die nachfolgende Abbildung (Vgl. Abb. 1) hilfreich:
Für einen guten Ersteindruck sind Usability und Inhalt relevant. Damit der Nutzende die Seite nicht sofort wieder verlässt, ist jedoch noch wichtiger die empfundene Ästhetik der Seite / des Shops etc. Für den Gesamteindruck ist der Inhalt maßgeblicher: ist der Content für den Nutzenden interessant, bleibt er auch länger auf der Website. Die Wiederbesuchs- und Weiterempfehlungsbereitschaft werden ebenfalls maßgeblich vom Inhalt beeinflusst. Die Usability spielt dabei eine vermittelnde Rolle. In einer Veröffentlichung von Ilmberger, Schrepp & Held (2009) zu kognitiven Prozessen zwischen Ästhetik und Usability zeigt sich, dass Websites, die eine hohe Usability aufweisen, auch als ästhetisch wahrgenommen werden. Die Konstrukte sind demnach nicht unabhängig.
Folgende Fragebögen, erfüllen die von uns festgelegten Kriterien und decken ebenso die zentralen Gestaltungselemente ab – dabei ist es nicht ausschlaggebend ob es sich um eine Website, einen Online-Shop, eine App oder etwas Ähnliches handelt:
SUS – System Usability Scale
Der SUS ist ein schneller Fragebogen, um einen Gesamtwert für die Usability auf einer Skala von 0 bis 100 zu erhalten. Entwickelt wurde der Fragebogen aus einer Basis von ursprünglich 50 Items (Brook 1996), die auf 10 Items komprimiert wurden. Die Skala spiegelt ein Messinstrument für die Usability wider u.a. hinsichtlich der Einfachheit, Erlernbarkeit, Komplexität als auch der weiteren Nutzungsabsicht. Der SUS eignet sich für den Einsatz in Bezug auf verschiedene Systeme und kann sich auch im Vergleich zu anderen, teils weit komplexeren Skalen wie bspw. dem SUMI (Software Usability Measurement Inventory) behaupten.
UEQ – User Experience Questionnaire
Hierbei handelt es sich, um einen Fragebogen mit sechs Dimensionen zur Erfassung der User Experience. Es gibt keinen Gesamtwert. Anhand des von Laugwitz, Schrepp & Held (2008) entwickelten Fragebogens kann der Nutzende seine Erfahrungen mit dem Produkt oder der Website beschreiben. Erhoben werden dabei nicht nur hedonische, sondern auch wirtschaftliche Aspekte und Einflussfaktoren. Es werden Attraktivität, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Originalität ermittelt. Der komplette Fragebogen ist mit 26 Items lang und im Rahmen eines Usability-Tests zeitintensiv beim Ausfüllen. Es gibt allerdings eine Kurzversion mit nur 8 Items, die auf 2 Dimensionen (hedonische und pragmatische Qualität) ausgewertet werden. Dabei handelt es sich um den UEQ-S, der eine effiziente und zeitsparende Alternative bietet.
VisAWI – Visual Aesthetics of Website Inventory
VisAWI ist ein Fragebogen zur Erfassung der visuellen Ästhetik. Er existiert sowohl als Langversion mit 18 Items als auch in einer Kurzversion mit 4 Items. Die Langversion liefert eine Auswertung für die 4 Dimensionen und einen Gesamtwert; die Kurzversion beschränkt sich auf einen Gesamtwert. Der Fragebogen wurde 2010 von Moshagen & Thielsch entwickelt.
AttrakDiff 2.0
Dieser von Hassenzahl, Burmester und Koller (2003) entwickelte Fragebogen existierte ebenfalls sowohl als Lang- als auch als Kurzversion. Die Langversion besteht aus 28 Items, die Kurzversion umfasst 10 Items. Der Fragebogen wird auf einer siebenstufigen Skala erhoben. Die zu bewertenden Eigenschaften stehen sich als Gegensatzpaare gegenüber. Bei den vier gemessenen Dimensionen handelt es sich um die pragmatische Qualität, die Stimulation, die Identität und die Attraktivität der Website, des Online-Shops bzw. des Produktes.
Welcher ist der richtige Fragebogen?
Alle diese Fragebögen haben sich in der Praxis bewährt. Welcher jedoch der Richtige ist, lässt sich pauschal – ohne den spezifischen Kontext zu kennen – nicht beantworten. Aus unserer Sicht ist es definitiv eine Hilfe, einen Überblick über die genannten standardisierten Fragebögen zu erlangen und die angeführten Tipps zu beherzigen. Auf dieser Basis lässt es sich schon wesentlich besser in die Praxis starten und eigene Erfahrung sammeln.
Auch wir beraten gern bei der Auswahl des passenden Fragebogens. Dazu schauen wir uns Ihre Fragestellung an und besprechen die verschiedenen Möglichkeiten mit Ihnen, um den passenden Fragebogen einzusetzen.
Welche Erfahrungen haben Sie mit der Kombination aus Usability-Tests und Fragebögen gemacht? Lassen Sie es uns in den Kommentaren wissen!
Quellenangaben
Dieser Artikel basiert teilweise auf Informationen aus früheren Beiträgen des usabilityblog.de. Einige der ursprünglichen Artikel sind möglicherweise nicht mehr zugänglich.
Internet
„Usability Tests ergänzen mit Hilfe von Fragebögen?“ | Katja Brand-Sassen (2023) | usabilityblog.de
Bilder & Grafiken
Abbildung 1 nach Thielsch & Moshagen (2014)
