Usability Tests ergänzen mit Hilfe von Fragebögen

Usability Tests sind eine qualitative UX-Methode ohne die Quantifizierung von Urteilen anhand von Kennwerten. Dennoch entsteht oft der Wunsch, genau eine solche Kennzahl zu erhalten. Zahlen und Diagramme ermöglichen es, auf einen Blick den Status Quo zu erfassen. Dies stellt einen eindeutigen Vorteil zu einem langen Ergebnisbericht dar.

Bei wissenschaftlich entwickelten Fragebögen stehen zudem sehr häufig gute Benchmarkwerte zur Verfügung. Dies bedeutet, dass auch bei einer erstmaligen Erfassung via Fragebogen ein direkter Vergleich zur Branche möglich ist. Dieser Beitrag zeigt auf, was beim Einsatz von Fragebögen als Ergänzung von Labtests beachtet werden muss. Weitere nützliche Tipps und Wissenswertes rund um das Thema finden Sie auf der Seite Usability Testing – mit echten Nutzer*innen testen

Der Fragebogen ist ein standardisiertes Instrument – daher sollte auch die Erhebungssituation soweit wie möglich gleich gehalten werden. Die Fragebögen sollten möglichst früh im Test den Probanden vorgelegt werden. Bestenfalls beginnt das eigentliche Interview erst danach.

Optimaler Weise erhalten die Probanden nur eine kleine Einführung bzw. Warm Up zum Test, dann eine (standardisierte!) Aufgabe, die jedem Probanden im gleichen Wortlaut gestellt wird (hier empfiehlt sich ggf. ein kurzes Nachfragen, um sicherzugehen, dass der Proband die Aufgabe richtig verstanden hat). Der Interviewer sollte nun den Raum verlassen und das Verhalten des Probanden im Beobachtungsraum ansehen. Sollte dies nicht möglich sein, muss sich der Interviewer stark zurücknehmen und darf nur bei Sackgassen helfen, aus denen der Proband ohne weitere Hilfe nicht mehr herausfindet. Im Anschluss kann nach dem gleichen Prinzip noch eine zweite oder dritte standardisierte Aufgabe gestellt werden. Wichtig hierbei ist, dass alle Probanden die gleiche Aufgabe bekommen. Direkt nach diesen Aufgaben erhalten die Probanden den Fragebogen. Während die Probanden den Fragebogen ausfüllen, sollte der Interviewer entweder wieder den Raum verlassen oder sich stark im Hintergrund halten und nur auf Nachfragen kurz antworten. Dies erhöht wahrheitsgemäße Antworten, da die Probanden sich anonym äußern können. Werden mehrere Fragebögen verwendet, sollte die Reihenfolge zwischen den Probanden rotiert werden, um einen Reihenfolgeeffekt zu vermeiden. Erst jetzt startet der eigentliche Usability Test mit Interviewteil.

Bei 4 Probanden pro Testobjekt ist auch eine Kennzahl des Fragebogens nicht aussagekräftig. Die Statistik empfiehlt uns N = 30 Probanden pro Objekt, um signifikante Aussagen anhand parametrischer Tests wie T-Tests oder Varianzanalysen treffen zu können. Diese Fallzahl ist jedoch für einen Usability Test im Labor meist nicht realisierbar und für den Usability Test selbst auch gar nicht sinnvoll. Nichtparametrische Verfahren wie der Kolmogorov-Smirnov-Test oder der Wilcoxon-Mann-Whitney-U-Test erlauben auch eine statistische Überprüfung von kleinen Stichproben, ohne dass die Voraussetzung einer Normalverteilung erfüllt sein muss.

Der System Usability Scale (SUS) liefert laut den Autoren Tullis und Stetson (2004) beispielsweise schon reliable Ergebnisse bei 8 bis 10 Probanden. Wir bei eresult nutzen daher folgende Eckpunkte als Orientierung, um das Ganze auch wirtschaftlich umsetzen zu können:

• 10 Probanden pro Testobjekt als Orientierung, in Einzelfällen auch darunter.
• Die Standardabweichung der einzelnen Skalen im Fragebogen wird IMMER mit betrachtet. Diese liefert das Maß der Übereinstimmung der Probanden.
• Bei zu hoher Standardabweichung kann der Fragebogenwert nicht als quantitative Kennzahl genutzt und interpretiert werden. "Zu hoch" ist dabei nicht eindeutig von uns festgelegt und hängt von der jeweiligen Antwortskala des Fragebogens und der Anzahl der Teilnehmer ab.

Für einen guten Ersteindruck sind Usability und Inhalt relevant. Damit der Nutzer die Seite nicht sofort wieder verlässt, ist jedoch noch wichtiger die empfundene Ästhetik der Seite / des Shops etc. Für den Gesamteindruck ist der Inhalt maßgeblicher: ist der Content für den Nutzer interessant, bleibt er auch länger auf der Website. Die Wiederbesuchs- und Weiterempfehlungsbereitschaft werden ebenfalls maßgeblich vom Inhalt beeinflusst. Die Usability spielt dabei eine vermittelnde Rolle. In einer Veröffentlichung von Ilmberger, Schrepp & Held (2009) zu kognitiven Prozessen zwischen Ästhetik und Usability zeigt sich, dass Websites, die eine hohe Usability aufweisen, auch als ästhetisch wahrgenommen werden. Die Konstrukte sind demnach nicht unabhängig.

Folgende Fragebögen, erfüllen die von uns festgelegten Kriterien und decken ebenso die zentralen Gestaltungselemente ab - dabei ist es nicht ausschlaggebend ob es sich um eine Website, einen Online-Shop, eine App oder etwas Ähnliches handelt:

SUS - System Usability Scale

Der SUS ist ein schneller Fragebogen, um einen Gesamtwert für die Usability auf einer Skala von 0 bis 100 zu erhalten. Entwickelt wurde der Fragebogen aus einer Basis von ursprünglich 50 Items (Brook 1996), die auf 10 Items komprimiert wurden. Die Skala spiegelt ein Messinstrument für die Usability wider u.a. hinsichtlich der Einfachheit, Erlernbarkeit, Komplexität als auch der weiteren Nutzungsabsicht. Der SUS eignet sich für den Einsatz in Bezug auf verschiedene Systeme und kann sich auch im Vergleich zu anderen, teils weit komplexeren Skalen wie bspw. dem SUMI (Software Usability Measurement Inventory) behaupten.

UEQ - User Experience Questionnaire

Hierbei handelt es sich, um einen Fragebogen mit sechs Dimensionen zur Erfassung der User Experience. Es gibt keinen Gesamtwert. Anhand des von Laugwitz, Schrepp & Held (2008) entwickelten Fragebogens kann der Nutzer seine Erfahrungen mit dem Produkt oder der Website beschreiben. Erhoben werden dabei nicht nur hedonische, sondern auch wirtschaftliche Aspekte und Einflussfaktoren. Es werden Attraktivität, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Originalität ermittelt. Der komplette Fragebogen ist mit 26 Items lang und im Rahmen eines Usability-Tests zeitintensiv beim Ausfüllen. Es gibt allerdings eine Kurzversion mit nur 8 Items, die auf 2 Dimensionen (hedonische und pragmatische Qualität) ausgewertet werden. Dabei handelt es sich um den UEQ-S, der eine effiziente und zeitsparende Alternative bietet.

VisAWI - Visual Aesthetics of Website Inventory

VisAWI ist ein Fragebogen zur Erfassung der visuellen Ästhetik. Er existiert sowohl als Langversion mit 18 Items als auch in einer Kurzversion mit 4 Items. Die Langversion liefert eine Auswertung für die 4 Dimensionen und einen Gesamtwert; die Kurzversion beschränkt sich auf einen Gesamtwert. Der Fragebogen wurde 2010 von Moshagen & Thielsch entwickelt.

AttrakDiff 2.0

Dieser von Hassenzahl, Burmester und Koller (2003) entwickelte Fragebogen existierte ebenfalls sowohl als Lang- als auch als Kurzversion. Die Langversion besteht aus 28 Items, die Kurzversion umfasst 10 Items. Der Fragebogen wird auf einer siebenstufigen Skala erhoben. Die zu bewertenden Eigenschaften stehen sich als Gegensatzpaare gegenüber. Bei den vier gemessenen Dimensionen handelt es sich um die pragmatische Qualität, die Stimulation, die Identität und die Attraktivität der Website, des Online-Shops bzw. des Produktes.

Alle diese Fragebögen haben sich in der Praxis bewährt. Welcher jedoch der Richtige ist, lässt sich pauschal - ohne den spezifischen Kontext zu kennen - nicht beantworten. Aus unserer Sicht ist es definitiv eine Hilfe, einen Überblick über die genannten standardisierten Fragebögen zu erlangen und die angeführten Tipps zu beherzigen. Auf dieser Basis lässt es sich schon wesentlich besser in die Praxis starten und eigene Erfahrung sammeln. Auch wir beraten gern bei der Auswahl des passenden Fragebogens. Dazu schauen wir uns Ihre Fragestellung an und besprechen die verschiedenen Möglichkeiten mit Ihnen, um den passenden Fragebogen einzusetzen. Schreiben Sie uns!