Usability-Tests im Labor mit Virtual Reality (VR)

Einleitung

Im Moment liegt der Fokus von Virtual Reality (VR) im Consumer-Bereich vor allem auf Spielen, die zur Unterhaltung eingesetzt werden. Im Kontext unseres Projektgeschäfts zeigt sich, dass immer mehr Unternehmen sich intensiver mit dem Potenzial von virtuellen Realitäten beschäftigen. Vor einiger Zeit beschrieb Jens Jacobsen in seinen Blogbeitrag die VR noch als „Wilden Westen“ – also ein Metier in dem noch wenige bis gar keine Richtlinien (wie z. B. Design-Patterns oder Best-Practices) vorhanden sind. Demzufolge ist das regelmäßige Testen neuer Entwicklung von enormer Relevanz und kann über den späteren Erfolg des Systems entscheiden. Als Full-Service UX-Agentur nehmen wir dies zum Anlass uns stärker mit dem Thema Usability-Tests für VR-Applikationen zu interessieren. Aus Sicht einer UX-Agentur stellen sich in diesem Zusammenhang zwei wichtige Fragen: Wie gut ist eigentlich die Usability der Anwendungen und wie können wir sie in VR sinnvoll testen? Im folgenden Forschungsbeitrag gehen wir demzufolge auf unsere Erfahrungen im Bereich des Labortests in VR ein und schildern unsere Erlebnisse.

Studiendesign & VR Systeme

Wie unterscheidet sich ein Usability-Test im Labor in VR von einem klassischen Test mit dem Smartphone der dem Desktop-PC? Welche Abläufe sind gleich? Wo zeigen die Ansätze Differenzen? Diese und weitere Fragen wollen wir innerhalb unserer Studie beantworten. Für unsere Studien nutzen wir verschieden dabei Systeme wie z. B. das VR-System VIVE der Marke HTC oder die Gear VR – Ein Smartphone VR-Brille. Alle Systeme besitzen verschiedene Voraussetzungen, sodass z. B. die Vive aus zwei Basisstationen, einem Headset und zwei Controllern besteht.

^{Abbildung 1: Screenshot HTV Vive Installationsdialog}

Weiterhin wird ein Leistungsstarker Rechner für einen reibungslosen Test benötigt. Die Systemanforderungen laut Hersteller sind dabei Folgende:

BETRIEBSSYSTEM: Windows 7 Service Pack 1 oder aktueller
PROZESSOR: Intel i5-4590, AMD FX 8350 oder besser
ARBEITSSPEICHER: 4 GB oder mehr
GRAFIKKARTE: Nvidia Geforce GTX 970, AMD Radeon R9 290 oder besser
VIDEO-AUSGABE: HDMI 1.4 oder DisplayPort 1.2 oder neuer
USB-ANSCHLUSS: 1 x USB 2.0 oder besser

Ergebnisse

Eingewöhnungsphase für die Probanden

Für viele Teilnehmer ist das Tragen und die Nutzung eines VR-Systems absolutes Neuland. Demzufolge muss zu Beginn eines jeden Tests genug Zeit eingeplant werden, damit sich der Proband mit dem System vertraut machen kann. Der Proband muss sich dementsprechend zunächst an das Tragen des Headsets gewöhnen und der Moderator sollte sich vergewissern, dass alles richtig angebracht wurde.

Kleine Tests, wie das Bücken oder das Neigen des Kopfes in verschiedene Richtungen, geben dem Probanden Selbstvertrauen in der Nutzung des Systems wobei der Moderator die Installation kontrollieren kann. Grundsätzlich ist zu beachten, dass unter der Brille eine starke Hitze entsteht und die Probanden, bei längerem Tragen, darunter schwitzen können – besonders in Räumen, die beispielsweise aufgrund von Außenlärm nicht geöffnet werden können. Die Desinfektion der Brille nach jedem Test ist daher unabdingbar.

Auch sollte versucht werden, einen Raum zu finden, in welchem entweder das Fenster während des Versuchs geöffnet werden kann oder eine Klimaanlage vorhanden ist. Alternativ muss zwischen den Probanden ausreichend Zeit eingeplant werden, um zu lüften oder es muss ein Ventilator in den Raum gestellt werden. Neben dem Headset muss eine Eingewöhnungsphase für die Nutzung der Controller gewährleistet werden, sodass es sich empfiehlt vor dem eigentlichen Test dies in einer kurzen Simulation mit dem Probanden zu testen.

Informationsflut für den Probanden

Für viele Probanden ist die Bearbeitung von Aufgaben innerhalb der VR nach eigenen Angaben anstrengend. Sie gaben an, vor allem durch die Vielzahl an Reizen beansprucht zu werden. Dies verwundert nicht, sofern man sich bewusstmacht, dass während eines Tests die Probanden neben den auditiven und visuellen Reizen der VR auch durch die Fragen und Kommentare des Moderators, sowie die Reize des physischen Raumes (z. B. Geräusche innerhalb und außerhalb des Raumes) beeinflusst werden. Diese Reizüberflutung kann das Verhalten des Probanden beeinflussen und eine erhöhte Belastung hervorrufen.

Demzufolge sollte versucht werden die Reize innerhalb der VR zu reduzieren bzw. zu kontrollieren. Auf eine musikalische Untermalung sollte, wenn möglich, verzichtet werden. Es sollte erwogen werden, ob Fragen auch am Ende der Simulation gestellt werden können. Falls Fragen während der Simulation gestellt werden sollen, ob Fragen auch ans Ende der Simulation verschoben werden können. Hierbei ist jedoch zu beachten, dass nicht gezielt auf Antworten eingegangen bzw. nachgefragt werden kann.

Wenn eine stärkere Interaktion mit dem Moderator während der Testung erwünscht bzw. notwendig ist, sollte auf Kommentare innerhalb der Simulation verzichtet werden. Die Kommentare bzw. Fragen des Moderators sollten gezielt platziert sein. Geeignet sind Passagen, in denen der Proband keine Handlungen durchführen muss (Retrospektives Interview).

Größe des Testraums & Navigation innerhalb der VR

Für viele Probanden ist das Bewegen im virtuellen Raum unbekannt. Beim Aufsetzen des Headsets müssen die Probanden sich erst einmal in der virtuellen Welt orientieren und Verhaltensweisen erlernen: Wie ist es sich fortzubewegen, wie nehme ich Dinge wahr und interagiere mit diesen? Im Kontext der VR bestehen für den Nutzer zwei Möglichkeiten der Fortbewegung. Zum einen kann sich der Proband durch physische Handlungen innerhalb der VR fortbewegen (z. B. Gehen, Bücken, Strecken). Hierbei ist oftmals das Problem, dass die VR größer ist als der physische Raum. Demzufolge werden die Abgrenzungen des physischen Raums innerhalb der VR mit einem Gitter gekennzeichnet. Im Kontext unserer Studie zeige sich, dass die Abgrenzung des physischen Raumes durch das eingeblendete Gitter für die Probanden zunächst sehr befremdlich ist. Es empfiehlt sich demzufolge, dass die Probanden den physischen Raum vor Beginn des Tests am Gitter der VR ablaufen, um ein Gefühl für die Begrenzung zu erhalten.

Abbildung 2: Screenshot HTV Vive Installationsdialog; Quelle: www.computerbase.de/2016-03/htc-vive-erfahrungen-test/2/

Eine weitere Möglichkeit der Fortbewegung ist das sogenannte Beamen. Hierfür visiert der Proband einen Punkt am Boden mit dem Controller an wodurch eine Markierung auf dem Boden der VR erscheint. Durch das Drücken der oberen Taste auf dem Controller wird das Beamen ausgeführt. Weiterhin stellten wir fest, dass die Probanden in kleinen Räumen häufig dazu gezwungen sind sich an andere Stellen innerhalb der VR zu beamen. Das Beamen wird jedoch von den Probanden als unangenehm erlebt und muss zunächst erlernt werden. Insgesamt wurde das Fortbewegen zu Fuß von den meisten bevorzugt. Das Beamen sollte geübt werden, wenn es erforderlich ist. Bei der Raumauswahl sollte darauf geachtet werden, dass der Raum groß genug für die Simulation ist und die Probanden sich nicht häufig zu einem anderen Standort beamen müssen bzw. vor dem Gitter stehen.

Position und Verhalten des Moderators

Der Moderator darf während des Tests nicht zwischen die Sensoren der VR Brille und das Headset des Probanden geraten, da sonst die Gefahr besteht, dass die Verbindung des Systems verloren geht.
Weiterhin besteht das Risiko, dass dem Probanden eine permanente Begleitung durch den Moderator unangenehm ist bzw. befremdlich auf den Probanden wirkt, da beachtet werden muss, dass der Proband den Moderator während des Tests letztendlich nicht sieht. Eine stetige Veränderung der Position des Moderators könnte demzufolge negative Auswirkungen auf den Probanden haben.
Daher sollte beim Konzipieren des Tests Platz für den Moderator eingeplant werden. Am besten ist es, wenn der Moderator neben dem abgrenzten Raum noch Platz hat, um sich dort zu bewegen und ggf. einzugreifen, wenn der Proband sich z. B. mit dem Kabel verheddert.

Unterstützung des Probanden durch den Moderator

Der Eine Aufgabe des Moderators beim Usability-Test im Labor ist es den Probanden adäquat durch den Termin zu geleiten und bei aufgekommen Problemen zu unterstützen.

Demzufolge muss der Moderator auch in der VR-Studie an verschiedenen Punkten eingreifen:

Die Probanden haben sich mit dem Kabel verheddert.
Die Probanden befinden sich in einer Sackgasse, da sie die Abläufe oder Handlungsaufforderungen übersehen bzw. falsch interpretieret haben.

Um Unstimmigkeiten zu vermeiden, sollte der Proband bereits vor dem Test informiert werden wann und wie der Moderator in den Test eingreift und wie mit Bugs innerhalb der VR umgegangen wird.

Grafische Details innerhalb der VR

Die Grafik einer VR ist sehr bemerkenswert, aber nichts kommt an die Schärfe des menschlichen Auges heran. Aus diesem Grund können von den Probanden nicht alle Aufschriften gelesen werden. Folglich mussten die Probanden in dem durchgeführten Test z. B. die Milchpackungen durch die Form bzw. das Wissen, das für Pfannkuchenteig Milch benötigt wird, erkennen. Das Nicht-Lesen-Können der Schrift beschreiben die Probanden im durchgeführten Test als frustrierend.

Ladezeiten einkalkulieren und kommunizieren

VR-Applikationen sind extrem große Datensätze, sodass selbst bei einem leistungsstarken Rechner Ladezeiten einkalkuliert werden müssen. Für den Probanden bedeuten die Ladezeiten, dass während neuer Simulationen oder dem Starten eines neuen Szenarios der „Bildschirm“ innerhalb der Brille schwarz wird. Viele Probanden beschrieben dieses Gefühl als sehr unerwartet und eher unangenehm. Demzufolge sollte dem Probanden bereits vor dem eigentlichen Test eine Auskunft über die Ladezeiten und die dazugehörigen Folgen vermittelt werden.

Verhaltensweisen können unangenehm sein

Den Probanden ist die Ausführung bestimmter Bewegungen (wie z. B. den Teig in der Schüssel rühren) unbekannt. Die Bewegungen beim Erproben können hilflos und unkoordiniert aussehen. Das Wissen des Probanden, dass weitere Personen beim Test zuschauen sowie dass sich ein Moderator im Raum befindet, könnte unangenehme Gefühle auslösen. Diese Gefühle könnten Auswirkungen auf das Verhalten bei dem eigentlichen Test haben. Auch das Filmen dieser Verhaltensweisen und das zur Verfügung stellen der Videos an den Kunden, könnte abschreckend wirken und Einfluss auf die Teilnahme sowie Verhaltensweise haben. Das Üben des Verhaltens, das im eigentlichen Test gefordert wird (wie hier z. B. das Beamen bzw. Greifen), sollten nicht gefilmt werden. Dies sollte den Probanden mitgeteilt werden. Das Zuschauen Dritter sollte unterbunden werden. Erst bei der eigentlichen Testung könnten diese wieder hinzugeholt werden.

Motion Sickness

Motion Sickness, manchmal auch als Gaming Sickness oder Spieleübelkeit bekannt, bezeichnet ein Unwohlsein, das durch das Spielen von Computerspielen hervorgerufen werden kann. Gerade beim Spielen mit VR-Brillen kann die Übelkeit vermehrt auftreten. Die Ursache ist noch nicht ganz genau geklärt, es wird jedoch allgemein angenommen, dass widersprechende Wahrnehmungen der Sinnesorgane der Grund sind. Wenn beispielsweise das Auge in einem VR-Spiel wilde Bewegungen wahrnimmt, der Körper aber spürt, dass er still in einem Stuhl sitzt, kann dies Motion Sickness mit Kopfschmerzen und Schwindel hervorrufen. Mediziner bezeichnen dies als Störung des vestibulookulären Reflexes. Grundsätzlich kann man allerdings nie genau vorhersagen, welche Person von Motion Sickness betroffen sein wird und welche nicht – das kann von Mensch zu Mensch und von Anwendung zu Anwendung unterschiedlich sein.

Umgang mit Bugs in der VR

Digitale Systeme sind nicht gänzlich frei von Fehlern und dies gilt auch für VR-Applikationen. Demzufolge kann es vorkommen, dass eine Simulation „hängt“ oder ein Bug vorhanden ist. Im schlimmsten Fall kann der Probanden das Szenario nicht vollenden und die Applikation muss neu gestartet werden. In diesem Kontext ist auffällig, dass fast keine Applikation „Sprünge“ innerhalb der Simulation erlaubt. Für den Test bedeutet dies, dass erneut von vorne begonnen werden muss. Ja nachdem wie vorangeschritten der Test ist, kann dies den gesamten Zeitplan zusammenbrechen lassen. Es empfiehlt sich daher eher kleine Szenarien zu konzipieren, sodass bei einem Abbruch der „Schaden“ so gering wie möglich gehalten wird.

Fazit

Dieser Forschungsbeitrag zeigt, dass beim Testen von VR-Anwendungen Herausforderungen entstehen, welche bis dato nicht bekannt waren. Die Restriktionen beziehen sich dabei auf alle Parameter, sodass z. B. neben den Räumlichkeiten sich die Art und Weise der Moderation vom klassischen Test am PC oder Smartphone unterscheidet.

Weitere spannende Erkenntnisse zum Thema VR finden die als Powerpoint-Foliensatz in unserem Download-Bereich.

Sie sind anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr. Schreiben Sie uns!

Dustin Rauch