Remote Testing: Online-Nutzertests richtig durchführen

Inhaltsverzeichnis

1. Online ist nicht gleich online
1.1 Moderierte Online-Usability-Tests
1.2 Unmoderierte Online-Usability-Tests
1.3 Vorteile von Online-Tests
1.4 Nachteile von Online-Tests

2. Wie gehe ich mit den Einschränkungen bei moderierten Tests um?

3. Wie gehe ich damit um, dass ich ohne Moderation nicht gegensteuern kann?
3.1 Achte auf gute Testpersonen
3.2 Überlege dir gute Aufgaben (Tasks)
3.3 Schreibe ein Top-Briefing
3.4 Mache immer, immer einen Pre-Test
3.5 Kontrolliere schon während der Testlaufzeit
3.6 Rekrutiere mehr Teilnehmer
3.7 Einschränkungen bei Tests mit mobilen Geräten
3.8 Screenrecording von iPhone, Android & Tablet
3.9 Alternativen zu Tests mit mobilen Geräten
3.10 Einsatzzwecke/Fragestellungen für Online-Tests & Aufwände

4. Fazit

1. Online ist nicht gleich online

Es gibt mehrere Varianten von Online-Tests. Eine Unterscheidung ist dabei fundamental. Wieso? Weil sie nicht nur deine Arbeitsweise bestimmt, sondern vor allem auch das, was du überhaupt testen kannst. Diese Unterscheidung ist die zwischen moderiert und unmoderiert.

1.1 Moderierte Online-Usability-Tests

Moderierte Online-Usability-Tests sind letztlich klassische Usability-Tests, bei dem du lediglich nicht mit der Testperson im gleichen Raum sitzt. Wenn du schon ein paar Tests im Usability Lab gemacht hast, wirst du mit moderierten Online-Tests kaum Probleme haben. Weil du und deine Testperson gleichzeitig arbeiten, spricht man auch von synchronen Remote Usability-Tests (sRUT).

1.2 Unmoderierte Online-Usability-Tests

Beim unmoderierten Test dagegen spricht man vom asynchronen Remote Usability-Test (aRUT). Der  läuft so ab, dass die Testpersonen ihre Testaufgaben (Tasks) schriftlich von dir bekommen. Den Test arbeiten sie dann selbstständig durch. Sie sind dabei zeitlich unabhängig von dir als Moderator. Daher heissen solche Tests “asynchron”.

1.3 Vorteile von Online-Tests

Die Hauptvorteile von Online-Tests sind:

• Deine Testpersonen müssen nicht anreisen.
• Sie können in ihrer gewohnten Umgebung auf ihren eigenen Geräten testen.
• Du kannst die Tests zeitlich viel flexibler einteilen.
• Du brauchst kein Usability Lab bzw. kein ruhiges Büro zum Testen.
• Beobachter an Live-Tests können problemlos teilnehmen. Sie sehen und hören genau das Gleiche wie du als Moderator.
• Ein einzelner Test ist günstiger (geringerer Zeitaufwand, weniger Reisekosten, keine Miete, geringere Incentives/Bezahlung der Testpersonen).
• Ein einzelner Test ist schneller.
• Du kannst mit mehr Personen testen oder Testpersonen rekrutieren, die ansonsten schwer zu bekommen sind. 

Und schliesslich hast du bei unmoderierten Online-Tests noch den Vorteil, dass alle Testpersonen tatsächlich die exakt gleichen Bedingungen haben. Die Verzerrung der Ergebnisse durch die unterschiedliche Moderation fällt also weg.

Der generelle Ablauf eines unmoderierten Online-Usability-Tests aus Nutzersicht.

1.4 Nachteile von Online-Tests

Natürlich haben Online-Tests auch Nachteile. Einige UX-Kollegen finden diese so gravierend, dass sie überhaupt nicht damit arbeiten wollen. Das ist auch verständlich, denn es geht bei Nutzertests ja vor allem darum, Kontakt zu echten Nutzern zu bekommen. Und der ist bei allen Online-Varianten eingeschränkt.

Nachteile von moderierten Online-Tests

Sehen wir uns also die Nachteile von moderierten Online-Tests verglichen mit ihren Vor-Ort-Pendants an:

• Das lockere Kennenlernen und Plaudern mit den Nutzern ist nicht ganz so einfach über Video.
• Im Usability Lab merkst du sehr schnell, wenn eine Testperson ungeduldig wird oder sich nicht wohl fühlt. Bei einer Videoübertragung ist das nicht ganz so leicht zu erkennen.
• Sitzt du neben einer Testperson, kannst du sie mit deiner eigenen Körpersprache steuern. Durch Vorbeugen und Kopfnicken zum Beispiel signalisierst du Interesse und bestärkst die Testperson. 
• Die Testpersonen sind evtl. abgelenkt durch Kollegen, Mitbewohner, Kinder oder Haustiere. Davon bekommst du manchmal nicht einmal etwas mit. Das kann auch ein Vorteil sein – damit hast du unter Umständen realistischere Nutzungsbedingungen.
• Vielleicht testest du Dinge, die (noch) nicht an die Öffentlichkeit gelangen sollen. Dann bleiben dir als Schutz nur Vertraulichkeitserklärungen, die du von den Testpersonen unterzeichnen lässt. Technisch sicherstellen, dass niemand einen Screenshot oder ein Foto mit dem Smartphone macht, kannst du nicht.

Nutzertest im Usability Lab.

Nachteile von unmoderierten Online-Tests

Noch schwieriger wird es bei unmoderierten Tests. Denn bei diesen hast du direkt gar nichts mehr zu tun mit den Nutzern. Das verursacht folgende zusätzliche Schwierigkeiten:

• Die Testpersonen brauchen mehr technische Expertise. 
• Du hast keine Möglichkeit, auf unvorhergesehene Fehler und Probleme zu reagieren. Gibt es z.B. ein technisches Problem, ist der Test gelaufen. 
• Du kannst den Verlauf des Tests nicht steuern, wenn er die falsche Richtung nimmt. Zum Beispiel wenn der Nutzer eine Angabe falsch verstanden hat. In dem Fall bricht er den Test meist ab oder dringt nicht zu den Bereichen vor, die dich eigentlich interessieren. 
• Du hast kaum eine Möglichkeit, die Arbeitsweise des Nutzers zu steuern. Er oder sie kommentiert beispielsweise nur das Design, statt von seinen Erwartungen zu erzählen. Oder vergisst, laut zu denken. 
• Du hast wenig Kontrolle darüber, wie die Testpersonen die Aufgaben bearbeiten. Gehen sie sorgfältig vor? Oder sehen sie dabei fern? Spielen sie mit ihren Kindern? 

Wenn du jetzt denkst, das alles disqualifiziert unmoderierte Nutzertests, kann ich dich beruhigen: Zum Glück gibt es ein paar bewährte Tricks, wie du trotz der Schwierigkeiten dennoch zu guten Ergebnissen kommst. Die bekommst du im dritten Kapitel.

2. Wie gehe ich mit den Einschränkungen bei moderierten Tests um?

Als guter Moderator eines Usability-Tests sprichst du möglichst wenig. Du lässt die Testperson arbeiten und versuchst sie nicht zu beeinflussen. Du bittest die Person nur laut zu denken. Schweigt eine Testperson neben dir im Usability Lab, dann siehst du meist ohne Probleme, ob sie konzentriert einen Text liest. Ob sie nachdenkt, oder ob sie etwas sucht auf der Seite. Damit du das auch bei einem Online-Test mitbekommst, brauchst du neben der Bildschirmübertragung unbedingt auch die Übertragung der Webcam deiner Testperson. Achte darauf bei der Auswahl des Systems, was du nutzt. Eine nützliche Übersicht diverser Systeme findest du hier: Remote User Tests: die bevorzugten Tools der UX Researcher.

3. Wie gehe ich damit um, dass ich ohne Moderation nicht gegensteuern kann?

Bei unmoderierten Tests kannst du vor allem durch sehr sorgfältige Vorbereitung die Qualität der Ergebnisse deutlich verbessern. Meine Top-Tipps für gute unmoderierte Online-Tests sind:

3.1 Achte auf gute Testpersonen

Was ist eine “gute” Testperson? Jemand, der aus der Zielgruppe deines Produkts stammt, das du testest. Darüber hinaus sollte die Person noch ein paar Eigenschaft mehr mitbringen:

• Zuverlässig, damit er/sie die Aufgaben so bearbeitet, wie vorgesehen.
• Sorgfältig, damit er/sie die Aufgaben selbstständig bearbeiten kann.
• Aufmerksam, damit er/sie deine Anweisungen liest und versteht.
• In der Lage, sich einigermassen gut auszudrücken bzw. laut zu denken. Damit er/sie im Video kommentiert, was er/sie macht und das für dich verständlich ist. 
• Technisch einigermassen versiert, damit er/sie Video aufzeichnen und hochladen kann.

Bei unmoderierten Tests ist es also noch wichtiger, auf sorgfältig ausgewählte Testpersonen zu achten.

3.2 Überlege dir gute Aufgaben (Tasks)

Im Idealfall musst du zu den Aufgaben in einem Usability-Test nicht viel sagen. Manchmal musst du doch ein bisschen mehr Kontext geben, damit die Testpersonen wissen, was von ihnen erwartet wird. Versetze dich beim Schreiben der Aufgaben so gut wie möglich in deine Testpersonen hinein. Sorge dabei für eine gute Abfolge von Aufgaben: Eine ganz leichte zu Beginn, damit sie vertraut werden mit dem System. Dann langsam immer schwierigere Aufgaben und am Ende noch eine leichtere.

3.3 Schreibe ein Top-Briefing

Der Gesprächsleitfaden bzw. der Testleitfaden für deine Usability-Lab-Tests ist wichtig. Aber wenn hier etwas nicht ganz genau stimmt, kannst du das leicht ausgleichen bei der Moderation des Tests. Bei unmoderierten Tests dagegen hast du die Möglichkeit nicht. Wenn hier etwas nicht stimmt, dann versuchen die Testpersonen das Falsche. Sie sind verwirrt, demotiviert oder können die Aufgaben nicht lösen. Deshalb musst du bei unmoderierten Tests doppelt so viel Mühe in den Testleitfaden stecken.

3.4 Mache immer, immer einen Pre-Test

Wie für jede Anwendung gilt auch für jeden unmoderierten UX-Test: Ohne mit der Zielgruppe getestet zu haben, solltest du nie starten. Denn allzu leicht führen eine ungünstige Formulierung, ein falscher Link oder ein Missverständnis dazu, dass der ganze Test in die Binsen geht. Daher: Führe immer einen Test mit dem echten Fragebogen mit dem echten System mit echten Nutzern durch. Lass’ zur ur Not einen Kollegen testen, falls dies nicht möglich sein sollte. Aber er soll dabei wirklich echte Antworten geben und versuchen, genau deinen Anweisungen zu folgen. Einfach nur einmal schnell durchklicken reicht nicht.

3.5 Kontrolliere schon während der Testlaufzeit

Ist der Test gestartet, kannst du dich zurücklehnen. Aber nicht für lange. Sobald die ersten Antworten eintrudeln, solltest du diese kontrollieren. Haben sie die Aufgaben tatsächlich verstanden? Konnten sie diese erfolgreich abschliessen? Haben sie in den Fragebögen sinnvolle und plausible Dinge angegeben? Konnten sie die gewünschten Screenshots, Bilder oder Videos hochladen und kannst du diese ansehen? Nicht selten gibt es bei einem von diesen Punkten Probleme. Je früher du diese erkennst, desto weniger Antworten musst du später aus der Auswertung herausnehmen.

3.6 Rekrutiere mehr Teilnehmer

Um die Einschränkungen von unmoderierten Tests auszugleichen, solltest du immer mehr Testpersonen rekrutieren. Denn es wird immer wieder vorkommen, dass jemand unerwartete technische Probleme hatte, die nicht am getesteten Produkt liegen. Dass jemand sich doch nicht so viel Mühe beim Testen gegeben hat, wie erwartet. Dass eine unpassende Testperson dabei war. Oder dass einzelne Kommentare der Nutzer unverständlich waren.

3.7 Einschränkungen bei Tests mit mobilen Geräten

Willst du eine App testen oder wird die Web-Anwendung oder Site vor allem auf Mobilgeräten genutzt, dann wird es leider etwas schwieriger mit der Wahl der Testpersonen. Denn es zeigt sich immer wieder, dass viele Nutzer hier technische Herausforderungen haben. Im einfachsten Fall, wenn du eine Website bzw. einen Online-Dienst nutzt, sind die Probleme der Testpersonen:

• Medienbruch zwischen der Anwendung, über die sie ihre Anweisungen bekommen (Videokonferenz-Tool bei moderierten bzw. Umfragetool bei unmoderierten Tests) und der Anwendung selbst. Es hat sich bewährt, die Nutzer zu bitten, für die Anweisungen einen PC zu nutzen und das Testobjekt auf dem Mobilgerät zu bedienen. Sonst müssen sie hin und her schalten, was fehlerträchtig und lästig ist.
• Teilen oder Aufnehmen des Bildschirms des Mobilgeräts. Eine sehr gute schriftliche Anleitung (online oder PDF, besser noch Video mit Screenrecording) hilft den Nutzern, dies einzurichten und zu testen.
• Speichern und Übertragen bzw. Hochladen der Videodatei. Auch dies solltest du gut erklären. Und wenn möglich im Vorfeld bei technischen Problemen zur Verfügung stehen.

Worauf du bei Online-Tests mit Mobilgeräten verzichten musst, ist die Aufnahme der Finger der Testpersonen. Beim Test im Usability Lab siehst du, ob Testpersonen verzweifelt tippen oder wiederholt swipen. Damit die Beobachter des Usability-Tests das auch mitbekommen, nutzen viele im Usability Lab eine Kamera, die fest am Smartphone installiert ist. Sie zeigt dann den Bildschirm des Geräts zusammen mit den Fingern der Testperson von oben.

Mit solchen Konstruktionen nimmst du bei Usability-Lab-Tests auf, wie die Testpersonen mit dem Smartphone interagieren.

3.8 Screenrecording von iPhone, Android & Tablet

Manche Screenrecording-Lösungen für Smartphones visualisieren in der Aufnahme Gesten und Tipps der Nutzer mit Symbolen. So kannst du zumindest grob erkennen kannst, was die Nutzer getan haben. Diese Option muss aber natürlich auch aktiviert werden. Leider kann du dich nicht, hundertprozentig darauf verlassen. Und auf iOS geht das generell nicht, weil es das Betriebssystem nicht erlaubt.

Mobizen

Mobizen ist die App, welche die meisten für Android nutzen – technisch gut, Support und Website sind leider stark gewöhnungsbedürftig und begrenzt hilfreich. Die Testversion setzt ein Wasserzeichen in die Aufnahmen, eine Monatslizenz kostet derzeit 3 $.

Unter iOS ist die Bildschirmaufnahme von Haus aus möglich. Diese muss nur aktiviert werden unter Einstellungen > Kontrollzentrum > Steuerelemente anpassen > Bildschirmaufnahme. Dann kann die Aufnahme vom Kontrollzentrum aus gestartet werden.

TeamViewer

Für moderierte Online-Tests auf Mobilgeräten empfehlen die meisten die Software TeamViewer. Damit siehst du alles, was der Nutzer sieht – leider aber kein Kamerabild. Bildschirm und Webcam-Ansicht bieten nur spezialisierte Tools, die der Nutzer wie TeamViewer ebenfalls installieren muss. Alle diese Lösungen sind auch nicht ganz billig.

Skype

Eine kostengünstigere Lösung ist z.B. Skype. Dabei musst du dich aber wieder zwischen “Bildschirm teilen” und “Webcam übertragen” entscheiden.

3.9 Alternativen zu Tests mit mobilen Geräten

Die Probleme mit mobilen Geräten kannst du umgehen, wenn du die Testpersonen nicht mit Mobilgeräten, sondern auf PCs testen lässt. Das ist manchmal auch dann möglich, wenn du eigentlich eine mobile Anwendung testen möchtest. Gerade mobile Webseiten kannst du auch recht gut testen, indem du die Testpersonen mit einem Desktop-Browser arbeiten lässt. Bitte sie dann, diesen auf die Ansicht zu schalten, mit der man die Smartphone-Version prüfen kann (bei Firefox z.B. unter Extras > Web-Entwickler > Bildschirmgrösse testen). Bei unmodertierten Tests mache ich es dagegen lieber so, dass ich die Seiten in einen Prototypen setze. Damit stelle ich sicher, dass alle Nutzer das gleiche sehen und es keine technischen Probleme gibt.

So kann eine mobile Website auf einem Desktop-Browser getestet werden. Im Axure-Prototyp wird die Site in einen Inline Frame eingesetzt. Das geht mit Live-Websites, aber genauso mit Screenshots/Mockups.

3.10 Einsatzzwecke/Fragestellungen für Online-Tests & Aufwände

In folgenden Situationen solltest du generell auf Online-Tests setzen, auch wenn Budget und Umstände klassische Tests im Usability Lab erlauben würden: 

• Für die Anwendung ist der Nutzungskontext entscheidend, und die Nutzung findet unterwegs statt. Zum Beispiel ist es sinnvoll, eine App, mit der man sich in den Bergen orientiert, mit Nutzern zu testen, die tatsächlich gerade in den Bergen sind. 
• Wenn du nicht an den Ort kannst, in dem die Anwendung genutzt werden soll. Hast du z.B. eine App, die in Fabriken oder Labors mit Zugangsbeschränkungen genutzt wird, dann sind Online-Tests eine Möglichkeit, dennoch unter realistischen Bedingungen zu testen.
• Wenn du mit Personen testen willst, an die du anderweitig nicht herankommst. Typisches Beispiel: Entscheider weiter oben in der Hierarchie nehmen sich selten die Zeit, zu dir ins Usability Lab zu kommen. Wenn du nicht zu ihnen kommen kannst oder willst, ist ein Online-Test die beste Lösung.

Typen von Online-Usability-Tests in der Übersicht

Diese Tabelle führt vor Augen: Unmoderierte Tests erfordern zwar mehr Vorbereitung, dafür ist die Durchführung selbst sehr unkompliziert. Sie bieten sich daher besonders an, wenn du mit sehr vielen Nutzern testen möchtest.

4. Fazit

Wenn du nicht remote testest, kannst du unter Umständen gar kein User Research machen. Daher solltest du die Methoden zumindest ausprobieren und du wirst sehen. In vielen Fällen können dir Remote Tests wertvolle Erkenntnisse bringen, auf die du sonst verzichten müsstest. Und in manchen Fällen passen die Methoden so gut, dass sie sogar besser geeignet sind als klassische Tests im Usability Lab.

Tipps

Beachtest du die obigen Tipps, kommen auch valide und verwertbare Ergebnisse heraus. Denke insbesondere hieran:

• Nimm nicht einfach einen unmoderierten Test ohne Video, nur weil das vermeintlich am einfachsten ist. Nimm genauso wenig einfach einen moderierten Test mit Bildschirmübertragung und Video, weil das am nächsten dran ist an einem Usability-Lab-Test.
• Wähle die Methode mit Bedacht. Suche die aus, die am besten zu deiner aktuellen Fragestellung passt. Passe diese an die Einschränkungen des jeweiligen Online-Tests an. 
• Versuche, auf Laptop bzw. Desktop-Geräten testen zu lassen. Tests auf Mobilgeräten sind immer komplexer – aber manchmal auch unvermeidbar.
• So wie kein Produkt ohne Usability-Test veröffentlicht werden sollte, so solltest du nie auf einen Testlauf/Pre-Test verzichten. 
• Gib den Testpersonen Zeit, sich vorzubereiten und die technischen Voraussetzungen zu schaffen. Sorge dafür, dass sie Unterstützung bekommen, falls sie Probleme haben.
• Kläre auch die rechtlichen Voraussetzungen wie Vertraulichkeitserklärungen, Datenschutzerklärungen und notwendigen Zustimmungen vor dem eigentlichen Test.
• Stelle ebenso sicher, dass eventuelle Beobachter sowie du selbst während eines moderierten Tests keine technischen Probleme habt.
• Kontrolliere die Ergebnisse bei unmoderierten Tests gleich am Anfang der Laufzeit.
• Stelle der Testperson nur so wenig Fragen wie möglich. Setze offene Fragen (Textfelder) sparsam ein, aber verzichte nicht auf sie.
• Mache für alle Antworten eine Plausibilitäts-Prüfung.

Wenn du diese Punkte beachtest, holst du aus den Online-Tests heraus, was möglich ist. Mit diesen bringst du deine Anwendung voran, gleich welche äusseren Umstände gerade herrschen. Und du erweiterst deine Möglichkeiten und wirst ein besserer UX Researcher. 

Also los, mach dich ans Online-Testen!