Hinweise zur Durchführung von Remote-Usability-Tests
Unter bestimmten Umständen könnten Nutzerstudien nicht im direkten Kontakt mit den Probanden durchgeführt werden. Gründe dafür können z.B. räumliche oder organisatorische Gegebenheiten oder unverschuldete Einschränkungen, wie aktuell z.B. die Covid-19-Problematik sein. Bei der Planung und Umsetzung solcher Remote-Studien können Ihnen diese Hinweise helfen.
Vorüberlegungen
Gehen Sie grundsätzlich von Ihrer ursprünglichen definieren Studienzielen und einem entsprechenden Leitfaden aus. Verändern Sie diesen Plan anschließend hinsichtlich der neuen Herausforderungen. Aspekte, die in einem Remote-Test nicht realisierbar sind, entfallen und können ggf. durch andere Ergänzungen ersetzt werden.
Planung
- Überlegen Sie sich zuerst, wie und in welcher Form, Ihr Prototyp durch den Probanden getestet werden kann. In der Regel sollte ein Link ausreichen, wenn Sie den Prototypen über die Axure-Cloud bereitstellen. Entscheiden Sie, auch in Abhängigkeit der weiteren Punkte, ob ein Testen der Anwendung auf einem Smartphone möglich ist, oder die Probanden einen Desktop-Browser verwenden sollen.
- Überlegen Sie sich, über welche Möglichkeiten Sie verfügen, um die Probanden zu Instruieren und deren Feedback einzuholen. Verwenden Sie ein zentrales Werkzeug für die Kommunikation, z.B. einen Video-Chat, und kommunizieren Sie Instruktionen und andere wichtige Informationen per Text und Sprachkanal. Stellen Sie sicher, dass Sie den Testdurchlauf bzw. die Kommunikation mit dem Probanden aufzeichnen können. Einige Video-Chat-Lösungen verfügen über eingebaute Möglichkeiten zur Gesprächsaufzeichnung.
- Finden Sie eine Lösung, die Interaktion der Probanden mit dem Prototyp aufzuzeichnen. Im einfachsten Fall verwenden Sie einen Desktop-Browser als Plattform für den Prototypen und Zeichnen eine Bildschirmübertragung (von den Probanden an Sie) auf. Unter Umstände ist eine Aufzeichnung auch dann möglich, wenn ein Smartphone verwendet wird. Dies erfordert aber ein komplexeres Setup und intensive Vorbereitung. Wägen Sie Vor- und Nachteile beider Lösungen ab. Ein Aufzeichnen des persönlichen Smartphones der Probanden durch eine externe Kamera, z.B. eine Webcam, ist in der Regel nicht zielführend, bzw. nur schwer technisch realisierbar.
- Beachten Sie die besondere Situation bei der Ablaufplanung: Aufzeichnungen jeglicher Art sollten z.B. erst nach Unterzeichnung einer entsprechenden Einverständniserklärung erfolgen. Denken Sie auch daran, ein unbeobachtetes Ausfüllen der Erhebungsinstrumente (Fragebogen) zu ermöglichen. Unterbrechen Sie dazu rechtzeitig Bildschirmübertragung und -Aufzeichnung.
- Verwenden Sie Online-Varianten der ausgewählten Erhebungsinstrumente oder übertragen Sie diese selbstständig in entsprechende Online-Fragebögen.
- Nutzen Sie die Möglichkeiten eines Text-Chat sowohl für die Instruktion (Aufgaben) der Probanden als auch zur Einholung von deren Einverständnis (schriftliche Bestätigung).
Durchführung
- Informieren Sie die Probanden im Vorfeld rechtzeitig über den ungefähren Ablauf der Studie und die technische Realisierung. Stellen Sie sicher, dass die Probanden über die entsprechenden Voraussetzungen verfügen und unterstützen Sie diese ggf. bei den Vorbereitungen.
- Testen Sie vor Beginn der eigentlichen Studie die eingesetzte Technik zusammen mit den Probanden.
- Überlegen Sie sich, ob neben den TestleiterInnen und den Probanden weitere Teammitglieder an der Studie teilhaben müssen.
Wählen Sie grundsätzlich immer passende Werkzeuge aus und beachten Sie dabei auch besondere Aspekte, wie z.B. die Akzeptanz der Tools durch die Probanden.
- Für die Kommunikation mit den Probanden können Sie klassische Video-Chat-Plattformen, wie z.B. Skype verwenden.
- Für die Erhebungsinstrumente können Sie z.B. LimeSurvey oder Google Forms verwenden.
Tutorial
In diesem YouTube-Video finden Sie nochmal zusammengefasst ein paar Tipps, wie Sie Störfaktoren bei Remote-Studien reduzieren können.
Literatur zu Remote-Studien
- Thompson, Rozanski und Haake führen eine Evaluation einer Shopping-Webseite durch und fokussieren sich dabei auf die effektive und effiziente Durchführung mit geeigneten Tools. Zum Schluss werden einige Hinweise und Tipps zu Remote Studien gegeben: Katherine E. Thompson, Evelyn P. Rozanski, and Anne R. Haake. 2004. Here, there, anywhere: remote usability testing that works. In Proceedings of the 5th conference on Information technology education (CITC5 ’04). Association for Computing Machinery, New York, NY, USA, 132–137. DOI:https://doi.org/10.1145/1029533.1029567
- Brunn, Gull, Hofmeister und Stage untersuchen 3 asynchrone Remote Usability Testing Methoden und stellen diese gegenüber. Die Methoden sind von Nutzern gemeldete kritische Zwischenfälle, forenbasierte Online-Berichterstattung und -Diskussion und tagebuchbasierte Berichterstattung. Anders Bruun, Peter Gull, Lene Hofmeister, and Jan Stage. 2009. Let your users do the testing: a comparison of three remote asynchronous usability testing methods. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’09). Association for Computing Machinery, New York, NY, USA, 1619–1628. DOI:https://doi.org/10.1145/1518701.1518948
- Rosenbaum und Kantner zeigen anhand zweier Fallbeispiele, wie Remote Studien durchgeführt werden können und was dabei zu beachten ist. Dafür wird eine Webseite evaluiert und in der zweiten Studien werden 2 Webseiten miteinander verglichen. Zum Schluss gehen sie auf Stärken und Schwächen von Remote Studien ein und stellen anhand ihrer Erkenntnisse Guidelines zu Remote Studien auf. Rosenbaum, Stephanie & Kantner, Laurie. (2008). Learning about users when you can’t go there: Remote attended usability studies. 1 - 6. DOI:https://doi.org/10.1109/IPCC.2008.4610237