20
WEP (Subject) / Evaluierung (Lesson)
Advertisement
- Rolle der Evaluierung Benötigt zur Designbewertung Benötigt zum Systemtest Sicherstellung des Systemverhaltens Sicherstellung von Benutzeranforderungen
- Ziele der Evaluierung Bewertung von Umfang und Zugänglichkeit der Systemfunktionalität Bewertung der Interaktionskenntnisse der Nutzer Identifizierung der spezifischen Probleme
- Evaluierungsmethoden Formativ vs. summativ Evaluierung während oder nach Designphase Analytisch vs. empirisch Analytische Methoden: Evaluierung durch Expertenanalyse Cognitive Walkthrough (Kognitiver Durchgang) Heuristische Evaluierung Frühe Konzeptevaluierung Empirische Methoden: Evaluierung durch Anwenderbeteiligung Kontrollierte Experimente Überwachende Evaluierung Fragetechniken: Interviews, Fragebögen
- Evaluierung durch Expertenanalysen Grundlegende Idee:Bereiche mit hoher Problemwahrscheinlichkeit identifizieren Methoden können in jeder Stufe des Designprozesses genutzt werden Eigenschaften I.d.R durch Experten im Bereich Usability durchgeführt, welche ein vorläufiges Design bewerten Relativ günstig (da ohne Nutzer durchführbar) Aber: Berücksichtigen nicht die eigentliche Nutzung des Systems
- Cognitive Walkthrough Walkthroughs erfordern die detaillierte Bewertung einer Folge von Aktionen Herkunft: Code Walkthrough (SE) Sequenz = Ausschnitt eines Programmcodes Schrittweise Überprüfung gewisser Sequenzen um gewisse Charakteristiken zu entdecken Cognitive Walkthrough Sequenz = nötige Schritte, die ein Nutzer an einem Interface ausführen muss, um eine bestimmte Aufgabe zu bewältigen Gutachter überprüfen die Sequenz auf mögliche Nutzbarkeitsprobleme Hauptaugenmerk liegt auf der einfachen Erlernbarkeit des Systems
- Vorraussetzungen für Walkthroughs Spezifikation oder Prototyp eines Systems Beschreibung der Aufgabe, die der Anwender ausführt Eine vollständige Liste der benötigten Aktionen zur Fertigstellung der Aufgabe Informationen über die Nutzer (Erfahrungen, Kenntnisse) Fragen für jeden Schritt in der Aktionssequenz Ist die Auswirkung der Aktion zu dem Zeitpunkt die von dem Nutzer gewünschte? Sieht der Anwender, dass die Aktion verfügbar ist? Nach der Ausführung der Aktion: Verstehen die Benutzer das Feedback des Systems?
- Heuristik Richtlinie Allgemeines Prinzip
- Heuristische Evaluierung Allgemeine Idee Mehrere Gutachter kritisieren unabhängig ein System Ziel: Identifizierung potenzieller Nutzungsprobleme Zahl der erforderlichen Gutachter [nach Nielson] Zwischen drei und fünf sind bereits ausreichend Fünf finden ca. 75 % der gesamten Nutzungsprobleme Gutachter bewerten den Grad jedes Problems (auf einer Skala von 0 bis 4) 0 = kein Problem vorhanden 1 = kosmetisches Problem (muss nicht korrigiert werden) 2 = geringfügiges Nutzbarkeitsproblem (Korrektur hat niedrige Priorität) 3 = wesentliches Nutzbarkeitsproblem (Korrektur wichtig) 4 = Nutzbarkeitskatastrophe (muss dringend behoben werden)
- 10 Heuristiken (Nielson) Sichtbarkeit des Systemstatus Übereinstimmung von System und echter Welt Nutzerkontrolle und -freiheit (z.B. Unterstützung von Undo und Redo) Konsistenz und Verwendung von Standards Fehlervermeidung Wiedererkennung statt Erinnerung Flexibilität und Leistungsfähigkeit der Nutzung Ästhetisches und minimalistisches Design Unterstützung der Nutzer, Fehler zu erkennen, zu diagnostizieren und zu beheben Hilfe und Dokumentation
- Frühe Konzeptevaluierung Ein Weg, Nutzer zu fragen, ob sie ein zukünftiges Design mögen und es verwenden würden Allgemeinste Technik: Focus Groups: Spezielle Form von Gruppeninterviews mit 8 - 12 Teilnehmern Organisiertes Treffen: Interaktion innerhalb der Gruppe zu Themen, die durch die Forscher geliefert werden Ziel: viel Information in wenig Zeit gewinnen Erfassung der Einstellung, Gefühle, Erfahrungen und Reaktionen von Benutzern
- Advertisement
- Leitfaden für die Planung von Focus Groups Identifizierung von Zweck und Zielpublikum Fragebogen entwickeln (≤ 5 min pro Teilnehmer) Teilnehmer rekrutieren Teilnehmern Teilnahme bestätigen Diskussionsleitfaden entwickeln: erst allgemeine Fragen, dann speziellere Logistik des Meetings planen Eigentliches Focus Group-Meeting durchführen * Informelle Nachbesprechung Analyse von Notizen und/oder Aufnahmen Bericht schreiben
- Leitfaden zur Durchführung einer Focus Group Einführung und Orientierung Allgemeine Probleme Projektspezifische Probleme Betrachtung und Reaktionen auf das Produkt Eignung des Inhalts für das Zielpublikum Diskussion der Nützlichkeit des Produkts Zusammenfassung Dank an die Teilnehmer
- Empirische Evaluierung Analytische Evaluierung Nützlich zum Verfeinern des Designs Aber: kein Ersatz für Tests mit Nutzern! Empirische Evaluierung: Nutzerbeteilung in der Evaluierung: I.d.R. erst in späteren Entwicklungsstadien Funktionierender Prototyp wird zumindest benötigt (kann von Simulation interaktiver Möglichkeiten bis zu vollständig umgesetztem System reichen) Evaluierungsstile: Laborstudien Feldstudien
- Laborstudien Nutzer werden aus der normalen Arbeitsumgebung herausgenommen Nutzer nehmen an kontrollierten Tests teil (unterbrechungsfreie Umgebung) Unnatürliche Situation ➭ fehlender Kontext Aber: Kontext kontrollierbar / manipulierbar
- Feldstudien Führen den Gutachter in die Nutzerumgebung Kontext wird erhalten, aber ggf. störendes Umfeld
- Experimentelle Evaluierung: Methode Kontrollierte Experimente Stellt empirische Beweise zur Verfügung, um eine Hypothese zu unterstützen Alle Experimente haben dieselbe Grundform Zum Testen wählen die Gutachter eine Hypothese Die Hypothese muss durch Messen des Verhaltens der Teilnehmer untersucht werden können Verschiedene experimentelle Bedingungen unterscheiden sich nur in den Werten bestimmter, sog. kontrollierter Variablen
- Experimentelle Evaluierung: Teilnehmer Wahl der Teilnehmer Entscheidend für Erfolg jedes Experiments Teilnehmer sollten erwartetem Nutzertyp möglichst gut entsprechen Anzahl der Teilnehmer Muss groß genug sein, um als repräsentativ für die späteren Nutzer anerkannt zu werden Nutzbarkeitstests mit nur einem Teilnehmer: Auffinden von ca. 1/3 der Nutzungsprobleme Nur wenig Zusatzinformation wird gewonnen, wenn über 5 Teilnehmer einsetzt werden Kontrolliertes Experiment + statistische Analyse: doppelte Teilnehmerzahl empfehlenswert
- Experimentelle Evaluierung: Variablen Experimente manipulieren und messen Variablen unter kontrollierten Bedingungen Zwei Variablentypen: abhängig, unabhängig Unabhängige Variablen (ivar) Werden manipuliert, um verschiedene Bedingungen zum späteren Vergleich zu erzeugen Beispiele: Interfacestil, Zahl von Menüpunkten Komplexe Experimente: mehr als eine ivar Abhängige Variablen (dvar) dvars müssen messbar sein dvars müssen durch ivar(s) beeinflusst und unbeeinflusst durch andere Faktoren sein Beispiele: benötigte Zeit, Zahl der Fehler
- Experimentelle Evaluierung: Hypothese Hypothese = Vorhersage Experiment-Ergebnis Beschrieben durch ivars und dvars Vorhersage: Variation ivar ⇒ Unterschied in dvar Ziel: zeigen, dass die Vorhersage richtig ist Durch Widerlegung der Nullhypothese: „keine Differenz in dvar trotz Unterschieden in ivar“ Statistische Analyse Wahl der Analysemethode hängt vom Typ der Daten und den zu beantwortenden Fragen ab Ist ein Ergebnis signifikant, sind die gemessenen Differenzen nicht zufällig aufgetreten ⇒ Nullhypothese ist falsch
- Experimentelle Evaluierung: Durchführung Erster Schritt: Wahl der Hypothese Nächster Schritt: Wahl der experimentellen Methode Between-Subjects Within-Subjects Between-Subjects (stichprobenartiges Design) Jeder Teilnehmer wird unterschiedlichen Situationen zugeordnet (nie zweimal dem gleichen Test) Mindestens zwei Situationen: Experiment (ivar manipuliert) und Kontrolle (ivar nicht manipuliert) Kontrolle dient zur Sicherstellung, dass Manipulation verantwortlich ist für gemessene Unterschiede Vorteil: Keine Lerneffekte Nachteil: Signifikante Abweichungen zwischen Gruppen können die Resultate zunichte machen Within-Subjects (wiederholte Messungen) Jeder Nutzer wird bei allen im Experiment vorkommenden Situationen eingesetzt Vorteile: niedrige Kosten (wenige Nutzer nötig), kaum Auswirkung von Effekten durch Unterschiede zwischen Teilnehmern Nachteil: Kann durch Lerneffekte beeinflusst werden: Lerneffekte können durch Veränderung der Reihenfolge Experiment–Kontrolle reduziert werden