20
Versuchsplanung und Datenerhebung (Subject) / Max-Kon-Min-Prinzip (Lesson)
Advertisement
- Max-Kon-Min-Prinzip => Maximieren der Primärvariation, Kontrolle der Sekundärvariation, Minimierung der Fehlervariation (der AV) a) Primärvariation (Effekt oder Signal) -> Variation der AV, die aufgrund der Manipulation der UV entsteht b) Sekundärvariation (Verzerrung) -> Variation der AV, die durch systematische Störvariablen hervorgerufen wurde (konfundiert mit UV) - Kontrolle dient der Maximierung der internen Validität c) Fehlervariation (Rauschen) -> zufällige Variation der AV durch unsystematische Störvariablen (unabhängig von UV) - Minimierung dient der Maximierung der statistischen Validität
- Quellen von Störvariablen a) Stichprobe -> alle Merkmale der Versuchspersonen, die sich potenziell (direkt oder indirekt) auf die AV auswirken können (z.B. Geschlecht, Intelligenz, Einkommen, Ängstlichkeit, Sucht etc.) b) Versuchsleitende Personen -> Biase, Versuchsleitereffekte, Wissen über Versuch/ Erwartung an Ausgang des Versuchs c) Kontext der Untersuchung -> Lärm, Lichteinfall, Tageszeit, aber auch wirtschaftliche Situation, Pandemie, politische Situation etc. d) Versuch - Reihenfolge der Items, Messwiederholungen etc. (Ermüdung, Übungseffekte)
- Maximierung der Primärvariation -> Wahl einer Operationalisierung mit möglichst großen Effekten -> Möglichst reliable Implementation der UV -> Realisierung von extremen Faktorstufen der UV -> Realisierung von möglichst vielen Faktorstufen der UV
- Störvariablen -> alle Variablen, die außer der interessierenden UV einen potenziellen Einfluss auf die UV haben - besonders problematisch, wenn die konfundiert mit der UV sind - man unterscheidet a) systematische Störvariablen & b) unsystematsiche Störvariablen
- systematische Störvariablen - konfundiert mit UV -> können fälschlicherweise einen Effekt der UV auf die AV suggerieren oder verschleiern - erzeugen die Sekundärvariation - können als unvollständiges Design dargestellt werden => Minimierung erhöht die interne Validität
- unsystematische Störvariablen - nicht konfundiert mit UV - gibt es in jeder Untersuchung, können nicht komplett eliminiert werden - erzeugen die Fehlervarianz -> können systematische Effekte verschleiern, aber das Auftreten von Effekten nicht erklären => Minimierung der Fehlervarianz dient der Maximierung der statistischen Validität
- Kontrolle von Störvariablen - verfolgt zwei Ziele: a) Kontrolle der Sekundärvariation/ systematischer Störvariablen => maximiert interne Validität b) Minimierung der Fehlervariation/ unsystematischer Störvariablen => maximiert statistische Validität
- Randomisierung -> Möglichkeit der Kontrolle stichprobenbezogener Störvariablen - zufällige Zuteilung von Versuchspersonen zu Bedingungen/ Gruppen - kontrolliert unveränderliche, in der Person liegende Störvariablen durch unsystematische Verteilung - im Idealfall gleichmäßige Verteilung der Ausprägung störender Faktoren (praktisch aber nie gegeben, vor allem bei kleinen Gruppen stark zufällig schwankende Verteilung) - verhindert, dass Störvariablen mit Bedingungen konfundieren => Kontrolle systematischer Störvariablen - wichtig: Randomisierung =/= Zufallsstichprobe -> Zufallsstichprobe bezieht sich auf Vergleichbarkeit der Stichprobe und der Population (externe Validität), Randomisierung bezieht sich auf Vergleichbarkeit der Gruppen innerhalb der Stichprobe (interne Validität)
- Randomisierung "mit" vs. "ohne Zurücklegen" a) "mit Zurücklegen" - zufällige Zuteilung von Personen zu Gruppen/ Experimentalbedingungen -> keine systematische Häufung von SV in einer Gruppe -> Problem: Risiko unterschiedlicher Gruppengrößen b) „ohne Zurücklegen“ - Anzahl an Personen, die in eine Gruppe kommen ist festgelegt -> Vorteil: gleich große Gruppengröße -> Nachteil: die Wahrscheinlichkeit, dass eine Person in eine bestimmte Gruppe kommt hängt ab von der Anzahl der Personen, die bereits in dieser Gruppe sind => nicht jede Person hat die gleiche Wahrscheinlichkeit in eine der beiden Gruppen zu kommen
- adaptive Randomisierung -> Angleichen der Gruppengröße im Verlauf der Studie mittels Änderung des Anteils an Personen, die zu Gruppe A bzw. B zugeordnet werden (75% & 25%) - anfänglich Randomisierung ohne Zurücklegen (-> unterschiedliche Gruppengröße) - Ausgleich der unterschiedlichen Gruppengröße bis Ende der Studie - Risiko: zeitgebundene Störvariablen entstehen
- Advertisement
- Parallelisierung (matching) -> Möglichkeit der Kontrolle stichprobenbezogener Störvariablen -> Herstellen von Vergleichbarkeit der Gruppen hinsichtlich einer bekannten Störvariable: 1. Erfassung der Ausprägung der Störvariable bei allen Versuchspersonen und Bilden einer Rangreihe 2. Zuteilen benachbarter Rangplätze auf verschiedene Gruppe (z.B. alle graden Plätze in Experimentalgruppe, alle ungraden Plätze in Kontrollgruppe) - bei kleinen Stichproben zuverlässiger als Randomisierung - Vorraussetzugen: -> Störvariable muss (reliabel und valide) messbar sein -> gesamte Stichprobe muss zu Beginn der Untersuchung vorliegen -> Störvariable sollte bedeutsam sein => Kontrolle systematischer Störvariablen, Sekundärvariation
- Kontrolle von SVs auf Seiten der Versuchsleitenden 1. Standardisierung: Versuchsablauf standardisiert darlegen (Versuchsprotokoll) => Kontrolle unsystematischer und systematischer Störeinflüsse, die durch Unterschiede im Ablauf (z.B. Instruktion des Versuchsleiters) entstehen könnten 2. Versuchsleiter- Training: Einüben des standardisierten Ablaufs -> Realisierung der Standardisierung => Kontrolle unsystematischer und systematischer Störeinflüsse 3. Automatisierung: Ersetzen oder Ergänzung der Versuchsleiter durch Computerprogramme - nicht bei jedem Versuch möglich => Kontrolle unsystematischer und systematischer Störeinflüsse 4. Verblindung: Vorenthaltung von z.B. Hypothesen, Bedingungen etc. => Kontrolle von v.a. systematischen Störeinflüssen
- Konstanthalten & Eliminieren -> Kontrolle kontextbezogener Störvariablen 1. Konstanthalten: Gleichhaltung der Ausprägung einer Störvariablen in allen Bedingungen 2. Eliminieren: kompletter Ausschluss der kontextbezogenen Störvariablen (z.B. Kopfhörer eliminieren Geräusche) => Kontrolle von systematischen und unsystematischen Störvariablen
- Konstanthalten & Eliminieren -> Kontrolle kontextbezogener Störvariablen 1. Konstanthalten: Gleichhaltung der Ausprägung einer Störvariablen in allen Bedingungen 2. Eliminieren: kompletter Ausschluss der kontextbezogenen Störvariablen (z.B. Kopfhörer eliminieren Geräusche) => Kontrolle von systematischen und unsystematischen Störvariablen
- Aufnahme der SV ins Versuchsdesign -> Kontrolle kontextbezogener Störvariablen -> Aufnahme der Störvariable ins Versuchsdesign als UV - seperate Messung der Wirkung der UV und der SV auf die AV, sowie mögliche Interaktion - Nachteil: höherer Aufwand (z.B. größere Stichprobe notwendig) - wird i.d.R. nur bei sehr kritischen oder potenziell interessierenden Variablen gemacht => Kontrolle systematischer und unsystematischer Einflüsse der SV auf die AV
- Täuschung -> Kontrolle kontextbezogener Störvariablen -> Vergabe von Fehlinformationen über einzelne Aspekte des Versuchs an Versuchsteilnehmende - besonders empfehlenswert bei sog. „demand characteristics“: Aspekte der Situation die a) die wahre Hypothese verraten oder b) falsche Hypothesen nahelegen -> Versuchsteilnehmende wollen i.d.R. den Versuchsleitenden einen „Gefallen“ tun und reagieren hypothesenkonform - Problem: ethisch fragwürdige Methode -> frühmöglichste Aufklärung und Ermöglichung, Daten wieder zurückzuziehen
- Arten der Verblindung a) einfache Verblindung: Versuchsteilnehmende wissen nicht, in welcher Bedingung sie sind und welche Bedingungen es gibt, was die Hypothese ist etc. (=> Vermeidung von „demand“- Effekten) b) doppelte Verblindung: sowohl Versuchsteilnehmende, als auch Versuchsleitenden wissen nichts über Hypothese, Bedingungskonstellation etc. c) dreifache Verblindung: zusätzlich haben auswertende Personen auch keine Informationen über Hypothesen, Bedingungen etc. => schränkt p-hacking ein
- Kontrolle versuchsbezogener Störeinflüsse -> Entstehung durch z.B. Reihenfolge der Items oder Messwiederholungen a) Ausbalancieren: alle möglichen Reihenfolgen werden realisiert (z.B. durch Permutation) -> kontrolliert Positions- (Ermüdungseffekte, Übungseffekte) und Sequenzeffekte (Carry-over-Effekte) bei Wiederholungsmessungen b) Unvollständiges Ausbalancieren: nicht alle Reihenfolgen, sondern nur alle Positionen werden realisiert -> kontrolliert Positions-, aber keine Sequenzeffekte - z.B. durch ein sog. "Lateinisches Quadrat"
- Blockrandomisierung a) Blockrandomisierung mit gleichen Gruppengrößen - es werden kleine Blöcke gebildet, innerhalb denen festgelegt wird, dass 50% in die eine und 50% in die andere Gruppe müssen (Randomisierung ohne Zurücklegen innerhalb der kleinen Gruppe) -> Vorteil: insgesamt gleiche Gruppengröße, Reduktion des Problems der Zuordnungswahrscheinlichkeiten - innerhalb eines Blocks immer noch ungleiche Zuordnungswahrscheinlichkeiten, aber im Idealfall Mittelung über alle Gruppen hinweg b) Blockrandomisierung mit ungleichen Gruppengrößen -> Variation des Prozentsatzes, der in die Experimentalgrupppe soll (für alle Gruppen)
- Verblindung bei Datenaufbereitung & -auswertung a) cell scrampling: Labels der Versuchsbedingungen vertauschen b) variable blinding: Variablennamen ähnlicher Variablen tauschen c) noising: Zufallszahl (Rauschen) zu jedem Datenpunkt hinzufügen d) biasing: Effekt hinzufügen, um Unterschiede zwischen Bedingungen zu erzeugen oder verdecken e) blind injection: „Signal“ wird zufällig in die Daten eingefügt - nach Verblindung kann Auswertender keinen Bezug mehr zur Hypothese herstellen und wählt interessenunbezogen Auswertungsmethoden an - nach der Auswertung der verblindeten Daten wird diese auf die nicht-verblindeten Daten übertragen => Methode der kritischen Selbstkontrolle, reduziert (unabsichtliches) p-Hacking