25
versuchsplanung (Subject) / Valide Versuchsplanung anhand von Beispielen (Lesson)
Fragen zu den Papern von Tipper et al., McDowd et al. und Park et al.
This lesson was created by SchmusCriminal.
Advertisement
- Tipper et al. Präzision, Konstruktvalidität, Interne Validität, Externe Validität, Statistische Validität? 1) Präzision: Gut -Messwiederholung vermindert Sekundärvarianz -Aggregationsprinzip (60 DG) 2) Konstruktvalidität: Gar nicht gut -möglicherweise indiziert die Operationalisierung ein anderes Konstrukt (Gedächtnisprozesse statt Inhibitionsprozesse) 3) Interne Validität: Mittel -Situationsmerkmale sind gut kontrolliert -> Standardlaborstudie garantiert gleiche physikalische Umgebung, standardisierte Messmethoden und Versuchsmaterial -Probandenmerkmale gut kontrolliert -> Messwiederholungen kontrollieren personengebundene Störvariablen, Erwartungseffekte der VPn bei komplexen Phänomenen (wie negative Priming) eher unwahrscheinlich -Allgemeine Störeffekte sind gut kontrolliert -> wenig Kontakt zum VL, ausgeglichene soziale Situation, Zeitdruck verhindert Reaktion aufgrund sozialer Erwünschtheit, geringe Zeitdauer macht die Studie attraktiver -Spezielle Störeffekte sind nicht gut kontrolliert ->Zur Kontrolle aller Positionseffekte gemäß der Generierungsregeln der Quasi-Zufallsreihenfolge wäre in jeder Bedingung ein Vielfaches von 24 (bzw. 24 * 3) Durchgängen notwendig gewesen, es waren aber 60 DG. 4) Externe Validität: Gut (weil irrelevant) 5) Statistische Validität: Gut -Fehlerlastigkeit der RT-Erhebung durch Verwendung des Medians (Ausreißerkontrolle) und Wilcoxon Test ausgeglichen -hohe Reliabilität von UV und AV -guter Stichprobenumfang (15 obwohl nur 10 benötigt wurden) mit ausreichender Teststärke -schlecht: keine Rücksicht auf alpha-Fehlerkummulierung trotz wiederholter Testung, keine Angabe des Effekts, keine a priori Powerüberlegung
- McDowd et al. Präzision, Konstruktvalidität, Interne Validität, Externe Validität, Statistische Validität? 1) Präzision: Mittel -geringers Aggregationsniveau als Tipper (ca. 33 DG pro Bedingung, 100 insgesamt, obwohl 33*3 = 99) 2) Konstruktvalidität: Shit -gleiches Problem wie bei Tipper, allerdings gab es hier mehr Literatur, da die Untersuchung später stattfand. Wurde allerdings nicht berücksichtigt 3) Interne Validität: Shit -In Experiment 1 Konfundierung aufgrund versch. Vorbereitungsintervalle -mögliche unkontrollierte Sequenzeffekte bei Pace-Bedingung, kein Kontrollfaktor für Reihenfolgen eingeführt 4)Externe Validität: gut aber irrelevant 5) Statistische Validität: Shit -gute Reliabilität von UV und AV aber... -keine Rücksicht auf alpha-Fehlerkummulierung -keine Angabe von Effektstärke -keine Überlegung zur Power (zu geringe Teststärke) -zwar wurde Rücksicht auf die Verletzung der Normalverteilungsannahme durch Reaktionszeiten anhand von getrimmten RTs genommen, allerdings sind die Grenzen von 200 ms - 2500ms willkürlich gewählt -obwohl die dreifach IA nicht signifikant wird, wird mit zweifach IA weitergerechnet ->nur bedingt interpretierbar (wie bei disordinaler IA, da Wirkrichtung nicht konstant)
- Motivation bei Experiment 1A Tipper et al. Man will generell den Negative Priming Effekt (höhere RT weil Inhibition überwunden werden muss) anhand des Lokationsprimings untersuchen, d.h. dass die Reaktion auf der Lokation basiert und die Selektion auf der Identität (@ vs. +)
- Tipper et al.: UVs und AVs & Besonderheiten im Auswertungsverfahren UVs: Distraktor vs. noDistraktor (Faktor A); Control vs. Ignored Repetition (Faktor B) AVs: RT und Fehler Median verwendet um Ausreißer kontrollieren Da RT nicht normalverteilt wurde Wilcoxon Test verwendet
- Tipper et al.: In einigen Experimenten gab es eine "no distractor" Bedingung, welches Problem und welche Konsequenzen entstehen dadurch? Dadurch ist der Versuchsplan nicht vollständig gekreuzt (->unvollständig) und nicht orthogonal, sodass eine ANOVA nicht gerechnet werden kann und Interaktionen nicht geprüft werden können -> nur HE
- Tipper et al.: Hypothesen & Ergebnisse? Hypothesen: 1. Distraktor führt zu größeren RTs als noDistraktor (HE A) -> Signifikant! 2. Ignored Repetition führt zu größeren RTs als Control (HE B) -> Signifikant!
- Tipper et al.: Was war unelegant an der Prime-Probe-Konfiguration der Trials? Zur Kontrolle aller Positionseffekte gemäß der Generierungsregel der Quasi-Zufallsreihenfolgen, wäre für jede der drei Bedingungen ein Vielfaches von 24 pro Bedingung nötig gewesen (also 144 oder 216), es waren aber tatsächlich nur 60 DG (und somit kein Vielfaches von 24)
- Tipper et al.: Was ist in Experiment 1a an der Konstruktvalidität zu kritisieren? Möglicherweise indiziert die Operationalisierung nicht Inhibitionsprozesse, sondern Gedächtnisprozesse
- Tipper et al.: Was ist die Motivation von Experiment 1b? Was sind die UVs? Wurde der neue vermeintliche Effekt signifikant? In Exp.1a konnte der Targetreiz im Probe nur an drei Stellen stehen, so konnten VPn möglicherweise Strategien entwickeln, da sie erkannten, dass eine der vier möglichen Stellen irrelevant ist. Zur Kontrolle dieses Problems wurde eine weitere Bedingung - "attended repetition" auf dem Faktor Priming hinzugefügt. UVs: Distractor vs no Distractor; Control vs Ignored repetition vs attended repetition Nein, die Bedingung "attended repetition" wurde nicht signifikant. Der vermutete Lerneffekt ist somit nicht vorhanden. Tatsächlich reagierten die VPn in dieser Bedingung zwar etwas langsamer, machten dafür aber auch weniger Fehler (Speed-accuracy-tradeoff). Die Bedingung "attended repetition" wurde in den nachfolgenden Experimenten nicht mehr verwendet, da die WW zwischen Exp1a und Exp1b ebenfalls nicht signifikant wurde.
- Tipper et al.: Hypothesen Exp1b? Wie kann man die Ergebnisse aus dem Experiment interpretieren? Hypothesen: 1. Der HE A aus Exp1, dass "inhibition of return" RT verlangsamt, gilt auch für "attended repetition" 2. Wenn Effekt in 1a durch NP hervorgerufen wurde, dann keine Verzögerung in "attended repetition" Interpretation: Da sich Control und "attended repetition" nicht unterscheiden (n.s.), der NP-Effekt hingegen schon, führt man den Effekt eher auf das NP zurück
- Advertisement
- McDowd et al.: Art der Untersuchung, Motivation, UVs, AVs, Versuchsplan, Hypothesen Art der Untersuchung: Quasiexperiment, da VPn aufgrund von Organismusvariable "Alter" den Stufen der UV aufgrund ihres Alters zugeordnet wurden Motivation: Man nimmt an, dass bei älteren Menschen NP nur unter spezifischen Pacing-Bedingungen funktioniert. UVs: 1. Alter (jung vs alt), 2. Pacing (self vs forced), 3. Priming (NP vs RP vs unrelated) AVs: 1. Fehler, 2. MW von getrimmten (200ms-2500ms)RT Versuchsplan: 2x2x3 mit MW auf den letzten beiden Faktoren Hypothesen: 1. Ältere sind generell langsamer als Jüngere -> HE Alter (sig) 2. kein Unterschied zwischen alt vs jung bei RP 3. Ältere zeigen in forced pace kein NP, jüngere dafür in beiden pacing Bedingungen (dreifach IA)
- McDowd et al.: Wie berechnet man den NP-Effekt für jung vs alt in Fehlerprozent? (MW von unrelated bilden (Werte addieren und durch Anzahl teilen)) - (MW von interessierender Bedingung bilden) * 100
- McDowd et al.: Was wäre das Problem, wenn man die in Exp.1 beschriebene VA rechnet und dann den Effekt interpretieren möchte? Wenn die dreifach IA sig. wird kann man nicht sagen auf welcher Stufe. Es wäre besser, den VP in zwei 2x2x2 Pläne aufzuteilen. Evtl. aber auch: Konfundierung durch versch. Vorbereitungsintervalle -> Effekt ist nicht eindeutig auf Manipulation zurückzuführen, interne Validität ist verletzt.
- McDowd et al.: Nenne 3 Probleme hinsichtlich der statistischen Validität 1. keine Powerüberlegung 2. keine Rücksicht auf alpha-Fehler Kumulierung 3. obwohl die dreifach IA nicht signifikant wurde, wird trotzdem mit zweifach IA weitergerechnet (nur bedingt interpretierbar)
- McDowd et al.: Was war die Motivation für das zweite Experiment? Es sollte untersucht werden, ob der in Exp 1 gefundene Effekt nicht auf die Pacing Bedingung, sondern auf die versch. Vorbereitungsintervalle zurückzuführen sei.
- McDowd et al.: Was war die Hypothese für Experiment 2? Wenn eine Konfundierung vorliegt, dann sollte die RT bei Älteren bei 3000ms PI über alle Pacing Bedingungen signifikant kürzer sein (bei einer systematisch orthogonalen Variation).
- McDowd et al.: Was müsste man rechnen, um die Konfundierung zu überprüfen und was war das Ergebnis? Zwei Dreichfachinteraktionen (Alter x Pacing x Prime & Alter x PI x Prime) die erste ist n.s. die zweite ist sig.! -> Älteren fällt es bei einem längeren PI schwerer die interne Inhibition aufrecht zu erhalten und. Daraus lässt sich schließen, dass eine Konfundierung vorliegt und der Effekt aus Exp. 1 durch die unterschiedlichen PI erklärt werden kann.
- Park et al.: Art der Untersuchung, Motivation, UVs, AVs, Hypothesen Art der Untersuchung: Quasiexperiment, da die VPn den Stufen von "Gruppe" anhand ihrer Diagnose zugeteilt wurden (schizos vs normies) Motivation: Besseres Verständnis der Beziehung räumlicher Aufmerksamkeit und den Symptomen von Schizophrenie UVs: Gruppe (schizos vs normies), MZP (akut vs follow-up), Prime (control vs ignored repetition vs neutral) AVs: Spatial Location Detection (RT), Spatial Interference (RT), Spatial Negative Priming (RT) Hypothesen: 1. Schizos sind generell langsamer als normies, profitieren aber mehr (vom Treatment) als normies beim follow-up. -> sig! 2. Gesunde zeigen immer NP, Schizos nur bei follow-up. -> sig!
- Park et al.: Warum sind hier die Basis RTs (relativ) irrelevant für den NP-Effekt? Weil man zur Berechnung des NP-Effekts den rohen NP Score am Mittel der Probe-RT Control Trials relativiert und mit 100 multipliziert (Raw NP Score / Probe-RT Control Trials) x 100. Große NP Effekte werden somit durch hohe Reaktionszeiten relativiert.
- Park et al.: Was beschreibt die IA Gruppe x MZP und für welche Hypothese ist das relevant? Sie beschreibt, ob es Änderungen in den RTs zwischen den MZP in den Gruppen gab. Dies ist für den zweiten Teil (b) der Hypothese relevant.
- Park et al.: Welche zwei Gruppen müssen für den Solomon Vier Gruppen Plan ergänzt werden? Gruppe 3: Treatment und Posttest Gruppe 4: nur Posttest
- Park et al.: Was testet hier die Veränderung des NP-Effekts über die Zeit? Wenn NP % -> ANOVA HE Zeitpunkt (weil direkt Differenz als NP) Mit Basis RT -> ANOVA IA Zeitpunkt x Primebedingung
- Park et al.: Welcher IA Typ liegt bei der IA MZP x Gruppe vor? Wenn man davon ausgeht, dass die Unterschiede zwischen den KG n.s. sind, hybrid. Ansonsten ordinal.
- Park et al.: Bewerte die statistische Validität Pro: Logarithmische Transformation wegen Verletzung der Normalverteilung Contra: alpha-Fehlerkumulierung nicht berücksichtigt, Reliabilitäten der AV unterschiedlich in den Gruppen und im Posttest, keine Kontrolle von Ausreißern
- Tipper et al.: Was war unelegant an der Prime-Probe-Konfiguration der Trials? Zur Kontrolle aller Positionseffekte gemäß der Generierungsregel der Quasi-Zufallsreihenfolgen, wäre für jede der drei Bedingungen ein Vielfaches von 24 pro Bedingung nötig gewesen (also 144 oder 216), es waren aber tatsächlich nur 60 DG (und somit kein Vielfaches von 24)