14

Versuchsplanung und Datenerhebung (Fach) / Statistische Validität (Lektion)

Aspekte statistischer Validität, Gefährdungen statistischer Validität

Diese Lektion wurde von aherbert erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

Anzeige
  • Statistische Validität -> Gültigkeit des inferenzstatistischen Schlusses: Gibt es in der Population tatsächlich einen Zusammenhang zwischen UV und AV oder ist der in der Stichprobe entstandener Zusammenhang rein zufällig enstanden? Maßnahmen zur Maximierung: - Max-Con-Min-Prinzip (-> Kontrollen von Störvariablen, Minimierung unsystematischer Störfaktoren/ Fehlervarianz) - Wählen einer gültigen Implikationsbeziehung, Hilfshypothesen und Modellannahmen  => maximiert Hypothesenvalidität - Minimierung der Fehlerwahrscheinlichkeiten alpha- und beta  => maximiert Signifikanztestvalidität - Interpretation entsprechend der angewandten Methodik (z.B. explorative Datenanalyse nicht als konfirmatorisch)  => maximiert Interpretationsvalidität 
  • Arten statistischer Validität 1. Hypothesenvalidität: Passung der  statistischen Hypothese und ihren Testverfahren zur psychologischen Hypothese  - Maximierung durch Sicherstellen der Implikationsbeziehung, Verwendung einer robusten Implikationsbeziehung & anerkannter Modellannahmen & Hilfshypothesen  2. Signifikanztestvalidität: geringe Fehlerwahrscheinlichkeiten alpha & beta des Signifikanztestes  - Maximierung durch Kontrolle bzw. Minimierung der Fehlerwahrscheinlichkeit (z.B. großes N) 3. Entscheidungsvalidität: Interpretation statistischer Ergebnisse entsprechend der angewandten Methodik (z.B. bei unbekannter Teststärke/unkontrollierter Beta-Fehler, Fehlerkumulierung bei multiplen Tests) - Maximierung durch Interpretation, wie Methodik es zulässt 
  • geringe Teststärke - Teststärke = Wahrscheinlichkeit, einen bestehenden Effekt zu entdecken - Teststärke = 1 – p (Beta-Fehler) - kann erhöht werden durch Maximierung der Effektvarianz und Minimierung der Fehlervarianz (vgl. Max-Kon-Min-Prinzip) - systematische vs. zufällige Fehlervarianz -> systematische Fehlervarianz wird kontrolliert durch die Kontrolle von Störvariablen -> zufällige Fehlervarianz sollte sich über große Stichproben hinweg herausmitteln (Aggregation) => Lösung: Stichprobenumfangsplanung, versuchsplanerische Maximierung der Teststärke  
  • Maximieren der Teststärke a) Maximieren der Effektvarinaz -> stärkere Manipulation: unterschiedlichere Faktorstufen, reliable angewandtes Treatment  -> mehr Variabilität des Treatments: mehr Faktorstufen, Überrepräsentation von Extremstufen -> Verbesserung der Messung durch z.B. Vermeidung von range restrictions  b) Minimieren der unsystematischen Fehlervarianz -> große Stichprobe -> gleiche Zellenbesetzung -> Verbesserung der Messung durch z.B. reliable Messinstrumente c) Kontrolle der systematischen Fehlervarianz -> Verbesserung der Messung durch z.B. Messwiederholungen (-> Herausrechnen des Personenfaktors) -> Parallellisierung („matching“), wenn parallelisierte Variable mit AV korrelliert (-> Herausrechnen des Blockfaktors) -> Kovariaten erheben (Erhöhung der benötigten Stichprobengröße!)  - teststarke statistische Verfahren: hohes Skalenniveau, z- Transformation, um parametrische Verfahren durchführen zu können, Regression statt Mediansplit (und dann Gruppenvergleich)
  • unreliable Messung der AV -> erhöht unsystematische Fehlervarianz => kleinere Wahrscheinlichkeit, Effekt zu entdecken  - grade bei multivariaten Zusammenhängen problematisch - Erhöhung der Reliabilität durch a) mehr Messungen (-> Aggregation) /mehr Beurteiler und Beurteiler-Training (wenn AV von Beurteilern erfasst wird) b) reliable (und valide) Messinstrumente c) Trennung des Messfehlers von der Konstruktvarianz durch Strukturgleichungsmodellierung (latente Merkmalsanalyse)
  • Restriction of Range -> Einschränkung der Variationsbreite der AV  - durch ungünstige Operationalisierung der AV (z.B. bei Leistungsaufgabe dichotome AV: „erfolgreich“ vs. „nicht-erfolgreich“ - durch zu schwache Manipulation (zu geringe Varianz der UV) => reduzierte Primärvarianz - Lösung: Durchführung einer Pilot-Studie, um bei der nachfolgenden Untersuchung sicherzustellen, dass genügend Variationsbreite gegeben ist
  • Unreliable Implementation des Treatments - unreliable Umsetzung des Treatments/ Manipulation - durch unstandardisiertes Vorgehen: unkontrollierte Laborbedingungen, unterschiedliche Versuchsleiter (die Treatment unterschiedlich implementieren) => erhöhte Fehlervarianz, reduzierte Effektgröße, Gefährdung der Implikationsbeziehung - Lösung: Standardisierung, Kontrolle der Situation
  • ungenaue Schätzung von Effektgrößen - entsteht durch z.B.: a) ungeeignete Datenerhebung und -auswertung - z.B. Ausreißer werden nicht eliminiert, zu geringe Stichprobengröße  b) ungeeignete Kennwerte oder Prüfgröße - z.B. Gruppenvergleich nach Median-Split statt Regression kontinuierlicher Variable - Lösung: Daten auf verschiedene Arten aufbereiten und schauen, wie robust Ergebnisse sind -> wenn nicht, genaue Prüfung, welche Aufbereitung sinnvoller und wenn nötig konservativ zu Ungunsten der eigenen Hypothese entscheiden - weitere Möglichkeit: Verblindung bei Datenaufbereitung und -auswertung 
  • Einfluss von unsystematischen Störvariablen -> erhöhen unsystematische Fehlervarianz (vgl. Max-Kon-Min-Prinzip) - Kontrolle durch z.B. a) Standardisierung b) Aufnahme ins Design (z.B. als Kovariate) 
  • Multiples (statistisches Testen) -> Verwendung mehrerer statistischer Tests, um eine Hypothese zu prüfen (z.B. mehrere t-Tests) - Problem: Alpha-Fehler-Kumulierung => Lösung: Herabsetzen des alpha-Fehlerniveaus der einzelnen Tests (z.B. Bonferoni- Korrektur) - Problem: Korrektur nur möglich, wenn Wissen über multiple Tests besteht, wenn a-priori-Hypothese bekannt ist  -> Beispiel: „Fischen nach Signifikanzen“: Korrelieren sehr vieler Variablen untereinander, nur signifikante Korrelationen werden berichtet -> Notwendigkeit der Transparenz in der wissenschaftlichen Forschung: Wenn eine signifikante Korrelation besteht kann diese vom Leser korrekt als Zufallsbefund interpretiert werden => Darstellung explorativen Vorgehens als explorativ (und nicht als hypothesentestend)!
  • Anzeige
  • Darstellung explorativer Datenanalyse als hypothesentestend - nicht nur Multiples Testen auf Ebene des statistischen Testens - viele Entscheidungen bei Datenerhebung, -aufbereitung, -auswertung und -interpretation können flexibel getroffen werden (grade bei der explorativen Datenanalyse) - durch diese Flexibilität werden unterschiedliche Entscheidungszweige (oft unbewusst) mental durchgespielt (bei explorativen Untersuchungen unvermeidbar)  => Kombinatorische Explosion: Erhöhung des alpha-Fehlerniveaus mit jeder Entscheidung, die wmgl. zugunsten der eigenen Hypothese getroffen wird - Problem: keine Möglichkeit Alpha-Fehlerniveau herabzusetzen, da kein tatsächliches Wissen über Anzahl an Tests/flexibler Entscheidungen besteht  - Lösung: Transparenz und Festlegung - Studie nur dann hypothesentestend, wenn alle durchgeführten Schritte vorher festgelegt wurden: PH, EIH, SH, Untersuchung, Entscheidungsstrategie, Auswertungsverfahren etc.   (Präregistrierung) => "Undisclosed Flexibility" - explorativer Datenanalysen müssen auch als explorativ dargestellt werden! 
  • nicht-statistisches Multiples Testen -> ergibt sich aus der Flexibilität der Entscheidungen bei Datenaufbereitung,-auswertung und -interpretation - Verwendung mehrerer statistischer Tests, um eine Hypothese zu prüfen (z.B. mehrere t-Tests/ Korrelationen: "Fischen nach Signifikanzen") - mehrere AVs (incl. Operationalisierungen des latenten Konstruktes durch verschiedene Skalen) - mehrere experimentelle Bedingungen (die wmgl. nicht alle berichtet werden) - mehrere Varianten statistischer Tests (mit und ohne Kovariante) - mehrere Arten der Datenaufbereitung (Ausreißer ausschließen, Variablen transformieren etc.)
  • p-Hacking - Datenanalyse erfordert viele ad-hoc-Entscheidungen, welche durch Kenntnis über die Daten beeinflusst oder zugunsten der eigenen Hypothese getroffen werden können  - z.B. Erhebung mehrerer AV’s, Hinzufügen von VP’s, die nicht berichtet werde, in bestimmten Bedingungen Kontrolle für bestimmte Kovariate etc.  -> Interessenkonflikt: publiziert werden vs. korrekte Evidenz finden - durch Vielzahl an flexiblen Entscheidungen quasi Anhäufung von Multiplen Tests => "garden of forking paths"  -> sehr einfach falsch positive Evidenzen zu finden  - durch dreifache Verblindung eingeschränkt 
  • Verletzung der Vorraussetzungen/Modellannahmen - bei Verletzung der Vorraussetzungen/ falscher Modellannahmen sind angegebene Fehlerwahrscheinlichkeiten ungültig und somit unkontrolliert - praktisch nicht immer problematisch -> Robustheit (z.B. t-Test gegenüber Verletzung der Normalverteilungsannahme, wenn große Stichprobe und gleich große Gruppen) - Lösung: a) Modell anpassen  b) statistische Verfahren anwenden, die weniger Voraussetzungen haben (non parametrische Verfahren) => geringere Teststärke   

zurück  |  weiter 1 / 1