versuchsplanung (Subject) / 3. Vorlesung (Lesson)

This lesson was created by khoelsch.

Learn lesson

back  |  next 1 / 1

• Gütekriterien empirischer Untersuchungen Strenge Fairness interne Validität externe Validität Konstruktvalidität statistische Validität 
• Deduktivistische Theorie hapothesentestender Untersuchungen Strenge Geringe Wahrscheinlchikeit einer falschlichen Bewährung der PH Gute Bewährung der Hilfshypothesen Fehlerniveau
• Deduktivistische Theorie hapothesentestender Untersuchungen Fairness Gültigkeit der Implikation von PH- SH
• Valiidität Abstrakt, nicht messbar graduell Wahrscheinlichkeit eier korrekten  Schlussfolgerung 
• Validität Fragen Ist das Verfahren geeignet um die jeweilige fragestellung zu untersuchen Ist eine bestimmte Schlussfolgerung zuläsig Misst ein Verfahren was es vorgibt zu messen
• Gefährdung der Validität Leitfragen Was sind mögliche geführdungen Sind sie plausibel oder nur möglich Entspricht die Richtung des Effekts der Gefärdung der Richtung des u erwartenden Effekts
• Gefährdung der Validität Vorgehen häufige Gefährdungen auflisten (Kritik eigener Versuchspläne)•Ideal: Versuchsplanerischer Ausschluss von Validitätsgefährdungen(Kontrolle von Störvariablen, d.h. Randomisierungetc.)•Alternativ: statistische Kontrolle (z.B. Kovarianzanalyse)Erkennen von Gefährdungen hängt von Theoriebildung und Erkenntnisstand ab
• Validität arten •Interne Validität•Externe Validität•Konstruktvalidität•Statistische Validität
• Interne Validität •Interne Validität–Gibt der beobachtete Zusammenhang zwischen den Variablen A (UV) und B (AV) den kausalen Zusammenhang A B wieder?
• externe Validität •Externe Validität–Ist „Generalisierbarkeit“ gegeben, wenn Stichprobe, Settings, Treatments, Messmethoden beliebig variiert werden?
• Advertisement
• Konstruktvalidität •Konstruktvalidität–Ist der Rückschluss aus den beobachteten (manifesten) Variablen auf das Konstrukt (latente Variable) gültig?
• Statistische Validität •Statistische Validität–Werden statistische Methoden richtig angewandt und interpretiert?
• Gefährdung der statistischen Validität Wir unterscheiden drei Aspekte der statistischen Validität: 1.Signifikanztestvalidität: gestört durch alle Faktoren, die die Fehlerwahrscheinlichkeiten erhöhen (Stichprobenumfang, Präzision, Voraussetzungen) 2.Hypothesenvalidität: gestört, wenn SH und Testverfahren für ihre Prüfung nicht zur PH passen (Implikation EIH SH) 3.Entscheidungsvalidität: gestört durch falsche Interpretation statistischer Ergebnisse (Teststärke, Effektgröße, Fehlerkumulierung bei multiplem Testen)Eine konkrete Gefährdung beeinträchtigt oft mehrere Aspekte der statistischen Validität.
• Eine Auswahl möglicher Gefährdungen statistischer Validität 1.geringe Teststärke (Power)2.Verletzung der Voraussetzung der statistischen Verfahren3.Messung ist nicht reliabel4.restrictionofrange5.Treatment nicht reliabelimplementiert6.Einfluss von Störvariablen7.ungenaue Bestimmung der Effektgrößen8.„Fischen“ nach Signifikanzen9.Darstellung explorativer Untersuchungen als hypothesentestend9
• Gefährdungen der Statistischen Valiidität durch geringe Teststärke –Teststärke = Wahrscheinlichkeit dafür, einen Effekt als signifikant zu entdecken, wenn er existiert = 1 –Wahrscheinlichkeit für Beta-Fehler–Analog zu „Auflösung“ eines Mikroskops: je größer, desto kleinere Unterschiede/Effekte können entdeckt werden–Folge zu geringer Teststärke: hohe Wahrscheinlichkeit für Beta-Fehler, große Konfidenzintervalle–Power erhöhen: Signalstärke rauf (Effekt); Rauschen runter (Meßfehler)–Wichtigster Einfluss: Aggregation (Rauschen mittelt sich raus)
• Gefährdung statistischer Validität durch geringe Teststärke Lösungen –vor der Untersuchung optimalen Stichprobenumfang berechnen–Berechnung: Software G*Power
• Methoden zur Erhöhung der Teststärke komplatt •matching, statistische Paarbildung–Variable, die dem matchingzugrunde liegt, muss mit AV korrelieren •Erhebung von Kovariaten –Kovariatemuss mit AV korrelieren–Trade-off zwischen zusätzlicher Kovariateund höherem N •Erhöhung der Stichprobengröße •gleiche Zellenbesetzung •Verbesserung der Messung–mehr Messpunkte pro Person–ReliablereMessintrumente–Vermeidung von rangerestrictions(Boden/Deckeneffekte) •stärkeres Treatment–Größere Unterschiede in der UV–Diffusion zwischen den Stufen der UV verringern–Treatment reliabelanwenden•mehr Treatmentvariabilität–Mehr Stufen der UV realisieren–Extremstufen überrepräsentieren•Messwiederholungsdesigns–Im Labor am praktikabelsten–Ermüdung, Übung, etc.•Einsatz teststarker statistischer Verfahren–Möglichst hohes Skalenniveau–Beispiel: Kein Mediansplit; Transformation zur Normalverteilung
• Methoden zur Erhöhung der Teststärke kurz •matching, statistische Paarbildung•Erhebung von Kovariaten•Erhöhung der Stichprobengröße•gleiche Zellenbesetzung•Verbesserung der Messung•stärkeres Treatment•mehr Treatmentvariabilität•Messwiederholungsdesigns•Einsatz teststarker statistischer Verfahren
• Methoden zur Erhöhung der teststärke matching, statistische Paarbildung –Variable, die dem matchingzugrunde liegt, muss mit AV korrelieren
• Methoden zur Erhöhung der Teststärke Erhebung von Kovariaten –Kovariatemuss mit AV korrelieren–Trade-off zwischen zusätzlicher Kovariateund höherem N
• Methoden zur Erhöhung der Teststärke Verbesserung der Messung –mehr Messpunkte pro Person–ReliablereMessintrumente–Vermeidung von rangerestrictions(Boden/Deckeneffekte
• Methoden zur Erhöhung der Teststärke •stärkeres Treatment –Größere Unterschiede in der UV–Diffusion zwischen den Stufen der UV verringern–Treatment reliabelanwenden
• Methoden zur Erhöhung der Teststärke mehr Treatmentvariabilität –Mehr Stufen der UV realisieren–Extremstufen überrepräsentieren
• Methoden zur Erhöhung der Teststärke •Messwiederholungsdesigns –Im Labor am praktikabelsten–Ermüdung, Übung, etc.
• Methoden zur Erhöhung der teststärke •Einsatz teststarker statistischer Verfahren –Möglichst hohes Skalenniveau–Beispiel: Kein Mediansplit; Transformation zur Normalverteilung
• Gefährdung der statistischen Validität •Verletzung der Voraussetzung der statistischen Verfahren –Nicht immer problematisch: t-Test robust gegenüber Verletzungen Normalverteilung, wenn große Stichprobe und gleich große Gruppen–z.B. Unabhängigkeit der Stichprobenelemente nicht gegeben•Beispiel: Schulklasse•Nesteddesigns-> Hierarchische Modelle
• Gefährdung der statistischen Validität •Messung ist nicht reliabel –AttenuationbivariaterZusammenhänge•Korrelationen; Mittelwertsunterschiede–Bei multivariaten Zusammenhängen: Nicht vorhersehbare Effekte–Lösungsansätze:•mehr Messungen•mehr Beurteiler, besseres Beurteiler-Training•bessere (validierte) Messinstrumente•latente Merkmalsanalyse (SEM)
• Gefährdung der statistischen Validität •restrictionofrange –Varianzvernichtung durch ungeeignete Datenerhebung (z.B. dichotom: erfolgreich vs. nicht-erfolgreich)–kaum Unterschiede im Treatment (kleine vs. mittlere Medikamentendosis)–Decken-oder Bodeneffekte durch ungeeignete Messung oder Stichprobenauswahl (z.B. nur hochintelligente Studierende)–Lösungsansätze: Pilottests
• Gefährdung der statistischen Validität •Treatment nicht reliabel implementiert –keine kontrollierten Laborbedingungen–Treatment ist abhängig vom Versuchsleiter–kein standardisiertes Vorgehen•z.B. Therapie-Komponenten nach Bedarf zusammengestellterhöht Fehlervarianz, reduziert Effektgrößen
• Gefährdung der statistischen Validität •Einfluss von Störvariablen –Störung durch Geräusche, Temperaturunterschiede, verschiedene Versuchsleiter
• Advertisement
• Gefährdung der statistischen Validität •Einfluss von Störvariablen –Lösungen: •standardisiertes Vorgehen (Kontrolle)•Randomisierung•Erhebung möglicher Störquellen und Berücksichtigung bei der Auswertung (z.B. Kovarianzanalyse)
• Gefährdung der statistischen Validität •ungenaue Bestimmung der Effektgrößen –z.B. Ausreißerwertenicht eliminieren–z.B. Messung von Zusammenhängen bei dichotomen Merkmalen mit Effektgrößen für intervallskalierte Merkmale
• Gefährdung der statistischen Validität •„Fischen“ nach Signifikanzen –Viele Variablen werden untereinander korreliert–Viele Gruppenmittelwerte werden paarweise verglichen–Nur die signifikanten Ergebnisse werden berichtet–Alpha-Fehler-Kumulierung/Inflationierung: tatsächliches Alpha bei n Tests:.05 (n=1).14 (n=3).64 (n=20).92 (n=50)–Lösungen:•Bonferroni-Korrektur•(multivariate Auswertungen)
• Gefährdung der statistischen Validität •Darstellung explorativer Untersuchung als hypothesentestend –Klassisches multiples Testen: Multiple statistische Tests zur Prüfung einer Hypothese•z.B. drei paarweise t-Tests für H0gleicher Mittelwerte in drei Bed.•erfordert Alpha-Korrektur zur Einhaltung des Fehlerniveaus–Allgemein: multiple Tests erhöhen Fehlerniveau, erfordern Korrektur–Multiple Tests besonders häufig in explorativen Untersuchungen•20 Korrelationen zw. versch. Variablen, 1 signifikant bei alpha=.05 –Wahrheitsgemäße Darstellung des Vorgehens entscheidend!!!•als Ergebnis einer hypothesenfreien explorativen Suche nach Zshg.–vom Leser korrekt als Zufallsbefund interpretiert werden•vs. als Test einer -nachträglich passend aufgestellten-Hypothese–legt fälschlicherweise erfolgreiche Prüfung/Bewährung der Hypothese nahe
• Darstellung explorativer Untersuchung häufig als Hypothesentest
• Exploratives Vorgehen: Multiples Testen in vielen möglichen Erscheinungsformen •Multiple statistische Tests zur Prüfung einer Hypothese•Multiple AVn•Mehrere experimentelle Bedingungen•Mehrere Varianten statistischer Testverfahren•Mehrere Möglichkeiten, die Daten aufzubereiten–Ausreißer ausschließen–Variablen transformieren•etc.
• Exploratives Vorgehen: „Multiples Testen“ im weiteren Sinne “False-Positive Psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant” “p-hacking”: nachträglicheinensignifikantenp-Wert erzielendurchdas Ausnutzender Flexibilitätin Durchführung, Auswertung, Bericht
• WahrscheinlichkeiteinerfälschlichenEntscheidunggegendie H0(α-Fehler) in verschiedenenSzenarien 33 “p-hacking”: nachträglicheinensignifikantenp-Wert erzielendurchdas Ausnutzender Flexibilitätin Durchführung, Auswertung, Bericht“…allows presenting anything as significant” Problem: Wenn Exploration als hypothesenprüfend dargestellt wird, entspricht das angegebene (nominelle) Fehlerniveau (z.B. α=5%) nicht der tatsächlichen Fehlerwahrscheinlichkeit (z.B. hier 61%)
• Exploratives Vorgehen: „Multiples Testen“ im weiteren Sinne 2 •„Multiples Testen“ als allgemeiner Begriff für exploratives Vorgehen–Bezeichnet alle post-hoc-Entscheidungen: d.h. Entscheidungen in Auswertung, Interpretation, Bericht, die auf Kenntnis der Daten beruhen–auch implizite Entscheidungen, ohne tatsächlich durchgeführten statistische Tests•Bsp: „soll ich die Ausreißer rauswerfen oder nicht?...“•„ohne Ausreißer wird Ergebnis eher signifikant, mit Ausreißern eher nicht… “•„dann werfe ich sie erstmal raus & führe erst dann den Test durch“–auch unabsichtliche Entscheidungen:•methodische Entscheidungen aufgrund von Bauchgefühl oder Routine gefällt•Hypothesen werden rückblickend „aufgestellt“ (z.B. HindsightBias)• „Garden offorkingpaths“: multiple (mögliche) Tests entstehen aus Kombination vieler einzelner Entscheidungen
• Exploratives Vorgehen: „Multiples Testen“ im weiteren Sinne „Garden offorkingpaths“: •Datenanalyse erfordert viele ad-hoc-Entscheidungen•Entscheidungen werden durch Kenntnis der Daten verfälscht•Kombination der Entscheidungen ermöglicht Vielzahl verschiedener Auswertungsmöglichkeiten (multiple statistische Tests)•Bsp:–4 Entscheidungen–16 Tests mit α= .05tatsächliches α = .56
• Explorative vs. hypothesentestende Untersuchungen •„Multiples Testen“ = jegliche Art explorativen Vorgehens –nicht per se unzulässig! Hypothesengenerierung (Entdeckungszshg.)–nicht kompatibel mit Hypothesenprüfung (Begründungszshg.)
• Explorative vs. hypothesentestende Untersuchungen •Strenge Prüfung von a priori festgelegten Hypothesen –es reicht nicht aus, die PH vorher festzulegen (sie kann auf multiple Weise statistisch geprüft werden…)–Entscheidungsstrategie, Untersuchung, Auswertungsverfahren und SH müssen a priori festlegt werden, um Fehlerniveau einzuhalten
• Explorative vs. hypothesentestende Untersuchungen •Wann kann man sicher sein, dass eine Studie strikt hypothesentestend ist? –ES, Untersuchung, Auswertung, SH vorher festlegen–eigene Wahlfreiheit bei Durchführung und Auswertung eliminieren
• Explorative vs. hypothesentestende Untersuchungen •Wann kann man sicher sein, dass eine Studie strikt hypothesentestend ist? –ES, Untersuchung, Auswertung, SH vorher festlegen–eigene Wahlfreiheit bei Durchführung und Auswertung eliminieren
• Explorative vs. hypothesentestende Untersuchungen ...durch öffentliche Registrierung der Studie (vgl. RCTs in der Medizin) •–Vor Beginn der Untersuchung: Öffentliche Registrierung von Hypothese und Methode mit Details zur geplanten Durchführung und Auswertung–Durchführung und Auswertung der Untersuchung genau wie geplant
• Gefährdung der statistischen Validität •Darstellung explorativer Untersuchung als hypothesentestend –Multiple Tests erhöhen Fehlerniveau, erfordern Korrektur–„Multiple Tests“ im allg. Sinne in explorativen Untersuchungen•Umfassen alle (auch implizite, unintentionale) post-hoc-Entscheidungen (d.h. solche Entscheidungen in Auswertung, Interpretation, Bericht, die auf Kenntnis der Daten beruhen)•Bei Darstellung als hypothesentestend: „Hypothesen“ rückblickend „aufgestellt“ (= HARKing: HypthesizingAfter theResultsareKnown)–wahrheitsgemäße Darstellung des Vorgehens entscheidend für Validität des dargestellten Befunds–Studie ist nur dann streng hypothesenprüfend, wenn alle Schritte der Durchführung und Auswertung vorher festgelegt sind–hypothesenprüfenden Charakter sicherstellen durch öffentliche Registrierung von Methode & Analyseplan

back  |  next 1 / 1