8
Evaluation und Forschungsmethoden (Fach) / Metaanalyse (Lektion)
- publication bias Störung der Validität: publication bias, d.h. meist bleibeninsignifikante Ergebnisse unveröffentlicht (file drawer problem)
- Publication Bias Selektivität von Wissenschaftlern/Herausgebern/Lobby nicht repräsentativ für realen Forschungsstand Positive / signifikante Befunde leichter zu publizieren häufiger in Journals mit hohem IF Spektakuläre Befunde leichter zu publizieren
- Strategien gegen einen Publication Bias Funnel Plots (Idealfall: Form eines umgedrehten Trichters) Fail-Safe N (Rosenthal, 1979)
- Fail-Safe N (Rosenthal, 1979) Probleme F-S-N hängt stark von der Effektgröße ab Fokus auf p-Werten; besser wäre Fokus auf Effektgröße
- Nonindependent Effects Mehrere Ergebnisse (AVn) einer Primärstudie, die aufdemselben N basieren statistisch nicht unabhängig ! Verzerrung des Gesamtergebnisses
- Vergleich r und d • r kann man berechnen und ist gut interpretierbar• r schätzt die Populationsverhältnisse relativ gut• r ist flexibler• r kann immer anstatt • d kann aus vorliegenden Daten häufig nicht errechnetwerden o Häufig fehlen Angaben zur Gruppengrößeo Annahme das n1=n2, aber je größer der Unterschied, desto mehr wird dunterschätzt
- Define Standartfehler Der Standardfehler oder Stichprobenfehler ist ein Streuungsmaß für eine Schätzfunktion \hat{\theta} für einen unbekannten Parameter \vartheta der Grundgesamtheit. Der Standardfehler ist definiert als die Standardabweichung der Schätzfunktion \sigma(\hat{\theta})=\sqrt{\operatorname{Var}(\hat{\theta})}, das heißt als die Wurzel aus der Varianz.
- potentielle Störungen der Validität • Publikationsbias (file drawer problem): insignifikante Studien– Fail-Safe-N): für insignifikanten mittleren Effekt notwendigeAnzahl insignifikanter unveröffentlichter Studien,– Trim-Fill-Funnel Plot: Addition von hypothetischen Effektenfür symmetrische Verteilung• Variablenvalidität: Studienauswahl gemäß Fragestellung– zu eng (nur Replikationen): Aussagekraft eingeschränkt– zu weit (grob ähnlich): apples-and-orange problem• Interne Validität: schwer beurteilbar (garbage in – garbage out)• Statistische Validität: selten beachtet werden– Kumulation von Fehlerwahrscheinlichkeiten– geringe Teststärken (insbes. zufällige und gemischte Modelle)-> Moderatoren werden wenig wohlwollend geprüft
Anzeige