Methodenlehre (Subject) / Methodenlehre 2 (Lesson)

This lesson was created by Lunax.

Learn lesson

back  |  next 2 / 5

• Post-hoc-Tests - Ziel, Bsp, gemeinsame Eigenschaft Ziel: Überprüfung spezifischer Mittelwertsunterschiede bei Faktoren mit mehr als 2 Gruppen > genauere Hypothesen (Einzelvgl zweier Mittelwerte) können überprüft werden > Feststellen, welche Mittelwerte signifikant unterschiedlich Gemeinsame Eigenschaft: Kontrolle des Gesamt-alpha (für alle durchgeführten Tests) - Power sinkt Verfahren: Bonferroni, Scheffé, Newman-Keuls, Tukey, Dunkman
• Rekapitulation: Varianzanalyse Was wird wie untersucht? ANOVA: Analysis of Variance, Erfinder: Fisher Was? Mittelwertsunterschiede (pro Faktor); bedingte Mittelwertsunterschiede oder Interaktionen (>= 2 Faktoren >> zB unterscheiden sich die Therapieansätze nur bei Männern, nicht aber bei Frauen) Wie? Vgl der Varianzen der Mittelwerte mit den Varianzen der Werte in den einzelnen Gruppen - F = systemat Effekt : zuf Effekt (Rauschen)
• Varianzanalyse: einige Variationen F-Test für Messwiederholungen Fixed vs Random Factors (Faktorenstufen zuf gezogen (bei Faktoren mit vielen Ausprägungen, zB 5 zuf Fächer, deren entdeckte Unterschiede auf alle generalisiert)) Multivariate ANOVA: ein Faktor --> Einfluss auf mehrere abh Variablen (versch Indikatoren desselben Konstrukts) unvollständige Designs > fehlende Werte sollten vermieden werden Kontrastanalyse: präzisere Form der Varianzanalyse
• Powerbestimmung bei der Varianzanalyse für abh SP - Effektgröße Populations-Effektgröße: partielles Eta-Quadrat oder f >> Effektgrößen generell größer als bei unabh Gruppen (GPower)
• Grundidee der Kontrastanalyse Passung? Kontrast? H0? Voraussetzungen? Bedingung? Untersuchung fokussierter (also gerichteter) Fragestellungen/ Hyp passen Erwartungen zu tatsächlichen Daten >> Passung = aggregierter Wert von Erwartung x Messwert für jede einzelne Person (L-Wert = Summe (x(i)xLambda(i))) Präzisierung der Hyp: durch Kontrastgewichte (Lambda-Gewichte) - Kontrast = Muster aus Kontrastgewichten, das die Relationen der Erwartungen abbildet H0: Popmittelwerte unterscheiden sich nicht Anwendung: In allen Fällen, in denen sonst eine „normale“ Varianzanalyse gerechnet würde Bedingung: die fokussierte Hypothese muss vor der Analyse vorliegen (Stichwort Hypothesenprüfung, nicht Hypothesenfindung!) = Verwendung des t-Tests
• Vorgehensweise Kontrastanalyse Frage: wie gut stimmt der fokussierte Kontrast mit Daten überein jeder gefundene Mittelwert der Gruppen mit "seinem" Lambda gewichtet (> Lambdagewichte) Prüfung der Kovariation zw: 1) den Abw jedes Lambdas vom MW aller Lambdas und 2) den Abw jedes Gruppenmittelwertes vom MW aller Gruppen > Kontrastanalyse = teststärker als herkönnliche ANOVA > Problem: Kontrastgewichte von 0
• Kontrastanalyse - abh SP Entscheidend? Aggregierter Wert? ... wird wofür verwendet? nicht Varianz der Gruppenmittelwerte von Interesse, sondern die Varianz der Werte der Personen über die Messzeitpunkte hinweg entscheidend: ob für jede Person die Messergebnisse mit den Lambdas kovariieren (für jede Person ein L-Wert) aggregierter (zsgefasster) Wert L (composite score) beschreibt den Effekt der Variation der UV = Effekt der Messwiederholung (für jede Person): kann positiv sein (Daten passen zum Kontrast) oder negativ (Daten passen nicht zum Kontrast) aggregierte Werte (L, r) benutzt als abhängige Maße in der Kontrastanalyse – dafür werden sie gemittelt mittlere L-Werte gegen 0 getestet (denn die H0 wäre, dass die Abweichung der L-Werte nur zufällig und daher im Mittel 0 ist)
• Kontrastanalyse - abh SP - Effektgrößen - wie gut entsprechen die relativen Unterschiede zwischen den Bedingungen der Vorhersage (Kontrast) > großes L(quer) =große Übereinstimmung g und d - standardisierte Abstandsmaße aus L(quer) oder t berechnet
• Kontrastanalyse - komplexe Designs nicht nach Haupteffekten und Interaktionen unterschieden – alle Erwartungen über diese Effekte in einem Kontrast ausgedrückt, der dann getestet auch gemischte Designs (mit abhängigen und unabhängigen Faktoren) untersuchen
• Kontrastanalyse - Hypothesenvergleich Kontrastanalyse mit den Differenzwerten der (standardisierten) Lambdas aus Hypothese 1 und 2 1. Standardisierung: Teilen jedes Lambdas durch die Standardabweichung aller Lambdas pro Hypothese2. Berechnen der Differenzwerte (diese repräsentieren die Unterschiedlichkeit der beiden Hypothesen), dadurch entstehen Lambdas, die diese Differenz beschreiben3. Kontrastanalyse mit neuen Lambdas - Liefert sie einen Effekt, bedeutet das, dass die eine Hypothese der anderen überlegen ist. Welche das ist, kann man an den Daten sehen und außerdem an den Effektgrößen für die beiden Hypothesen
• Advertisement
• das besondere bei der Kontrastanalyse df = immer 1! da es nur einen Kontrast gibt (= ein beliebig komplexer Faktor über Gesamtmuster) >> t-Test verwendbar (F-Test auch mgl)
• Bestimmen der Kontrastgewichte Ausgangspunkt: statistische Hyp über Zshang zw Faktorausprägungen und erwarteten Mittelwerten von jeder Vorhersage Mittelwert der Vorhersagen subtrahieren, dann evtl. verschönern Summe der Lambdas = 0 nur das Verhätnis der Lambdas zueinander ist entscheidend, nicht die absolute Größe
• Kontrastanalyse für unabh SP - Effektgrößenbestimmung r(effect size): Korrelation zw Einzelwerten der AV und entsprechenden Lambdas > entspricht herkömmlichen Effektgrößen r(contrast): führt fast immer zu einer Überschätzung > benötigt für Bestimmung der Power von unabh SP r(alerting): Korrelation zw Gruppen-Mittelwerten und Lambdagewichten = Ausmaß, in dem der vorliegende Kontrast die Unterschiede zw Mittelwerten aufklärt r(effect size) < r(contrast) < r(alerting)
• Power bei der Kontrastanalyse für unabh SP Populationseffekt: eigentlich p(contrast) (da sie direkt mit Ergebnis des Signifikanztests zusammenhängt), aber p(effect size) sollte aus prakt Gründen benutzt werden Konventionen: 0,1 - 0,3 - 0,5 je genauer der Kontrast die tatsächlichen Popwerte spezifiziert, desto größer der Pop.effekt > differenziertere Kontraste (viele Gruppen) teststärker als wenigere differenzierte, da sie zu höheren Effektstärken führen
• Varianzanalyse - Effektgrößen d, g, r - nur Vgl von 2 Gruppen Eta-Quadrat: Anteil der systematischen Variation an gesamter Variation in Daten (0,01 0,06 0,14) > Problem: uneindeutige Interpretation, da versch Ergebnismuster (Kombis von Mittelwerten) zu gleicher Effektgröße führen
• Stelle Nullhypothesen auf zu Haupt- und Interaktionseffekten zu folgendem Forschungsdesign: Gymnasiasten und Realschüler bearbeiten entweder Programm A oder B - Effekt auf die Leistung in einem Test wird gemessen Haupteffekt 1: Pop von Realschülern und Gymnasiasten haben gleiche Durchschnittsleistung Haupteffekt 2: Pop-mittelwert von Nutzern der Programme A und B nicht verschieden Interaktionseffekt: Faktor Lernprogramm in Pop von Realschülern und Gymnasiasten hat gleichen Effekt auf Leistung
• Varianzanalyse mit abhängigen SP Unterschied zu unabh SP, Voraussetzungen, Power Variation, die aus systematische Unterschiede zw Personen zurückgeht, wird bestimmt und aus Fehlervariation herausgerechnet Voraussetzungen: NV der AV innerhalb jedes Messzeitpunktes, homogene Varianzen der Differenzen aller Messpaare (Spärizität), homogene Korrelationen, intervallskaliert AV Eta-Quadrat + partieller ~
• Warum verwendet man (in der Kontrastanalyse) nicht die Rohwerte, um Hypothesen zu spezifizieren? zirkulär > immer richtig Kontrastgewichte vor Datensammlung, aus Theorie abgeleitet oder Vorstudien
• was ist L (Kontrastanalyse) - und r? Maß für die Passung zw Vorhersage (Kontrast) und den Ergebnissen für jede Person einzeln hoher L-Wert = hohe Passung (auch minus mgl) - L=0, dann unabh von Muster - L = -4 > gegenteiliges Verhalten gefunden >> r ist ein standardisierter L-Wert
• 2x4x3x2-Design 4 Faktoren 11 Stufen 48 Ausprägungen
• Effektgröße bei Chi^2-Verfahren w - misst in standardisierter Form Unterschiede zw beobachteten und erwarteten Häufigkeiten - versch Studien vglbar Konventionen: w>=.1 .3 .5 .3 = mittelgroße Abw zw Erwartung und Beob bei Unabh.test: Cramers Phi verwendbar
• Chi^2-Anpassungstest Goodness of fit: prüft, ob emp Vert (Histogramm, diskret) der erwarteten NV (Kuve) entspricht zB KS-Test
• Phi-Koeffizient Vierfeldertafel - bei Variablen mit zwei mgl Werten (in den Zellen stehen die jeweiligen Häufigkeiten) kein Signifikanztest, sondern stellt direkt eine Effektgröße dar, die aber zu wäquivalent ist
• Unabhängigkeitstests: allg Vorgehensweise Definition von stochastischer Unabh: p(A^B) = p(A) x p(B) > r=0, x und y bivariat normalverteilt Berechnung der bei Unabh zu erwartenden Häufigkeiten: f(A^B) = f(A) x f(B) : N N = Gesamtanzahl
• 5 Gruppen von Parametern in psychologischen Forschung Anteile/ Häufigkeiten Lagemaße bzw Streuungsmaße > nur Standardfehler und KI, typischerweise keine Signifikanztests Unterschiede bzw Zshänge: können ordinale oder intervalskalierte Daten betreffen (inferenzstatistische Verfahren)
• Warum benötigt man eine neue (Chi^2) Prüfverteilung? Setzt man Häufigkeiten ins Verhältnis, entstehen dabei Werte, deren Stichprobenverteilung keiner anderen bekannten Verteilung entspricht, daher wird eine neue Prüfverteilung benötigt
• Grundidee des Chi^2-Test Verrechnung nominalskalierter Daten: Bestimmung der Häufigkeiten, mit denen versch Merkmalsauspräg auftreten –Erwartungen über Pop = beobachtete Häufigkeiten? (H0 - Chi^2 = 0) –relative Abweichung von Erwartung und Beobachtung –Quadrat: Richtung von Abweichungen der beiden ist egal –Gleichverteilungsannahme/ Unabh.annahme, Omnibushyp Je größer die Abw zw erwarteten und beobachteten Häufigkeiten, desto größer Chi^2
• zwei Fälle bei Chi^2 Tests prüfen immer den Zshang zwischen zwei Häufigkeitsverteilungen Fall 1: eine der beiden Verteilungen ist bereits bekannt, weil theoretisch erwartet (z. B. Normalverteilung, Gleichverteilung, usw.) >> Anpassungstest Fall 2: beide Verteilungen sind empirisch >> Unabhängigkeitstest(bei beliebig vielen Kategorien) >> Vierfeldertafel(wenn es jeweils nur zwei Kategorien gibt, die unabhängig sind) >> McNemarTest (wenn es nur zwei Kategorien gibt, die zweimal untersucht werden)
• McNemarTest Variante des Chi^2 für abh nominalskalierte (dichotome) Daten gab es mehr Wechsel von - nach + als umgekehrt? bei b+c < 30 (in der Vierfeldertafel) benutzt man üblicherweise die "Yates-Korrektur"
• Tests für ordinalskalierte Variablen oder für intervallskalierte, bei denen Voraussetzungen für Anwendung parametrischer Tests nicht erfüllt Vorzeichentest > Binomialvert als Prüfvert U-Test > Alternative zum t-Test für unabh SP Wilcoxon-Test (Vorzeichenrangtest) > Alternative zum t-Test für abh SP
• Advertisement
• U-Test nach Mann & Whitney nonparametrisches Verfahren für Vergleich von 2 unabhängigen Stichproben hinsichtlich ihrer zentralen Tendenz anhand der mittleren Ränge Beispiel: Reaktionszeiten in msec - Sind die Reaktionszeiten beim Medikament größer? (nicht erfahrbar, um wie viel größer) mittlerer Rang: Ränge jeder Gruppe jeweils addieren und durch Anzahl VP >> unterscheiden sich diese signifikant voneinander? H0: mittlere Ränge in Pop gleich groß ein-, zweiseitig mgl
• Berechnung von U beim U-Test Berechnung von U (Rangplatzüberschreitungen) für jeden Wert in Gruppe 1: wie viele Werte in Gruppe 2 haben größeren Rangplatz? > für jeden Wert zählen und alle Werte addieren Summe der Rangabweichungen = U-Wert Berechnung von U´ für Rangplatzunterschreitungen (U´ benötigt, da für den Signifikanztest immer der kleinere der beiden Werte benutzt) wenn H0 gilt, dann U = U'
• U-Test nach Mann & Whitney - H0 und Vorgehensweise Signifikanztest mit großer und kleiner Stichprobe H0: mittlere Ränge sind gleich > Je nach Stichprobengrößen ergibt die Nullhypothese einen bestimmten Erwartungswert für U (im Gegensatz zum t-Test oder anderen Tests = nicht 0) Signifikanzprüfung in kleinen Stichproben: U-Verteilung liefert kritischen Wert > Prüfung mit kleinerem Wert von U bzw U‘ >> gleich oder kleiner als krit Wert --> H0 verworfen Signifikanzprüfung in großen Stichproben: U-Wert annähernd normalverteilt > U-Wert in einen z-Wert umgerechnet und geprüft
• Wilcoxon-Test Def, Berechnung (kurz), H0, Voraussetzung Vorzeichenrangtest Vergleich der zentralen Tendenz bei abhängigen ordinalskalierten Stichproben  verwendet die Vorzeichen der aus den Differenzen gebildeten Rangwerte, um zu entscheiden, ob sich ein Unterschied zwischen den zwei Messungen ergibt  Rangplätze zugeordnet aufgrund der Größe der Differenzen H0: keine systemat Unterschiede Voraussetzung: Differenzen der Messwertpaare = ordinalskaliert (nicht verwechseln mit Vorzeichentest –dem nonparametrischenTest für Anteile)
• Wilcoxon-Test - Vorgehensweise 1. Differenzen bilden (zw abh Messungen) 2. Rangplätze für die absoluten Differenzen vergeben - bei Ranggleichheit: 3x Rang 3 zugewiesen bei Rängen 2, 3, 4 3. Differenzen von 0 bleiben unberücksichtigt 4. Summe der Rangplätze der jeweils pos  sowie neg Differenzen bilden > laut H0 sollten T- und T+ gleich groß >> Prüfung auf Signifikanz mit kleinerem Wert T- oder T+ <= krit Wert für T >> sign
• Power bei nonparametrischen Testverfahren Problem: Effektgröße schwierig zu bestimmen Abhilfe: Powerbestimmung wie bei korrespondierendem parametrischen Test (führt meist zu Überschätzung der Power)
• Tests für nominalskalierte Daten Entspricht ein emp Anteil einem theoret? > Binomialtest: Anpassungstest > Chi^2-Test: Unabhtest - Assoziation zw (Unabh von) 2 Variablen (Werte jeweils empirisch ermittelt) > Phi-Koeffizient, Kontingenztafel: Vierfeldertafel mit abh SP > McNemar-Test
• Hypothesentesten nach Neyman & Pearson 1. H0 > 2. H1 3. Größe von alpha + beta > Abwägen relativer Wichtigkeit > Konstruktion SP-Vert >> POWER-Analyse 4. Prüfen, ob p-Wert > oder <= alpha 5. p <= alpha - signifikant 6. Verhaltensregeln: sign > H1 wahr
• gängige Vorgehensweise: der Hybrid alpha nahezu immer bei 5% oder 1% (Fisher) - weil H1 oft Forschungshyp, nicht vorschnell angenommen meist H1 (Neyman-Pearson) Hinweis auf Teststärke oder Power (Neyman-Pearson) keine Kosten-Nutzen Analyse, Verhaltensinterpretation (Fisher) - weil in psychologischen Forschung selten unmittelbare Entscheidungen anstehen oft bei nicht signifkantem Ergebnis: „keine Aussage möglich“ (Fisher) Wenn unreflektiert durchgeführt = „Signifikanztest-Ritual“
• Post-Hoc-Poweranalyse-Ritual Testergebnis nicht signifikant > Post-hoc Poweranalyse Benutze empirisch gefundenen Effekt als Schätzung des Populationseffekts > Power zu niedrig, um diesen Effekt (= geschätzter Populationseffekt) zu entdecken? (Power < 50%) Problem: empirisch gefundene Effekte können stark vom Populationseffekt abweichen sinnvoller: Post-Hoc-Poweranalyse mit theoretisch hergeleitetem Effekt Noch sinnvoller: A priori Poweranalyse
• Warum ist „rituelles Signifikanztesten“ problematisch? Interpretationsfehler (was Signifikanz nicht bedeutet) Beschränkung auf unspezifische Fragen (Mittelwertsunterschiede, Interaktionen) Automatisierte Vorgehensweise führt zu „blinden Flecken“ (Sind Voraussetzungen erfüllt? Was sagen die Daten wirklich? Macht die gewählte H0 als Ausgangsbasis Sinn?) Aussage bei nicht-signifikanten Ergebnissen?
• Verbreitete Fehlannahmen bei der Interpretation von p-Werten p-Werte sind Indikatoren für die Größe eines Effekts erlauben Abschätzung der Wahrscheinlichkeit, daß die Nullhypothese/Alternativhypothese zutrifft Wahrscheinlichkeit, mit der man sich hinsichtlich seiner Schlussfolgerung (H0 ist falsch) geirrt hat („Irrtumswahrscheinlichkeit“) p-Werte erlauben eine Abschätzung der Wahrscheinlichkeit, dass ein Ergebnis replizierbar ist
• Fehlannahme: p-Wert als Indikator für Größe eines Effekts p = keine Effektgröße abh von mehr als Effektgröße - zB n
• Fehlannahme: p-Wert als Indikator für Hypothesenwahrscheinlichkeit p-Wert = p(Ergebnis|H0) ungleich p(H0|Ergebnis)
• Fehlannahme: p-Wert als Irrtumswahrscheinlichkeit (mit der Wahrscheinlichkeit p könnte die H0 trotz des signifikanten Ergebnisses richtig sein) Irrtumswahrscheinlichkeit = alpha, vor dem Test festgelegt, hat nur dann eine Bedeutung, wenn die H0 zutrifft (wenn die H1 wahr ist, kann man nur den beta -Fehler begehen) p-Wert erlaubt keinerlei Wahrscheinlichkeitsaussagen über die Hypothesen (sondern nur solche über die Daten)
• Fehlannahme: p-Wert als Indikator für Replizierbarkeit Wahrscheinlichkeit einer erfolgreichen Replikation (eines weiteren signifikanten Ergebnisses) ist abhängig von Teststärke Power=f(n, ES, alpha)
• nicht-rituelles Signifikanztesten Spezifische Hypothesen aufstellen, z. B. mittels Kontrastanalyse • (Strukturgleichungsmodellen) • (spezifischen „Nullhypothesen“) Nullhypothese „annehmbar“ machen • Neyman-Pearson-Ansatz - Kosten-Nutzen Analyse vor Bestimmung von alpha und beta • Sensitive Form des Hybrid
• Signifikanz vs Idealfall Signifikanztest: Wahrsch des Ergebnisses unter Gültigkeit der H0 (Annahme über Pop.parameter) > Bsp: gefundene Mittelwertsunterschied (z. B. auf Depressionsskala) zwischen Therapie- und Kontrollgruppe hat Auftretenswahrscheinlichkeit von 4%• Interaktion zwischen Geschlecht und Therapieform (Therapie A + B) ist signifikant bei α=5% Idealfall: Alle Pop.parameter bekannt > Bsp: Mittelwert in „TherapiePopulation“ beträgt 8,3 Punkte, der in der „KontrollPopulation“ beträgt 6,4 Punkte• Populationsmittel betragen: Männer & Therapie A: 5,2 Männer & Therapie B: 4,9 Frauen & Therapie A: 3,7 Frauen & Therapie B: 5,8
• Alternativen zum Signifikanztesten Konfidenzintervalle Effektgrößen (Metaanalyse) Graphische Analyse Experimentelle Einzelfallanalyse Präzisere Theorien/Modelle (z. B. durch Computermodellierung oder mathematische Modelle) Qualitative Methoden (hauptsächlich zur Theoriengenerierung)
• Vorteile von Effektgrößen Äquivalenz von Korrelation und Abstandsmaßen (am sinnvollsten bei zwei Gruppen) Vergleichbarkeit von unterschiedlich skalierten Messwerten Genaue Schätzung von Populationsparametern durch Aggregation (Metaanalyse)

back  |  next 2 / 5