Fortgeschrittene 2

Warum sich Studienergebnisse unterscheiden.

- Fixed-effects und Random-efects-Modelle - Man möchte einen gewichteten Mittelwert der Effektgrößen berechnen

Eine Untersuchung von Studienvariablen, um Unterschiede zwischen den Effektgrößen einzelner Studien zu erklären.

Die konfirmatorische und die explorative Faktorenanalyse.

Wenn die Wahrscheinlichkeit, dass ein Ergebnis zufällig zustande gekommen ist unter 5% liegt, dann gilt es als "signifikant" (p < 0.05)

Der Test prüft Passung / Unterschiedlichkeit von Daten. Wenn das Ergebnis signifikant ist, heißt es, dass sich die Daten voneinander unterscheiden. Ist das Ergebnis nicht signifikant, passen sie zusammen.

...1 !

- 1. Faktorladung pro Faktor wird auf 1 fixiert - latente Intercepts (das sind die oberen...) auf 0

CFI, RMSEA, (S)RMR

Er überpowert schnell und führt dann zu statistisch bedeutsamen Unterschieden. (man kann sich also nicht so ganz auf ihn verlassen und sollte auch die Fit-Indizes betrachten)

gute Passung wenn der Wert < 0.08

1: perfekt - ab .95 gut 0: bad

gute Passung wenn Wert < .08 (wie RMSEA)

- die Differenz aus der empirischen und der modell-implizierten Kovarianzmatrix geteilt durch die Standardfehler - stand. Residuen stellen pro Element der Kovarianzmatrix dar, wie stark die modell-implizierte Kovarianzmatrix von der beobachteten abweicht - das Teilen durch den Standardfehler berücksichtigt die Größe von zufälligen Abweichungen und ermöglicht die Einordnung der Residuen in die Standardnormalverteilung, was die Beurteilung der Größe der Residuen erleichtert - große Residuen: große Abweichungen zwischen empirischer (beobachteter) und modell-implizierter Kovarianzmatrix bedeuten, dass wir für diese (Ko-)Varianzen die Daten noch nicht gut (genug) durch unser Modell reproduzieren können

zB bei 3 latenten Faktoren mit je 2 Variablen/Items # Messmodelle eta1 =~ y1 + y2 eta2 =~ y3 + y4 eta3 =~ y5 + y6 # Varianzen der latenten Variablen & Fehlervarianzen # werden per default durch sem() ergänzt # Fehlerkovarianzen sind per default in sem() auf 0 restringiert # Strukturmodell eta2 ~ eta1 eta3 ~ eta2 --> wenn alle Faktorladungen gleich sind dann ein a* vor jede Variable --> wenn zB Kovarianz zwischen Residuum E4 und E5 geschätzt werden soll: unter Fehlerkovarianzen ... "y4 ~~ y5" einfügen (ist aber keine theoretische Überlegung sondern pragmatische Korrektur)

Störfaktor, zB Merkmale von VPs

Einfach alle Jas & Neins zusammenzählen und durch Anzahl teilen.

Studien mit signifikanten Befunden haben eine größere Wahrscheinlichkeit veröffentlicht zu werden im Vergleich zu nicht-signifikanten Befunden. --> verzerrt Forschungslage, in Metaanalyse eingehende Studien sind nicht repräsentativ für das Forschungsfeld. Wenn Publikationsbias vorliegt sollten Studien mit kleinen ns und kleinen Effekten systematisch fehlen.

Mit einem Funnelplot!

Er ist unübersichtlich, daher simuliert man fehlende Werte via "Trim and Fill". Außerdem: Fail-safe N

Studien werden simuliert und hinzugefügt, bis der Trichter symmetrisch ist und der Bias ist "behoben"

Anzahl der Studien mit einem Effekt von 0 wird bestimmt, die nötig wäre, damit die mittlere Effektstärke nicht mehr signifikant ist.

- man schaut in der Tabelle nach - dann vergleicht man kritischen und empirischen Wert - empirischer Wert > kritischer Wert = signifikanter Unterschied: Modell wird abgelehnt

1. Fehlspezifikation der Messmodelle - Doppelladungen nicht beachtet - Korrelationen nicht spezifiziert 2. Fehlspezifikation der Zusammenhänge im Strukturmodell - andere Faktor-Struktur - methodisches Artefakt kann für korrelierte Fehler gesorgt haben (Carry over- Effekte?)

immer "im Vergleich zum Nullmodell", wenn gute Passung, dann also "passt im Vergleich zum Nullmodell deutlich besser zu den Daten"

wenig differenziert

"Bei Konstanthaltung der anderen latenten Variablen:"

Wird nicht direkt oder indirekt beeinflusst.

--> wird beeinflusst

- Weil die Stichprobengröße Einfluss auf die Teststatistik des x²-Tests hat - Fit-Funktion (Fml) gibt Abweichung der modell-implizierten Varianz-Kovarianzmatrix € von der beobachteten Varianz-Kovarianzmatrix S an - Abweichungen * (N - 1) --> bei größerem N werden gleiche Abweichungen stärker gewichtet

Kausaler Fluss geht nur in eine Richtung.

gleichwertig

Weil beide Modelle die gleiche modell-implizierte Kovarianz erzeugen (gleich gut zu den Daten passen)

Ein Experiment!

1. Äquivalente Modelle 2. Nicht-berücksichtigte Drittvariablen

Die Streuung um einen Wert.

Ob es sich um einen unterschiedlichen (random Intercept-Only) oder gleichen (Random Intercept-Fixed Slope) Verlauf handelt.

Beide Modelle in lavaan modellieren und schätzen. Fixed slope enthält Restriktionen im Gegensatz zu Random effect für slopes. Die im fixed slope-Modell restringierten Parameter werden im Random effect frei geschätzt. Anschließend werden beide getesteten Modelle mit x²-Test verglichen.

...ist am kompliziertesten! 2p + ( p(p-1) : 2 ) - q

Weil - meist lediglich Regressionen verwendet werden um Unterschiede zu erklären - übliche Probleme (Drittvariable, Unklarheit des kausalen Flusses) Kausalinterpretation verhindern

- Modell 1: ohne Restriktionen schätzen (alle Parameter frei) - Modell 2: gilt schwache Messinvarianz? (=gleiche Faktorladung über Zeitpunkte hinweg) --> zB lambda 21 = lambda 22 = lambda 23 - Vergleich Modell 1 und Modell 2 mit x²-Test --> Nicht signifikant: schwache Messinvarianz - Modell 3: starke Messinvarianz prüfen (gleiche Intercepts der Items über die Zeit annehmen) - Vergleich Modell 2 und Modell 3 mit x²-Test --> Nicht signifikant: starke Messinvarianz liegt vor - Modell 4: strikte Messinvarianz prüfen (Fehlervarianzen der Items als gleich renstringieren) - Vergleich Modell 3 und Modell 4 mit x²-Test --> Nicht signifikant: es gilt strikte Messinvarianz

Sie nimmt zu!

- Modell mit Restriktion aufstellen - Modell mit vs. ohne Restriktion mit x²-Test vergleichen - signifikant: Annahme gilt nicht

1. Gibt es systematische Unterschiede zwischen den Ausprägungen? 2. Gibt es systematische Unterschiede zwischen der Zugehörigkeit je nach Ausprägung?

Nope. Es muss sichergestellt werden, dass die Manipulation auch erfolgreich war!

Ergebnisse mit großer Vorsicht betrachten! Kausale Schlussfolgerung nur möglich wenn alle Confounder erfasst sind, was sehr schwer ist.

--> die bedingte Wahrscheinlichkeit

b1 > 0 : steigend b1 < 0 : fallend

Cohens d ist nicht erwartungsgetreu. Hedges g korrigiert diesen Bias durch den Korrekturfaktor J.

Weil beim Random-Effect-Modell zusätzlich auch noch eine systematische Abweichung berücksichtigt wird. Fixed: Gemeinsame Populationseffektgröße Random: Unterschiedliche Populationseffektgrößen