Forschungsmethoden (Fach) / 9. Metaanalyse (Lektion)

Metaanalyse

Diese Lektion wurde von Frena erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 2

• Was sind Ursachen dafür, dass Primärstudien zur gleichen psychologischen Fragestellung zumeist keine direkten Replikationsstudien voneinander darstellen und durchaus unterschiedliche oder sogar widersprüchliche Ergebnisse erbringen? Direkte Replikationsstudien = unter exakt identischen Bedingungen durchgeführt Bsp.: Sind Entspannungstechniken wirksam? inhaltlich: z.B. andere Stichproben (Studierende vs. Arbeitnehmer), andere Inteventionen (verschienene Entspannungstechniken), andere Rahmenbedingungen (Labor vs. Feld) statistisch: z.B. unterschiedliche Schätzgenauigkeit aufgrund unterschiedlicher n bzw. (in)signifikante Ergebnisse aufgrund n methodisch: z.B. unterschiedliche Versuchspläne --> (quasi-)experimentelle (mit oder ohne Kontrollgruppe) vs. nicht-experimentelle messtheoretisch: z.B. unterschiedliche Reliabilität der zur Erfassung der abhängigen Variable (AV) eingesetzten Messinstrumente
• Wie können Forscher/Praktiker/polit. Entscheidungsträger etc. trotz divergierender Ergebnisse hinsichtlich einer Fragestellung ad hoc einen Überblick über den Forschungsstand gewinnen? --> durch Verfahren zur Integration von Ergebnissen hinsichtlich einer Fragestellung (sog. Forschungssynthese): Narrative Reviews (Theoriestudie, Sammelreferat): Fassen den aktuellen Forschungsstand zusammen, indem die Ergebnisse von Primärstudien strukturiert vorgestellt und durch die Autoren subjektiv bewertet werden (z.B. bzgl. theoretischer und methodischer Schwächen). Metaanalysen: Statistische Aggregierung (= gewichtete Mittelung) von Ergebnissen verschiedener Primärstudien zu einer Fragestellung = Analyse von Datenanalysen vorliegender Studien (deswegen "Meta-Analyse"). --> die Ergebnisse der Primärstudien stellen die Untersuchungseinheiten dar und nicht einzelne Probanden.
• Nennen Sie Vor- und Nachteile 5 verschiedener Übersichtsarbeiten. Narratives Review: kein geplantes Studienprotokoll, keine systematischen a priori Kriterien (Literaturrecherche geeigneter Studien nach a priori definierten Ein- und Ausschlusskriterien), subjektive Bewertung der Literatur Systematisches Review: systematische Studienauswahl, keine quantitative Auswertung, subjektive Bewertung der Literatur Metaanalyse aggregierter Daten: systematische Studienauswahl, quantitative Zusammenfassung der Ergebnisse (z.B. Berechnung gepoolter Schätzer, Untersuchung der Heterogenität), Analysen auf Gruppenebene Metaanalyse individueller Daten: systematische Studienauswahl, quantitative Zusammenfassung der Ergebnisse, Analysen auf Personenebene (Analysen von Individualdaten) Prospektive Metaanalyse: systematische Studienauswahl, quantitative Zusammenfassung der Ergebnisse, Analysen auf Personenebene, a priori geplante Einzelstudien und Auswertung
• Schwächen narrativer und systematischer Reviews (relativ zu Metaanalysen) (sehr) große Zahl von Studien nicht darstellbar --> kein repräsentatives Ergebnis Vielfältige Verzerrungen durch Subjektivität, durch Auswahl der begutachteten Studien, durch (implizite) Gewichtung ... Integration divergierender Befunde schwierig Keine angemessene Berücksichtigung des Stichprobenfehlers Keine quantitative Aussage über die Stärke von Effekten Keine statistische Absicherung der Schlüsse
• Was sind aktuelle Weiterentwicklungen metaanalytischer Techniken? Metaanalytische Strukturgleichungsmodellierung (Cheung, 2015): zur Prüfung komplexer multivariater Zusammenhänge Reliabilitätsgeneralisierung (Vacha-Haase, 1998): metaanalytische Zusammenfassung der Messgenauigkeit von Instrumenten
• Welche zentralen Ziele verfolgt die Metaanalyse? Schätzung des Gesamteffekts (= gewichtetes Mittel der Einzelergebnisse) Identifikation von Moderatorvariablen: Existieren systematische Unterschiede zwischen den Studien, die die Höhe des Effekts systematisch beeinflussen?
• Grundidee der Metaanalyse aggregierter Daten Berechnung von Punktschätzungen und Konfidenzintervallen für interessierende Parameter Analyse der Heterogenität durch Einbeziehung von Drittvariablen Implikationen: Erhöhung der Testpower Untersuchung von neuen Fragestellungen Voraussetzung: Replizierbarkeit: Das Vorgehen der Metaanalyse muss von anderen Forschern nachvollzogen werden können, um prinzipiell die Metaanalyse und deren Ergebnisse replizieren zu können --> ! genaue Dokumentation aller Schritte und Entscheidungen notwendig !
• Ablaufschritte der Metaanalyse Definition der Fragestellung Sammlung der Studien Auswahl der Studien Erfassung der Ergebnisse Auswertung Interpretation & Dokumentation
• Klassen von Effektstärken Die zentrale Statistik der Metaanalyse ist die Effektstärke. I.d.R. wird aus jeder Primärstudie (mindestens) ein Effektstärke-Maß extrahiert und über diese aus vielen Studien gewonnenen Maße dann später aggregiert. Die Haupt-Klassen von Effektstärke-Maßen sind: Standardisierte Mittelwertsunterschiede (d-Familie; von δ): z.B. zwischen einer Experimental- und einer Kontrollgruppe in der Psychotherapieforschung Korrelationskoeffizienten (r-Familie): z.B. Kriteriumsvalidität eines Personalauswahlverfahrens Proportionen (Risiko Maße): bestimmen Unterschiede in der Auftretenswahrscheinlichkeit eines bestimmten Ergebnisses (z.B. einer Erkrankung) unter zwei oder mehr verschiedenen Bedingungen: z.B. Lungenkrebs bei Rauchern vs. Nichtrauchern: 9.5-mal wahrscheinlicher --> eher im medizinischen Bereich relevant! Innerhalb dieser Klassen gibt es weitere Untertypen. Die Wahl des geeigneten Effektstärkemaßes hängt i.d.R. vom Skalenniveau der Variablen (2 metrische Variablen --> Produkt-Moment-Korrelation) sowie vom Untersuchungsdesign ab (z.B. experimentell --> d-Familie)
• Wie berechnet man Effektstärken (ES) für Gruppenvergleiche? Beispiel: Sie führen eine Metaanalyse zur Wirksamkeit eines Medikaments durch, das die Gedächtnisleistung steigern soll. In den Primärstudien wurden zur Messung der AV unterschiedliche Tests verwendet. Die Pbn sollten Wortlisten frei reproduzieren, die in einem Test 15, im anderen aber 30 Wörter enthielten. Würden sich EG und KG in beiden Studien um 5 Worte unterscheiden, so wäre dies in der Studie mit 15 Worten deutlich beeindruckender (dort dürfte die Streuung geringer sein). Auf Cohen (1962) geht daher der Vorschlag zurück, den Mittelwertsunterschied (zwischen zwei unabhängigen Gruppen, hier als EG und KG bezeichnet) an der Standardabweichung s der AV zu relativieren: ES = (XEG - XKG)/s [Differenz der Mittelwerte / Standardabweichung] Cohens δ kann Werte zwischen -∞ und +∞ annehmen. 0 = kein Unterschied +1 = Gruppen unterscheiden sich um eine Standardabweichung, z.B. Leistung der EG liegt eine s über der KG (Deutung ähnelt der von z-Werten). Die Standardabweichung s kann dabei auf verschiedene Weise bestimmt werden, die in der Literatur eher uneinheitlich bezeichnet werden: s = sKG (ES = d nach Glass) oder s = sgepoolt (ES = g nach Hedges) Beide Maße gehören zur d-Familie. Glass d wird empfohlen, wenn die Varianzen von KG und EG sich - durch die Intervention - ebenfalls stark unterscheiden (heterogen). s der KG ist unbeeinflusst von der Intervention. Hedges g wird bei homogenen Varianzen empfohlen, wie sie z.B. beim t-Test für unabhängige Gruppen auf Populationsebene gefordert werden. Die Gewichtung mit den Stichprobenumfängen nEG und nKG dient der Erhöhung der Schätzgenauigkeit der "gemeinsamen" Standardabweichung. Insbesondere bei kleinen Stichproben (N = nEG + nKG < 20) ist g verzerrt und kann entsprechend korrigiert werden: ES = g · [1 - 3 / (4 · N - 9)]
• Warum werden Effektstärken in der Metaanalyse benötigt? Sie sind unabhängig vom Maßstab der betrachteten AVs (= standardisierte Maße) und eignen sich daher zum Vergleich von Ergebnissen über Studien hinweg. Beispiel: Sie führen eine Metaanalyse zur Wirksamkeit eines Medikaments durch, das die Gedächtnisleistung steigern soll. In den Primärstudien wurden zur Messung der AV unterschiedliche Tests verwendet. Die Pbn sollten Wortlisten frei reproduzieren, die in einem Test 15, im anderen aber 30 Wörter enthielten. Würden sich EG und KG in beiden Studien um 5 Worte unterscheiden, so wäre dies in der Studie mit 15 Worten deutlich beeindruckender (dort dürfte die Streuung geringer sein).
• Wie berechnet man die Effektstärken für Zusammenhänge? Als Effektstärke für den Zusammenhang von zwei kontinuierlichen Variablen dient die Produkt-Moment-Korrelation: r = [COV(X,Y)] / (sX · sY) Korrelationskoeffizienten (r-Familie) sind direkt als standardisierte Effektstärken nutzbar, weil sie bereits an der jeweiligen Streuung relativiert sind. Ihr Wertebereich liegt zwischen -1 und +1. Häufiger werden aufgrund günstigerer Vereilungseigenschaften statt r die Fisher-Z-transformierten rz herangezogen: rz = 1/2 · ln [(1+r) / (1-r)] Rückkonvertierung: r = (e2rz - 1) / (e2rz + 1) [mit e = Exponentialfunktion]
• Wie muss bei der Transformation von Effektstärken vorgegangen werden? Soll im Zuge einer Metaanalyse über die Effektstärke zahlreicher Primärstudien aggregiert werden, sind u.U. zunächst die verschiedenen Effektstärke-Maße zu vereinheitlichen: z.B. wenn es korrelative Studien (z.B. pro Woche mit „Gewaltspielen“ verbrachten Stunden & Anzahl aggressiver Verhaltensweisen im Bericht durch die Eltern) und experimentelle Studien zu ihrer Fragestellung gibt (z.B. zeigt Gruppe mit gewalthaltigem Spiel verglichen mit KG aggressiveres Verhalten). Es existieren diverse Formeln zur wechselseitigen Transformation gängiger ES-Maße, die in der einschlägigen Literatur zu finden sind ES = g mit r gegeben vs. ES = r mit g gegeben
• Wann und wie müssen Effektstärken rekonstruiert werden? Im Rahmen der Metaanalyse müssen die benötigten Informationen zur Bestimmung der Effektstärken (z.B. Mittelwerte und Standardabweichungen) aus den Primärstudien entnommen werden. Liegen die benötigten Informationen - wie häufig - nicht direkt vor, müssen die entsprechenden Informationen rekonstruiert werden, um die Primärstudie aufnehmen zu können (wünschenswert für repräsentative Stichprobenauswahl!). Folgende Möglichkeiten bestehen: 1. Die Autoren der Primärstudie kontaktieren und die fehlenden Informationen erfragen. 2. Nutzung bekannter funktionaler Beziehungen zwischen berichteten Statistiken und den ES. 3. Substitution, z.B. von ES = 0 für nicht signifikante Effekte, wenn keine genaueren Statistiken berichtet werden. Diese Strategie ist sehr konservativ und kann die Schätzung des Gesamteffekts verzerren. Als letzter Ausweg, falls keine der obigen Varianten möglich oder angemessen erscheint, verbleibt die Elimination der Primärstudie. Im Falle einfaktorieller Varianzanalysen können die Formeln für den t-Wert verwendet werden, da F = t2. Umrechnungen und Abschätzungen sind auch für andere Zielgrößen (z.B. nur die Standardabweichung) und andere vorliegende Informationen (z.B. nur Signifikanzangaben) möglich.
• Wie wird bei der Formulierung der Fragestellung vorgegangen? Klare Definition des Forschungsziels und Festlegung der zentralen Variablen: - Univariate Statistik als AV: Ausprägung einer Statistik (z.B. Prozentsatz depressiver Mitglieder einer Population). - Bivariate Zusammenhänge als AV: Zusammenhang von 2 Variablen (z.B. zwischen Leistungsmotivation und Arbeitsproduktivität). - Unterschiede zwischen Subgruppen als AV: Unterschiede zwischen natürlich oder experimentell definierten Gruppen, z.B. Unterschiede in der Fähigkeit zur mentalen Rotation zwischen männlichen und weiblichen Probanden. - Multivariate Zusammenhänge: (möglichst theoriegeleitete) Bestimmung moderierender Drittvariablen.
• Was sind Ein- und Ausschlusskriterien? Ein- und Ausschlusskriterien können sowohl auf inhaltlicher Ebene als auch aus methodischer Sicht stattfinden: Inhaltliche Kriterien können beispielsweise sein: - Inhaltliche Fragestellungen - Kontexteingrenzungen Methodische Kriterien können beispielsweise sein: - Randomisierung oder andere Designs - Verblindung - Stichprobenplanung Das Festlegen von Ein- und Ausschlusskriterien in theoretischer und methodischer Hinsicht sind der elementare Bestandteil und die Basis von Metaanalysen.
• Wann ist eine Transformation von Effektstärken notwendig? Soll im Zuge einer Metaanalyse über die ES zahlreicher Primärstudien aggregiert werden, sind u.U. zunächst die verschiedenen ES-Maße zu vereinheitlichen: z.B. wenn es korrelative Studien (z.B. pro Woche mit "Gewaltspielen" verbrachte Stunden & Anzahl aggressiver Verhaltensweisen im Bericht durch die Eltern) und experimentelle Studien zu ihrer Fragestellung gibt (z.B. zeigt Gruppe mit gewalthaltigem Spiel vgl. mit KG aggressiveres Verhalten)
• Wie können Effektstärken transformiert werden? Es existieren diverse Formeln zur wechselseitigen Transformation gängiger ES-Maße: Geg. ist r: ES = g --> g = ... Geg. ist g: ES = r --> r = ...
• Beschreiben Sie ein Anwendungsbeispiel zur Metaanalyse. Verstärken künstliche Farbstoffe die Verhaltenssymptomatik bei Kindern mit ADHS? - Eine strenge Diät unter Verzicht auf künstliche Farbstoffe, natürlich vorkommende Salicylate, künstliche Aromen und bestimmte Konservierungsstoffe soll eine Möglichkeit darstellen, AHDS-Symptome zu reduzieren. - Viele Studienergebnisse zeigen moderate Effekte dieser Diät, aber durchaus auch widersprüchliche Befunde. - Ärzte raten selten zu dieser strengen Diät. --> Die Wirksamkeit dieser Diät soll systematisch untersucht werden, da sie eine Alternative zu Psychopharmaka ohne deren Nebenwirkungen darstellen könnte.
• Wie formuliert man eine Fragestellung bei der Metaanalyse? 1. Das Forschungsziel muss klar definiert werden. 2. Die zentralen Variablen müssen festgelegt werden: - Univariate Statistik als AV: Ausprägung einer Statistik (z.B.: Prozentsatz depressiver Mitglieder einer Population) - Bivariate Zusammenhänge als AV: Zusammenhang von zwei Variablen (z.B. zwischen Leistungsmotivation und Arbeitsproduktivität) - Unterschiede zwischen Subgruppen als AV: Unterschiede zwischen natürlichen oder experimentell definierten Gruppen, z.B. Unterschiede in der Fähigkeit zur mentalen Rotation zwischen männlichen und weiblichen Probanden - Multivariate Zusammenhänge: (möglichst theoriegeleitete) Bestimmung moderierender Drittvariablen
• Ein- und Ausschlusskriterien für die Definition der Fragestellung bei Metaanalysen Ein- und Ausschlusskriterien können sowohl auf inhaltlicher Ebene als auch aus methodischer Sicht stattfinden: Inhaltliche Kriterien können bspw. sein: - Inhaltliche Fragestellungen - Kontexteingrenzungen Methodische Kriterien können bspw. sein: - Randomisierung oder andere Designs - Verblindung - Stichprobenplanung Das Festlegen von Ein- und Ausschlusskriterien in theoretischer und methodischer Hinsicht sind der elementare Bestandteil und die Basis von Metaanalysen!
• Geben Sie ein Beispiel für die Definition einer Fragestellung. Hauptziel: Der Einfluss von Farbstoffen auf die Symptomatik bei Hyperaktivität in Bezug auf Verhaltensskalen 3 Unterhypothesen: 1. Hypothese: Eltern und Lehrer berichten die Symptomatik der Kinder in Bezug auf Farbstoffe unterschiedlich; d.h. Lehrer berichten häufiger Symptome als Eltern in pharmazeutischen Trials. 2. Hypothese: Offene Trials und Elternberichte können als Screening-Verfahren genutzt werden, um die Reaktionen der Kinder einzustufen. 3. Hypothese: Farbstoffe wirken stärker bei professionell diagnostizierter ADHS als bei informell diagnostizierter.
• Geben Sie ein Beispiel für die Definition von Ein- und Ausschlusskriterien. 1. Doppelblindstudien mit Placebo- und Kontrollgruppen 2. Kinder unter 18 Jahren 3. A priori definierte Kriterien für ADHS (z.B. DSM III, klinische Bewertung ohne DSM, Score auf Fragebogen etc.) 4. Bestimmte Untersuchungsdesigns 5. Verhaltensratings
• Wie ist bei der Literaturrecherche (= Sammlung der Studien) vorzugehen? Die Stichprobe der Primärstudien soll repräsentativ für die Zielpopulation aller Studien zu der betreffenden Fragestellung sein. Daher sollten multiple Suchstrategien zur möglichst vollständigen Erfassung aller thematisch einschlägigen Arbeiten (inkl. grauer Literatur) angewandt werden: - Bücher, Zeitschriften, Dissertationen, v.a. Überblicksarbeiten - graue Literatur (Institutsreihen, Proceedings ...) - Elektronische Datenbanken (PsycINFO, Psyndex, MedLine, ERIC, Wiso …) - Literaturverzeichnisse relevanter Publikationen - Forschungsregister, z.B. der Cochrane Collaboration oder Campbell Collaboration - Diplom- und Dissertationsregister (z.B. Dissertation Abstracts International) - per Rückverzweigung und Vorwärtsverzweigung (z.B. via Google Scholar) - Kontakt mit einschlägig Forschenden Wünschenswert ist hoher recall (= Zahl der relevanten aufgefundenen Studien / Zahl aller relevanten Studien) und hohe precision (= Zahl der relevanten aufgefundenen Studien / Zahl der durchsuchten Studien) Weiteres Vorgehen: Suche nach Dissertationen, Suche nach Literaturverzeichnissen
• Wie ist bei der Auswahl der Studien (Literaturrecherche) vorzugehen? Worauf ist zu achten? Nach der ersten Sichtung der Studien (über Titel, Abstract und Keywords), muss über eindeutige Inklusions- (bzw. Exklusionskriterien) bzgl. aller relevanten Variablen, z.B. Art des Treatments, Stichprobe, abhängige Variablen entschieden werden, welche Studien in die Metaanalyse aufgenommen werden. Garbage in - Garbage Out: - Ausschluss von Primärstudien minderer Qualität, die methodischen Mindeststandards nicht genügen (v.a. hinreichend hohe interne Validität und Teststärke), da ES schlecht kontrollierter Studien (z.B. keine Randomisierung) stärker variieren als ES methodisch gut durchdachter Studien. Besser: Berücksichtigung aller Studien zur Wahrung der Repräsentativität: --- Dabei wird die Qualität der Studie (z.B. auf einer Ratingskala oder in kategorialen Variablen) kodiert und als Moderator(en) aufgenommen. --- Qualität: z.B. validitätsmindernde Faktoren wie fehlende KG, keine Randomisierung, mangelnde Reliabilität der Instrumente. --- Die Qualitätsvariable(n) wird anschließend mit der Größe des Effekts in Beziehung gesetzt (Moderatoranalyse). Äpfel-und-Birnen Problem: - Nur Primärstudien berücksichtigen, die hinsichtlich der untersuchten unabhängigen und abhängigen Variablen ausreichend ähnlich sind. - Zusammenfassung von Ergebnissen sind nur dann sinnvoll, wenn alle AVs Indikatoren eines gemeinsamen inhaltlichen Konstrukts sind. - Verschiedene Operationalisierungen können über Subgruppenanalysen im Rahmen von Metaanalysen untersucht werden. - Eine gewisse Heterogenität ist wünschenswert für die Generalisierbarkeit.
• Was ist bei der Erfassung von Ergebnissen zu beachten? Den Primärstudien werden die Information zur Berechnung der Effektstärke (ES) sowie über angedachte Moderatoren (z.B. Studenten (Ja/Nein), % Frauen, Zufallsstichprobe (Ja/Nein)) entnommen und in Datenbanken oder spezialisierten Metaanalyse-Programmen gespeichert: - z.B. inhaltlich relevante Variablen (Art des Treatments, Art der Stichprobe etc.) - z.B. Variablen der methodischen Qualität (z.B. Randomisierung, Reliabilität AV) - z.B. Art der Publikation (Zeitschrift, graue Literatur), Veröffentlichungsjahr etc. Sinnvoll ist es ein Kodierhandbuch zu erstellen, in dem beschrieben wird, welche Variablen aus den Primärstudien zu entnehmen sind und wie sie zu kodieren sind. Idealerweise sollte zusätzlich geprüft werden, ob mind. zwei unabhängige Kodierer zu übereinstimmenden Ergebnissen kommen (sog. Beurteilerübereinstimmung)
• Auswertungsschritte bei der Metaanalyse Der Begriff „Metaanalyse“ ist dabei ein Oberbegriff für verschiedene Auswertungsstrategien, die in ihrem grundsätzlichen Ablauf vergleichbar sind, sich aber z.B. darin unterscheiden, wie sie mit Primärstudien umgehen, die mehrere ES liefern (Abhängigkeit). Grundlegender Ablauf: 1. Bestimmung der Effektstärken der Primärstudien 2. Ggf. Korrekturen der Effektstärken: z.B. kann r um die Unreliabilität der Messinstrumente korrigiert werden oder um das Problem einer evtl. Varianzeinschränkung 3. Berechnungen der (gewichteten) mittleren Effektstärke: Bei der Mittelung der ES der Primärstudien werden Studien mit größerem n höher gewichtet, da sie die ES der Population i.d.R. genauer schätzen. 4. Signifikanztest und Konfidenzintervall für den Gesamteffekt (≠ 0?) 5. Ggf. Durchführen von Moderatoranalysen: getrennt für kategoriale (z.B. KG vorhanden?) und koninuierliche (z.B. Studienjahr) Moderatoren mit ANOVAs bzw. multiple Regression
• Statistische Auswertung: Wie können Effektstärken korrigiert werden? Problem: Umgang mit Effektstärken, die nicht unabhängig voneinander sind (z.B. durch multiple abhängige Variablen, Interventionsgruppen oder Messzeitpunkte in einer Studie; Vorsicht auch bei Mehrfachpublikationen) Strategien zum Umgang mit dem Problem der Abhängigkeit sind: - Eliminieren, d.h. Berücksichtigung nur einer Effektstärke (aber: welche?) - Aggregieren, z.B. Mittelung (selten aufwendiger multivariat) - Separieren, z.B. getrennte Analysen für unterschiedliche AVs - (Ignorieren) - Statistisch die Abhängigkeit berücksichtigen mittels Mehrebenenanalyse Nach Berechnung der Effektstärken und den ggf. vorgenommenen Korrekturen werden in der Methode von Schmidt und Hunter (2015) vorab noch Adjustierungen für methodische Artefakte vorgenommen, z.B. bezüglich der … - Reliabilität der Messinstrumente (ES = ES / √Rel ) - Varianzeinschränkung (range restriction) --> Das Resultat sind Effektstärken unter "idealen" Bedingungen.
• Wann und wie müssen Effektstärken korrigiert werden? Wenn Effektstärken nicht unabhängig voneinander sind (z.B. durch multiple abhängige Variablen, Interventionsgruppen oder Messzeitpunkte in einer Studie; Vorsicht auch bei Mehrfachpublikationen) --> Problem: Umgang mit voneinander abhängigen Effektstärken Strategien zum Umgang mit dem Problem der Abhängigkeit sind: - Eliminieren, d.h. Berücksichtigung nur einer Effektstärke (aber: welche?) - Aggregieren [Zusammenfassung], z.B. Mittelung (selten aufwendiger multivariat) - Separieren, z.B. getrennte Analysen für unterschiedliche AVs - (Ignorieren) - Statistisch die Abhängigkeit berücksichtigen mittels Mehrebenenanalyse Nach Berechnung der Effektstärken und den ggf. vorgenommenen Korrekturen werden in der Methode von Schmidt und Hunter (2015) vorab noch Adjustierungen für methodische Artefakte vorgenommen, z.B. bezüglich der - Reliabilität der Messinstrumente (ES = ES / √Rel) - Varianzeinschränkung (range restriction) --> Das Resultat sind Effektstärken unter "idealen" Bedingungen.
• Warum und wie wird eine Präzisionsgewichtung durchgeführt? Der wahre Effekt θ (theta) in der Population wird durch Mittelung der beobachteten ESi der Primärstudien bestimmt. Da Primärstudien i.d.R. in ihrem Stichprobenumfang und damit in ihrer Präzision der Schätzung von θ variieren, erfolgt eine gewichtete Mittelung bei der einer Primärstudie i (i = 1 ... k) mit größerem ni auch ein größeres Gewicht wi beigemessen wird. Statt mit wi=ni zu gewichten, ist besser mit dem Kehrwert der Varianz vi in der Primärstudie zu gewichten: - Dazu zieht man den quadrierten Standardfehler SEi von ESi heran: wi = 1/vi = 1/SEi2 - SEi wird in Abhängigkeit vom Effektstärkemaß bestimmt
• Wie kann der Populationsschätzer ermittelt werden und welches Ziel wird dabei verfolgt? Schritte: 1. Bestimmung der ESi und ggf. Transformationen und Adjustierungen 2. Bestimmung der Gewichte wi als Kehrwerte der quadrierten Standardfehler SEi 3. Gewichtung der Effektstärken 4. Summierung über Gewichte und gewichtete Effektstärken 5. Berechnung der mittleren (gewichteten) Effektstärke θˆ 6. Berechnung des Standardfehlers von θˆ: SE(θˆ) Ziel: Schätzung des wahren Effekts θ
• Wie wird die Intervallschätzung ermittelt? Ermittlung des Populationsschätzers: 1. Bestimmung der ESi und ggf. Transformationen und Adjustierungen 2. Bestimmung der Gewichte wi als Kehrwerte der quadrierten Standardfehler SEi 3. Gewichtung der Effektstärken 4. Summierung über Gewichte und gewichtete Effektstärken 5. Berechnung der mittleren (gewichteten) Effektstärke θˆ 6. Berechnung des Standardfehlers von θˆ: SE(θˆ) Ermittlung der Intervallschätzung anschließend an Ermittlung des Populationsschätzers: 7. Inferenzstatistischer z-Test der Nullhypothese, dass die Effektstärke in der Population 0 (H0: θ=0) ist: z = θˆ / SE(θˆ) Ist z bei α=0.05 größer als zkrit = z1-α/2 = 1.96, so ist die Effektstärke statistisch signifikant von 0 verschieden. 8. Bestimmung des 95%-Konfidenzintervalls (α=0.05): θˆ±z1-α/2⋅SE(θˆ)
• Was ist unter dem "Modell fixer Effekte" zu verstehen? Auch Fixed-Effects-Modell In einem Fixed Effects-Modell nehmen wir an, dass unbeobachtete, individuelle Charakteristika wie Geschlecht, Intelligenz oder Präferenzen konstant oder eben „fix“ sind. Statistisches Modell zur Zusammenfassung von Ergebnissen einzelner Studien, wobei angenommen wird, dass alle Studien den gleichen Effekt schätzen (also ein gemeinsamer wahrer Effekt θ (Theta) existiert, auf den alle beobachteten Effektstärken zurückzuführen sind) und Unterschiede nur durch zufällige Abweichung bedingt sind.
• Wie kann die Homogenität der Effektstärken geprüft werden? Der dargestellten Teststatistik liegt die Annahme homogener Effektstärken zugrunde, d.h., dass ein gemeinsamer wahrer Wert θ (Theta) existiert, auf den alle beobachteten Effektstärken zurückzuführen sind (= Modell fixer Effekte) Die Annahme, dass alle Effektstärken aus einer Population stammen, kann über Homogenitätsanalysen inferenzstatistisch geprüft werden.
• Was gilt für den Fall, wenn die Annahme der Homogenität der Effektstärken NICHT zutrifft? Stellt sich heraus, dass die Annahme, dass alle Effektstärken aus einer Population stammen, nicht zutrifft, also Heterogenität vorliegt, so ... • ist die mittlere Effektstärke keine gute Beschreibung der Verteilung der Effektstärken • gibt es Unterschiede zwischen den Studien (d.h. die Studien stammen aus unterschiedlichen Populationen), die nicht auf Stichprobenfehler (oder ggf. andere Artefakte) zurückgehen • kann man versuchen Drittvariablen zu identifizieren, die diese Unterschiede bedingen (Moderatoranalysen), oder die Heterogenität durch Wahl eines alternativen metaanalytischen Ansatzes zu modellieren (Modell zufälliger Effekte) --> Man betrachtet Heterogenität entweder als Ergebnis eines zufälligen Prozessses oder versucht sie durch Drittvariablen zu erklären.
• Was versteht man unter der Moderatoranalyse? Die Moderatoranalyse und Mediatoranalyse sind zwei Spezialformen der multiplen Regression. Es wird dabei jeweils untersucht, inwiefern eine dritte Variable den Zusammenhang zwischen einer unabhängigen Variable (UV) und einer abhängigen Variable (AV) beeinflusst. Bei der Moderatoranalyse geht man davon aus, dass sich die dritte Variable (= Moderatorvariable) direkt auf die Beziehung zwischen UV und AV auswirkt. Das heißt, je nach Veränderung der Ausprägung der Moderatorvariable ändert sich auch der Zusammenhang zwischen UV und AV. Mathematisch betrachtet wird dann untersucht, wie sich die UV, die Moderatorvariable sowie die Interaktion zwischen UV und Moderatorvariable auf die AV auswirken. Die Art der Analyse von Moderatoren hängt von deren Typus ab: • kategoriale Variablen: einfaktorielle Varianzanalysen • kontinuierliche Variable (oder mehrere Variablen): (multiple) Regressionsanalyse
• Was versteht man unter dem Modell zufälliger Effekte? Auch Random Effects-Modell oder Mixed Effects-Modell Im Gegensatz zu Fixed Effects-Modellen betrachtet das Random Effects-Modell individuelle, unbeobachtete Effekte als zufällige Effekte. (Im Fixed Effects-Modell werden unbeobachtete, individuelle Effekte als über die Zeit konstante oder fixe Effekte angenommen.) In einem Random Effects-Modell betrachtest Du diese nun als Zufallsvariablen. Deshalb werden Random Effects-Modelle auch als Mixed Effects-Modelle bezeichnet. Es werden sowohl Effekte von Variablen geschätzt, die zwischen den Individuen variieren, als auch von Variablen, die innerhalb der Individuen variieren. Fixed Effects-Modelle konzentrieren sich dagegen nur auf die Varianz innerhalb der Individuen („within“-Schätzung).
• Wie geht man bei der Homogenitätsanalyse vor? Berechnung der Homogenitätsstatistik Q(H0: θ1=...=θk) als gewichtete Summe der Abweichungsquadrate der ESi Achtung: geringe Teststärke, v.a. bei kleinen N! Die Homogenitätsannahme sollte nur als bestätigt angenommen werden, wenn: • Q für α = 0.10 nicht signifikant wird. • Der Test mind. eine Teststärke von 90% aufweist.
• Wie wird bei der Subgruppenanalyse vorgegangen? Analog zum Gesamt-Homogenitätstest wird die Q-Statistik für jede der j Gruppen (Modj) bestimmt. Der Logik der Varianzanalyse folgend lässt sich Q (im globalen Homogenitätstest) zerlegen in Qin und Qzw. Bei der Analyse kontinuierlicher (intervallskalierter) Moderatoren oder der simultanen Betrachtung mehrerer Moderatoren kann die gewichtete multiple Regression (Metaregression) als Verfahren herangezogen werden (in der auch kategoriale Moderatoren per Dummy‐Codierung einbezogen werden können).
• Was versteht man unter Metaregression? Analog zum allgemeinen linearen Modell. Darstellung: Regressionsgerade durch die vorhergesagten ES mit beobachteten ES als Kreis (Größe proportional zu Gewicht) Vorteil: Ermöglicht die Berücksichtigung systematischer (nicht zufallsbedingter) Unterschiede zwischen den Studien.
• Erläutern Sie die Homogenität der Effektstärken! Der dargestellten Teststatistik liegt die Annahme homogener Effektstärken zu Grunde, d.h., dass ein gemeinsamer wahrer Effekt θ existiert, auf den alle beobachteten ES zurückzuführen sind (= Modell fixer Effekte). Die Annahme, dass alle ES aus einer Population stammen, kann über Homogenitätsanalysen inferenzstatistisch geprüft werden. Stellt sich heraus, dass dies nicht der Fall ist, also Heterogenität vorliegt, so ... - ist die mittlere Effektstärke keine gute Beschreibung der Verteilung der ES - gibt es Unterschiede zwischen den Studien (d.h. die Studien stammen aus unterschiedlichen Populationen), die nicht auf Stichprobenfehler (oder ggf. andere Artefakte) zurückgehen - kann man versuchen Drittvariablen zu identifizieren, die diese Unterschiede bedingen (Moderatoranalysen), oder die Heterogenität durch Wahl eines alternativen metaanalytischen Ansatzes zu modellieren (Modell zufälliger Effekte) Man betrachtet Heterogenität entweder als Ergebnis eines zufälligen Prozesses oder versucht, sie durch Drittvariablen zu erklären. Die Art der Analyse von Moderatoren hängt von deren Typus ab: - kategoriale Variablen: einfaktorielle Varianzanalysen - kontinuierliche Variable (oder mehrere Variablen): (multiple) Regressionsanalyse
• Homogenitätsanalyse: Wann wird die Homogenitätsannahme als bestätigt angenommen? Homogenitätsstatistik Q (geringe Teststärke bei kleinen N!) Die Homogenitätsannahme sollte nur als bestätigt angenommen werden, wenn: - Q für α=0.10 nicht signifikant wird. - der Test mind. eine Teststärke von 90% aufweist.
• Subgruppenanalyse Der Logik der Varianzanalyse folgend lässt sich Q (im globalen Homogenitätstest) zerlegen in Qin (Homogenität innerhalb der Gruppen) und Qzw (Homogenität zwischen den Gruppen). --> wenn zwischen den Gruppen ein signifikanter Unterschied besteht: handelt sich um einen Moderator, der Unterschiede zwischen den Effektstärken aufklärt. Bei der Analyse kontinuierlicher (intervallskalierter) Moderatoren oder der simultanen Betrachtung mehrerer Moderatoren kann die gewichtete multiple Regression (Metaregression) als Verfahren herangezogen werden (in der auch kategoriale Moderatoren per Dummy-Codierung einbezogen werden können). Analog zu Varianzanalysen: AV = Effektgröße und UV = Studienmerkmale(mit Gewichtung der Studien entsprechend der Stichprobengrößen; weighted least squares)
• Metaregression Analog zu allgemeinem linearen Modell: AV = Effektgröße und UV = Studienmerkmale (mit Gewichtung der Studien entsprechend der Stichprobengrößen; weighted least squares) Regressionsgerade der vorhergesagten ES mit beobachteten ES als Kreise (Größe der Kreise proportional zu Gewicht) --> ermöglicht die Berücksichtigung systematischer (nicht zufallsbedingter) Unterschiede zwischen den Studien.
• Modellierung der Heterogenität Anstelle von Moderatoranalysen zur Erklärung der identifizierten Heterogenität in den ESi, kann Heterogenität auch explizit im metaanalytischen Modell durch Berücksichtigung einer zusätzlichen Variationsquelle modelliert werden. Im Gegensatz zum bislang vorgestellten Modell fixer Effekte (fixed effect model), das von einem einzigen Populationsparameter für alle beobachteten ESi ausgeht, nimmt das Modell zufälliger Effekte (random effects model) an, dass die Heterogenität Ergebnis eines Zufallsprozesses ist: - Die Annahme eines einzigen Parameters (wahren Werts) für alle Primärstudien wird aufgegeben. - Die Parameter selbst sind Realisationen einer Zufallsvariablen. - In aller Regel werden die Parameter als normalverteilt angenommen. - Es liegen somit zwei Varianzquellen vor, die Unterschiede in beobachteten ES bedingen:   1. Varianz des Parameters   2. Varianz der Stichprobenstatistik --> Das Modell zufälliger Effekte ist für viele psychologische Fragestellungen im Vergleich zum Modell fixer Effekte eine realistischere Annahme.
• Erläutern Sie das Modell fixer Effekte! 1. Annahme eines wahren Parameters für alle Studien 2. Variabilität der Stichprobenstatistiken beruht ausschließlich auf Stichprobenfehlern 3. Die Schätzung des wahren Parameters erfolgt auf Basis der Stichprobenstatistiken
• Erläutern Sie das Modell zufälliger Effekte! 1. Annahme unterschiedlicher wahrer Parameter für jede Studie 2. Variabilität der Stichprobenstatistiken beruht auf Stichproben- und zufälligen Fehlern 3. Die Schätzung des wahren Parameters erfolgt auf Basis der Stichprobenstatistiken. (Achtung: Die Berechnung von ?^ erfolgt nach einem anderen Verfahren)
• Erläutern Sie das Problem der Publikationsverzerrung und mögliche Gegenmaßnahmen! Publikationsverzerrung („Publication bias“ oder „file drawer“-Problem): Nur Studien, die in etablierten und leicht zugänglichen Zeitschriften publiziert wurden, werden für die Metaanalyse berücksichtigt. Insignifikante oder theoriekonträre Ergebnisse (z.B. positive statt hypothetisierte negative Korrelation) werden überzufällig häufig nicht zur Publikation angenommen oder bleiben gleich in der "Schublade" des Forschers (auch als Confirmation Bias bezeichnet). --> Sind dann als Primärstudien in Metaanalysen unterrepräsentiert. Dadurch wird die Stärke des Gesamteffekts systematisch überschätzt (= Publication Bias). Aus wissenschaftstheoretischer Sicht tragen nichtsignifikante Ergebnisse natürlich ebenso zum Erkenntnisfortschritt bei (Stichwort: Falsifikation). Gegenmaßnahmen: - Beschaffung unpublizierter Primärstudien - Verfahren zur Abschätzung der Verzerrung (z.B. Funnel Plots)
• Was versteht man unter "Publication Bias"? = verzerrte Darstellung der Befundlage in wissenschaftlichen Zeitschriften, da signifikante Ergebnisse häufiger veröffentlicht werden. --> Folge: Effekte werden überschätzt
• Wie kann Publication Bias identifiziert werden? In Funnel-Plots (deutsch: Trichter) werden die Stichprobengrößen (y-Achse) (oder Standardfehler der ES) gegen die Effektstärken (x-Achse) abgetragen. Wenn alle Ergebnisse veröffentlicht würden, wäre der Funnel-Plot umgekehrt trichterförmig. Publication Bias läge vor, wenn insignifikante Ergebnisse (links (unten) auf der x-Achse) nicht veröffentlicht würden. "Funnel" wäre dann nicht symmetrisch (Lücke unten links). Rosenthal (1979) schlug vor, die Anzahl an Studien mit einem Nulleffekt zu bestimmen, die existieren müssten, damit der erhaltenen Effekt nicht mehr signifikant wird (Fail-safe N). Orwin (1983): Bestimmen der Zahl fehlender Primärstudien mit Nulleffekten (k0), die notwendig wären, um den erhaltenen mittleren Effekt (?^? auf Basis von k Studien) unter eine bestimmte Grenze (= ?^? > 0) zu senken. Interpretation (nur bei ?^krit = 0.01 ≈ 0.00): Wird ein Fail-Safe-N ermittelt, das deutlich höher als die Zahl der identifizierten Studien k oder das sogar höher als 5k + 10 liegt, gilt der metaanalytische Befund als inhaltlich gesichert und nicht als Artefakt von Publication Bias (Rosenthal, 1991) --> bei einem Fail-safe N von k0 = 333.90 müssten ca. 334 unpublizierte Studien mit Nulleffekten in die Metaanalyse einbezogen werden, um den identifizierten ?^k von 0.41 auf 0.20 zu reduzieren.

zurück  |  weiter 1 / 2