Forschungsmethoden (Subject) / 8. Veränderungsmessung (Lesson)

Veränderungsmessung

This lesson was created by Frena.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 1

• Wie kann Veränderung gemessen werden? Trendstudie: Zeitlich wiederholte Messung der AV auf Basis vergleichbarer Stichproben, jedoch anderer Einheiten (Personen).--> Fokus auf die Aggregatebene (Makroebene): Messung der zeitlichen Veränderung der Aggregatzustände der AV. Panelstudie: Zeitlich wiederholte Messung der AV auf Basis der gleichen Stichprobe, zeitliche Verfolgung der gleichen Einheiten (Personen).--> Fokus auf die Individualebene (Mikroebene): Messung der zeitlichen Veränderung der AV für einzelne Individuen. Untersuchungsdesigns: Prospektives Längsschnittdesign: Datenerhebung zu mehreren Zeitpunkten: Zeitgleiche direkte Messung der AV zu verschiedenen Zeitpunkten. Retrospektives Längsschnittdesign: Datenerhebung zu einem Zeitpunkt: Retrospektive Erfragung des Zustands der AV zu früheren Zeitpunkten in einer späteren Befragung.
• Probleme bei Längsschnittdesigns Forschungsmethodische Probleme: Wunsch, konsistent zu antworten Hawthorneeffekt (Vpn ändern ihr natürliches Verhalten, weil sie wissen, dass sie beobachtet werden) & Salienz der Thematik Erinnerungseffekte Messtheoretische Probleme Drop-outs Konstruktäquivalenz Messfehler
• Möglichkeiten der Kontrolle von Störvariablen Personenvariablen Randomisierung (= zufällige Zuordnung der Vpn zu Gruppen) Parallelisierung (= Zusammenstellung möglichst homogener Gruppen (bzgl. bestimmter Störfaktoren); z.B. Schulnoten) Wiederholungsmessung Systematische Variation Kontextvariablen Randomisierung Eliminieren Konstant halten Systematische Variation Versuchsleitervariablen Verblindung Systematische Variation
• Wann kann ich bei der Beurteilung des Effekts eines Treatments auf eine Pretestmessung verzichten bzw. wann sind Pretests erforderlich? In experimentellen Untersuchungen mit großen Stichproben ist durch die Randomisierung Äquivalenz der zu vergleichenden Gruppen gewährleistet. --> Man kann deshalb auf Pretestmessungen verzichten u. hypothesenkonforme Posttestunterschiede als Bestätigung der Veränderungshypothese interpretieren. Erforderlich, wenn Zweifel an der korrekten Durchführung der Randomisierung bestehen oder SP zu klein ist oder „natürliche“ Gruppen vorliegen.
• Verschiedene Arten / Designs experimenteller Untersuchungen Ein Treatment: Randomisierte Zuteilung auf EG + KG Nach Treatment Differenz auf der AV mittels t-Test für unabhängige SP, Varianzanalyse oder verteilungsfreien Verfahren auswerten. Mehrere Treatments: Wie bei 1 Treatment --> Posttestunterschiede (bei identischen Pretestwerten bzw. Randomisierung aller Gruppen) bedeuten Veränderung. z.B. Mehrgruppenplan  Mehrere Messungen: Wiederholte Messung der AV = Messwiederholungen oder Blockplan ohne Messwiederholungen. z.B. Zweifaktorieller Messwiederholungsplan mit EG + KG (gleiche SP wird mehrmals untersucht). Auswertung: Varianzanalyse mit Messwiederholung Problem Transfereffekte: Die wiederholte Messung der abhängigen Variable kann die Wirkung des Treatments beeinflussen (z.B. durch Ermüdung, Lerneffekte, Motivationsverlust). Abhilfe: ein Blockplan
• Experimentelle Untersuchungen = Untersuchungen mit randomisierter Zuweisung der Untersuchungsteilnehmer Beispiel: Wirken Informationen über die Risiken von Nikotin auf das Rauchverhalten? ein Treatment: Experimentalgruppe (Infos über Risiken), Kontrollgruppe (keine Infos) mehrere Treatments: differenzielle Wirkung mehrerer Treatments Auswertung t-Test für unabhängige Stichproben Varianzanalyse
• Randomisierung In experimentellen Untersuchungen mit großen Stichproben ist durch die Randomisierung die Äquivalenz der zu vergleichenden Gruppen gewährleistet. Man kann deshalb auf Pretestmessungen verzichten und hypothesenkonforme Posttestunterschiede als Bestätigung der Veränderungshypothese interpretieren
• Unterschied zwischen zweifaktoriellem Plan mit und ohne Messwiederholung ohne Messwiederholung: untersucht für jede Faktorstufenkombination eine andere Stichprobe. mit Messwiederholung: dieselbe Stichprobe wird mehrfach untersucht.
• Was ist ein Blockplan? Wenn bei wiederholter Untersuchung der Untersuchungsteilnehmer mit Transfereffekten zu rechnen ist, sollte ein Blockplan eingesetzt werden. Die k-fache Messung eines Untersuchungsteilnehmers wird hierbei durch Einzelmessungen von k Untersuchungsteilnehmern ersetzt, die zusammen einen Block bilden. Die Untersuchungsteilnehmer eines Blocks müssen in Bezug auf wichtige Störvariablen komogen sein (Matched Samples) und werden zufällig den k Messzeitpunkten zugeordnet. Die k-fache Untersuchung von n Untersuchungsteilnehmern wird also auch durch die einmalige Untersuchung von k x n Untersuchungsteilnehmern ersetzt. Auswertung: Varianzanalyse mit Messwiederholung Beispiel: Messwiederholungsplan: 50 Raucher Experimentalgruppe, 50 Raucher Kontrollgruppe 10 Wochen lang 1 x pro Woche Analoger Blockplan: 2 x 50 Blöcke à 10 Personen (= Zweifaktorieller Blockplan mit Messwiederholung) 10 Personen eines jeden Blockes sollten bzgl. untersuchungsrelevanter Störvariablen parallelisiert sein (= Matched Samples). Für jede Person eines jeden Blockes wird per Zufall entschieden, in welcher Woche die AV gemessen wird und welcher Bedingung der Block zugeordnet wird. Jede Person wird nur einmal untersucht und nicht 10 mal wie im Messwiederholungsplan.
• Kontrolle von Sequenzeffekten Bei Untersuchungen, in denen von einer Stichprobe unter mehreren Untersuchungsbedingungen Messungen erhoben werden, kann die Abfolge der Bedingungen ungewollt die Messung beeinflussen (--> Kontrolle solcher Sequenzeffekte wichtig!) Beispiel: Ändert sich das affektive Befinden nach verschieden Arten von TV‐Konsum(z.B. Nachrichten, Talkshow, Kriminalfilm)? Zur Kontrolle von Sequenzeffekten können Teilstichproben unterschiedlichen Abfolgen zugewiesen werden. Ergeben sich zwischen den Abfolgen keine Unterschiede, liegen keine Sequenzeffekte vor. Auswertung: Varianzanalyse mit Messwiederholung
• Quasiexperimentelle Designs Untersuchungen mit natürlichen bzw in der Praxis vorgefundenen Gruppen. Da die Gruppen nicht neu zusammengestellt werden, kann auch keine Randomisierung erfolgen. Störeffekte können nicht vollständig kontrolliert werden. Daher müssen Unterschiede in den Personenvariablen mit erfasst werden, um deren Effekt auf die UV zu prüfen und Alternativerklärungen für Veränderungen auszuschließen. Will man überprüfen, ob eine Maßnahme in verschiedenen Populationen unterschiedlich wirkt, muss die AV in den entsprechenden Stichproben vorgetestet werden. Die treatmentbedingten Veränderungen ermittelt man durch Vergleich von Pre- und Posttestmessungen. Natürliche Gruppen entstehen wenn es sich bei der UV um eine Personenvariable handelt (z.B. Nationalität) oder um eine Umweltvariable, die z.B. aus ethischen Gründen nicht aktiv zugeordnet werden kann, z.B. Vergleich von Kindern mit und ohne Misshandlungserfahrungen. Quasiexperimentelle Untersuchungen haben eine geringere interne Validität als experimentelle Untersuchungen.
• Klassische Probleme der Veränderungsmessung nach Rost (2004) niedrige Reliabilität von Differenzwerten Das Problem der Regression zur Mitte Messen Vor- und Nachtest dasselbe?
• Problem von Veränderungsmessungen: niedrige Reliabilität von Differenzwerten Die Reliabilität der Differenzen ist nicht die Reliabilität der Messungen! Abhängig von 4 Einflussgrößen: Unterschiedlichkeit der wahren individuellen Veränderungen. Genauigkeit der Messung. Anzahl der Messzeitpunkte --> durch mehr Messzeitpunkte erhöht sich die Messgenauigkeit (Streuung um den True-Score). Verteilung der Messzeitpunkte (--> mehr Messungen zu den relevanten Zeitpunkten).
• Problem von Veränderungsmessungen: Regression zur Mitte Bei Quasiexperimentellen Untersuchungen: Gefahr der Verfälschung durch Regressionseffekte. Extreme Pretestwerte haben die Tendenz, sich bei einer wiederholten Messung zur Mitte der Merkmalsverteilung hin zu verändern (= Regression zur Mitte) bzw. zur größten Dichte der Verteilung --> diese Veränderung erfolgt unabhängig vom Treatment. Bsp. Weitsprung: Wie wahrscheinlich ist es nach einem besonders guten Sprung einen weiteren besonders guten Sprung zu erreichen? Mangelnde Stabilität eines Merkmals --> wiederholte Messungen korrelieren nicht perfekt miteinander. Regression zur Mitte (Definition): Personen, die bei der ersten Messung einheitlich einen bestimmten Wert erzielen, der deutlich vom Gesamtmittel aller Erstmessungen abweicht, haben bei der zweiten Messung beliebige Werte, deren Mittelwert allerdings weniger vom Stichprobenmittelwert aller Zweitmessungen abweicht. Regressionseffekte treten auf, wenn anhand von Pretestergebnissen selektiert wird. --> kann zu verzerrten Ergebnissen führen --> Vorsicht bei Vergleich von Extremgruppen. Zur Selektion von Gruppen sollten andere Kriterien verwendet werden, wie bekannte Variablen (Schulform, Patientenstatus...) oder eine andere Vortestmessung, die nicht analysiert wird. Regressionseffekte können umso stärker auftreten, je niedriger die Reliabilität der Messwerte ist. Je kleiner die Reliabilität, desto größer die unsystematische, zufällige Varianz. Zufällige Varianz ist immer mit dem Phänomen der Regression zur Mitte behaftet.
• Problem von Veränderungsmessungen: Messen Vor- und Nachtest dasselbe? Verändert sich das Merkmal über die Zeit?Ändert sich das Merkmal (Veränderung der Dimension), brauchen wir andere Tests, um das Merkmal zu Erfassen (Sensitivität eines Instruments in Wertebereichen).Z.B. Lesefähigkeit zwischen der 1. und der 4. Klasse Misst das Testinstrument die gleichen Personeneigenschaften?Kontrolle der Messinvarianz, etwa mit Testmodellen der Item-Response-Theorie oder mit Messmodellen der SEM (Latent Variable Modeling).
• Allgemeine Designempfehlungen für Quasiexperimentelle Untersuchungspläne Einsatz mehrerer abhängiger Variablen oder Wirkkriterien Wiederholte Treatmentphasen Wiederholte Pretestmessungen: Baseline Mehr als 2 Vergleichsgruppen Abgestufte Treatmentintensität Parallelisierung (Vorsicht mit Regressionseffekten) Analyse der Gruppenselektion Konfundierte Merkmale
• Quasiexperimentelle Untersuchungspläne: Eingruppen Prä-Post Design Eine Stichprobe wird einmal vor und einmal nach dem Treatment untersucht. Die Differenz auf der AV wird als Indikator für die Treatmentwirkung verwendet. --> geringe interne Validität, da auch Störeinflüsse auf die AV wirken können. Interne Validität lässt sich erhöhen, wenn mehrere Pretest- und Posttestmessungen durchgeführt werden und mögliche Störvariablen miterhoben werden. Wann wird ein solcher Plan eingesetzt? bei Fragestellungen, bei denen ein Treatment interessiert, von dem praktisch alle Personen betroffen sind, sodass auf die Bildung einer KG verzichtet werden muss (z.B. Wirkung einer neuen Fernsehwerbung). ethische Gründe können den Einsatz einer KG unmöglich machen.
• Quasiexperimentelle Untersuchungspläne: EG/KG Prä-Post Design (Zweigruppen Prä-Post Design) Neben der EG wird auch eine KG getestet, daher höhere interne Validität als bei Eingruppen Prä-Post Design. Vortests sind unerlässlich, um Unterschiede zwischen den Gruppen überprüfen und ggf. kontrollieren zu können! Auswertung durch zweifaktorielle Varianzanalyse mit Messwiederholung. Ermittlung des Treatment-Effekts EG: E1 (= Pretestwert) und E2 (Posttestwert) = E (Differenz) KG: K1 (= Pretestwert) und K2 (Posttestwert) = K (Differenz) Nettoeffekt des Treatments = E - K
• Quasiexperimentelle Untersuchungspläne: Regressions-Diskontinuitätsanalyse (RDA) = Bewusste Herbeiführung von Unterschieden zwischen EG und KG Es wird ein EG-KG Design durchgeführt. Personen, die einen bestimmten Wert (sog. Cut-off-Point) einer kontinuierlichen Zuweisungsvariablen unterschreiten, zählen zur KG, Personen oberhalb zur EG. Vorab wird eine lineare Regression zwischen der AV und der Zuweisungsvariable berechnet. Durch das Training soll eine Diskontinuität in der Geraden entsteht. Bei der Gruppe die das Treatment erhält (EG) soll sich etwas Verändern während die andere (KG) stabil bleiben sollte. Vorteile: Für ein RDA ist keine Randomisierung notwendig. Die Zuordnung in KG und EG ist auch bei kleineren Gruppen möglich (vgl. die Stichprobengröße bei Randomisierung). Die RDA kann eine Validität wie in experimentellen Studien erreichen.

back  |  next 1 / 1