10
Versuchsplanung und Datenerhebung (Subject) / Interne Validität (Lesson)
- Interne Validität -> Veränderungen der AV sind auf die Manipulation der UV zurückzuführen, Gültigkeit des Kausalschlusses - Ziel: Ausschluss von Alternativerklärung - Maximierung durch a) Kontrolle von Störvariablen -> vgl. Max-Kon-Min-Prinzip b) Mimimierung der THIS MESS - Gefährdungen - Gefährdung dann problematisch, wenn nicht randomisiert werden kann („Quasi- Experiment“)
- Testing -> Untersuchung ("Testing") selbst hat Einfluss auf AV (z.B. durch einen Vortest) -> Reaktivität der Teilnehmer in Bezug auf den spezifischen Test - Lösungsmöglichkeiten: -> Reaktivität empirisch untersuchen: Störeinfluss miterheben - z.B. durch Nicht-Vortest-Bedingung ( -> Solomon's Vier-Gruppen-Plan) -> Reaktivität des Untersuchungselements minimieren - z.B. durch unbemerkte Datenerhebung, zeitlicher Abstand zwischen Vortest und Test etc.
- Beispieleffekte durch Testing a) Sensibilisierungseffekte: Person wird durch Untersuchung für ein bestimmtes Thema sensibilisiert (z.B. Ernährung durch anfängliches Gewichtmessen) und verhält sich daraufhin anders b) Motivationseffekte c) Ermüdungseffekte d) Lern- und Übungseffekte e) Wissenprüfung in einem Vortest aktiviert Wissen
- History -> Versuchspersonen werden von externen Ereignissen beeinflusst (z.B. politische Nachrichten, Wirtschaftskrisen etc.) - besonders relevant bei andauernder Untersuchung mit mehreren Messungen - besonders störend, wenn unterschiedliche Gruppen zu unterschiedlichen Zeitpunkten getestet werden -> Gruppen nicht mehr vergleichbar - auch problematisch, wenn unterschiedliche Gruppen aus unterschiedlichen Feldpopulationen stammen, d.h. unterschiedlichen externen Einflüssen („Historys“) ausgesetzt sind -> Gruppen nicht mehr vergleichbar
- Instrumentation -> Veränderung des Messinstruments über die Zeit - besonders relevant bei Messwiederholungen oder Messungen mehrerer Gruppen zu unterschiedlichen Zeitpunkten - nicht nur physikalische Messinstrumente, sondern auch Teilnehmer als „Instrumente“, die introspektiv Dinge messen -> Ermüdung, wachsende Vertrautheit mit Messung -> Kalibrierung (Veränderung der Beobachtungskriterien eines Beobachters) -> Reaktionszeittasten werden durch häufige Benutzung schneller -> Testversion A und B nicht äquivalent -> bei Längsschnittstudien verändern sich Auswahl oder die Bedeutung der Items von Fragebögen im aktuellen Sprachgebrauch
- Statistical Regression/ "Regression zur Mitte" - bei Messwiederholungen sind individuelle Fehler unkorreliert - Extremfehler wiederholen sich in der Regel nicht -> in zweiter Messung liegen Werte einer Gruppe mit extremen Messwerten i.d.R. näher Richtung Mittelwert, obwohl sich an bereinigten Werten nichts verändert hat (-> Regression "zur Mitte") => rein statistischer Effekt - Problem bei Selektion aufgrund von Extremwert: Es werden nur Teilnehmer mit hohem Wert in einem bestimmten Test aufgenommen, welche im nächsten Durchgang vermutlich einen niedrigeren Wert haben werden -> fälschlicherweise Zurückführung auf Treatment - Interpretation schwierig, wenn Prä-Werte von Kontroll- und Experimentalgruppe sich unterscheiden - Lösung: Regressionseffekte korrelieren a) Rekrutierung einer möglichst großen Extremgruppe und randomisierte Verteilung dieser auf die einzelnen Bedingungen (gleiche Regression zur Mitte für Kontroll- und Experimentalgruppe) b) zweiten Vortest mit Extremwertgruppe durchführen und anhand dieser statistische Berechnungen durchführen
- Maturation -> psychische und physische Reifung der Probanden (z.B. Älter werden, psychische Reifung, Pubertätseintritt etc.) - besonders relevant bei großen Zeiträumen der Messung - aber auch kurzfristige „Reifung“, zirkadiane Effekte (z.B. Ermüdungseffekte) - während History sind auf externe Entwicklung bezieht, bezieht sich Maturation auf interne Entwicklung - Lösung: Stichprobe wählen, die ähnliches Alter hat oder Randomisierung
- Experimental Mortality -> systematischer “Ausfall” von Probanden (Attrition), z.B. durch: a) anstrengenderes Treatment -> mehr Abbrecher in EG, als in KG -> nur die „Geeigneten“ halten durch und erzielen nebenbei sehr gute Werte => fälschlicherweise Attribution auf Treatment b) unmotivierere Probanden in KG aufgrung von fehlendem Treatment -> Medikamentenstudien: Placebo- Treatment verhindert motivationale Einflüsse c) Längsschnittstudien im Alter -> Todesfälle d) freiwillige Teilnahme: - Interesse am Thema beeinflusst Abbrechungswahrscheinlichkeit - bei Online-Studien noch höher - Problem kann durch Randomisierung nicht gelöst werden, da es erst während der Untersuchung entsteht - Lösung: mögliche Ausfallsursachen in Bedingungen gleich verteilen
- Selection -> Bedingungen bezüglich Teilnehmereigenschaften nicht vergleichbar - Teilnehmer sind zufällig oder absichtlich systematisch auf die Bedingungen verteilt, sodass unterschiedliche Ausgangswerte entstehen => Konfundierung einer oder mehrerer personenbezogener Störvariablen mit der AV - besonders bei Quasi-Experimenten problematisch, da dort keine zufällige Zuordnung zu den Bedingungen möglich ist -> z.B. bei Zuordnung der Teilnehmer „Bereitschaft zur Teilnahme“ zu Experimentalgruppe, der Teilnehmer ohne „Bereitschaft zur Teilnahme“ zur Kontrollgruppe (-> Konfundierung der Variable „Bereitschaft zur Teilnahme“ und Treatment) - Bsp. „Healthy user bias“: Konfundierung der Variable „Grippeimpfung“ und „Gesundheitsbewusstsein“, welche beide die AV „Gesundheit“ beeinflussen - Lösung: Randomisierung oder Parallelisierung (vgl. Kontrolle personenbezogener Störvariablen)
- Selection-Maturation-Interaction - Allgemein: Aufreten mehrerer Gefährdungen der internen Validität kann zu additiven und interaktiven Effekten führen! -> Beispiel: Selection-Maturation-Interaction: Reifung verstärkt durch Selektion entstandene Gefährdungen -> unterschiedlich starke Reifungsprozesse aufgrund von unterschiedlichen Ausgangspunkten - Bsp.: Einfluss von Leistungsstipendien
Advertisement