27

versuchsplanung (Subject) / 4. Vorlesung (Lesson)

This lesson was created by khoelsch.

Learn lesson

back  |  next 1 / 1

• Gefährdung der Validität Leitfragen: •Was sind mögliche Gefährdungen? •Sind die Gefährdungen plausibel (oder nur möglich)? •Entspricht die Richtung des Effekts der Gefährdung der Richtung des zu erwartenden Effekts?
• Gefährdung der Validität Vorgehen: •häufige Gefährdungen auflisten (Kritik eigener Versuchspläne)•Ideal: Versuchsplanerischer Ausschluss von Validitätsgefährdungen(Kontrolle von Störvariablen, d.h. Randomisierungetc.)•Alternativ: statistische Kontrolle (z.B. Kovarianzanalyse)Erkennen von Gefährdungen hängt von Theoriebildung und Erkenntnisstand ab
• Validität •Interne Validität –Gibt der beobachtete Zusammenhang zwischen den Variablen A (UV) und B (AV) den kausalen Zusammenhang A B wieder?
• Gütekriterien: Theorie der internen & externen Validität (Campbell & Stanley) Interne Validität erlaubt nur Aussagen über spezielle Untersuchungssituation. Aber: Hypothesen beziehen sich (meist) auf die gesamte Population. Gilt das Ergebnis auch für andere, nicht untersuchte Personen/Situationen?
• Gütekriterien: Theorie der internen & externen Validität (Campbell & Stanley) Externe Validität Grundidee wenn Stichprobe & Population bzgl. aller Eigenschaften gleich sind, können wir erwarten, dass das Stichprobenergebnis für die gesamte Population gilt Untersuchung erlaubt Aussagen über die gesamte Population, wenn die in ihr realisierten Gegebenheiten (wie Vpn, Randbedingungen, UVn, AVn, etc.) „repräsentativ“ (also möglichst ähnlich) sind „Repräsentativität“ kann durch Zufallsauswahlder Vpn, Randbedingungen, AVnetc. aus den jeweiligen Grundgesamtheitenerreicht werden (s. u., Populationsbeschreibende Untersuchungen)
• Theorie der internen und externen Validität: „ Ist für eine Untersuchung die interne und externe Validität gegeben, so darf ein beobachteter Effekt einer UV auf eine AV kausal interpretiert werden und auf die Population generalisiert werden.“
• Interne Validität Leitfrage: Ist die UV die Ursache für den Effekt in der AV?
• Interne Validität Leitfrage: Ist die UV die Ursache für den Effekt in der AV? •wenn interne Validität gegeben ist, dann ist eine kausale Interpretation des Effekts der UV auf die AV zulässig•bzw.: Interne Validität ist gegeben, wenn eine kausale Interpretation des Effekts der UV auf die AV zulässig ist•Kausale Interpretation zulässig, wenn alle Alternativerklärungen ausgeschlossen werden können•…wenn die Bedingungen sich nur hinsichtlich der UV unterscheiden und sich bezüglich aller anderen Variablen nicht systematisch unterscheiden
• Sicherung der internen Validität durch Kontrolle von Störvariablen
• Gefährdungen der internen Validität „THIS MESS“ (Cook & Campell, 1979) 1.Testing2.History3.Instrumentation4.Statistical Regression5.Maturation6.Experimental Mortality7.Selection8.Selection-Maturation Interaktion
• Advertisement
• Gefährdungen der internen Validität „THIS MESS“ (Cook & Campell, Testing Untersuchung selbst ist möglicherweise ein Treatment und hat somit einen Einflussd.h. die Untersuchung ist reaktiv:•Erhebung des Körpergewichts bei einer Kontrollgruppe (eigenständige Diät wird angeregt)•Sensibilisierungseffekte, z.B. Durchführung von Persönlichkeitstest (Testperson reflektiert über sich und ihr Verhalten)Nicht jede Messung in diesem Sinne reaktiv:•Unbemerkt (versteckte Kamera)•Unbeeinflussbar (Körpergröße)
• Gefährdungen der internen Validität „THIS MESS“ Testing •weitere Beispiele: –Wissensprüfung in einem Vortest(Aktivierung „verschütteter“ Kenntnisse)–Lern-, Übungseffekte zwischen Prä-und Posttest–Motivation kann durch Vortestgesteigert werden–Müdigkeit oder Langeweile können durch Vortestgesteigert werden
• Gefährdungen der internen Validität „THIS MESS Lösungsmöglichkeiten: –zeitlich ausreichender Abstand zwischen Vortestund Untersuchun –Effekt des Vortestsuntersuchen –z.B. in Versuchsplan, in dem nicht alle Gruppen einen Vortestmachen (z.B. Solomon-Vier-Gruppen-Plan)
• Gefährdungen der internen Validität „THIS MESS History Externe Ereignisse mit Einfluss auf die Probanden•z.B. Ereignis in den Nachrichten (Tschernobyl, 9/11, Fukushima)•relevant bei Prä-Post-Designs (Zeit zwischen Vor-und Nachtest)•besonders relevant, wenn… unterschiedliche Gruppen zu unterschiedlichen Zeitpunkten getestet werden•…oder aus unterschiedlichen Gebieten stammen und unterschiedlichen lokalen Historiesausgesetzt sind
• Gefährdungen der internen Validität „THIS MESS“ Bsp. History • Intervention: Experten empfehlen ihren Kollegen angemessene Medikation bei Herzinfarkt (Beta-Blocker statt Lidocain) •Prüfung der Wirksamkeit: Vergleich der Verschreibungsrate von Beta-Blockern vs. Lidocainvor & nach der Intervention
• Gefährdungen der internen Validität „THIS MESS Instrumentation Veränderung des Messinstruments über die Zeit•Reaktionszeittasten werden durch häufige Benutzung schneller•Computer zur Datenerhebung wird wegen voller Festplatte, langer Dateien langsamer•bei Längsschnittstudien verändern sich Fragebögen oder die Bedeutung der Items im aktuellen Sprachgebrauch (IST 70 -> IST 2000, FPI)•Beurteiler verändern ihre Kriterien über die Zeit (z.B. mündliche Prüfungen)•Personen sammeln Erfahrung mit dem Messinstrument (z.B. Fragebogen)
• Gefährdungen der internen Validität „THIS MESS Statistical Regression Regression zur Mitte•bei Messwiederholung liegen die Werte einer Gruppe mit extremen Merkmalsausprägungen in der zweiten Messung (oder einer korrelierten Messung) tendenziell näher am Mittelwert (in der Mitte)•Grundlage: Extreme Fehler wiederholen sich (in der Regel) nicht.
• Gefährdungen der internen Validität „THIS MESS Statistical Regression •Problem, wenn Gruppen aufgrund hoher oder niedriger Testwerte in die Studie aufgenommen werden (z.B. Studie nur mit hoch belasteten Patienten) Quasi-Experiment•Interpretation schwierig, wenn die Prä-Werte von Kontroll-und Experimentalgruppe sich signifikant unterscheiden: UV? Regression?•Regressionseffekte „wirken“ auch rückwärts und simultan (z.B. Messung anderer Variablen)
• Gefährdungen der internen Validität „THIS MESS Lösungsansatz: •Falls die Untersuchung einer Extremgruppe ein wichtiges Ziel der Studie ist:(1) möglichst große Stichprobe(2) randomisierte Zuweisung auf die Treatmentbedingungen
• Gefährdungen der internen Validität „THIS MESS Maturation „Reifung“ der Probanden durch psychische oder physische Veränderungen über die Zeit•Probanden werden älter, erfahrener, „erwachsener“, Pubertät etc.•wichtig bei Prä-Post-Designs mit großem zeitlichen Abstand zwischen den Messzeitpunkten; bei Langzeitstudien•aber auch kurzfristig (Ermüdung)•z.B. bei Förderprogrammen im Bildungsbereich (Schule)Lösungsansatz: Alle Gruppen sollten gleiche Alterszusammensetzung haben, ähnlichen Umwelten ausgesetzt sein
• Gefährdungen der internen Validität „THIS MESS Experimental Mortality Systematischer Ausfall von Probanden (Attrition)–Treatmentgruppeist anstrengender, daher mehr Abbrecher–nur die „Geeigneten“ halten durch (und sind auch noch erfolgreich)–Probanden in der Kontrollgruppe sind nicht interessiert; unzufrieden, weil sie kein Treatment erhalten haben, ....–eventuell auch wirkliche Todesfälle (z.B. Längsschnittstudie im Alter)
• Gefährdungen der internen Validität „THIS MESS Beispiele :•Umfragen mit freiwilliger Teilnahme•Internetstudien–Einstellungsstudie Ostdeutsche vs. Westdeutsche mit IAT–Syllogismen und ihre Schwierigkeit
• Gefährdungen der internen Validität „THIS MESS Experimental Mortality 2 •Problem kann nicht durch randomisierte Zuweisung zu Bedingungen behoben werden–Entsteht erst in der bzw. durch die zugewiesene Bedingung•Wichtige Frage: Warum traten diese Ausfälle auf?–z.B. Nachbefragungen•Lösungsansätze–gute „Pflege“ und Motivation der Kontrollgruppe–Bedingungen bzgl. Ausfallursachen möglichst gleich halten
• Gefährdungen der internen Validität „THIS MESS Selection Probanden sind (zufällig oder absichtlich) systematisch derart auf die Bedingungen verteilt, dass unterschiedliche Ausgangswerte entstehen•Bsp.: Will jemand bei einer klinischen Untersuchung an einer Studie nicht teilnehmen, kommt er/sie u.U. in die Kontrollgruppe–Zusammenhang zwischen Bedingung und Motivation•Besonders bei Quasi-Experimenten problematisch–Keine zufällige Zuordnung zu den Bedingung möglich
• Gefährdungen der internen Validität „THIS MESS Bsp. Selection: HealthyUser Bias •Healthy user bias: individuals who are more health conscious and actively seek treatment are generally healthier than those who do not.•flu vaccines reduce mortality in the elderly–significant differences in the rate of flu-related deaths and hospitalizations among the vaccinated elderly compared with that of their unvaccinated peers–controlled for differences between the 2 groups, such as age, sex, and diabetes–did not control for other (more difficult-to-measure) “healthy user” factors that affect the well-being of the elderly, such as their socioeconomic status, diet, exercise, and adherence to medical treatments and advice.
• Zusammenwirkung Selection–Maturation Maturationführt zu einer Verstärkung der durch Selektion entstandenen Gefährdung•falls Maturationin unterschiedlichen Gruppen zu unterschiedlichen Zeitpunkten beginnt (oder unterschiedliche Verläufe nimmt) kann es zu einem Zusammenwirken der Gefährdungen kommen •z.B. Untersuchung zum Effekt von Leistungsstipendien: –Bezieher sind fähiger (Selektion)–Bezieher haben höhere Verbesserungsgeschwindigkeit (Reifung)–beides erhöht den „Effekt“ des StipendiumsAllgemeines Problem: gleichzeitiges Auftreten mehrerer der genannten Gefährdungen kann zu additiven und interaktiven Effekten führen
• Gefährdungen der internen Validität „THIS MESS“ 9 9. Zeitliche ReihenfolgeKlarheit der zeitlichen Reihenfolge: Welches Merkmal tritt zuerst auf?•interne Validität ist gefährdet, wenn die zeitliche Reihenfolge (und damit der kausale Zusammenhang) nicht eindeutig festgelegt werden kann•Bsp.: Konsum aggressiver Videospiele und Aggressivität

back  |  next 1 / 1