48

versuchsplanung (Subject) / 12. Vorlesung (Lesson)

This lesson was created by khoelsch.

Learn lesson

back  |  next 1 / 1

• Gefährdung der Validität Leitfragen: •Was sind mögliche Gefährdungen?•Sind die Gefährdungen plausibel (oder nur möglich)?•Entspricht die Richtung des Effekts der Gefährdung der Richtung des zu erwartenden Effekts?
• Gefährdung der Validität Vorgehen: •häufige Gefährdungen auflisten (Kritik eigener Versuchspläne)•Ideal: Versuchsplanerischer Ausschluss von Validitätsgefährdungen(Kontrolle von Störvariablen, d.h. Randomisierungetc.)•Alternativ: statistische Kontrolle (z.B. Kovarianzanalyse)Erkennen von Gefährdungen hängt von Theoriebildung und Erkenntnisstand ab
• •Externe Validität –Ist „Generalisierbarkeit“ gegeben, wenn Stichprobe, Settings, Treatments, Messmethoden beliebig variiert werden?
• Externe Validität •Leitfrage: Ist der kausale Zusammenhang für andere…–Untersuchungseinheiten, Stichproben (Units)–Settings–Treatments–Ergebnismessungen (Outcomes)…gültig?•Anders gefragt: Hängt die Gültigkeit des kausalen Zusammenhangs ab von der Wahl der Untersuchungseinheiten (Units), Treatments, Outcomes, Settings?
• Externe Validität Allgemein: Gibt es Moderatorvariablen, die die Allgemeingültigkeit (der Theorie/Hypothese/Schlussfolgerung) einschränken?
• Externe Validität und Generalisierung •Ursprüngliche Leitfrage : Kann man die Ergebnisse generalisieren? D.h. übertragen auf Variationen dieser Elemente (Units, Treatments, Outcomes, Settings), die nicht untersucht wurden?
• Externe Validität und Generalisierung Problem: induktiver Ansatz; „Generalisierung“ logisch nicht möglich unzulässiger gehaltserweiternder Schluss vom Speziellen aufs Allgemeine
• Externe Validität und Generalisierung DeduktivistischerAnsatz: –Allgemeingültige Hypothese/Theorie ist gültig, solange sie sich empirisch bewährt (d.h. keine Moderatorvariablenbekannt sind)•„Frustration verursacht Aggression (unter allen Umständen)“.–wird eine Moderatorvariableidentifiziert, so wird die Theorie modifiziert und ihr Gültigkeitsbereich eingeschränkt•„Frustration verursacht Aggression, wenn Umstände X und Y gegeben sind“.
• •Untersuchung der externen Validität = Prüfung von Hypothesen über Moderatorvariablen
• Gefährdungen der externen Validität: UTOS 1.Interagiert der kausale Zusammenhang mit Merkmalen der Personen/Untersuchungseinheiten (Units, U)?2.Interagiert der kausale Zusammenhang mit Merkmalen der Behandlung/Intervention (Treatment, T)? 3.Interagiert der Zusammenhang mit Merkmalen der verwendeten Kriteriums/der AV (Outcome, O)? 4.Interagiert der Zusammenhang mit dem Untersuchungskontext (Setting, S)?
• Advertisement
• Gefährdungen der externen Validität: UTOS 1.Interagiert der kausale Zusammenhang mit Merkmalen der Personen/Untersuchungseinheiten (Units, U)? –Bildung/Intelligenz (Psychologiestudierende)–Geschlecht–Medikamente (Mäuse und Menschen; Schwangerschaft)
• Gefährdungen der externen Validität: UTOS 2.Interagiert der kausale Zusammenhang mit Merkmalen der Behandlung/Intervention (Treatment, T)? –z.B. nur die Kombinationaus Medikation und Psychotherapie wirkt, nicht aber Medikation ODER Psychotherapie einzeln–z.B. Wirkung abhängig von Reichweite der Implementierung (soziale Programme)
• Gefährdungen der externen Validität: UTOS 3.Interagiert der Zusammenhang mit Merkmalen der verwendeten Kriteriums/der AV (Outcome, O)? –Ist der Zusammenhang nur mit bestimmten Outcome-Variablen, aber nicht mit anderen beobachtbar?–Maßnahme zur Erhöhung der Kundenzufriedenheit wirkt nur auf Beurteilung durch Dritte, nicht auf Selbstbericht d. Kunden
• Gefährdungen der externen Validität: UTOS 4.Interagiert der Zusammenhang mit dem Untersuchungskontext (Setting, S)? –neue Unterrichtsmaßnahme wirkt im Labor, nicht in Schule–Psychotherapiestudien untypisch für Therapiealltag–Unterschiede zwischen Schulen, Kliniken, kleinen/großen Betrieben
• Gefährdungen der externen Validität: Prüfung der „Generalisierbarkeit“ (1) Viele verschiedene Studien realisieren (konzeptuelle Replikation)(2) Gesamtbewertung über unterschiedliche Studien
• Gefährdungen der externen Validität: Prüfung der „Generalisierbarkeit“ (1) Viele verschiedene Studien realisieren (konzeptuelle Replikation) –Multiple Treatments (Verschiedene Arten; unterschiedliche Dosierung)–Outcomes(z.B. Emotion: Selbstbeobachtung, Fremdbeobachtung, physiologische Maße, …)–Untersuchungseinheiten/Stichproben (z.B. Alter, Bildung, Kultur,...)–Settings (Schulen, Kliniken,…)Grenzen: erforderliche Stichprobengröße, Komplexität des Versuchsplans, Statistische Power zur Entdeckung von Interaktionen
• Gefährdungen der externen Validität: Prüfung der „Generalisierbarkeit“ (2) Gesamtbewertung über unterschiedliche Studien – z.B. Metaanalyse
• Konstruktvalidität –Ist der Rückschluss aus den beobachteten (manifesten) Variablen auf das Konstrukt (latente Variable) gültig?
• Konstruktivität Leitfrage : Wird das relevante Konstrukt unverfälscht & vollständig erfasst?–Unverfälschtheit: wird nur das relevante Konstrukt erfasst?–Vollständigkeit (auch „Inhaltsvalidität“): werden bei der Messung alle Aspekte des zugrunde gelegten psychologischen Konstrukts erfasst?
• Konstruktivität Latentes Konstrukt muss operationalisiert werden–Frustration Nichterreichen des Ziels–Aggression Anzahl/Ausprägung verbal-aggressiver Verhaltensweisen–Frage: Wurde tatsächlich Frustration untersucht, oder nur das Nichterreichen eines Ziels?
• Konstruktvalidität •Häufiger Kritikpunkt empirischer Studien –Operationalisierungbestimmt, was tatsächlich untersucht wird–aber: Schlussfolgerung und Interpretation bezieht sich auf Konstrukt–Güte der Untersuchung abhängig von Güte d. Erfassung d. Konstrukts (d.h. von der Gültigkeit/Bewährung der Hilfshypothesen, HHn)
• Gefährdung der Konstruktvalidität (1) Ungenügende Analyse der Konstrukte •Voraussetzung für Konstruktvalidität ist Konstruktexplikation•Beispiel: Patientenzufriedenheit in psychosomatischer Klinik–Zufriedenheit der Patienten mit der Organisation, mit der Patient-Therapeut-Interaktion, ggf. mit der Unterbringung–Aber nicht: Zufriedenheit mit touristischem Angebot in Umgebung, etc.•Beispiel: Selbstwertgefühl–allgemeines Selbstwertgefühl ist nicht Mittelwert bereichsspezifischer Selbstwertgefühle (z.B. künstlerischer, mathematischer Bereich)
• Gefährdung der Konstruktvalidität (1) Gefahr, dass… •die Konstruktezu allgemeinoperationalisiert werden–z.B. „Studieneignung“ = Hochschulreife (Abitur)•die Konstruktezu spezifisch operationalisiert werden–z.B. Erhebung der mathematischen Fähigkeiten zur Erfassung der Studieneignung im Fach Psychologie•mehrere Konstruktezugrunde liegen, wo nur ein Konstrukt diskutiert wird–z.B. Studierfähigkeit im Fach Psychologie besteht aus Intelligenz, Motivation, Kommunikationsfähigkeiten etc.
• Gefährdung der Konstruktvalidität (2) Konfundierungenzwischen relevanten Konstrukten •es kann unerkannte Zusammenhänge zwischen den (zugrundeliegenden und intervenierenden) Konstruktengeben•es wurden nicht alle relevanten Variablen/Konstrukteerhoben•z.B. Untersuchung zur Anzahl von Psychologen in Führungspositionen in der freien Wirtschaft–relativ wenig Psychologen in Führungspositionen in der freien Wirtschaft–aber: Psychologen haben einen hohen FrauenanteilBenachteiligung der Psychologen oder der Frauen?–Relevantes Konstrukt: Beruf vs. Geschlecht?
• Gefährdung der Konstruktvalidität (3) mono-operation-bias •Nur eine Operationalisierungdes Ergebniskonstrukts oder des Treatmentkonstrukts•erhöht das Risiko einer inadäquaten Realisierung des Konstrukts•z.B. Frustration Aggression–Aggression: nur gemessen durch Verwendungshäufigkeit von Schimpfwörtern–Konstrukt Aggression umfasst mehr (Körperverletzung, aggressive Gedanken, Unterlassen von Hilfeleistung, …)–Besser: multiple Messungen des Konstrukts–(analog: Frustration nur implementiert als Misserfolg in einfacher Aufgabe…)
• Gefährdung der Konstruktvalidität (4) mono-method-bias •Daten werden nur mit einer Erhebungsmethode erhoben–z.B. Selbstbericht•Methode der Datenerhebung (Fragebogen, Interview, Internetbefragung etc.) hat möglicherweise Einfluss auf Ergebnisse der Messung•Besser: mehrere Datenquellen (Selbstbeobachtung, Fremdbeobachtung, Fragebogen, etc.) verwenden•Problem: mehr Messinstrumente bedeuten höheren Aufwand15
• Gefährdung der Konstruktvalidität (5) Treatment erhöht Sensitivität für die Struktur der untersuchten Konstrukte •z.B. Untersuchung zum Antisemitismus–Kontrollgruppe: Fragebogen zu Einstellungen–Experimentalgruppe: erst achtstündige Informationsveranstaltung, dann Fragebogen zu Einstellungenerhöhte Sensitivität der Probanden in der EG kann zu differenzierteren Antworten führen; Veränderung des gemessenen Konstrukts
• Gefährdung der Konstruktvalidität (5) Treatment erhöht Sensitivität für die Struktur der untersuchten Konstrukte •z.B. Untersuchung zum Antisemitismus–Kontrollgruppe: Fragebogen zu Einstellungen–Experimentalgruppe: erst achtstündige Informationsveranstaltung, dann Fragebogen zu Einstellungenerhöhte Sensitivität der Probanden in der EG kann zu differenzierteren Antworten führen; Veränderung des gemessenen Konstrukts
• Gefährdung der Konstruktvalidität (6) Selbstberichte/Protokolle abhängig von Motivation •Befragte antworten nicht immer wahrheitsgemäß; individuelle Ziele/Motivationen beeinflussen Antworten–z.B. Validität der Angaben eines Patienten zum Therapieerfolg, wenn dieser die Absicht hat, einen Antrag auf Frühverrentung zu stellen?•Konsequenz: Messung erfasst das Zielkonstrukt nicht•Mögliche Lösungen: Fremdurteile, unverfälschbareMaße
• Gefährdung der Konstruktvalidität (7) Reaktivität in bezugauf die experimentelle Situation •Nicht das Treatment selbst, sondern andere Aspekte der experimentellen Situation bewirken Effekte–z.B.: Placebo-Effekte in medizinischen Studien•Hypothesen, Erwartungen, Befürchtungen der TN, Reaktion auf Versuchsleiter, situative demandcharacteristics(Orne)
• Advertisement
• Gefährdung der Konstruktvalidität (7) Reaktivität in bezugauf die experimentelle Situation Lösungsansätze: •Unaufdringliche, unverfälschbareMessungen•Zeitverzögerte Messung•sensibilisierende Prätestsvermeiden (oder ihre Effekte untersuchen)•standardisierte Interaktion mit Versuchsleiter; Versuchsleiter ganz eliminieren•falsche Erwartungen induzieren (z.B. Täuschung; soweit ethisch vertretbar)
• Gefährdung der Konstruktvalidität (8) Erwartungen des Experimentators •Versuchsleiter-Erwartungen können die Ergebnisse (bewusst oder unbewusst) beeinflussenLösungsansätze:•mehrere Untersuchungsleiter•Beobachtung der Untersuchungsleiter•Doppelblinduntersuchungen–TN und VL wissen nicht, welche Bedingung realisiert wird•Dreifachblinduntersuchungen–TN, VL, Auswerter wissen nicht, welche Bedingung realisiert wird•Kontakt mit TN minimieren–„Elimination“ von VL-Einflüssen durch Computersteuerung
• Gefährdung der Konstruktvalidität (9) Neuheiten und Unterbrechungen •Tatsache, dass Treatment/Veränderung realisiert wird, kann schon einen Einfluss haben (unabhängig von der Art der Veränderung/des Treatments)–z.B. Hawthorne-Studie (Mayo, 1930, 1933)–jegliche Veränderung am Arbeitsplatz führte zu Verbesserung der Arbeitsleistung•Konsequenz: Effekt beruht nicht auf manipuliertem Konstrukt
• Gefährdung der Konstruktvalidität (10) Kompensatorische Gleichstellung •z.B. klinische Studien: Wunsch nach sozialer Gerechtigkeit führt u.U. dazu, dass Probanden in der Kontrollgruppe besser behandelt werden als Probanden in der Experimentalgruppe–bessere Betreuung der Personen soll einen „Ausgleich“ für die Verweigerung des Treatments (neue, bessere Therapie) darstellen
• Gefährdung der Konstruktvalidität (10) Kompensatorische Gleichstellung •Folge •Lösungsansätze: •Folge: Nivellierung (Reduktion) der Effekte•Lösungsansätze:–Aufklärung über Sinn und Zweck der Untersuchung & Einteilung in Gruppen–Verblindung–Placebo-Therapie–Warteliste
• Gefährdung der Konstruktvalidität (11) Kompensatorische Rivalität • Probanden in der Kontrollgruppe strengen sich u.U. übermäßig an–z.B. Arbeitspsychologie: Probanden in technisch schlechter ausgestatteten Gruppe bemühen sich, die technischen Nachteil durch Anstrengung auszugleichen–auch z.B. Vergleich von Schulungsmaßnahmen
• Gefährdung der Konstruktvalidität (11) Kompensatorische Rivalität •Lösungsversuche : Leistung vor & nach der Untersuchung erfassen
• Gefährdung der Konstruktvalidität (12) Nachtragende und demoralisierte Teilnehmer •Probanden, die nicht in die gewünschte Bedingung gelangen, reagieren unkooperativim weiteren Verlauf der Untersuchung•z.B. bei Weiterbildungsprogramm, ABM-Maßnahmen, einem zusätzlichen Therapieangebot etc.•Lösung: Transparenz bei der Zuordnung, Bildung von Wartekontrollgruppen, weitere Angebote nach Ende der Studie
• Gefährdung der Konstruktvalidität (13) Treatmentdiffusion •„Verwässerung“ des Treatment (z.B. durch Wechsel zwischen den Treatment-Gruppen; Übernahme von Behandlungselementen in der Kontrollgruppe durch Teilnehmer oder Versuchsleiter)–Teilnehmer: Austausch zwischen Patienten einer Station; Studierenden eines Semesters–Versuchsleiter: Therapeut vermischt die Therapieformen im Laufe der Studie
• Gefährdung der Konstruktvalidität (13) Treatmentdiffusion Lösungen: –verschiedene Versuchsleiter für unterschiedliche Treatments–räumliche oder zeitliche Trennung–Kontrolle des implementierten Treatments
• Konstruktvalidität Fazit: •die Definition eines Konstrukts genau bedenken (berücksichtigen)–von anderen relevanten Konstruktenabsetzen•entscheiden, wie die Konstruktegemessen bzw. repräsentiert werden sollen–mithilfe multipler Operationalisierungenund–multipler Methodenüber mehrere Untersuchungen hinweg kombiniere
• Konstruktvalidität –Empirische Prüfung •Leitfrage: Erfassen die ausgewählten Messinstrumente das zugrunde liegende theoretische Konstrukt valide?•(A) Unabhängigkeit der Messergebnisse vom verwendeten Instrument–Die Messung des Konstrukts soll vom verwendeten Instrument möglichst unabhängig sein; mit verschiedenen Testverfahren sollen identische (ähnliche) Ergebnisse ermittelt werden•(B) Übereinstimmung der Messung/Zusammenhang mit einem bekannten Kriterium (Kriteriumsvalidität)–Kongruente Kriteriumsvalidität–Prädiktive Kriteriumsvalidität
• Konstruktvalidität (A): Konvergente und diskriminanteValidität sinn Erfassen die ausgewählten Messinstrumente das zugrunde liegende theoretische Konstrukt valide?•Die Messung des Konstrukts soll vom verwendeten Instrument möglichst unabhängig sein•mit verschiedenen Testverfahren sollen identische (ähnliche) Ergebnisse ermittelt werden–z.B.: hohe Konstruktvalidität, wenn die Ergebnisse eines Schulleistungstest mit anderen Schulleistungstests (Schulnoten) hoch korrelieren•Zwei Aspekte von Konstruktvalidität: konvergenteund diskriminanteValidität 2 Bewertungskriterien:–Übereinstimmung mit Messungen desselben Konstrukts: konvergente Validität–Nicht-Übereinstimmung mit Messungen anderer Konstrukte: diskriminanteValidität
• Konstruktvalidität: Konvergente Validität Korrelieren die Ergebnisse des neuen Testverfahrens mit den Messdaten bereits validierter Tests?•ein neuer Test muss hoch mit einem bekannten Test korrelieren, der das Konstrukt valide erfasst•Beispiel: In einem Fragebogen sollten die Fragen (Items) eines Inhaltsgebietes (einer Skala) hoch mit dem Gesamt-Skalenwert (Faktor) korrelieren.
• Konstruktvalidität: Diskriminante Validität Ergebnisse eines neuen Testverfahrens sollten mit Tests anderer Konstruktenicht korrelieren•einer neuer Test muss gering mit einem anderen Test korrelieren, der das relevante Konstrukt bekanntermaßen nicht erfasst (sondern ein anderes)•Beispiel: In einem Fragebogen sollte es nur eine geringe Korrelation zwischen den verschiedenen Skalen eines Fragebogens geben, die unterschiedliche Konstrukteerfassen.
• Konstruktvalidität (B): Kriteriumsvalidität Kriteriumsvalidität: Korrelation/Zusammenhang mit anderen etablierten Messinstrumenten (Kriterien)•erlaubt empirische Überprüfung, ob ein Instrument dasjenige Merkmal erfasst, was es zu erfassen vorgibt•Beispiel: Korrelation eines selbst entwickelten IQ-Tests mit bewährtem Verfahren (z.B. IST-2000)–Nachteil: Wie wurde die Kriteriumsvaliditätdes IST-2000 überprüft?•Zwei Aspekte der Kriteriumsvalidität:–Kongruente Validität (Übereinstimmungsvalidität)–prädiktive Validität (prognostische Validität)
• Konstruktvalidität: Kongruente Kriteriumsvalidität Kongruente Validität: Übereinstimmung mit einem (bereits bekannten) externen Kriterium•Die Validität eines Messverfahrens wird durch den Vergleich von durch das Messverfahren ermittelten Werten mit denen eines weiteres Verfahrens (Außenkriterum) überprüft•Die Erhebung beider Messwerte sollte möglichst zeitgleich erfolgen•Methodisches Problem:–Die Validität des Kriteriums muss gewährleistet sein•Begründungsproblem: Falls beide Messverfahren hoch miteinander korrelieren: Wieso wurde ein zweites Verfahren entwickelt, das identische Inhalte misst?–z.B. weniger zeitaufwändig, kostengünstiger, paralleler Test f. Messwdh., …
• b Konstruktvalidität:Prädiktive Kriteriumsvalidität Prädiktive Validität: Vorhersage eines (noch unbekannten) externen Kriteriums (Außenkriterium)•Die prädiktive Validität wird über den Vergleich mit einem später erhobenen Außenkriterium ermittelt. Die Ergebnisse der Messung werden zur Vorhersage der Messwerte des Außenkriteriums verwendet.•Beispiel: Verfahren zur Studieneignung im Fach Psychologie–Eignungstest vor dem Studium–Vorhersage der Diplomnoten/Studiendauer etc.•Nachteile / methodische Probleme (Bsp. Eignungsverfahren):–Ergebnisverzerrung durch Abweisen ungeeigneter Bewerber–Messergebnis als Intervention (z.B. Selbstselektion)

back  |  next 1 / 1