16
Versuchsplanung und Datenerhebung (Subject) / Konstruktvalidität (Lesson)
Arten der Konstruktvalidität (Unabhängigkeit vom Messinstrument, Kriteriumsvalidität), Gefährdungen der Konstruktvalidität
This lesson was created by aherbert.
Advertisement
- Konstruktvalidität -> Validität der Theorie-Empirie-Überbrückung (Übersetzung latenter in beobachtbare Konstrukte) mittels Operationalisierung & Hilfshypothesen -> Wird das relevante Konstrukt a) unverfälscht (NUR das relevante Konstrukt oder auch andere?) und b) vollständig (nur Teile oder das gesamte Konstrukt?) dargestellt? - Operationalisierung erfordert Wissen über Konstrukt, welches evtl. noch nicht vorhanden ist -> vorläufige Hilfshypothesen, welcher (noch) nicht sehr valide sind (häufiger Kritikpunkt von Studien!) - bei schlechter Operationalisierung sind auch Schlussfolgerungen und Interpretation in Bezug auf das latenter Konstrukt wmgl. unzulässig -> Konstruktvalidität eng verknüpft mit Güte der Hilfshypothesen
- Unabhängigkeit vom Messinstrument -> Sind Messungen des Konstruktes unabhängig vom Messinstrument? a) konvergente Validität: verschiedene Messinstrumente konvergieren hinsichtlich der Messung desselben Konstruktes -> Ergebnisse des Testverfahrens sollten mit Ergebnissen bereits validierter Messinstrumente hoch korrelieren) b) diskriminante Validität: das Messinstrumente diviergiert hinsichtlich der Messung verschiedener Konstrukte -> Ergebnisse des Testverfahrens sollten mit Tests anderer Konstrukte nur gering korrelieren (keine andere Konstrukte sollten durch Testverfahren gemessen werden) - Bsp.: Bei einem Fragebogen sollten Items, die sich auf ein latentes Merkmal beziehen stark korrelieren, währrend sie alle nur geringfügig mit Items korrelieren sollten, die ein anderes Merkmal messen
- Kriteriumsvalidität -> Zeigt das Kriterium valide das Merkmal an, welches wir messen wollen? a) kongruente Validität (Übereinstimmungsvalidität): Übereinstimmung der Messung mit der eines validen Kriteriums; Prüfung durch Korrelation zu bereits bewährten Kriterien - Problem: Validität der "bewährten" Kriteriums, da dieses wmgl. auch abhängig von einem Messinstrument ist -> ideal wäre Übereinstimmung zu einem "objektiven" beobachtbarem Kriterium (z.B. Berufserfolg), aber i.d.R. sind psychologische Konstrukte abhängig von einem psychologischen Messverfahren - Nutzen: neues Messinstrument ist wmgl. kosten- oder zeitunaufwendiger b) prädiktive Validität (Vorhersagevalidität): Kann die Messung ein (noch unbekanntes) Kriterium vorhersagen? -> Ermittlung über die spätere Erhebung dieses Kriteriums - Problem: Außenkriterium könnte verzerrt sein durch Messergebnis der ersten Messung
- ungenügende Analyse der Konstrukte -> Gefährdung der Konstruktvalidität bei Planung - Operationalisierung erfordert klare Vorstellung & Spezifikation des Konstruktes, welches operationalisiert werden soll - abhängig von vorhandenem Wissen über Konstrukt -> wenig Wissen -> schlechte Operationalisierung, invalide HHs -> keine Schlussfolgerung auf Hypothese zulässig - mögliche Fehler: a) zu allgemeine Operationalisierung (Studieneignung = Hochschulreife) b) zu spezifische Operationalisieurung (Studieneignung = mathematische Fähigkeiten) c) angenommenes Konstrukt besteht evtl. eigentlich aus mehreren Konstrukten, welche in der theoretischen Konzeption nicht alle berücksichtigt werden
- Konfundierung zwischen relevanten Konstrukten -> Gefährdung der Konstruktvalidität bei Planung - Vorliegen unerkannter Zusammenhänge zwischen Konstrukten - Nicht-Erheben aller relevanter Konstrukte und somit kein Erkennen der Zusammenhänge
- "mono operation bias" -> Gefährdung der Konstruktvalidität bei Planung - Operationalisierung (von Treatment und/oder Outcome) auf nur eine Art und Weise -> erhöht das Risiko der inadäquaten Realisierung des Konstrukts, da bei vielen Operationalisierungen bestimmte Teilaspekte des Konstruktes im Vordergrund stehen - Lösung durch multiple Operationalisierungen des Konstruktes
- "mono method bias" -> Gefährdungen der Konstruktvalidität bei Planung - Daten werden nur mit einer Erhebungsmethode erhoben (z.B. nur Selbstbericht) - Methode der Datenerhebung hat möglicherweise Einfluss auf Ergebnisse der Messung - Lösung: mehrere Methoden der Datenerhebung kombinieren (Selbstbericht, Fremdbericht, Beobachtung, Erfassung physiologischer Parameter)
- Treatment erhöht Sensitivität für die Struktur der untersuchten Konstrukte -> Gefährdung der Konstruktvalidität bei Durchführung -> durch Intervention ändert sich die Vorstellung der Probanden von dem zu untersuchenden Konstrukt, sie wird z.B. differenzierter und somit besteht andere Konstruktvalidität in KG und EG - Bsp. Treatment ist Infoveranstaltung über Antisemitismus, Konstrukt ist Einstellung zu Antisemitismus -> in EG sind Antworten wmgl. differenzierter, Verständnis des Fragebogens wird besser und differenzierter => Messung erfasst nicht mehr nur Einstellung, sondern unintendiert auch Verständnis des Konstruktes oder des Messinstrumentes
- Verfälschung von Selbstberichten -> Gefährdung der Konstruktvalidität bei Durchführung - motivationale Verzerrung von Selbstberichten (z.B. „soziale Erwünschtheit“) => Messung reflektiert nicht nur relevantes Konstrukt, sondern auch biase
- Reaktivität in Bezug auf die experimentelle Situation -> Gefährdungen der Konstruktvalidität bei Durchführung -> nicht das Treatment selbst, sondern andere Aspekte der Situation bewirken Effekte (vgl. Kontrolle von Störvariablen) a) Vermutungen über Hypothese, Erwartugen und Befürchtungen (situative SVs) -> Täuschung b) Reaktion auf Versuchsleiter (SVs auf Seiten der Versuchsleitenden) -> Standardisierung oder Automatisierung (Elimination des Versuchsleiters) c) Vortest (SVs durch Messwiederholung) -> sensibilisierende Vortests vermeiden -> Vortest-Effekte durch zusätzliche Kontrollbedingungen untersuchen (Solomon's Vier-Gruppen-Plan) - allgemein Lösung durch Messungen, bei denen Reaktivität eine geringe Rolle spielt oder zeitliche Abmilderung der Reaktivität
- Advertisement
- Erwartungen des Experimentators -> Gefärdungen der Konstruktvalidität bei der Durchführung - Wissen über Experimentalbedingung kann Implementierung des Treatments beeinflussen (vgl. Störvariablen auf Seiten der Versuchsleitung) => Ergebnis reflektieren nicht nur Konstrukt - Lösung: unverfälschbare Messungen - mehrere Untersuchungsleiter, Beobachtung dieser - Verblindung - Eliminierung der Versuchsleiter (Automatisierung)
- Neuheiten und Unterbrechungen -> Gefährdungen der Konstruktvalidität bei Durchführung - Tatsache, das eine Veränderung an sich realisiert wird oder an einer Studie teilgenommen wird beeinflusst die Effekte unabhängig von der Art der Veränderung/des Treatments => Effekt reflektiert nicht das intendierte Konstrukt - Lösung durch z.B. aktive Kontrollgruppe, in denen auch Veränderungen implementiert werden
- Kompensatorische Gleichstellung -> Gefährdung der Konstruktvalidät bei Durchführung -> Wunsch nach sozialer Gerechtigkeit führt dazu, dass Probanden in der KG besser behandelt werden, als Probanden in der Experimentalgruppe (z.B. in klinischen Studien) => Effekt des Treatments wird womöglich verdeckt - Lösung durch z.B. a) Verblindung b) Aufklärung über Zweck der Untersuchung & Einteilung in Gruppen (Kontrollgruppe ist genauso „wichtig“ wie Experimentalgruppe) c) „Wartelisten“ – Kontrollgruppe
- Kompensatorische Rivalität -> Gefährdung der Konstruktvalidität bei Durchführung -> Probanden der Kontrollgruppe strengen sich besonders an, um „Nachteil“ auszugleichen - Bsp.: Arbeitspsychologie: Vergleich von Schulungsmaßnahmen - Lösung durch Vor- und Nachtests (vor und nach kompletter Untersuchung, nicht nur nach Treatment)
- Nachtragende und demoralisierte TeilnehmerInnen/ Motivationsmangel -> Gefährdung der Konstruktvalidität bei Durchführung - Probanden, die nicht in die gewünschte Bedingung bekommen sind demotiviert & unkooperativ in Bezug auf die Teilnahme an dem weiteren Versuch => Messung des Outcomes verzerrt - Lösung: a) Transparenz bei der Zuordnung b) Bildung von Wartekontrollgruppen c) weitere Angebote nach Ende der Studie
- Treatmentdiffusion -> Gefährdung der Konstruktvalidität bei Durchführung -> Umsetzung des Treatments ist in der Praxis nicht immer exakt; „Verwässerung“ durch ungenaue Abgrenzung zweier Treatmentformen (z.B. zwei verschiedenen Therapieformen) oder Austausch zwischen den Probanden - Lösung: verschiedene VersuchsleiterInnen für unterschiedliche Treatments - räumliche oder zeitliche Trennung der Gruppen - Kontrolle des implementierten Treatments (z.B. durch Protokollierung)