16

Versuchsplanung und Datenerhebung (Subject) / Konstruktvalidität (Lesson)

Arten der Konstruktvalidität (Unabhängigkeit vom Messinstrument, Kriteriumsvalidität), Gefährdungen der Konstruktvalidität

This lesson was created by aherbert.

Learn lesson

Advertisement
  • Konstruktvalidität -> Validität der Theorie-Empirie-Überbrückung (Übersetzung latenter in beobachtbare Konstrukte) mittels Operationalisierung & Hilfshypothesen -> Wird das relevante Konstrukt a) unverfälscht (NUR das relevante Konstrukt oder auch andere?) und b) vollständig (nur Teile oder das gesamte Konstrukt?) dargestellt? - Operationalisierung erfordert Wissen über Konstrukt, welches evtl. noch nicht vorhanden ist  -> vorläufige Hilfshypothesen, welcher (noch) nicht sehr valide sind (häufiger Kritikpunkt von Studien!) - bei schlechter Operationalisierung sind auch Schlussfolgerungen und Interpretation in Bezug auf das latenter Konstrukt wmgl. unzulässig -> Konstruktvalidität eng verknüpft mit Güte der Hilfshypothesen
  • Unabhängigkeit vom Messinstrument -> Sind Messungen des Konstruktes unabhängig vom Messinstrument? a) konvergente Validität: verschiedene Messinstrumente konvergieren hinsichtlich der Messung desselben Konstruktes  -> Ergebnisse des Testverfahrens sollten mit Ergebnissen bereits validierter Messinstrumente hoch korrelieren)  b) diskriminante Validität: das Messinstrumente diviergiert hinsichtlich der Messung verschiedener Konstrukte  -> Ergebnisse des Testverfahrens sollten mit Tests anderer Konstrukte nur gering korrelieren (keine andere Konstrukte sollten durch Testverfahren gemessen werden)  - Bsp.: Bei einem Fragebogen sollten Items, die sich auf ein latentes Merkmal beziehen stark korrelieren, währrend sie alle nur geringfügig mit Items korrelieren sollten, die ein anderes Merkmal messen 
  • Kriteriumsvalidität -> Zeigt das Kriterium valide das Merkmal an, welches wir messen wollen? a) kongruente Validität (Übereinstimmungsvalidität): Übereinstimmung der Messung mit der eines validen Kriteriums; Prüfung durch Korrelation zu bereits bewährten Kriterien  - Problem: Validität der "bewährten" Kriteriums, da dieses wmgl. auch abhängig von einem Messinstrument ist  -> ideal wäre Übereinstimmung zu einem "objektiven" beobachtbarem Kriterium (z.B. Berufserfolg), aber i.d.R. sind psychologische Konstrukte abhängig von einem psychologischen Messverfahren  - Nutzen: neues Messinstrument ist wmgl. kosten- oder zeitunaufwendiger  b) prädiktive Validität (Vorhersagevalidität): Kann die Messung ein (noch unbekanntes) Kriterium vorhersagen? -> Ermittlung über die spätere Erhebung dieses Kriteriums  - Problem: Außenkriterium könnte verzerrt sein durch Messergebnis der ersten Messung 
  • ungenügende Analyse der Konstrukte -> Gefährdung der Konstruktvalidität bei Planung  - Operationalisierung erfordert klare Vorstellung & Spezifikation des Konstruktes, welches operationalisiert werden soll - abhängig von vorhandenem Wissen über Konstrukt -> wenig Wissen -> schlechte Operationalisierung, invalide HHs -> keine Schlussfolgerung auf Hypothese zulässig  - mögliche Fehler: a) zu allgemeine Operationalisierung (Studieneignung = Hochschulreife) b) zu spezifische Operationalisieurung (Studieneignung = mathematische Fähigkeiten) c) angenommenes Konstrukt besteht evtl. eigentlich aus mehreren Konstrukten, welche in der theoretischen Konzeption nicht alle berücksichtigt werden
  • Konfundierung zwischen relevanten Konstrukten -> Gefährdung der Konstruktvalidität bei Planung  - Vorliegen unerkannter Zusammenhänge zwischen Konstrukten - Nicht-Erheben aller relevanter Konstrukte und somit kein Erkennen der Zusammenhänge
  • "mono operation bias" -> Gefährdung der Konstruktvalidität bei Planung  - Operationalisierung (von Treatment und/oder Outcome) auf nur eine Art und Weise -> erhöht das Risiko der inadäquaten Realisierung des Konstrukts, da bei vielen Operationalisierungen bestimmte Teilaspekte des Konstruktes im Vordergrund stehen - Lösung durch multiple Operationalisierungen des Konstruktes   
  • "mono method bias" -> Gefährdungen der Konstruktvalidität bei Planung  - Daten werden nur mit einer Erhebungsmethode erhoben (z.B. nur Selbstbericht) - Methode der Datenerhebung hat möglicherweise Einfluss auf Ergebnisse der Messung - Lösung: mehrere Methoden der Datenerhebung kombinieren (Selbstbericht, Fremdbericht, Beobachtung, Erfassung physiologischer Parameter)  
  • Treatment erhöht Sensitivität für die Struktur der untersuchten Konstrukte -> Gefährdung der Konstruktvalidität bei Durchführung  -> durch Intervention ändert sich die Vorstellung der Probanden von dem zu untersuchenden Konstrukt, sie wird z.B. differenzierter und somit besteht andere Konstruktvalidität in KG und EG - Bsp. Treatment ist Infoveranstaltung über Antisemitismus, Konstrukt ist Einstellung zu Antisemitismus -> in EG sind Antworten wmgl. differenzierter, Verständnis des Fragebogens wird besser und differenzierter => Messung erfasst nicht mehr nur Einstellung, sondern unintendiert auch Verständnis des Konstruktes oder des Messinstrumentes
  • Verfälschung von Selbstberichten -> Gefährdung der Konstruktvalidität bei Durchführung - motivationale Verzerrung von Selbstberichten (z.B. „soziale Erwünschtheit“) => Messung reflektiert nicht nur relevantes Konstrukt, sondern auch biase
  • Reaktivität in Bezug auf die experimentelle Situation -> Gefährdungen der Konstruktvalidität bei Durchführung  -> nicht das Treatment selbst, sondern andere Aspekte der Situation bewirken Effekte (vgl. Kontrolle von Störvariablen)  a) Vermutungen über Hypothese, Erwartugen und Befürchtungen (situative SVs) -> Täuschung b) Reaktion auf Versuchsleiter (SVs auf Seiten der Versuchsleitenden) -> Standardisierung oder Automatisierung (Elimination des Versuchsleiters)  c) Vortest (SVs durch Messwiederholung) -> sensibilisierende Vortests vermeiden -> Vortest-Effekte durch zusätzliche Kontrollbedingungen untersuchen (Solomon's Vier-Gruppen-Plan) - allgemein Lösung durch Messungen, bei denen Reaktivität eine geringe Rolle spielt oder zeitliche Abmilderung der Reaktivität
  • Advertisement
  • Erwartungen des Experimentators -> Gefärdungen der Konstruktvalidität bei der Durchführung  - Wissen über Experimentalbedingung kann Implementierung des Treatments beeinflussen (vgl. Störvariablen auf Seiten der Versuchsleitung)  => Ergebnis reflektieren nicht nur Konstrukt - Lösung: unverfälschbare Messungen - mehrere Untersuchungsleiter, Beobachtung dieser - Verblindung - Eliminierung der Versuchsleiter (Automatisierung) 
  • Neuheiten und Unterbrechungen -> Gefährdungen der Konstruktvalidität bei Durchführung - Tatsache, das eine Veränderung an sich realisiert wird oder an einer Studie teilgenommen wird beeinflusst die Effekte unabhängig von der Art der Veränderung/des Treatments => Effekt reflektiert nicht das intendierte Konstrukt - Lösung durch z.B. aktive Kontrollgruppe, in denen auch Veränderungen implementiert werden  
  • Kompensatorische Gleichstellung -> Gefährdung der Konstruktvalidät bei Durchführung  -> Wunsch nach sozialer Gerechtigkeit führt dazu, dass Probanden in der KG besser behandelt werden, als Probanden in der Experimentalgruppe (z.B. in klinischen Studien) => Effekt des Treatments wird womöglich verdeckt - Lösung durch z.B. a) Verblindung b) Aufklärung über Zweck der Untersuchung & Einteilung in Gruppen (Kontrollgruppe ist genauso „wichtig“ wie Experimentalgruppe) c) „Wartelisten“ – Kontrollgruppe
  • Kompensatorische Rivalität -> Gefährdung der Konstruktvalidität bei Durchführung  -> Probanden der Kontrollgruppe strengen sich besonders an, um „Nachteil“ auszugleichen - Bsp.: Arbeitspsychologie: Vergleich von Schulungsmaßnahmen - Lösung durch Vor- und Nachtests (vor und nach kompletter Untersuchung, nicht nur nach Treatment) 
  • Nachtragende und demoralisierte TeilnehmerInnen/ Motivationsmangel -> Gefährdung der Konstruktvalidität bei Durchführung  - Probanden, die nicht in die gewünschte Bedingung bekommen sind demotiviert & unkooperativ in Bezug auf die Teilnahme an dem weiteren Versuch => Messung des Outcomes verzerrt - Lösung: a) Transparenz bei der Zuordnung b) Bildung von Wartekontrollgruppen c) weitere Angebote nach Ende der Studie
  • Treatmentdiffusion -> Gefährdung der Konstruktvalidität bei Durchführung  -> Umsetzung des Treatments ist in der Praxis nicht immer exakt; „Verwässerung“ durch ungenaue Abgrenzung zweier Treatmentformen (z.B. zwei verschiedenen Therapieformen) oder Austausch zwischen den Probanden - Lösung: verschiedene VersuchsleiterInnen für unterschiedliche Treatments - räumliche oder zeitliche Trennung der Gruppen - Kontrolle des implementierten Treatments (z.B. durch Protokollierung)