Diagnostik (Fach) / Validität (Lektion)

04

Diese Lektion wurde von leonau erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Grundsätzliches Validität = Gültigkeit einer Messung Zentrale Frage:Was gibt ein Messinstrument vor zu messen und wasmisst das Instrument? Differenzierung zwischen Konstrukt und Operationalisierung des Konstrukts Validität beschreibt das Ausmaß, in dem eine Messung gemäß wissenschaftlicher Standards inhaltlich das (Konstrukt) abbildet, was diejenigen vermuten, die die Messung interpretieren und verwenden (vgl. Beauducel & Leue,2014)
• Unterscheidungen bei der Validität → Bei hoher Validität erlauben die Ergebnisse eines Tests einen Schluss aus dem beobachtbaren Verhalten in der Testsituation auf ebenfalls beobachtbares Verhalten außerhalb der Testsituation. Interne Validität "Eine Untersuchung ist intern valide, wenn Veränderungen in den abhängigen Variablen eindeutig auf den Einfluss der unabhängigen Variablen zurückzuführen sind" (experimentell: Das Treatment bewirkt genau das, was es bewirken soll, bzw. nur das Treatment wirkt und nichts anderes)  Externe Validität "Eine Untersuchung ist extern valide, wenn das in einer Stichprobenuntersuchung gefundene Ergebnis auf andere Personen, Situationen oder Zeitpunkte generalisiert werden kann."
• Inhaltsvalidität Sofern die Aufgaben eines Tests Stichproben aus dem zu erfassenden Zielmerkmal darstellen, kann aus dem Verhalten in der Testsituation auf dasjenige außerhalb im Sinne eines Repräsentationsschlusses geschlossen werden. Der Grad der Genauigkeit, mit dem dieser Repräsentationsschluss möglich ist, bezeichnet man als inhaltliche Validität. Die inhaltliche Validität ist hoch, wenn die Aufgaben völlig identisch mit den Anforderungen sind, die man vorhersagen möchte. Beispiele für inhaltsvalide Verfahren sind z.B. Führerscheinprüfung oder Arbeitsproben
• Inhaltliche Validität und KTT Überlegung bei der Definition eines Itemuniversums: jedes Item misst einen etwas anderen Ausschnitt des Itemuniversums. → Unterschiede zwischen den Items werden als inhaltlich relevant erachtet KTT:  Unterschiede zwischen Items sollen nur auf den Messfehler zurückgehen. Zur Definition des Itemuniversums wird angenommen, dass Items unterschiedliche Aspekte des Universums abdecken. WIDERSPRUCH! Mögliche Lösung:  Hierarchische Modelle --> z.B. Facettentheorie (Strukturierung des Itemuniversums, Verbesserung der Konstruktvalidität)
• Bestimmung der Inhaltsvalidität Bei Unsicherheit über die Repräsentativität des Itemuniversums: Quantitative Bestimmung der Inhaltsvalidität  → unabhängig arbeitende Personen beurteilen generierte Items dahingehend, ob sie Inhalt des Konstruktes entsprechen  → Maß: Ü-Koeffizient von Fricke (1974): Übereinstimmungskoeffizient = 1 - (Quadratsumme innerhalb der Personen/ Maximal mögliche Quadratsumme innerhalb der Personen (-> maximale Varianz!)) Experimentelle Bestimmung der Kontentvalidität (Inhaltsvalidität) Mindestens 2 Gruppen von Personen werden Beschreibungen eines Konstruktes sowie die Regeln vorgegeben, nach denen Items zu generieren sind. → Entstehung von zwei unabhängigen Tests für dasselbe Konstrukt Die zwischen den Ergebnissen auftretende Korrelation ist ein Maß für dieinhaltliche Validität beider Verfahren. Jedoch: Um eine angemessenere Validitätsschätzung zu erhalten, könnte man auch die Korrelation in Bezug auf die Reliabilität korrigieren.
• Konstruktvalidität → psychologische Bedeutung des Testresultates: Welche Konstrukte misst ein Test? ist Inhaltsvalidität nicht sicherzustellen, ist Konstruktvalidität besonders wichtig!! (legen Items keine eindeutige theoretische oder praktische Bedeutung des Testes nahe, erschließt man sich die Validität des Tests über das Konstrukt) Konstruktvalidität ist in der Grundlagenforschung verankert (viel mehr als die kriterien-bezogene Validität und die Kontentvalidität) Konstruktvalidierung:Man geht von dem Konstrukt und der entsprechenden Theorie aus und leitet daraus Hypothesen ab, die unter Einsatz des zu validierenden Tests empirisch geprüft werden. (viele methodische Vorgehensweisen möglich!)
• Konstruktvalidität nach Cronbach und Meehl (1955) Gesichtspunkte der Konstruktvalidierung: 1) Korrelation des Tests mit mehreren Außenkriterien (Kriteriumsvalidität)2) Korrelation des Tests mit Tests ähnlichen Validitätsanspruches3) Korrelationen mit Tests, die andere Merkmale erfassen → dazu: Verwendung der Korrelationsmethode, um einen Test im Netzwerkanderer Konstrukte zu lokalisieren → für derartige Analysen:  Konvergente Validität: Die Skalen oder Items, die inhaltlich zusammenhängen sollten, korrelieren bedeutsam miteinander Diskriminante Validität: Die Skalen oder Items, die inhaltlich nicht zusammenhängen sollten, korrelieren nicht, oder bedeutsam niedriger miteinander 4) Faktorenanalyse des zu validierenden Tests gemeinsam mit Außenkriterien, validitätsverwandten und validitätsdivergenten Tests 5) Analyse interindividueller Unterschiede (Verteilungen) in den Testresultaten → erwartete Gruppenunterschiede werden als Hinweis auf die Validität eines Tests interpretiert. 6) Analyse intraindividueller Veränderungen bei wiederholter Durchführung mit und ohne systematische Variation der Durchführungsbedingungen → Werte eines Tests, der ein stabiles Merkmal wie Intelligenz misst, sollten keine allzu großen zeitlichen Schwankungen aufweisen. 7) Inhaltlich-logische Analyse der Testelemente (siehe Inhaltsvalidität)
• Multi-Trait-Multi-Method-Matrix (MTMM) → Ansatz hilft bei der Überprüfung der konvergenten und diskriminanten Validität  WICHTIG: notwendiges Vorgehen, da konvergente und diskriminante Validitäten durch Effekte der Erhebungsmethode verdeckt werden können (Diskriminate Validität kann durch die Method verringert werden) Konvergente Validitäten:Wenn verschiedene Messmethoden, die dasselbe Merkmal A messen sollen, korrelieren,spricht das für konvergenteValidität. Diskriminante Validitäten:Wenn verschiedene Merkmale A und B, die mit derselben Messmethode gemessen werden,nicht korrelieren,spricht das für diskriminanteValidität. Die Korrelation zwischen den Messungen soll nur durch das gemeinsame Merkmal, nicht aber durch die Messmethode entstehen. Um konvergente und diskriminante Validitäten zu erfassen, muss man mehrere Merkmale mit mehreren Messmethoden messen. Die Korrelationsmatrix, die dabei entsteht, nennt man Multi-Trait-Multi-Method (MTMM) - Matrix.
• Koeffizienten der Multi-Trait-Multi-Method-Matrix Konvergente Validität:􏰌Monotrait-Heteromethod-Koeffizienten (Korrelationen zwischen verschiedenen Methoden, die denselben Trait messen) Diskriminante Validität:􏰌Heterotrait-Monomethod-Koeffizienten (diskriminante Validität I):Korrelationen zwischen verschiedenen Traits, die mit derselben Methode gemessen werden Heterotrait-Heteromethod-Koeffizienten (diskriminante Validität II): Korrelationen zwischen verschiedenenTraits, die mit verschiedenen Methoden gemessen werden (Methodenvarianz) - Als verschiedene Methoden im Rahmen einer MTMM-Analyse werden oft Selbst- versus Fremdeinschätzungen verwendet - Bei Vernächlsässigung des Aspektes der Methodenvarianz: kann man auch wie in Punkt 4 nach Cronbach und Meehl (1955) mit konstruktnahen und konstruktfernen Tests eine gemeinsame Faktorenanalyse durchführen → faktorielle Validität 
• Anliegen des MTMM-Ansatzes Das Anliegen des MTMM-Ansatzes kann als facetten- theoretischer Abbildungssatz verstanden werden (Süß & Beauducel, 2005): Die Traits/ Merkmale  (A B C )  werden mit den Methoden (1 2 3)  gemessen!
• Zusammenfassung -Bei der Bestimmung der Kontentvalidität geht es um die transparente Definition von Merkmalen, die Items zur Messung eines Konstrukts aufweisen sollen. − Bei der Konstruktvalidität wird konvergente und diskriminante Validität unterschieden. − Mit der MTMM-Matrix können Korrelationen für konvergente und diskriminante Merkmalsausprägungen unter Einbezug verschiedener Methoden untersucht werden. − Die Umsetzung eines MTMM-Ansatzes kann anhand des Facetten- ansatzes definiert werden.

zurück  |  weiter 1 / 1