Testtheorie und Testkonstruktion: KTT (Fach) / KTT: Validität (Lektion)

Grundlagen der validität

Diese Lektion wurde von eidechse1 erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Was ist die Validität? Gültigkeit - Misst ein test was er messen soll?
• Wie lautet die operationale Definition von Merkmalen? Ein Merkmal wird im Wesentlichen durch die Testinhalte definiert -> Merkmal nihct als ursache der Antworten interpretieren  
• Wie lautet die theoretische Definition von Merkmalen? Eine Theorie macht Aussagen darüber, worauf sich Unterschiede zwischen Personen zurückführen lassen und warum die Unterscheide zu verschiedenen Testergenissen führen.
• Wann liegt Inhaltsvalidität vor? Wenn ein Test oder ein Testitem das zu messende psychologische Merkmal repräsentativ erfasst. -> Repräsentationsschluss von der Itemstichprobe auf das Itemuniversum
• Wann liegt Kriteriumsvalidität vor? Kriteriumsvalidität liegt vor, wenn von einem Testergebnis erfolgreich auf ein als relevant erachtetes Außenkriterium, nämlich auf ein Verhalten außerhalb der Testsituation, geschlossen werden kann.
• Wann liegt Augenscheinvalidität vor? Augenscheinvalidität liegt vor, wenn der Validitätsanspruch eines Tests einem Laien, vom bloßen Auge her, gerechtfertigt erscheint.
• Wann liegt Konstruktvalidität vor? Konstruktvalididtät liegt vor, wenn der Schluss vom Testergebnis auf zu Grunde liegende psychologische Merkmale (z.B. Fähigkeiten, Dispositionen, Charalterzüge oder Einstellungen) aufgezeigt werden kann.
• Welche Arten der Validität gibt es? - Augenscheinvalidität - Konstruktvalidität - Kriteriumsvalidität - Inhaltsvalidität
• Nach welchem Merkmal wird die Kriteriumsvalidität unterschieden? Nach zeitlichem Abstand zwischen Test und externem Kriterium: - Übereinstimmungsvalidität: Test und Kriterium werden gleichzeitig erfasst - Prognostische Validität: Kriterium wird später erhoben -> Vorhersage von Testdaten auf Kriterium
• Wie wird die Kriteriumvalidität bestimmt? Durch Korrelationen
• Welche Arten von Kriterien gibt es? - Echtes Kriterium - Quasikriterium - Target-Variable
• Ziel der Konstruktvalidität Überprüfung theoretische Annahmen über die Zusammenhangsstruktur latenter Konstrukte anhand empirischer Daten.
• Grundsätzliches Vorgehen bei der empirischen Bestimmung der Konstruktvalidität: - Hypothesen aus der Theorie ableiten - Hypothesen experimentell oder korrelativ prüfen - Bei Bestätigung: Interpretation der Testwerte als individuelle Ausprägung in dem theoretischen Konstrukt
• Experimenteller Ansatz: Was hat auf was Effekte? 1. Variierbare Faktoren haben Effekt auf Konstrukt 2. Konstrukt hat Effekt auf unabhängige Variable
• Was folgt daraus, dass Variierbare Faktoren einen Effekt auf das Konstrukt haben? - experimentelle Variation dieser Faktoren sollte einen Effekt auf die Testwerte haben, die das Konstrukt repräsentieren - Testwerte als abhängige Variable
• Korrelativer Ansatz: Welche theoretisch begründeten Annahmen über Richtung und Höhe der Korrelation werden gemacht? Konvergente Validität: - liegt vor, wenn Messungen eines Konstrukts, das mit verschiedenen Methoden erfasst wird, hoch miteinander korrelieren Diskriminante Validität: - liegt vor, wenn Messungen verschiedener Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden erfasst werden, nicht oder nur gering miteinander korrelieren
• Wie kann der korrelative Ansatz praktisch umgesetzt werden? Festsetzen von Grenzwerten für die zu erwartenden Korrelationen - konvergente Validität - diskriminante Validität ABER: Berücksichtigung, dass der zu validierende Test und auch der Test, der das damit zusammenhängende Merkmal messen soll, nicht vollständig reliabel sind
• Korrelativer Ansatz: Welche Möglichkeit zur Korrektur der nicht vollständigen Reliabilität der Tests gibt es? doppelte Minderungskorrektur korrigiert den beobachteten Zusammenhang zwischen 2 Testwerten durch die Berücksichtigung der Reliabilitäten der beiden Testwerte nach oben durch Einsetzen kann die Mindestkorrelation zwischen X und Y bestimmt werden Ergebnis: Grenzwert für Hypothesen/erwartete Korreltionen der manifesten Variblen (zwischen den Konstrukten, die 2 Tests erfassen sollen)
• Wie sollte der Signifikanztest zur Sicherung der Effekte bzw. Zusammenhänge ausfallen und was ist das Problem des Signifikanztests? experimenteller Ansatz: erwartete Werte signifikant korrelativer Ansatz:  konvergente Validität: Korrelation signifikant größer als Grenzwerte diskriminante Validität: Korrelation nicht signifikant größer als Grenzwerte Problem: bei ausreichend großer Stichprobe werden auch theoretisch unbedeutsame Effekte signifikant --> Bestimmung des optimalen Stichprobenumfangs zur Prüfung des erwarteten Effekts
• Welchen Zweck haben MTMM-Analysen? Nachweis der Konstruktvalidität durch gemeinsame Betrachtung von konvergenter und diskriminanter Validität
• Wieso machen MTMM-Analysen Sinn? Tests können mehr als nur ein zu erfassendes Merkmal gemeinsam haben, denn jede Messung besteht aus:   systematische Trait-Methoden-Einheit unsystematischen Fehleranteil
• Welche Quellen der Methodenvarianz gibt es? Messinstrument (Method) Beurteiler (Informant) Kontext (Occasion)
• Wann liegt Konstruktvalidität vor? Gleiches Konstrukt, unterschiedliche Methoden --> hoher Zusammenhang (konvergente Validität) Unterschiedliche Konstrukte, unterschiedliche Methoden --> niedriger Zusammenhang (diskriminante Validität) Unterschiedliche Konstrukte, gleiche Methoden --> niedriger Zusammenhang (diskriminante Validität)
• Kriterium für die konvergente Validität bei der MTMM-Analyse: Die Korrelationen eines Traits, gemessen mit verschiedenen Methoden sollen statistisch signifikant von Null verschieden sein (Monotrait-Hetereomethod-Korrelationen)
• Kriterium für die diskriminante Validität bei der MTMM-Analyse: 1. Heterotrait-Heteromethod < Monotrait-Heteromethod 2. Heterotrait-Monomethod < Monotrait-Heteromethod 3. Das Muster der Korrelationskoeffizienten innerhalb einer Methode zwischen Methoden soll in etwa gleich sein
• Kritikpunkte der MTMM-Analyse: - Häufigkeitsauszählungen / Einzelvergleiche erlauben einen groben Überblick - Interpretation aufgrund von manifesten Variablen -> Schlussfolgerungen auf latente Traits und Methoden - Konvergente und diskriminante Validität können nur gemeinsam betrachtet werden - Keine exakten Entscheidungsregeln -> Subjektiv
• Implizite Voraussetzung für die MTMM-Analyse: Alle merkmale werden mit der gleiche Zuverlässigkeit gemessen -> gleiche Reliabilitäten

zurück  |  weiter 1 / 1