10
Testtheorie und Testkonstruktion (Fach) / 8.2) KTT: MTMM-Analyse (Lektion)
- Welchen Zweck haben MTMM-Analysen? Nachweis der Konstruktvalidität durch gemeinsame Betrachtung von konvergenter und diskriminanter Validität
- Wieso machen MTMM-Analysen Sinn? Tests können mehr als nur ein zu erfassendes Merkmal gemeinsam haben, denn jede Messung besteht aus: systematischer Trait-Methoden-Einheit unsystematischen Fehleranteil
- Welche Quellen der Methodenvarianz gibt es? Messinstrument (Method) Beurteiler (Informant) Kontext (Occasion)
- Wann liegt Konstruktvalidität vor? Gleiches Konstrukt, unterschiedliche Methoden --> hoher Zusammenhang (konvergente Validität) Unterschiedliche Konstrukte, unterschiedliche/gleiche Methoden --> niedriger Zusammenhang (diskriminante Validität)
- Die Korrelationen in der Korrelationsmatrix können in Blöcken gruppiert werden. Welche Blöcke gibt es und wo liegen diese? Monomethod-Blöcke: Diagonale Heteromethod-Blöcke: unter der Diagonale
- Welche vier Arten von Koeffizienten gibt es in der Matrix und wo liegen diese? Monotrait-Monomethod: Hauptdiagonale Monotrait-Heteromethod: Nebendiagonalen Heterotrait-Monomethod: unterhalb der Hauptdiagonalen, aber immer nur in Monomethod-Blöcken Heterotrait-Heteromethod: ober- und unterhalb der Nebendiagonalen, aber immer nur in Heteromethod-Blöcken
- Was beinhalten die einzelnen Koeffizienten? Monotrait-Monomethod-Koeffizienten: Reliabilitätskoeffizienten der Messinstrumente (Reliabilitätsdiagonale) Monotrait-Heteromethod-Koeffizienten: konvergente Validitäten der Traits (Validitätsdiagonalen) Heterotrait-Monomethod-Koeffizienten: Koeffizienten der diskriminanten Validität Heterotrait-Heteromethod-Koeffizienten: Koeffizienten der diskriminanten Validität
- Wie wird nach der korrelationsbasierten MTMM-Analyse konvergente Validität nachgewiesen? Monotrait-Heteromethod-Koeffizienten: statistisch signifikant von 0 verschieden und hoch
- Wie wird nach der korrelationsbasierten MTMM-Analyse diskriminante Validität nachgewiesen? Heterotrait-Heteromethod-Korrelationen < Monotrait-Heteromethod-Korrelationen Heterotrait-Monomethod-Korrelationen < Monotrait-Heteromethod-Korrelationen Muster der Korrelationskoeffizienten innerhalb einer Methode und zwischen den Methoden in etwa gleich
- Welche Kritikpunkte könnte man an der korrelationsbasierten MTMM-Analyse äußern? Häufigkeitsauszählungen / Einzelvergleiche erlauben nur einen groben Überblick Konvergente und diskriminante Validität können nur gemeinsam betrachtet werden keine exakten Entscheidungsregeln --> Subjektivität
Anzeige