Testtheorie und Testkonstruktion (Fach) / Erweiterung der KTT zur Reliabilitätsprüfung Generalisierbarkeitsthe (Lektion)
In dieser Lektion befinden sich 18 Karteikarten
Sitzung 07
Diese Lektion wurde von makem erstellt.
Diese Lektion ist leider nicht zum lernen freigegeben.
- Erweiterung der KTT durch G-Theorie Grundgedanke Erweiterung des Reliabilitätskonzepts der KTT Präzisierung des Fehlerterms Spezifikation der Messbedingungen und Überprüfung ihrer Wichtigkeit -> Ermöglicht Aussagen über Generalisierbarkeit
- G-Studie Analysemethode ANOVA (repeated measures with random effects): mit den relevanten Facetten als Faktoren mit Messwiederholung numerische Schätzwerte der einzelnen Varianzkomponenten Dabei ist weniger die Signifikanz der Effekte sondern ihre Höhe von Interesse Bedeutsamkeit der Effekte im Universe Score wird über die Berechnung von Varianzkomponenten geschätzt. -> wird in G-Studie angewendet
- G-Studie Ziel Schätzung der Bedeutsamkeit möglichst vieler Quellen von Messfehlern
- D-Studie Ziel Entwicklung von Testsettings, welches Messfehler im Hinblick auf Fragestellung reduziert und damit Reliabilität erhöht Auswahl und Konzentration auf bestimmte Facetten aufbauend auf Ergebnissen der G-Studie und Manipulation unterschiedlicher Bedingungen in diesen Facetten -> Berechnung der jeweiligen Reliabilitäten
- Designs in Abhängigkeit von Anzahl der Facetten 1-Facetten-Design 2-Facetten-Design Mehr-Facetten-Design - Crossed vs. nested Design
- Crossed (vollständiges, gekreuztes) Design: Jeder Rater beobachtet in der gleichen Situation alle Probanden Jeder Proband füllt alle Items/Testvarianten aus
- Nested (unvollständiges) Design Jeder Rater beobachtet in der gleichen Situation nur einen Teil der Probanden Jeder Proband füllt nur einen Teil der Items/Testvarianten aus
- Relative Entscheidung Generlisierbarkeitskoeffizient als Kennwert der Reliabilität - Normorientiert - Rangreihe ist relevant (z.B. Auswahl der 2 aggressivsten Kinder in Beobachtung) - Kein Einfluss der r- (bzw. i-)Facette, da alle gleichermaßen betroffen und relative Reihenfolge davon nicht beeinflusst - Aber Einfluss der pr- (bzw. pi-)Facette -> Erhöhung der Anzahl der Messgelegenheiten zur Senkung der Fehlervarianz- Relevante Varianzkomponente: (pxr)+Error
- Absolute Entscheidung Verlässlichkeitsindex 𝟇 als Kennwert der Reliabilität kriteriumorientiert -> Ist ein Cut-Off überschritten? (z.B. welche Kinder erfüllen Aggressionskriterium?) Ratereffekt als Haupteffekt Rangordnung wird verändert, wenn ein Rater strenger ratet Relevante Einflüsse: r- (bzw. i-)Facette pr- (bzw. pi-)Facette - Relevante Varianzkomponenten: (pxr) + Error & Facette (r)
- Varianzquellen - p-Effekt: Variabilität im Messobjekt (Person); gewünscht, keine Fehlerquelle - r-Facette: Variabilität zwischen Ratern - o-Facette: Variabilität zwischen Messzeitpunkten (Occasions) - i-Facette: Variabilität zwischen Items/Aufgaben
- Varianzquellen Zweifachinteraktionen pr-Facette: Person & Rater po-Facette: Person & Occasion ro-Facette: Rater & Occasion
- Varianzquellen Dreifachinteraktionen pro, pri, pio
- G-Theorie 1-Facetten-Design formalisierte Darstellung Xpi = μ (grand mean) + μp - μ (person effect) + μi - μ (item effect) + Xpi - μp - μi - μ (residual effect)
- μ = Mittelwert aller Personen über alle Items hinweg grand mean
- μp = Universal score (Äquivalent zu τ) = Mittelwert der Person p über alle Items im Universum = Erwartungswert Xpi über alle möglichen Replikationen der Testung
- μi = Populationsmittelwert eines Items i
-
- Varianzaufteilung σ2xpi = σ2p + σ2i + σ2pi,e
- 1-Facetten-Design Beispiel 2 trainierte Lehrkräfte (Rater) beobachten die Aggressivität von Kindern (Messobjekt) -> Welches Kind ist auffällig?