16
Testtheorie und Testkonstruktion (Subject) / Item Response Theory (Lesson)
Advertisement
- Abgrenzung zur KTT KTT: Antworten auf Items werden zu einem wahren Wert zusammengefasst und vorausgesetzt, dass alle Items das gleiche Merkmal messen, ohne dies tatsächlich zu prüfen. IRT: schätzt den wahren Wert mittels eines iterativen Prozesses zur Suche der optimalen Schätzwerte für die Modellierung des Verhaltens. Die IRT kann damit praktische Testprobleme z.B. Vergleichbarkeit von verschiedenen Testformen, adaptives Testen lösen.
- Manifeste vs. latente Variablen - Manifest: Antworten auf Items - Latent: Zugrundeliegende Merkmalsausprägung - Manifestes Verhalten ist von latenter Variable (ξ) abhängig Probanden mit hoher Ausprägung lösen viele Items, mit niedriger wenige.
- Manifeste vs. latente Variablen notwendige und hinreichende Bedingungen Notwendige Bedingung: Mehrere korrelierende manifeste Variablen Hinreichende Bedingung: Itemhomogenität = Antwortverhalten der Items wird nur von diesem Merkmal systematisch beeinflusst = Konstruktvalidität -> Überprüfung: Bestimmung lokaler stochastischer Unabhängigkeit
- Überprüfung Lokale Stochastische Unabhängigkeit mittels Multiplikationstheorem für unabhängige Ereignisse Latente Variable ξ wird auf einem bestimmten Wert („lokale“ Stufe) konstant gehalten z.B. Personen mit hohem Wert Item-Korrelationen sollten verschwinden Bedingung „lokaler stochastischer Unabhängigkeit“ ist erfüllt Itemhomogenität gegeben Items als „Indikatoren“ der latenten Variable wenn Items weiterhin korrelieren... ... dann messen sie nicht (nur) das interessierende Merkmal, ... ... sondern systematisch (noch) ein anderes -> Items sind nicht eindimensional/homogen.
- Verbundwahrscheinlichkeit = Wahrscheinlichkeit, dass zwei Ereignisse gleichzeitig eintreten (z.B. richtiges Lösen zweier Leistungstestitems i und j) dass Item i und j richtig mit ja/entsprechend der Merkamlasausprägung beantwortet wird
- Latent Class Modell - latente Variable: Qualitativ kategorial - Zur Kategorisierung von Personenunterschieden - Anwendungsbereich: Typenkonzept der Persönlichkeit Erziehungsstile, welche z.B. auf den Dimensionen Regeln und Wärme beruhen
- Latent-Trait-Modelle Variablenart der latenten Variablen: quantitativ kontinuierlich In der psychologischen Diagnostik gegenwärtig am gebräuchlichsten Im Einklang mit der psychologischen Vorstellung von latenten Eigenschaften/ Traits, von denen die Wahrscheinlichkeit des manifesten Verhaltens abhängt
- Personenparameter ξv Fähigkeits-, Einstellungs-, Dispositionsparameter Fähigkeit der Person v hinsichtlich des latenten Traits ξ Wert der Person v in der latenten Variablen
- Itemparameter σi Schwierigkeits-, Anforderungsparameter Anforderungen, die ein Item i hinsichtlich des zu untersuchenden Merkmals an die Person stellt
- Welche Funktion haben Latent-Trait-Modelle mit dich. Antwortformat? Mathematische Gleichung (Funktion) zur Abbildung der Annahmen über die Beziehung zwischen dem manifesten Antwortverhalten in den Items und der Ausprägung dem latenten Trait empirisch überprüfbare Annahmen Funktion: Lösungswahrscheinlichkeit charakterisiert durch Fähigkeitsparameter ξv und Schwierigkeitsparameter
- Advertisement
- Deterministische IC-Funktion Antwortverhalten wird vollständig durch Item- & Personenparameter bestimmt Guttman-Modell (auch Skalogramm-Modell - Personen beantworten Fragen zu einem Merkmal mit ja und nein und Fragen sind von normla zu extrem angeordnet)
- Probabilistische IC-Funktion Stochastische Beziehung zwischen dem Antwortverhalten der Probanden und den Item- & Personenparametern Rasch-Modell, Birnbaum-Modell
- Problem der deterministischen IC-Funktion Plausibel, aber für Test- & Fragebogendaten nicht tauglich Verletzung der Modellkonformität immer dann, wenn Probanden ein schwieriges Item lösen, obwohl sie an einem leichteren gescheitert sind Reproduzierbarkeitskoeffizient: o Gibt Anzahl der Rangplatzvertauschungen an und ob Itemhomogenität verworfen werden muss. o Wie oft löst ein Proband ein Item, obwohl er ein leichteres nicht löste? -> Alternative sind probabilistische IC-Funktionen
- Itemhomogenität = das Antwortverhalten in den Items wird nur von diesem Merkmal (der latenten Variablen) systematisch beeinflusst und von keinem anderen Merkmal =Konstruktvalidität Itemhomogenität kann man mittels lokaler statistischer Unabhängigkeit überprüfen, diese überprüft man mit Multiplikationstheorem
- Womit überprüft man statistische Unabhängigkeit? Multiplikationstheorem für unabhängige Ereignisse
- Multiplikationstheorem für unabhängige Ereignisse Verbundwahrscheinlichkeit, dass Item i und j richtig/mit „ja“/entsprechend der Merkmalsausprägung beantwortet werden = Multiplikation der Einzelwahrscheinlichkeiten, dass Item i/ j richtig/mit „ja“/ entsprechend der Merkmalsausprägung beantwortet wird