14
Testtheorie und Testkonstruktion (Subject) / Probabilistische Testheorien (Lesson)
Advertisement
- Itemcharakteristiken Der theoretische Zusammenhang zwischen der latenten Merkmalsdimension und der Wahrscheinlichkeit der Lösung eines Items = ICC, y-Achse: Lösungswahrscheinlichkeit, x-Ache: Latente-Variable/ Merkmal
- Was bedeutet probabilistisch? Modellannahme, dass sich die verschiedenen Ausprägungen in der latenten Variablen nicht mit Sicherheit, sondern nur mit gewissen Wahrscheinlichkeiten zu bestimmten beobachtbaren Reaktionen führen, die W'keiten sind immer > 0 und < 1.
- Gemeinsamkeit der PTTs Das zu erfassende Merkmal wird als nicht beobachtbare, latente Variable betrachtet, Items dagegen sind manifeste Variablen, die als Indikatoren für die latenten Variablen dienen.
- Für die ICC gilt ... - sie ist streng monoton steigend - die Wahrscheinlichkeit das Pb das item löst, nimmt mit zunehmender Personenfähigkeit zu - Die Wahrscheinlichkeit das Pb das Item löst, steigt mit abnehmender Itemschwierigkeit - "Je größer die Personenfähigkeit relativ zur Itemschwierigkeit, desto größer die Lösungwahrscheinlichkeit"
- Trennschärfe Die Trennschärfe eines Items ist die Steigung der ICC an ihrer steilsten Stelle bei zwei Items mit geringer Trennschärfe unterscheiden sich Lösungswahrscheinlichketien von Personen annähernd gleicher Fähigkeit weniger als bei höherer Trennschärfe.
- Eigenschaften des Rasch-Modells (8) - entspricht die Personenfähigkeit der Itemschwierigkeit, ist die Lösungswahrscheinlichkeit 0.5 - die Items unterscheiden sich nur in ihrer Schwierigkeit (verschiebung entlang x-Achse) - alle haben gleiche Trennschärfe - Personenscores und Itemschwierigkeiten liegen meist zwischen -3 und 3 - Stichprobenunabhängigkeit - Spezifische Objektivität - Summenwerte erschöpfende (suffiziente) Statistiken - Differenzskalenniveau
- Stichprobenunabhängigkeit der Parameterschätzung - Die Schätzung der Personenfähigkeit ist unabhängig von der Auswahl der Items, die die Person beantwortet hat, mit denen die Fähigkeit erfasst wird. - Jede Teilmenge an Items führ also zu den gleichen Personenscores (und umgekehrt) - Gilt in der KTT nicht
- Spezifische Objektivität Vergleicht man zwei Personen a und b, so ist die Differenz ihrer Scores unabhängig von der Schwierigkeit der Items, die sie beantwortet haben. Umgekehrt ist die Differenz der Schwierigkeiten zweier Items unabhängig von den Personenfähigkeiten.
- Summenwerte als erschöpfende Suffiziente Statistiken gilt im Rasch-Modell - Alle Informationen über eine Person sind in ihrem Summenwert enthalten, es ist also egal, welche Items sie beantwortet hat, nur wie viele
- Lokale Stochastische Unabhängigkeit = Voraussetzung für die Gültigkeit des Rasch-Modells und andere PTT-Modelle - Der Zusammenhang zwischen Antoworten auf zwei Items soll ausschließlich durch die Fähigkeit in der latenten Variable hervorgerufen werden. Der Zusammenhang sollte verschwinden, wenn man die Fähigkeit kontrolliert. Für alle Personen mit einer konstanten Fähigkeit sollten alle Items statistisch voneinander unabhängig sein.
- Advertisement
- Differenzskalenniveau - Skalenniveau im Rasch-Modell - Differenzskalenniveau der auf einer gemeinsamen Skala liegenden Personen- und Itemscores. - Zulässig ist nur die Addtion einer Konstanten: x' = a+x - Der Nullpunkt der Skala ist unbestimmt. Per Konvention schreibt man die Itemscores so, dass die Summe der Itemsschwierigkeiten = 0 ist. - Da die Parameter der Items und Personen sich auf einer gemeinsamen Skala befinden, sind damit auch die Personenscores fest.
- Eigenschaften des Birnbaum-Modells (6) - Trennschärfe als zweiter Parameter mit aufgenommen (Diskriminierbarkeitsparameter) - Trennschäfen der Items liegen im Wertebereich zwischen 0.5 und 2 (große Trennschärfe erwünscht wie in KTT) - Intervallkalenniveau weil ICCs nun nicht nur gegeneinander verschoben sein können (additive Konstante) sondern auch unterschiedlich steil ausfallen können (multiplikative) - keine spezifisch objektiven Messungen mehr möglich - Summenwerte sind keine suffizienten Statistiken mehr (Jedes Personenprofil erhält eigenen Personenscore) - Schätzung ß erfordert höheren Stichprobenumfang.
- Reliabilität in der PTT - KTT: Reliabilitätskoeffizient - PTT: Informationsfunkion = gibt an, wie hoch die Messgenauigkeit eines Items oder des gesamten Tests in Abhänigkeit von der Position auf dem latenten Merkmalskontinuum ist.In den Extremen des Kontinuums stehen meist weniger Informationen zur Vefügung, daher sind Personenscores an den Rändern mit mehr Messfehlern bestimmt. Standardmessfehler ist die Wurzel aus der Informationsfunktion
- Überprüfung der Modellgüte - Wann ist L groß genug? Frage: Passt das Modell gut auf die Daten? Modelltests können sich beziehen auf ... - Die Gültigkeit der Annahmen des betreffenden PTT Modells - den globalen Fit - die Modellpassung einzelner Items oder Personen