16
Testtheorie und Testkonstruktion (Subject) / 5. 2 PL 3 PL Polytome Modelle (Lesson)
Advertisement
- Mehrparametrige Modelle 2PL-Modell •IC-Funktionen der Items werden durch weitere Parameter definiert •Diskriminationsparameter λ (≈ Itemtrennschärfe in der KTT) Steigung der IC-Funktion an ihrem Wendepunkt Birnbaum-Modell (2PL-Modell) erlaubt unterschiedliche Steigungen 𝑝𝑋𝑣𝑖=1=exp(𝜆𝑖𝜃𝑣−𝛽𝑖)1+exp(𝜆𝑖𝜃𝑣−𝛽𝑖)
- Mehrparametrige Modelle 3PL-Modell (Rate-Modell von Birnbaum) Rate-Modell von Birnbaum •wie hoch ist die Chance, das Item per Zufall zu lösen •Rate-Parameter (ρ) •𝑝𝑋𝑣𝑖=1=𝜌𝑖+(1−𝜌𝑖)exp(𝜆𝑖𝜃𝑣−𝛽𝑖)1+exp(𝜆𝑖𝜃𝑣−𝛽𝑖) •Beispiel: Leistungstest mit 5-kategorialen MC-Items und Ratewahrscheinlichkeit von 20% •𝜌2=0.20 : die Lösungswahrscheinlichkeit geht bei sehr geringer Merkmalsausprägung nicht gegen 0, sondern 0.20.
- Mehrparametrige Modelle Bewertung •Mit mehrparametrigen Modellen wird eine bessere Anpassung an die beobachteten Daten erzielt. •Die Schätzung der Parameter erfordert komplexere Algorithmen und v.a. größere Stichproben. •Modelle mit unterschiedlichen Trennschärfen (2PL und 3PL) führen dazu, dass die Rangfolge der Itemschwierigkeiten sich in unterschiedlichen Abschnitten der Fähigkeitsskala verändern
- Einstieg IRT Modelle für ordinale Itemantworten •In der Praxis liegen nicht nur dichotome Items vor, sondern vor allem Fragebogenitems mit mehr als 2 geordneten Antwortkategorien. •Modelle für ordinale Daten: Ordinales Rasch-Modell (Partial-Credit Modell) Ordinales Mixed Rasch-Modell
- Einstieg Ordinales Rasch-Modell •Items mit > 2 geordnete Antwortkategorien •Beispiel: •„Ich gehe gerne aus.“ Ablehnung (Code 0) Neutral (Code 1) Zustimmung (Code 2) •Einfacher Fall: Ablehnung/ Zustimmung •Schnittpunkt = Schwelle (threshold) D.h. Personen, rechts der Schwelle weisen eine höhere Wahrscheinlichkeit der Zustimmung auf
- Einstieg Ordinales Rasch-Modell •Mittlere Kategorienfunktion = Normalverteilung - Ich gehe gerne aus -> Ablehnung (Code 0), Neutral Code 1, Zustimmung Code 2
- Polytomes Raschmodell •Erweiterung auf den Fall polytomer Items (d.h. mehrkategorialen Antwortmodus) •Einschränkung: Anwendungsproblem, denn bestimmte Kategorien kommen bei vielen Personen nicht vor •Eindimensionaler Spezialfall des polytomen Rasch-Modells → Ordinales Raschmodell Das ordinale Raschmodell beschreibt die Antwortwahrscheinlichkeiten für Items mit mehrstufigen Antworten, z.B. Ratingskalen Entsprechend den Items im dichotomen Raschmodell wird für jede Stufe eines Items eine logistische Funktion angenommen.
- Polytomes Rasch-Modell Ordinales Rasch-Modell – Beispiel Einstellungsfragen Die Bereitschaft zu nichtkonventionellen politischen Aktivitäten. Würden Sie Item 1: ... sich an einer Unterschriftenaktion beteiligen Item 2: ... einen Brief an einen Politiker schreiben Item 3: ... an einer Kundgebung teilnehmen Item 4: ... in einer Bürgerinitiative mitarbeiten Item 5: ... an der Besetzung eines öffentlichen Gebäudes teilnehmen •Antwort-Vorgaben: (0) nein, würde ich nicht tun (1) vielleicht (2) eher wahrscheinlich (3) ja, würde ich tun Es wird angenommen, dass die einzelnen Items unterschiedlich "schwierig" sind. Item 1 ist "leichter" als Item 2, da es eine geringere politische Aktivitätsbereitschaft erfordert. Und es wird erlaubt, dass der Befragte innerhalb eines Items nochmals eine Abstufung vornimmt.
- Polytomes Rasch-Modell Ordinales Rasch-Modell Für die im ordinale Raschmodell zu skalierenden Variablen gelten folgende Möglichkeiten und Bedingungen: 1.In die Analyse dürfen dichotome und/oder polytome Items aufgenommen werden. 2.Die Items dürfen ungleich viele Kategorien (Ausprägungen) besitzen. 3.Alle Items messen auf einer gemeinsamen Messdimension (Annahme der Eindimensionalität). 4.Die Items besitzen unterschiedliche Schwierigkeitswerte. 5.Die Items besitzen die gleiche Diskriminationsfähigkeit. 6.Die Variablen müssen mit Einer-Schritten von ihrer Werte-Untergrenze zur Obergrenze kodiert sein. Die Werte-Untergrenze muss nicht notwendigerweise = 0 sein. 7.Besitzt ein Item 3 oder mehr Ausprägungen, dann müssen die Ausprägungen in ihrer Schwierigkeit ansteigend sein. 8.Die Variablen müssen in Richtung der Messdimension kodiert sein.
- Polytomes Rasch-Modell Ordinales Rasch-Modell •Die Verallgemeinerung des dichotomen zum ordinalen Rasch-Modell geschieht mittels Schwellenparameter. •Anzahl der Schwellen = Antwortkategorien - 1 (d.h. k-1) •Je weiter rechts desto schwerer •Pbn 𝜃𝑖<−1 wahrscheinlichste Antwort 0 •Pbn −1≤𝜃𝑖<0,5 wahrscheinlichste Antwort 1 •Pbn 0,5≤𝜃𝑖<1
- Advertisement
- Ordinales Rasch-Modell Schwellenprofil … für ungeordnete Schwellenparameter •Bsp.: Kategorie neutral ist an keinem Punkt am wahrscheinlichsten •Ungeordnete Schwellenparameter widersprechen dem Gedanken einer Ratingskala. •Es liegt erst dann ein ordinales Rasch Modell vor, wenn die Schwellenparameter geordnet sind.
- Polytomes Rasch-Modell Ordinales Rasch-Modell Kategorienwahrscheinlichkeit Kategorienwahrscheinlichkeit: Wahrscheinlichkeit für das Auftreten einer Antwort in Kategorie k in Item i 𝑝(𝑋𝑖𝑘=𝑥) Wahrscheinlichkeit einer Person v, bei Item i die Kategorie x zu wählen 𝛽𝑖𝑥= 𝜏𝑖𝑥𝑥𝑠=0 Summe aller Schwellenparameter τ des Items i bis zur gewählten Antwortkategorie x 𝛽𝑖𝑚= 𝜏𝑖𝑚𝑚𝑠=0 Summe aller m Schwellenparameter τ des Items i m Anzahl der Schwellen s Schwelle
- Polytomes Rasch-Modell Ordinales Rasch-Modell Kategorienwahrscheinlichkeit: Formel •Zähler: Summer der bereits überschrittenen Schwellenparameter (bis zur gewählten Antwortkategorie) •Nenner: Summe aller Schwellenparameter •d.h. alle Schwellenparameter des Items tragen zur Vorhersage der Wahrscheinlichkeit bei, mit der eine Person eine bestimmte Kategorie wählt. •Nicht geordnete Schwellenparameter wirken sich auf die Modellpassung aus. •Ordnung wird aber im Modelltest nicht berücksichtigt •Zusätzliche Prüfung durch graphische Inspektion der Profile der Schwellenparameter •Es liegt erst dann ein ordinales Rasch Modell vor, wenn die Schwellenparameter geordnet sind!
- Ordinales Rasch-Modell Restriktivere Modelle •Ordinales Rasch-Modell mit geordneten Schwellenparametern → wenig restriktiv •Strengere Modelle: Ratingskalenmodell Äquidistanzmodell
- Ordinales Rasch-Modell Ratingskalenmodell •Aufeinanderfolgende Schwellenparameter sollen (über alle Items) den gleichen Abstand aufweisen •Items unterscheiden sich damit nur in ihrer Schwierigkeit D.h. gemittelte Schwellenparameter der Items variieren •Variation der Itemschwierigkeit gelingt über Itemformulierung Z.B. „Ich bin traurig“ vs. „Ich denke daran, mir das Leben zu nehmen“ •Konsequenz: alle Items sind gleich trennscharf (= Abstände der Schwellenparameter sind über alle Items gleich) •Je geringer der Abstand zwischen den Schwellen eines Items ausfällt, desto trennschärfer ist es
- Ordinales Rasch-Modell Äquidistanzmodell •Annahme: der Abstand zwischen zwei Schwellenparametern innerhalb jedes Items sind gleich •Zwischen den Items können jedoch Unterschiede im Abstand bestehen Entspricht am ehesten den Vorstellungen der Funktion einer Likert-Skala