Testtheorie und Testkonstruktion (Subject) / Klassische Testtheorie 2 (Lesson)

Itemanalyse

This lesson was created by makem.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 1

• repräsentative Stichprobe für Itemananalyse 5 -10 VPn pro Item mind. 100 Probanden Kennwerte der Itemanalyse sind stichprobenabhängig
• Itemschwierigkeit Gibt an, wie groß der Anteil an Personen ist, die das Item im Sinne des Merkmals beantwortet haben stichprobenabhängig Erfassung von Merkmalsdifferenzen -> keine zu leichten oder zu schweren Items
• Powertests verwenden Auswahlaufgaben mit einer richtigen und mehreren falschen Antworten dienen der Ratekorrektur
• Wovon ist die Itemvarianz abhängig? je höher Differenzierungsfähigkeit eines Items, desto höher Varianz abhängig von Itemschwierigkeit, denn wenn Items zu leicht (Pi = 100) oder zu schwer (Pi=0) sind alle Personen gleich -> Varianz = 0
• Trennschärfe zeigt in welchem Ausmaß das Item das Gleiche misst wie der Test  bzw die Subskala des Tests (Zeilensumme) Inwiefern stimmt Differenzierung der Probanden in Löser und Nichtlöser (bzw. hohe vs. niedrige Merkmalsausprägung) mit der Skala als Ganzes überein?
• Beurteilung von Trennschärfe gut: .40 - .70 (Moosbrugger & Kelava, 2012) je heterogener desto unwahrscheinlicher Trennschärfen im Bereich .70 optimale Höhe der Trennschärfe richtet sich nach der Homogenität des intressierenden Merkmals (heterogene Merkmale: moderate Trennschärfen, homogene Merkmale: hohe Trennschärfen)
• Trennschärfe Einflussfaktoren inhaltliche Passung des Items -> Item ist gut geeignet um Merkmal zu erfassen Verteilungsform von Item und Testwert -> Minderung der Trennschärfe wenn Item und Testwert unterschiedliche Verteilungsformen aufweisen Streuung der Testwerte bzw Items -> große Streuung vergrößert Trennschärfe
• Beziehung zwischen Itemschwierigkeit und Trenschärfe meist umgekehrt u-förmig
• Effekte hoher Trennschärfen Itemauswahl nach Trennschärfe - der Test wird homogener Die verbleibenden Items korrelieren höher miteinanderDie interne Konsistenz (Cronbachs Alpha) steigt an - Reliabilität wird „verbessert“ Nur wünschenswert, wenn das Merkmal auch homogen ist (Sonst sinkt die Validität des Tests; Das Merkmal wird eingeengt, es wird nur noch ein Ausschnitt und nicht mehr das gesamte Merkmal erfasst) Reliabilität wird auf Kosten der Validität vergrößert
• Grenzen der KTT Beurteilung der Frage, ob Items dasselbe Merkmal messen -> nach KTT nur anhand Trennschärfe dies reicht jedoch nicht aus um zu messen, ob alle Items dasselbe messen oder sich Skalen trennen lassen oder ien Test valide ist daher: Erweiterungen der KTT Item- und Skalenanalysen gemäß Item-Response-Theorie
• Welche Aussagen machen die Axiome der KTT? Jeder beobachtete Wert Xi einer Person i in einem Test setzt sich zusammen aus einem wahren Wert Ti dieser Person und einem Fehlerwert Ei (Xi = Ti + Ei). Für jede Person existiert in einem Test ein wahrer Wert (Ti = E(Xi)). Der Erwartungswert des Messfehlers ist 0. Die Messfehler sind unabhängig vom wahren Wert. Die Messfehler zweier Tests A und B sind unkorreliert. Die Messfehler in einem Test A sind unabhängig von den wahren Werten in Test B.
• Wie helfen die Axiome die Reliabilität eines Tests zu bestimmen? Die Reliabilität ist, im Sinne der KTT, der Anteil der Varianz (Var) der wahren Werte (T) an der Varianz der beobachteten Werte (X). Annahme, dass Axiome zutreffend sind ist die Vorraussetzung für Berechnung der Reliabilität.
• Welche Itemkennwerte beinhaltet eine Itemanalyse nach KTT und was bedeuten diese? Itemschwierigkeit: Gibt an, wie groß der Anteil an Personen ist, die das Item im Sinne des Merkmals beantwortet haben. Sie ist stichprobenabhängig und dient der Erfassung von Merkmalsdifferenzen. Die endgültige Testversion sollte keine zu leichten oder zu schweren Items beinhalten. Itemvarianz/-streuung: Je höher Differenzierungsfähigkeit eines Items, desto höher Varianz. Die Varianz ist abhängig von den Itemschwierigkeit der Items eines Tests. Denn wenn Items zu leicht (Pi = 100) oder zu schwer (Pi=0) sind, sind alle Personen in ihren Merkmalsausprägungen (Itemantworten) gleich und die Varianz ist demnach 0. Trennschärfe: zeigt in welchem Ausmaß das Item das Gleiche misst wie der Test  bzw die Subskala des Tests (Zeilensumme). Außerdem zeigt die Trennschärfe, in welchem Ausmaß die durch das Item erfolgte Differenzierung der Probanden in Löser und Nichtlöser (bzw. hohe vs. niedrige Merkmalsausprägung) mit derjenigen durch die Skala als Ganzes übereinstimmt. Voraussetzung der Trennschärfe ist Homogenität der Items (= alle Items messen inhaltlich dasselbe Merkmal).
• Woran erkennt man psychometrisch gute Items entsprechend der KTT? (Tabelle ähnlich der SWLS-Tabelle auf den Folien) Die Bewertung psychometrisch guter Items ist abhängig von Zielgruppe und Merkmalsart. Meist: mittlere Schwierigkeit (Pi: 20-80), hohe Varianz, ausreichend hohe Trennschärfe (keine Items mit Trennschärfen nahe 0 oder im negativen Bereich; >.30/.40. Wenn Differenzierung in Extrembereichen gewünscht sein sollte, dürfen auch Schwierigkeiten (Pi) zwischen 5 und 20 sowie zwischen 80 und 95 auftreten.
• Part-whole-Korrektur: das Item wird mit dem aus allen übrigen Items des Tests ermittelten Wert in Beziehung gesetzt ohne Korrektur -> Überschätzung der Trennschärfe, da das betreffende Item selbst Bestandteil des Tests ist und mit sich selbst hoch korreliert Itemwert wird jeweils vom Gesamtwert aller Items abgezogen und der korrigierte Gesamtwert wird anschließend mit dem item korreliert
• Vorraussetzung Trennschärfe Homogenität der Items = alle Items messen inhaltlich dasselbe Merkmal

back  |  next 1 / 1