Testtheorie und Testkonstruktion (Fach) / Vergleich KTT IRT (Lektion)

In dieser Lektion befinden sich 11 Karteikarten

14

Diese Lektion wurde von makem erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

  • KTT Schätzung des wahren Wertes  =Summe der Antworten auf Items Wahrer Wert -> individuelles Konfidenzintervall um Summe der Itemantworten (Breite abhängig vom Standardmessfehler, der von Messgenauigkeit abhängt) Es gibt viele Erweiterungen, die die Grenzen/Probleme der KTT auflösen Werden aber teilweise recht wenig angewendet
  • IRT Schätzung des wahren Wertes = iterativer Prozess zur Suche der optimalen Schätzwerte für die Modellierung des Verhaltens löst praktische Testprobleme zB Vergleichbarkeit von versch. Testformen aufwendiger/komplexer Bezug auf Itemgenerierung und Analyse im Vergleich zu KTT
  • KTT theoretische Ebene Zusammenfassung theorielos (schwache Annahmen) Axiome können nicht getestet werden Fokus liegt auf Gesamtwert Parameter (Schwierigkeit, Trennschärfe, Reliablilität) stichprobenabhängig Standardmessfehler gilt für alle Ausprägungen gleichermaßen Bedeutung der Testwerte durch Vergleich mit Normgruppe vorraussetzungsfrei, leicht anwendbar
  • IRT theoretische Ebene modelliert Zusammenhang zwischen beobachteten Verhalten und latentem Konstrukt Angemessenheit des angewandten Modells kann überprüft werden Fokus liegt auf Items Parameter stärker stichprobenunabhängig (heterogen) Standardmessfehler abhängig von Personenparameter (Iteminformationsfunktion) Testwerte können zu Items in Bezug gesetzt werden Vorraussetzungen müssen geprüft werden
  • Wie laufen empirische Untersuchungen im Vergleich nach KTT & IRT ermittelten Kennwerte ab? (Datenbasis/Logik dahinter) Bei der IRT liegt der Fokus auf den Items. Bei der KTT auf dem Gesamtwert. Bei der IRT ist der Standardmessfehler abhängig vom Personenparameter (=> Iteminformationsfunktion). / In der KTT ist der Standardmessfehler für alle Ausprägungen gleichermaßen gültig. In der IRT werden die Testwerte im Bezug auf die Items interpretiert./ In der KTT erhalten Testwerte ihre Bedeutung durch den Vergleich mit der Normgruppe.
  • Welche Hauptergebnisse liefern bisherige empirische Studien zum Vergleich der KTT & IRT? Personenkennwerte deutlich vergleichbar Itemschwierigkeiten sind vergleichbar. Trennschärfen und Itemdiskriminationsparameter weniger gut vergleichbar, Korrelationen aber hoch bis moderat. Invarianz der Itemschwierigkeiten über verschiedene Stichproben hinweg bei beiden sehr hoch Invarianz der Trennschärfen und Itemdiskriminationsparameter über verschiedene Stichproben hinweg in geringem Ausmaß gegeben (v.a. je stärker sich die Vergleichsstichproben unterscheiden) und vergleichbar.
  • Was ist adaptives Testen? Adaptives Testen läuft häufig aber nicht immer computerbasiert ab, wobei es sich um eine repetitive Schätzung von Personenfähigkeitsparametern ξv durch eine Vielzahl kalibrierter Items handelt. Dabei wird als Folge-Item immer dasjenige vorgegeben, das für die jeweilige Schätzung von ξv die höchste Iteminformation enthält, folglich werden nur Items mit hoher Messgenauigkeit vorgeben, also mit P(xvi=1)= 0,5. [zu Beginn evtl. niedriger => "Eisbrecher"]    
  • Anhand welcher Kriterien werden Testungen beim adaptiven Testen beendet? (Abbruchkriterien) Eine bestimmte Anzahl von Items wurde vorgelegt und/oder der Standardfehler der Personenparameterschätzung ist hinreichend klein und/oder eine maximale Testzeit wurde erreicht oder Alle im Itempool verfügbaren Items wurden vorgelegt.
  • Wie läuft adaptives testen ab? Itemauswahl- Beginn derTestung Itemauswahl- währendTestung Kriterien-Ende der Testung (Abbruchkriterium)
  • tailored Testing Personenparameter wird mit jeder gelösten Aufgabe neu errechnet, was die Auswahl „maßgeschneiderter“ Aufgaben erlaubt. Diese Form des adaptiven Testens kann aufgrund des Rechenaufwands nur bei computerbasierten Verfahren zum Einsatz kommen, so z. B. dem Frankfurter Adaptiven Konzentrations-Leistungstests (FAKT) von Moosbrugger & Heiden, 1997.
  • Iteminformationsfunktion Wie viel Information über die Unterschiedlichkeit der Probanden in einem Item in einem bestimmten Fähigkeitsbereich?

zurück  |  weiter 1 / 1