9
Testtheorie und Testkonstruktion (Subject) / 10.2) Itemanalyse im Rahmen der KTT (Lesson)
- Was wird generell bei der (statistischen) Testwertinterpretation gemacht? Unterziehen der Items einer deskriptivstatistischen Evaluation an einer für die Zielgruppe möglichst repräsentativen Stichprobe Bewertung der einzelnen Items eines Tests / Fragebogens --> Sind die Itemantworten aussagekräftig? --> Passen die Items zusammen?
- Wie sieht das generelle Vorgehen bei der Erstellung eines Tests aus? - Fragebogen generieren/zusammenstellen - Items einer repräsentativen Stichprobe vorlegen - Itemanalyse - Ggf. Testrevision - Bestimmung von Reliabilität & Validität
- Was ist das Ziel von Tests? Bestimmung der Merkmalsausprägung einer Person im Vergleich zu anderen Personen (der Population) - Items müssen zwischen Personen differenzieren - Daher: Betrachtung von Schwierigkeitsindex und Itemvarianz
- Was ist der Wertebereich des Schwierigkeitsindexes und wie verhält er sich? - Möglicher Wertebereich: 0 – 100 - Umso größer, je mehr Personen ein Item lösen (bzw. höhere Werte angegeben haben) Gibt also eher die Leichtigkeit eines Items an als die Schwierigkeit (im Gegensatz zum Schwierigkeitsparameter bei der IRT)
- Was ist die Itemvarianz? - Differenzierungsfähigkeit eines Items i hinsichtlich der untersuchten Probandenstichprobe - Liegt die Schwierigkeit eines Items fest, so ist die mögliche Ausprägung seiner Varianz begrenzt
- Wann ist die Itemvarianz maximal bzw. minimal? - Maximale Itemvarianz bei mittlerer Itemschwierigkeit (à gute Items!) - geringe Itemvarianz bei extremer Itemschwierigkeit --> extreme Schwierigkeit allerdings gut geeignet zur Differenzierung in Extrembereichen
- Was gibt die Trennschärfe an? Stärke der Übereinstimmung der Differenzierung zwischen den Probanden durch ein Item mit der Differenzierung durch den ganzen Test
- Was ist das Problem bei der Berechnung der Trennschärfe und wie kann es gelöst werden? - Problem: ein Item kommt in der Korrelation zweimal vor à als Item und als Teil der Summe Daher: Korrelation des Items nicht mit dem gesamten Summenwert sondern mit dem Summenwert der restlichen Items: Part-Whole-Korrektur
- Wie kann die Trennschärfe interpretiert werden? Trennschärfe nahe 1 - Das Item differenziert ähnlich gut wie der Gesamttest - Trennschärfe im Bereich von .4 bis .7 gelten als „gut“ Trennschärfe nahe 0 - Das Item misst etwas anderes als die anderen Items Trennschärfe nahe -1 - Itempolung prüfen und ggf. umkodieren
Advertisement