Testtheorie und Testkonstruktion (Subject) / 6. Interpretation Testwerte (Lesson)

This lesson was created by AnnaCy.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 1

• Normorientierte Interpretation •Logit-Skala (Joint-Scale): Nullpunkt festlegen; d.h. mittlere Personenfähigkeit/Itemschwierigkeit auf 0 restringieren  → Referenz auf mittlere Fähigkeit/Schwierigkeit  •Normierung vereinfacht die Werteinterpretation  •In dem meisten Feldern der psychologischen Leistungsforschung dominiert die normorientierte Interpretation quantitativer Testwerte.  z.B. IQ-Tests  z.B. PISA M = 500 Punkte, SD = 100 Punkte; dt. 10-jährige 491 Punkte „Lesekompetenz“ 
• Normorientierte vs. Kriteriumsorientierte Interpretation von Testwerten •Statt Fragen zur Norm eher Fragen zu spezifischen Kompetenzen  Welche Leistungsanforderungen kann die Person/Gruppe bewältigen?  •Da eine inhaltliche Beschreibung für jeden Punkt der Kompetenzskala nicht realisierbar ist, werden Abschnitte gebildet  = Kompetenzniveaus  •Voraussetzung: paralleler ICC-Verlauf (zur eindeutigen Lokalisation) 
• Kriteriumsorientierte Interpretation der Testwerte Beispiel:  •Person A hat Fähigkeit, Item 2 mit 50% zu lösen.  •D.h. diese Fähigkeit lässt die Person Item 1 zu 87% und Item 3 zu 24% lösen.  Auf Basis derjenige Items, die mit einer Wahrscheinlichkeit von ≥ 50% gelöst werden, lässt sich (kriteriumsorientiert) beschreiben, welche Anforderungen die Person bewältigen kann. 
• Kriteriumsorientierte Interpretation der Testwerte Beispiel: Projekt „Perle“ Schuleintritt; mathematische Vorläuferfähigkeiten  (Zahlen lesen)  Kinder mit einer Fähigkeit von 𝜃𝑉 = 1  beherrschen das Lesen von einstelligen Zahlen (> 95%)  können zweistellige Zahlen lesen (> 70%) 
• Kriteriumsorientierte Interpretation der Testwerte Veränderung der Schwelle auf der Kompetenzskala •Es werden Punkte auf der Kompetenzskala bestimmt, an denen die Lösungswahrscheinlichkeit einen anderen Wert annimmt (z.B. 65%)  •Personen, deren individueller Testwert die 65%-Schwelle des Items übersteigt, können dieses Item mit hinreichender Wahrscheinlichkeit korrekt lösen.  •Beispiele für 65% Schwellen  TIMSS: Third International Mathematics and Science Study  DESI: Deutsch Englisch Schülerleistungen International 
• Bestimmung von Kompetenzniveaus Definition von Kompetenzniveaus Grundidee:  •Die kontinuierliche Skala wird in Abschnitte unterteilt  = Kompetenzniveaus  •Kriteriumsorientierte Beschreibung für jeden Skalenabschnitt innerhalb des Kompetenzniveaus  •Keine weitere inhaltliche Differenzierung innerhalb des Kompetenzniveaus 
• Bestimmung von Kompetenzniveaus Methode A: A-priori-Aufgabenmerkmale  •Theoretisch begründete a-priori Annahmen darüber, welche spezifischen Merkmale des Items seine Schwierigkeit bedingen.  •Diese Merkmale dienen zur Festlegung der Schwellen zwischen den Kompetenzniveaus („a-priori Aufgabenmerkmale“)  Methode B: Post-hoc Analysen  •willkürliche Setzung der Schwellen zwischen den Abschnitten auf der Kompetenzskala (z.B. gleiche Abstände; Mittelwerte bestimmter Bezugsgruppen)  •Suche nach Items, deren Schwierigkeit für die Schwelle charakteristisch sind  •Inhaltliche Beschreibung der Abschnitte anhand einer Post-hoc Analyse der Inhalte dieser Items. 
• Beispiel A-priori Analyse: DESI Englisch Hörverstehen  Kompetenzniveau A: dass SchülerInnen „… konkrete Informationen (…) hörend verstehen [können], wenn diese Informationen langsam, deutlich gesprochen und in einfacher Sprache explizit präsentiert werden.“  Kompetenzniveau C: „kann abstrakte Informationen (…) verstehen, indem implizite Informationen erschlossen oder inhaltlich komplexe Einzelinformationen interpretiert werden auch wenn diese sprachlich komplex und in partiell schneller Sprechgeschwindigkeit präsentiert werden, wie Muttersprachler dies in natürlicher Interaktion tun.“
• Beispiel Post-hoc Analyse: TIMSS/III-Test naturwissenschaftliche Grundbildung  •Grundlage: internationaler Datensatz  •Normierung: internationaler Mittelwert = 500 (SD = 100)  1. Schwelle: 500  •Itemmenge: > 65% an Schwelle und < 50% zur nächsten Schwelle  → charakteristisch für Kompetenz!  •Inhaltliche Analyse → gemeinsame Anforderungen der Kompetenzstufe 

back  |  next 1 / 1