21
Testtheorie (Subject) / Itemanalyse (Lesson)
Advertisement
- Itemanalyse für zielgruppe repr. Stichprobe bearbeitet den Testentwurf auf Grundlage dieser Daten werden Kennwerte bestimmt, die Entscheidungen über Items zugrunde liegen
- Möglichkeiten der Datenerhebung zu Itemanalyse (3) und Kennwerte (3) studentische Stichproben online panel -> kostenplfichtig erhebung über amazon turk, geht bis jetzt nur in den USA Schiwerigkeit Trennschärfe Itemvarian
- Schwierigekietsanalyse (5) Itemschwierigkeit: wie groß Anteil der Leute, die Item im Merkmalssine beantwortet haben? kein personenvergleich, sondern Unterschiede zwischen Items zwischn 0 und 1(leichtes Item, das alle gelöst haben) je höher Schiwerigkeitsindex, desto leichter ist Item p (IS) = Nr/N, gibt Schwere an und Lösungswahrscheinlichkeit
- Schwierigkeitsanalyse bei Leistungstests Unterschied zwischen Power - und Speedtests man unterscheidet in richtig, falsch, ausgelassen und unbearbeitet Ratekorrektur bei MC, da allein die Ratewahrscheinlichkeit bei 4 Antworten 25% ist: NR - (NF/m-1)/ N mit m als Zahl der Wahlmöglichkeiten
- Schwierigkeitsanalyse bei Speedtests (3) man berechnet Itemschwierigkeit nur auf Basis der Personsn, die auch das Item in Anspruch genommen haben Differenzierung durch Begrenzung der Bearbeitungszeit häufig zur Prüfung von Knzentration
- Itemschwierigkeit bei Persönlichkeitstests (4) Items erstmal umpolen wenn nötig, transformieren, damit hohe Ausprägungen einen hohen Wert zugeordnet bekommen p= Summe aller X / durch Anzahl der Personen n * (k-1), Anzahl der Stufen einer Skala Schwierigkeit wird am Schwerpunkt bestimmt, also dem Mittelwert der Skala .20-.80 gut, ermöglicht Differenzierung, wenn alle das gleiche (bei 0 oder 1) angeben ist Item unsinnig
- Itemvarianz (4) Differenzierung eines Items hinsichtlich der Probandenstichprobe Eigenschaften, die auf die Verteilung (Streuung) einwirken: Ausnutzen der bandbreite der antowrtmöglichkeiten, schiefe und kurtosis (steile Gipfel in Verteilung) Kalmogorov Smirnov Test auf Normalverteilung, prüft Schiefe und Kurtosis Itemschwierigkeit begrent Varianz, je ähnlicher die Antworten, desto geringer Varianz
- Trennschärfe (4) Korrelation des einem Items mit dem ganzen Testwerten, also: kann das eine Item die Person genauso gut differenzieren wie der gesamte Test? Korrelationen von .40-.70 sind gute Items, aber uss größer als .3 sehr hoch (1): unnötig weil Test es schon macht 0: differenziert gar nicht, -1: differenziert in falsche Richtung (doppelte Verneinung? nicht invertiert?)
- Kovarianz und Korrelation Auch wenn die Kovarianz mit der Stärke des Zusammenhangs steigt, ist es immer noch relativ schwierig, aus dem Wert der Kovarianz konkrete Schlüsse zu ziehen, da Kovarianz unstandardisiert ist. Hier liegt auch der Unterschied zur Korrelation: Korrelation ist die standardisierte Kovarianz.
- Part whole Korrektur (4) das Item wird mit dem aus allen übrigen Items des Tests ermittelten Wert in Beziehung gesetzt ohne Korrektur -> Überschätzung der Trennschärfe, da das betreffende Item selbst Bestandteil des Tests ist und mit sich selbst hoch korreliert Itemwert wird jeweils vom Gesamtwert aller Items abgezogen und der korrigierte Gesamtwert wird anschließend mit dem item korreliert Einfluss geringer, wenn viele Items oder homogene Items
- Advertisement
- Produkt- Moment- Korrelation (2) Pearson Produkt-Moment-Korrelation wird eingesetzt, um die Stärke des linearen Zusammenhangs zwischen zwei Variablen zu bestimmen. Daneben kann beispielsweise überprüft werden, ob zwei Variablen unabhängig voneinander sind. Dies wäre der Fall, wenn die Korrelation (etwa) Null wäre. neue Skalen, Fragebögen und Instrumente mit bereits etablierten übereinstimmen (Stichwort: konvergente und diskriminante Validität).
- Von was wird die Itemtrennschärfe beeinflusst? von der Varianz, also der Streuung, die wiederum von der Schwierigkeit beeinflusst wird (mittlere Schwierigkeit > größte Varianz) sehr heterogenes Konstrukt: geringe Trennschärfe eingeschränkte Varianz: niedrigere Trennschärfe
- Was passiert durch Varianzbeschneidung? ungünstigeres Verhältnis zwischen aufgeklärt. Varianz (wie viel klärt prädiktor an varianz auf?) und Fehlervarianz ( wie stark weichen einzelne punkte von linie ab) > geringere Korrelation
- was beschreiben homogene Skalen? (3) homogenität = beschaffenheit der skala, nicht der einzelnen Items eng umschriebene Merkmalsaspekte formale und inhaltliche Einheitlichkeit der Skala
- Was berücksichtig man bei Itemselektion? (5) Schwierigkeit der Items Itemvarianz (wie sehr streuen sie?) Trennschärfe (Korrelation Item mit Gesamtergebnis Test) reliablität (genauigkeit) Validität (wird das gemessen was gemessen werden soll?
- Maße der zentralen Tendenz (3) arithmet. Mittel: Summe aller Testwerte / Anzahl der Testwerte Modalwert: wert der am häufigsten vorkommt Median: wert, der verteilung in zwei Hälften teilt
- Exzess (2) wie viel steiler oder flacher die Kurve ist im vergleich zur Normalverteilung exzess < 0 ist flacher, exzess > 0 ist steiler
- mögliche Gründe für rechts/linksschiefe (4) Items sind alle positiv formuliert Items nicht ausgewogen hinsichtlich der Schwierigkeit stichprobe heterogen zusammengefügt aus Unterstichproben vielleicht ist das Konzept auch nicht normalverteilt zB Optimismus
- Lösung bei Links- / rechtsschiefe (3) wenn dem nicht so ist und das Merkmal eig. normalverteilt ist muss ich rausfinden, woher es kommt oder statistisch vorgehen um es rauszunehmen: Optimierung Itemauswahl Normalisierung als nichtlineare Transformation
- Wie kann man normalisieren? (2) Logarithmierung bei rechtsschiefen Verteilungen Flächentransformation: Jeder Testwert bekommt Prozentrang und dadurch Quasi Normalverteilung erzwingen
- Wie macht man das Ganze in SPSS? (4) es gibt Daten und Variablenansicht Umkodieren der Items über Transformieren Schwierigkeit udn Itemvarianz über Analysieren > deskriptive Statistik, hier bekommt man dann den Mittelwert, mit dem man die Schwierigkeit berechnen kann /k-1 un die Varianz Trennschärfe: Analysieren > Skala > Reliabilitätsanalyse > Statistiken und dann für part whole Korrektur > Skala wenn Item gelöscht > korr. Item Skala Korrelation