11
Testtheorie und Testkonstruktion (Subject) / Folie MP4_1 Einführung (Lesson)
Advertisement
- Grundidee der probabilistischen Testtheorie am Bsp des Rasch Modells Geben Sie ein Beispiel zu der Grundidee von psychometrischen Modellen (Rasch-Modell) und erklären Sie dies •Intelligenz-und Entwicklungsskalen für Kinder von 5-10 Jahren (IDS) •Teilskala „Emotionen erkennen“ •Kompetenz Emotionserkennung = Anzahl d. gelösten Aufgaben (Summenwert) Sprechen die verschiedenen Bilder dieselbe emotionale Kompetenz an? Sollen alle Aufgaben gleich gewichtet werden? •10 Bilder -193 Kindern •Antworten bewertet u. Daten mit dem Rasch Modell analysiert •Kurve = Itemcharakteristik •Je höher die emotionale Kompetenz, desto größer die Wahrscheinlichkeit, eine Emotion korrekt zu erkennen.
- Probabilistische Testtheorie (IRT) Grundidee psychometrischer Modelle am Beispiel des Rasch-Modells a.) Geben Sie die Annahme wieder b.) von was hängt die Wahrscheinlichkeit ab eine Emotion zu erkennen? c.) Geben Sie an wie sich die Lösungswahrscheinlichkeit entwickelt bei der Veränderung der Fähigkeit sowie der Schwierigkeit a.) Annahme: keine perfekte Vorhersage der Lösung eine Aufgabe aufgrund der emotionalen KompetenzEine Vorhersage ist nur mit einer bestimmten Wahrscheinlichkeit möglich b.) Die Wahrscheinlichkeit, eine Emotion korrekt zu erkennen, hängt also sowohl von der Fähigkeit einer Person als auch der Schwierigkeit einer Aufgabe ab. c.) Je größer die Fähigkeit einer Person und je geringer die Schwierigkeit einer Aufgabe, umso größer ist die Lösungswahrscheinlichkeit
- Probabilistische Testtheorie (IRT) Grundidee psychometrischer Modelle am Beispiel des Rasch-Modells a.) Mit was beschäftigt sich das Rasch-Modell b.) Auf was geht das Rasch-Modell aus? a.) Das Rasch-Modell beschäftigt sich damit, wie die Lösungswahrscheinlichkeiten verschiedener Aufgaben von einem Merkmal abhängen . b.) Das Rasch-Modell geht davon aus,-a)dass die Lösungswahrscheinlichkeiten aller Items von nur einem Personenmerkmal abhängen (z.B. Fähigkeit, Emotionen zu erkennen)-b)dass alle Items dasselbe Personenmerkmal messen-c)dass dieses Personenmerkmal nicht direkt beobachtbar ist, sondern dem Verhalten zugrunde liegt-d)dass dieses Personenmerkmal (bzw. dessen Ausprägung) über die beobachtbaren Verhaltensweisen erschlossen werden kann
- Das Prinzip der Testtheorie: Was ist der Gegenstandsbereich einer Testtheorie? Geben Sie ein Beispiel. -Eine Testtheorie beschäftigt sich mit dem Zusammenhang zwischen Testverhalten und dem zu erfassenden Merkmal. -Persönlichkeitsmerkmal (zB Emotionalität, Fähigkeit) beeinflusst das Verhalten im Test (zB Antworten und Lösungen) und daraus erfolgt die Testauswertung, welche wieder auf das Personenmerkmal zurückzuführen ist
- Das Prinzip einer Testtheorie - Testtheorie –Einführung Erklären Sie was Messen bedeutet und geben Sie ein Beispiel. Messen ist die Zuordnung von Zahlen zu Eigenschafts-oder Fähigkeitsausprägungen von Personen (Umsetzung bei psych. Messungen (meist) gegeben), so dass die Relationen (Unterschiede) der Fähigkeits-oder Eigenschaftsausprägungen durch die Relationen der Zahlen (Differenzen) abgebildet werden. (Umsetzung bei psych. Messungen (meist) fraglich) Beispiel: Hochsprung: Wenn man die Leistung von Hochspringern messen will, wird man die Latte weder sehr hoch noch sehr niedrig hängen, weil sonst keiner bzw. alle erfolgreich sind. Jeder Sprung kann wie ein Item aufgefasst werden. Nur bei mittelschweren Items variieren die Personen und diese Varianz benötigt man, um Fähigkeiten messen zu können
- Das Prinzip einer Testtheorie - Testtheorie –Einführung Zählen vs. Messen Warum ist Zählen für die Messung problematisch Geben Sie ein Beispiel Ungewichtetes/ einfaches Zählen führt nicht zur Messung der Personenfähigkeit auf Intervallskalenniveau ! Vom Zählen zum Messen:•Differenzen zwischen Eigenschaften von Messobjekten müssen in invarianter Weise abgebildet werden•Messmodell nötig für exakte Messung Wie viele Orangen geben ein Liter Orangensaft -> schwierig da jede Orange anders groß ist (Personenfähigkeit)
- Das Prinzip einer Testtheorie a.) Was ist ein ideales Messmodell b.) Gehen Sie näher auf die KTT ein a.) Ideal: Test, in dem alle Items gleich sind und mit dem Faktor 1 zur Messung der Fähigkeit beitragen wie bspw bei KTT b.) KTTModell essenziell tau-äquivalenter Messungenalle Punkte können ungewichtet aufsummiert werdenSumme der Punkte = erschöpfende Statistik für die FähigkeitsausprägungVoraussetzung: lokale Unabhängigkeit
- Das Prinzip einer Testtheorie _ Testtheorie Einführung a.) Was ist eine erschöpfende Statistik b.) Gehen sie hier auf die Eigenschaft des Summenwertes ein c.) Gehen Sie hier auf die Itemschwierigkeit ein a.) Ein erschöpfende Statistik ist ein Kennwert, der sämtliche Informationen enthält, die man zu seiner Interpretation braucht! -> in diesem Fall nicht gegeben.(KTT?) b.) Der Summenwert ist ohne Kenntnis des Antwortmusters nicht eindeutig interpretierbar und stellt damit keine erschöpfende Statistik der Personenfähigkeit dar! c.)•Itemschwierigkeiten sind empirisch gleich ?! –lt. KTT 67% D.h. auch Itemschwierigkeit ist ohne Kenntnis des Musters interpretierbar
- Das Prinzip einer Testtheorie Was ist das Besondere an unabhänige Messungen Geben Sie ein Beispiel Messungen müssen unabhängig voneinander sein, wenn für die Fähigkeitsausprägung kontrolliert wird.→ nur die Fähigkeit ist für das Antwortverhalten verantwortlich.Item aus dem PANASGeben Sie bitte an, wie Sie sich im Moment fühlen Identischer Wert in negativer Emotion -> bekümmert -> ängstlich -> nervös -> durcheinander
- Das Prinzip einer Testtheorie Testtheorie Einführung Unabhängiges Messen Gehen Sie auf die stochastische Unabhängigkeit ein -Bei Kontrolle der Fähigkeits-oder Eigenschaftsprägung einer Person erfolgen die Itembeantwortungen unabhängig voneinander→ die Items sind homogen
- Advertisement
- Das Prinzip einer Testtheorie Testtheorie –Einführung Lokale stochastische Unabhängigkeit Nennen Sie Gründe für das Fehlen der lokalen stochastischen Unabhängigkeit 1.Kombination von generellen und spezifischen Fragen2.Eingewöhnungsphase3.Ketteneffekt4.Itemcluster5.Messung weiterer Eigenschaften