6
Forschungsmethodik (Subject) / Lektion 04 (Qunatitatives Messen mit der probabilistischen Testtheorie) (Lesson)
Methodik
This lesson was created by Dennis1602.
This lesson is not released for learning.
- Allgemeines - PISA Studie, Messung anhand 150.000 Probanden, Frage: Wie kann Messgenauigkeit erhöht werden, wenn man die Belastung der Probanden nicht erhöhen darf? (also bspw. Keine 100 Fragen stellen darf) - Lösung Durchführung am PC, Ausstattung mit künstlicher Intelligenz, Fragen orientieren sich dynamisch an den vorher gegebenen Antworten - Mit klassischer Testtheorie nicht durchführbar, jedoch mit probabilistischer Testtheorie
- Konzept der Item-Kurven - Probabilistische Testtheorie (Iten Response Theorie) -> wahrer Parameter Theta Ɵ eines Persönlichkeitsmerkmals legt im Zusammenspiel mit einem anderen wahren Parameter eine Lösungswahrscheinlichkeit fest, mit der ein Proband eine Testaufgabe (Item) erfolgreich löst - Anderer Parameter Sigma weist als Parameter der wahren Schwierigkeit einer Testaufgabe die Itemschwierigkeit aus - Itemkurve (Item Characteristic Curve, ICC) = Zusammenspiel Theta und Sigma, z.B. Ogivenform - Kennt man wahren Wert Theta eines Probanden, dann sucht man diesen Wert auf der x-Achse -> Item Kurve definiert jetzt einen Ordinatenwert auf der Y-Achse, die Wahrscheinlichkeit p -> gibt an mit welcher Wahrscheinlichkeit ein Proband mit wahrem Parameter Theta das Item erfolgreich lösen wird - Im Gegensatz zur kl. Testtheorie sind bei der pro. Testtheorie Zufallsschwankungen ein konzeptioneller Bestandteil, denn Messschwankungen rühren aus stochastischen Beziehung von Probandenmerkmal und Antwortverhalten - Werden nicht in unerklärliches Fehlerkonstrukt ausgelagert, sondern gehören zur Natur der Sache - Fähig sein bedeutet, bestimmte Aufgaben mit best. Wahrscheinlichkeit bewältigen zu können - Latent Class Modell = Itemprofil
- Konzept der Item-Kurven (Messmodelle) - Bestes Modell von Rost (2004) wie Item Kurve eines Items aussehen kann - Zu Beginn einer pro. Testuntersuchung -> Wahl eines adäquaten Messmodells -> vorher Gedanken, ob eigene Daten Voraussetzungen für Wahl eines Modells erfüllen - Annahmen: alle Fragen sind gleichermaßen schwierig -> alle Item Kurven identisch -> Sonderfall: Verschmelzung probabilistische und klassische TT - Latent Class Analysen: nominale Personenparameter + dichotome Testantworten, Itemprofile (nicht mehr Itemkurve) - In der Latent Class Analyse versucht man oft systematische Beschreibungsmöglichkeiten zu finden
- Dichotom-logisches Rasch Modell - Bekannteste probabilistische Testmodell, vom dänischen Statistiker Georg Rasch - es gibt Situationen wo das Modell passt und Situationen in denen es versagt -> zur Prüfung werden spezielle Modellgeltungstests angewendet - Annahme: wir interessieren uns für ein quantitatives Persönlichkeitsmerkmal, für das schon jemand einen Rasch-Test erstellt hat -> Test besteht dann zwangsläufig aus dichotomen Antwortmöglichkeiten (ja oder nein, pro oder contra, richtig oder falsch, bestehen/nicht bestehen) - Einfache Testauswertung -> richtige Antworten abzählen -> Summe der Itemantworten enthält dann alle Informationen über Personenfähigkeit -> Fähigkeitswert Theta Ɵ aus Tabelle - Beispiel: -- In einem Test zur Attraktivität eines Parks, nur ein Krit. erfüllt von 5 eines Rasch-skalierten Tests -- Obige Tabelle sei Test zugehörig -> Attraktivitätswert von -1,33, Mittelwert für Parks läge bei 0 -> Mauerpark ist also recht unattraktiv -- Lösung eines Items hängt alleine von der Fähigkeit ab -> es gibt keine weiteren Einflüsse, wie z.B. die Aufmerksamkeit -- Itemkurven laufen parallel zueinander und haben daher stets die gleiche Ogivenform -- Stattdessen enthält beim Binomialtest jeder Proband bspw. Eine eigene Zufallsstichprobe von dichotomen Aufgaben
- Computer Adaptives Testen - Bei Bekanntheit der Schwierigkeitsparameter eines bereits vorgefertigten Rasch-Tests -> schnelle genaue Messung mittels computergestützten Diagnostik - Testfrage besonders genau über Bestimmung der individuellen Fähigkeit bei ca. 50% Lösungswahrscheinlichkeit - i.d.P. Probanden einige Testaufgaben lösen lassen und vorläufige Schätzung seines Persönlichkeitsparameters vornehmen - dann wird Test sich dieser Schätzung anpassen (adaptives Testen) und nur noch Testaufgaben mit Lösungswahrscheinlichkeit von 50% vorlegen - bei häufigem Wechsel von vorläufiger Schätzung und Adaption des Tests -> gute Messergebnisse - Erzielung besserer Ergebnisse in kürzerer Zeit als mit der klassischen Testtheorie - Beispiel: -- Vorgefertigter Rasch-Test mit 100 Items, zu jedem Item sind mit Itemschwierigkeitsparameter Sigma der Verlauf und Länge der Itemkurve vollständig bekannt -- 20 Fragen für Proband -> zunächst Bearbeitung 5 zufälliger Items -> nach Auswertung hat Proband geschätzten Fähigkeitsparameter Theta von 2 -- Bestimmung des Items, dessen Bearbeitung uns ein Maximum an Messverbesserung bringt (diejenige Frage, bei der sie Lösungswahrscheinlichkeit des Probanden bei 50% liegt) -- In Item-Datenbank sind noch 95 Items mit unterschiedlichen Schwierigkeitsgraden (Sigma) -- Schauen welches Items der Lösungswahrscheinlichkeit von 50% am nächsten kommt -- Nach Lösung des sechsten Items des Probanden -> Testauswertung zur Fähigkeitsschätzung -- Wiederholung für nächsten Items -> nach 20 Items -> abschließende Messung -- Ab Item 6 hätte keine andere Itemreihenfolge systematisch zu genaueren Messergebnissen geführt -- Fazit: mittels probabilistischer Testtheorie ist computeradaptives Testen möglich, mit klassischer Testtheorie nicht möglich -- Multiple Choice Test für Einstellungstest -> Ziel wenige gute Kandidaten, dann schwierige Fragen -> Möchte man von allen Kandidaten möglichst genaue Fähigkeitsmerkmale kennen, dann durchschnittlich schwere Fragen
- Erstellen der Item-Datenbank - Entwicklung eines Tests (z.B. Raschtest) - Erstellung Reihe geeigneter Testaufgaben -> Testbatterie - Bestimmung einzelner Schwierigkeitsparameter (Sigma) aus Eichstichprobe -> Parameterschätzung Theta Ɵ: Auszählen der richtigen Antworten - Grunddilemma: exakte Bestimmung Itemschwierigkeit fast unmöglich/nur näherungsweise - Zur Schätzung Sigma müsste man die individuellen Theta Ɵ der Probanden der Eichstichprobe kennen -> dafür müsste man aber die Sigmas der getesteten Items kennen -> „Katze beißt sich in den Schwanz“ - Schätzung beider Parameter gleichzeitig: ungenau für kleine N -> Maximum-Likelihood-Schätzung (bei non-konsistenten Schätzern) - Gleichzeitige Schätzen führt zu fundamentalen Schwierigkeiten bei der Berechnung - Rasch-Modell: elegantere Schätzung beider Parameter -> beide stochastisch unabhängig -> nacheinander abhandeln - Schätzung durch bedingter Likelihood Schätzfunktion -> geeignete Statistikprogramme - Wie viele Parameter müssen konkret mit der Maximum Likelihood Methode geschätzt werden? - 5 Probanden, Eichstichprobe zu prob. Test 7 Items, jede Itemkurve durch genau einen Persönlichkeitsparameter und genau zwei Schwierigkeitsparameter festgelegt - Probanden + (Schwierigkeitsparameter *Items) -> 5 + (2*7) = 19
Advertisement