29

Testtheorie und Testkonstruktion (Subject) / 7. Adaptives Testen (Lesson)

This lesson was created by AnnaCy.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 1

• Adaptives Testen - Einführung Definition •Unter adaptivem Testen versteht man ein spezielles Vorgehen bei der Messung individueller Ausprägungen von Personmerkmalen, bei dem sich die Auswahl der zur Bearbeitung vorgelegten Items am Antwortverhalten des untersuchten Probanden orientiert.  (Moosbrugger & Kelava, 2012)  •GRUNDGEDANKE: Auswahl der vorzugebenden Items orientiert sich am vorher gezeigten Antwortverhalten  •ZIEL: dem Pbn nur Items vorzulegen, die möglichst viel diagnostische Information über die Merkmalsauprägung liefern  •MITTEL: Abstimmung der Itemschwierigkeit mit individueller Merkmalsausprägung 
• Adaptives Testen - Einführung Grundgedanke •Die adaptive Anpassung der Itemauswahl führt dazu, dass Pbn unterschiedliche Itemsets vorgelegt bekommen.  •Ein fairer interindividueller Vergleich auf Basis der KTT (z.B. Summe gelöster Items) ist nicht möglich.  •Problemloser Vergleich der resultierenden Personenparameter, wenn ein IRT-Modell zugrunde gelegt wird.  •WICHTIG: der Itempool muss Konformität mit den Annahmen des verwendeten IRT-Modells aufweisen (Voraussetzung!)  •Vergleichbarkeit basiert auf der Annahme der lokalen stochastischen Unabhängigkeit 
• Adaptives Testen Adaptiver Algorithmus •Einsatz eines vorab festgelegten adaptiven Algorithmus  •D.h. Regelsystem zur Spezifizierung von  a)Itemauswahl zu Beginn des Tests  b)Itemauswahl während des Tests  c)Kriterien der Testbeendigung  •→ Zentrales Element des adaptiven Testens  •Diese Bestimmungsstücke müssen für den konkreten Ablauf v. adaptiven Testalgorithmen genauer spezifiziert werden. 
• Adaptives Testen Bestimmungsstücke adaptiver Testalgorithmen (1)Itemauswahl zu Beginn der Testung  (2)Itemauswahl während der Testung  (3)Kriterien für die Beendigung der Testung 
• Bestimmungstücke adaptiver Testalgorithmen a) Itemauswahl zu Beginn der Testung (1)Item mit mittlerer Lösungswahrscheinlichkeit (P(i+) ≈ .5)  (2)„Eisbrecheritems“ (für problemlosen Testeinstieg) (P(i+)= .8)  (3)Liegen Vorinformationen vor, erfolgt eine A-priori-Schätzung der Merkmalsausprägung → dann Start mit passender Itemschwierigkeit  •Entscheidung je nach diagnostischer Zielsetzung, untersuchter Stichprobe, Vorinformationen  •Studien zeigen einen vergleichsweisen geringen Einfluss der Auswahl des 1. Items auf den resultierenden Testwert. 
• Bestimmungstücke adaptiver Testalgorithmen b) Itemauswahl während der Testung •Grundregel: Hat der Pb ein Item gelöst, dann wird als nächstes ein schwierigeres Item vorgelegt. Hat ein Proband ein Item nicht gelöst, dann wird als nächstes ein leichteres Item vorgelegt.  •Für die Umsetzung gibt es 2 Möglichkeiten:  Zweistufige Strategie  Mehrstufige Strategie 
• Bestimmungstücke adaptiver Testalgorithmen b) Itemauswahl während der Testung •Zweistufige Strategie: (1)Routing Test  (2)Klassifikation in 3 bis 5 Leistungsniveaus der geschätzten individuellen Ausprägung des Merkmals  (3)Measurement Test (abhängig von (2))  (4)Schätzung der individuellen Ausprägung des Merkmals auf Basis beider Tests  •VORTEIL: nicht computerbasiert  •NACHTEIL: Anpassung der Itemschwierigkeit an die individuelle Merkmalsausprägung eher grob (d.h. weniger effizient) 
• Bestimmungstücke adaptiver Testalgorithmen b) Itemauswahl während der Testung •Mehrstufige Strategien Nach jeder Antwort wird entschieden, welches Item als nächstes vorzulegen ist.  a.Fixed-branched strategy  vor Testbeginn steht bereits fest, welche Items bei welchem Antwortverhalten vorgelegt werden  b.Tailored strategy  Die Verzweigung ergibt sich erst während der Testung  feine Anpassung der vorzugebenden Items  Voraussetzung: Computer  Vorherrschende Form des adaptiven Testens 
• Bestimmungstücke adaptiver Testalgorithmen b) Itemauswahl während der Testung •Mehrstufige Strategie: Fixed-branched strategy (1)Start: Item mittlerer Schwierigkeit  (2)Wird Item gelöst, folgt ein vor Testbeginn festgelegtes schwierigeres Item  (3)Wird Item nicht gelöst, folgt ein vor Testbeginn festgelegtes leichteres Item  (4)Schätzung der individuellen Merkmalsausprägung:  •VARIANTE A: Schwierigkeit des Items, das als nächstes vorgelegt werden würde  •VARIANTE B: Mittlere Schwierigkeit der im Testverlauf vorgelegten Items; inklusive des Items, das als nächstes folgen würde UND ohne das 1. Item, das für alle Pbn identisch war  •→ Verfahren zur Itemauswahl: Interpretation der optimalen Eigenschaften eines Items unter Bedingung von 𝜃𝑣  Variante A: Item mit der höchsten Iteminformation auf Basis der momentan Merkmalsschätzung  Iteminformation = Multiplikation der Wahrscheinlichkeit das Item i korrekt zu beantworten mit der Wahrscheinlichkeit das Item i nicht korrekt zu beantworten  •Ι𝑖=Ρ(𝑖+|𝜃 )∙Ρ(𝑖−|𝜃 )  Variante A: Item mit der höchsten Iteminformation Variante B: Vorgehen nach dem Bayes-Ansatz:  Neben den Pbn-Antworten am Testbeginn werden auch A-priori Informationen berücksichtigt  Nach jeder Antwort wird die „A-posteriori-Verteilung“ abgeleitet 
• Bestimmungstücke adaptiver Testalgorithmen Itemauswahl während der Testung (tailored strategy) Probleme von mehrstufigen Strategien •Bestimmte Items/Itemreihen werden sehr vielen Pbn vorgelegt und andere nur selten (oder nie!)  •Problem: Gedächtniseffekte (Informationsweitergabe zu potentiellen Pbn; Validitätsprobleme!)  •→ Lösung: exposure control 
• Advertisement
• Bestimmungstücke adaptiver Testalgorithmen Itemauswahl während der Testung (tailored strategy) Exposure Control Hinzufügen einer stochastischen Komponente (z.B. informativstes Item aus einem Pool von 5 informativsten Items per Zufall)  •Bei hinreichend großem Itempool kann eine ungleichmäßige Vorgabe der Items so vermieden werden 
• Bestimmungstücke adaptiver Testalgorithmen Personenparameterschätzung (tailored strategy Test) •… während und am Ende des Test a)Maximum-likelihood Schätzer (z.B. weighted likelihood estimate, WLE)  b)Bayesianische Schätzer (z.B. expected a posteriori, EAP-Schätzer)  •Beide eignen sich gut zur Schätzung der individuellen Merkmalsausprägung, weisen aber kleine Unterschiede hinsichtlich der Schätzgüte auf.  •Bei Bayesianischen Schätzern: kleinerer SE aber geringere Erwartungstreue  •Unterschiede nivellieren sich ab 20 Items 
• Bestimmungstücke adaptiver Testalgorithmen Kriterien für die Beendigung der Testung Ein adaptiver Test wird so lange fortgesetzt, bis ein oder mehrere vorab definierte Abbruchkriterien erfüllt sind.  •Häufige Abbruchkriterien:  Bestimmte Anzahl von Items  Hinreichend kleiner Standardfehler bei der Personenparameterschätzung  Maximale Testzeit  Alle im Itempool verfügbaren Items  •Zumeist wird eine Kombination genutzt (vorgegeben o. zur Auswahl)  Beispiel: FAKT  •Frankfurter Adaptiver Konzentrationsleistungs-Test  •Möglichkeit 1: Testzeit 6, 12, 18, 24, 30 Minuten  Folge: SE der ermittelten Testwerte variieren (interindividuell)  Vorteil: Einsatzmöglichkeiten in festgelegten Zeitfenstern o. in Gruppentestungen  •Möglichkeit 2: Erreichen einer minimalen Schwankung in den individuellen Konzentrationswerten  Folge: SE nahezu identisch (interindividuell)  Nachteil: Testzeit kann stark variieren 
• Bestimmungstücke adaptiver Testalgorithmen Kriterien für die Beendigung der Testung Wann sollte welches Abbruchkriterium eingesetzt werden? •Abhängig vom  1.Anwendungskontext  •Bsp. Interindividuelle Vergleiche i.d. Persönlichkeitspsychologie = vergleichbare Standardfehler sinnvoll  2.Beschaffenheit des Itempools  3.Einschränkende Rahmenbedingungen bei der Testdurchführung  •Bsp. Gruppentestung = Testlänge (evt. kombiniert mit SE-Kriterium) 
• Adaptives Testen Auswirkungen des adaptiven Testens (1)Messeffizienz  (2)Einfluss von Störvariablen  (3)Motivation zur Testbearbeitung 
• Auswirkungen des adaptiven Testens Vorteile computerbasierter Tests im Allgemeinen •Hohe Testsicherheit  •Standardisierter Testablauf  •Probandenbestimmte Testgeschwindigkeit  •Schnelle und fehlerfreie Testwertebestimmung  •Auswertung ohne psychometrisches Fachwissen  •Schnelle Ergebnisrückmeldung  •Möglichkeit zur Verwendung innovativer Itemformate 
• Auswirkungen des adaptiven Testens Nachteile computerbasierter Tests im Allgemeinen •Hoher Entwicklungsaufwand  •Aufwand in der Bereitstellung der Computer am Testort  •Kosten  •Fairness hinsichtlich computerbezogener Personenmerkmale 
• Auswirkungen des adaptiven Testens (1) Messeffizienz •𝑀𝑒𝑠𝑠𝑒𝑓𝑓𝑖𝑧𝑖𝑒𝑛𝑧= 𝑀𝑒𝑠𝑠𝑝𝑟ä𝑧𝑖𝑠𝑖𝑜𝑛𝑇𝑒𝑠𝑡𝑙ä𝑛𝑔𝑒  Messpräzision: Grad der Genauigkeit der Testwerte  Messpräzision wird in adaptiven Tests explizit angestrebt  •Meist 40-60% der Items ausreichend  •Optimale Anpassungsfähigkeit bei hinreichend vielen Items im gesamten Merkmalsbereich und angestrebter Gleichverteilung 
• Auswirkungen des adaptiven Testens Befunde zur Validität Konvergente Validität  •(bislang) keine Unterschiede zu nicht-adaptiven Verfahren  ! ABER „Schwesterverfahren“ dienen i.d.R. als Validitätskriterium  •Rechnerisch sollte ein Validitätsvorteil bei adaptiven Verfahren zu finden sein (basierend Messeffizienzvorteil/ Messpräzision) 
• Auswirkungen des adaptiven Testens (3) Motivation zu Testbearbeitung •Historisch: Adaptive Verfahren steigern die Testmotivation  Belegt: Steigerung der Testmotivation v.a. bei Leistungsschwächeren  •Argumentation: Vermeidung von zu leichten Items (= Langweile) u. zu schweren Items (= Frustration)  •Aktuelle Befunde  Keine Motivationssteigerung  Items mit mittlerer Lösungswahrscheinlichkeit dienen nicht zur Motivationssteigerung  Leistungsfähige Pbn: ungewohntes demotivierendes Ereignis (es können nur 50% der Items gelöst werden – unabhängig von der Anstrengung!) 
• Empirische Befunde (Frey et al., 2009) Motivation beim adaptiven Testen Hintergrund: Annahme A: Steigerung der Motivation durch adaptives Testen  •Motivation ist bei Pbn hoher Fähigkeitsausprägung unabhängig von Testung ABER bei Pbn mit niedriger Fähigkeitsausprägung höher bei adaptiver Testung (Betz & Weiss, 1976)  Frey et al., 2009  •Schwere/leichte Items lösen Frustration/Langweile aus  •Theoretische Fundierung: Risikowahlmodell Atkinson (1964) → Motivationsmaximum bei mittlerer Lösungswahrscheinlichkeit  Annahme B: Verminderung der Motivation durch adaptives Testen  •Ungewohnt frustierende Erfahrung: nur 50% der vorgelegten Items zu lösen reduziert Motivation (Bergstrom et al., 1992; Eggen, 2004; Eggen & Verschoor, 2006)  •Korrelation zwischen Lösungswahrscheinlichkeit und Motivation: je niedriger die Lösungswahrscheinlichkeit desto niedriger die Motivation (Tonidandel et al., 2002) 
• Empirische Befunde (Frey et al., 2009) Motivation beim adaptiven Testen Hypothesen •Hypothese 1:  Die Motivation zur Testbearbeitung ist bei adaptiver Testung höher als bei nicht-adaptiver Testung.  •Hypothese 2:  Die Motivation zur Testbearbeitung ist bei adaptiver Testung niedriger als bei nicht-adaptiver Testung 
• Empirische Befunde (Frey et al., 2009) Stichprobe: N = 79 Studierende  •FAKT (adaptiv vs. nicht-adaptiv): Aufgabe ist für jedes Zeichen zu entscheiden, ob es zu der definierten Menge der Zielitems gehört. (ja/nein)  Nicht adaptiv: Zeile mit 10 Zeichen  adaptiven FAKT: Zeile wird ausgeblendet bevor sie vollständig bearbeitet wurde; Darbietungszeit adaptiv 
• Empirische Befunde (Frey et al., 2009) Motivation beim adaptiven Testen •Erfolgswahrscheinlichkeit (E): Pbn schätzt sich als hinreichend fähig ein ODER hält die Aufgabe für leicht  •Misserfolgsbefürchtung (M): negativer Anreiz von Misserfolg (affektiv); erlebte Leistungs-/Prüfungsangst  •Herausforderung (H): wie sehr wird die aktuelle Aufgabensituation leistungsthematisch aufgefasst  Resultierende aktuelle Motivation zur Testbearbeitung:  MT = 100 * (E - M) * H  •Hohe MT-Werte:  erwartete Erfolgswahrscheinlichkeit > erwartete Misserfolgsbefürchtung  aktuelle Leistungssituation wird in hohem Maße leistungsrelevant als aufgefasst  Frey et 
• Empirische Befunde (Frey et al., 2009) Motivation beim adaptiven Testen Ergebnisse: • Haupteffekt Adaptivität, F(1,77) = 4,14; p = .045  • Motivationswerte sind in der adaptiven Bedingung geringer.  • Effekt basiert auf der Erfolgswahrscheinlichkeit, die bei adapt. FAKT niedriger eingeschätzt wird als bei nicht-adapt. FAKT. 
• Empirische Befunde (Ortner & Caspers, 2011) Motivation beim adaptiven Testen Hintergrund  •Verminderte Motivation bei adaptiven Tests kommt zustande, weil den Pbn die Möglichkeit genommen wird, Items nochmal zu bearbeiten oder (zunächst) zu überspringen (Tonidandel & Quinones, 2000; Vispoel et al., 1994)  •Computerbasierte adaptive Testung (CAT): Itemschwierigkeit steigt zügig (entsprechend sinkt die Erfolgswahrscheinlichkeit)  → State Angst steigt (Ponsoda et al. 1999); insbesondere bei Pbn mit Testangst  → als Resultat sinkt die Testfairness  •Ziel der Studie: Erfassung der Testfairness bei CAT bzgl. Pbn mit Testangst 
• Empirische Befunde (Ortner & Caspers, 2011) Stichprobe: N = 110 Studierende  •Adaptiver Matrizen Test (AMT)  Pool 293 Items; short form M=15,46 Items  •Fixed Item Testing Version des AMT  16 Items aufsteigender Schwierigkeit 
• Empirische Befunde (Ortner & Caspers, 2011) Motivation beim adaptiven Testen •Randomisierte Zuweisung (Adaptiv vs. Fixed)  •„Anregungsbedingung“: Testrelevanz sollte von den Pbn als hoch eingeschätzt werden → daher Instruktion als Intelligenzkomponente, die ein guter Prädiktor für den späteren (Lebens) Erfolg darstellt  •2 Untergruppen bei Adaptiv:  a)Information über den Ablauf eines adaptiven Tests:  Die Items werden in Abhängigkeit von ihrer Antwort ausgewählt. Wenn sie korrekt antworten, steigt die Schwierigkeit bei dem nachfolgenden Item. Etc.)  b)Standard Information 
• Empirische Befunde (Ortner & Caspers, 2011) Motivation beim adaptiven Testen Ergebnis •Testangst moderiert den Zusammenhang zwischen Testmodus und Testergebnis  Pbn mit und ohne Testangst erreichen ähnliche Ergebnisse beim in FIT Version  Adaptives Testen geht mit einem Bias einher, der Pbn mit hoher Testangst benachteiligt.  •Erklärung: Itemschwierigkeit steigt zügig (= entsprechend sinkt die Erfolgswahrscheinlichkeit) 

back  |  next 1 / 1