HSF_MP4_2 Testtheorien

Question 1

Das Prinzip einer Testtheorie a.) Was ist der Gegenstand einer Testtheorie - Testtheorie als erklärende Theorie: b.) Was istd as besondere daran, dass eine Überprüfung notwendig ist damit Items gemessen werden können

Accepted Answer

a.) Testtheorie als erklärende Theorie:-Mithilfe eines Konstrukts werden die Zusammenhänge zwischen den Antworten in einem Test kausal erklärt-Items des Tests werden als Indikatoren der latenten Variable angesehen-Antwort der Personen = beobachtbares Verhalten-Antwortalternativen machen das Verhalten zählbar b.) •Inwieweit mit den Items tatsächlich etwas gemessen wird, muss erst überprüft werden!-Unterschied zwischen Zählen u. Messen-Messen = Zuordnung von Zahlen zu Merkmalen

Question 2

Das Prinzip einer Testtheorie - Gegenstand eine Testtheorie Was ist die Definition der Testtheorie

Accepted Answer

Testtheorien befassen sich entweder mit dem Zusammenhang von Testverhalten und dem zu erfassenden psychischen Merkmal und/oder mit der Frage, in welche Bestandteile sich Messwerte aufgliedern.

Question 3

Die klassische Testtheorie (KTT) Was sind die Annahmen der KTT?

Accepted Answer

•Testwerte sind fehlerbehaftet -> KTT ist eine Reliabilitätstheorie-Ein beobachteter IQ von 131 bedeutet nicht zwangsläufig Hochbegabung-Der wahre Wert kann tatsächlich höher oder niedriger sein-Die Abweichung kommt durch den Messfehler zustande •Der Messfehler variiert von Messung zu Messung-Die Messgenauigkeit (Reliabilität) eines Tests kann anhand von Formeln geschätzt werden-Es lässt sich ein Bereich um den Testwert bestimmen, in dem der wahre Wert mit einer frei wählbaren Sicherheitswahrscheinlichkeit liegt •Die Testwerte müssen angemessen variieren-Die Varianz darf weder Null betragen, noch unendlich groß sein

Question 4

Die klassische Testtheorie (KTT) Was sind die Eigenschaften der Axiome der KTT? bzw wie lassen sie sich charakterisieren

Accepted Answer

•Werden a priori vorausgesetzt und sind nicht durch empirische Untersuchungen begründet•Sind die Grundlage für mathematische Ableitungen weiterer Formeln-z.B. Formel zur Schätzung der Reliabilität eines Tests •Keine einheitliche Auffassung über die Einordnung der jeweiligen Axiomen in Grundannahmen, Zusatzannahmen und Ableitungen-für das Verständnis der KTT jedoch nachrangige •Alle Axiome gelten nicht nur für den gesamten Test, sondern auch für einzelne Teile des Tests-bis hin zu einzelnen Items

Question 5

Die klassische Testtheorie (KTT) Wie kann man die Axiome der KTT herleiten? Nennen Sie die 5 Axiome

Accepted Answer

(1)Existenzaxiom: Es existiert ein wahrer Testwert 𝜏𝑣𝑖 als Erwartungswert einer Messung. 𝜏𝑣𝑖=Ε(𝑥𝑣𝑖)(2)Verknüpfungsaxiom: Der Messwert setzt sich aus dem wahren Wert und dem Messfehler zusammen. 𝑥𝑣𝑖= 𝜏𝑣𝑖+ 𝜀𝑣𝑖(3)Unabhängigkeitsaxiom [(1) u. (2)]: Die Korrelation zwischen den Messfehlern 𝜀𝑣𝑖 und den wahren Werten 𝜏𝑣𝑖 bei beliebigen Personen und beliebigen Items ist 0. 𝐶𝑜𝑟𝑟𝜏𝑣𝑖;𝜀𝑣𝑖=0(4)Unkorreliertheit der Messfehler: Die Messfehler einzelner Items und Personen sind unkorreliert. 𝐶𝑜𝑟𝑟𝜀𝑣𝑖;𝜀𝑣𝑗=0 𝐶𝑜𝑟𝑟𝜀𝑣𝑖;𝜀𝑤𝑖=0(5)Zusatzannahme [(1) u. (2) u. (4)]: Der Erwartungswert des Fehlers ist gleich 0. 𝐸𝜀𝑣𝑖=0

Question 6

Die klassische Testtheorie (KTT) Die Zusatzannahme gehört zu den Axiomen. Verknüpfen Sie diese Annahme mit ein Beispiel

Accepted Answer

Beispiel: Hochschulspringen•Würde ein Hochschulspringer unendlich viele Sprünge unter identischen Bedingungen ausführen, und würden wir für jeden Sprung den Messfehler bestimmen und daraus einen Mittelwert bilden, würde sich der Messfehler ausmitteln und null ergeben. Das würde darüber hinaus die Konsequenz haben, dass die Sprünge unabhängig voneinander erfolgen. Das heißt ein Sprung beeinflusst nicht die Leistung im nächsten Sprung.

Question 7

Die klassische Testtheorie (KTT) Geben Sie die Ableitungen der Axiome wieder

Accepted Answer

•Die wichtigste Ableitung aus den Axiomen der KTT ist die Reliabilität.•Reliabilität: Anteil der Varianz der wahren Werte sτ² an der Varianz der beobachteten Werte sX² an.•rtt = sτ² / sX²•Ein Reliabilitätskoeffizient von z.B. rtt = .80 gibt an, dass die beobachtete Varianz der Testwerte zu 80 % auf wahre Unterschiede zwischen den Testpersonen zurückzuführen ist und zu 20 % auf Fehlervarianz beruht.

Question 8

Die klassische Testtheorie (KTT) Geben Sie 3 ausführliche Kritikpunkte der KTT an und erklären Sie diese

Accepted Answer

Über 95 % der auf dem Markt befindlichen Testverfahren wurden nach der KTT konstruiert.Kritikpunkte:I. Stichprobenabhängigkeit der Parameter und Gütekriteriena)Item- und Testkennwerte werden an spezifischen Stichproben berechnet→ Sind diese Befunde generalisierbar?b)Je homogener eine Stichprobe ist, desto geringer fallen die jeweiligen Korrelationen aus.-Bedeutung der Stichprobenrepräsentativität (Homogenität vs. Heterogenität)-Problem der Definition der Population II. Messtheoretische Probleme•Intervallskalenniveau gefordert-Das ist fraglich und es gibt keine explizite Überprüfung. III. Wissenschaftstheoretisch fundierte Probleme•Axiomatische Fehlertheorie ohne psychologische Fundierung mit nicht überprüfbarer Axiomatik.

Question 9

Die klassische Testtheorie (KTT) Geben Sie weitere problematische Schlussfolgerungen wieder aus den Axiomen

Accepted Answer

Intuitiv problematische Axiome: z.B.•Axiom 4: Es ist unplausibel anzunehmen, dass die Ausprägung der Messfehler von zwei Tests unabhängig voneinander sind, da sich z.B. Testangst bei beiden systematisch in die gleiche Richtung auswirken könnte.•Axiom 5: Die Annahme, dass der Messfehler bei Messwiederholungen einen Erwartungswert von 0 hat ist bestenfalls eine theoretische Modellannahme. Wahrscheinlichkeitsaussagen lassen sich (streng genommen) nicht auf den Einzelfall übertragen:•Bei Reliabilitäten und Validitäten < 1.0 können lediglich gruppenstatistische Wahrscheinlichkeitsaussagen gemacht werden•Dies steht der Anwendung psychologischer Tests auf den Einzelfall diametral entgegen.

Question 10

Gehen Sie näher auf die Weiterentwicklung von der KTT zu den probabilistischen Testtheorien ein

Accepted Answer

•Auf Grundlage der Kritik an der KTT entwickelten sich Probabilistische Testtheorien•Im Unterschied zur KTT geht die IRT explizit der Frage nach, welche Rückschlüsse auf interessierende Merkmale gezogen werden können, wenn von dem Probanden lediglich Antworten (responses) vorliegen.•Man unterscheidet daher-Manifeste Variablen: beobachtbares Antwortverhalten-Latente Variablen: Merkmalsausprägung

Question 11

Die probabilistische Testtheorie / IRT Gehen Sie auf den Ausgangspunkt der IRT näher ein

Accepted Answer

•Ein Test liefert ein Resultat oder ein Testergebnis.•Das Testergebnis soll indikativ für ein bestimmtes Merkmal der getesteten Person sein.•Es ist klar, dass das Testergebnis kein unfehlbares numerisches Äquivalent für die entsprechende Merkmalsausprägung ist.

Question 12

Die probabilistische Testtheorie / IRT Gehen Sie näher auf die Grundlagen der IRT ein

Accepted Answer

•In IRT-Modellen werden Annahmen über die Zusammenhänge zwischen der latenten Variablen und der Wahrscheinlichkeit* für das Auftreten bestimmter Antworten** formuliert.* → Daher auch probabilistische Testtheorie** → Daher Item-Response-Theorie Testergebnis <-probabilistischer Zusammenhang-> Merkmalsausprägung Indikator<-P(Indikator) = f(latente Variable)-> Latente Variable •Fragestellung in der IRT: Welche Rückschlüsse können auf Personenmerkmale gezogen werden, wenn lediglich Antworten auf diverse Testitems (item-responses) vorliegen?

Question 13

Die probabilistische Testtheorie / IRT Erklären Sie den Zusammenhang zwischen des Merkmals und des Ergebnisses bezogen auf KTT und IRT.

Accepted Answer

•KTT: das Testergebnis entspricht direkt dem Ausprägungsgrad des gemessenen (tatsächlichen) Merkmals-Der Zusammenhang zwischen Personenmerkmal und Testergebnis wird also a priori als deterministisch angenommen und ist zudem (weil axiomatisch) keiner empirischen Überprüfung zugänglich.•IRT: keine a priori Annahmen über Zusammenhang zwischen Merkmalsausprägung und Testergebnis-ABER: explizite Unterscheidung zwischen Merkmalsebene und Testebene-Testergebnis lediglich als Indikator für das entsprechende Merkmal-Beziehung zwischen Merkmal und Indikator ist i.d.R. eine probabilistische, deren Verlauf zudem sehr unterschiedlich sein kann •Das Hauptunterscheidungsmerkmal zur KTT besteht jedoch darin, dass bei der IRT eine (hypothetisch) festgelegte Funktionsform empirisch darauf geprüft werden kann, ob sie auch tatsächlich vorliegt.

Question 14

Vergleich KTT u. IRT Gehen Sie näher auf die Vorteile der IRT ein

Accepted Answer

•Allgemein:-Verbesserte messtheoretische Eigenschaften.•Empirische Prüfbarkeit der Modelleigenschaften:-Die Axiome der KTT können im Gegensatz zu den IRT-Modellen nicht empirisch auf Adäquatheit geprüft werden.•Stichprobenunabhängigkeit:-Die Schätzung der Merkmalsausprägungen und der Aufgabenmerkmale ist unabhängig von der Stichprobe und den verwendeten Aufgaben möglich•Intervallskalenniveau:-Liegt bei der IRT gesichert vor, während dies bei der KTT oft fraglich ist. •Möglichkeit zum adaptiven Testen:-Ermöglicht die Durchführung ökonomischerer Tests (Motivation?)•Anwendungsgebiet:-Erfolg versprechend sind Testkonstruktionen nach der IRT insbesondere da, wo Merkmale bereits theoretisch präzise definiert sind, und damit die zeitaufwendige Suche nach modellkonformen Items entfällt•Interpretation der Testergebnisse-Die IRT erlaubt eine kriterienorientierte Interpretation der gemessenen Merkmalsausprägungen.

Question 15

Vergleich KTT u. IRT Gehen Sie näher auf die Nachteile der IRT ein.

Accepted Answer

•enormer Testkonstruktions-Mehraufwand•Schmaler Merkmalsbereich: die Art der Testkonstruktion schränkt den Testgegenstand ein-Items von Rasch-homogenen Skalen können einander sehr ähnlich werden•Schwierigkeiten bei der Überprüfung der klassischen Testgütekriterien-Die Messgenauigkeit ist bei gegebenem Itemsatz abhängig von dem Fähigkeitsniveau der untersuchten Personen

Question 16

Übung IRT Vorteile und Nachteile 1. Gruppe A: Welche Vorteile haben Methoden der IRT für die Modellierung von Kompetenzen? 2. Gruppe B: Wo liegen die Grenzen der Modellierung von Kompetenzen mit IRT-Modellen?

Accepted Answer

1. · Separierung Varianz von Fehlervarianz · Lokalisation der gemeinsame Skala von Aufgabenschwierigkeiten und Personenmerkmalen à kommen in verschiedenen Studien zum Einsatz · Analyse der Erhebung auf Basis von Multi-Matrix-Designs · Parametrisierung von Eigenschaften der Testaufgaben · Modellierung von Zeitverläufen innerhalb der IRT-Modelle auf verschiedene Weisen 2 · Berücksichtigung von Verletzungen der lokalen stochastischen Unabhängigkeit · Fehlen globaler Kriterien für Beurteilung der Modellgüte · Berücksichtigung des Kontextes bei der Durchführung der Messungen · à Probleme bei anderen Auswertungsmethoden zB Strukturgleichungsmodelle · Fehlen von erfolgreichen Anwendungsbeispielen der kognitiven Diagnosemodelle à keine Erreichbarkeit in vielen Studien; große Stichprobengrößen benötigt · Schwierige Vermittelbarkeit von Ergebnissen

Question 17

Gehen Sie auf die Grenzen und die Vorteile der IRT näher ein (Notizen Vorlesung)

Accepted Answer

· Möglichkeiten IRT: o Lokalisation an gemeinsame Skala (Joint Scale) o Kompetenzniveau ermittelbar o Effiziente Optimierung der Item-Auswahl -> adaptives Testen o Kombinationsmöglichkeiten -> jede Kombi von Items möglich o Negative Itemschwierigkeiten unterdurchschnittlich also zu leicht o Zu schwer -> Schwierigkeit überdurchschnittlich · Grenzen IRT: o Große Stichprobe für die Testkonstruktion (Items entfernt) o Pool von Items (zB 400) o Zur Prüfung wie Itemhomogenität zur Voraussetzung o -> Stichprobengröße nur bei Konstruktion zur Abfrage nicht o Fehlen globaler Kriterien zur Beurteilung von Modellgüte o Vermittlung breites Publikum o Kontext wird nicht berücksichtig (auch KTT) zB high stake, kognitive Diagnosemodelle o Kontinuierliche Merkmalsdimension fraglich o Große Stichprobe o Grenzen bei Verletzung

Testtheorie und Testkonstruktion (Fach) / HSF_MP4_2 Testtheorien (Lektion)