22

Testtheorie und Testkonstruktion (Subject) / Übungsfragen (Lesson)

This lesson was created by AnnaCy.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 1

• Nennen Sie drei grundlegende Annahmen der Klassischen Testtheorie und geben Sie zu jeder Annahme ein konkretes Beispiel. (6 Punkte) 1.Testwerte sind fehlerbehaftet -> Bsp.: der wahre Wert kann tatsächlich höher oder niedriger sein  2.Der Messfehler variiert von Messung zu Messung -> Bsp.: die Messgenauigkeit (Reliabilität) eines Tests kann anhand von Formeln geschätzt werden  3.Die Testwerte müssen angemessen variieren -> Bsp.: die Varianz darf weder Null betragen, noch unendlich groß sein 
• In Intelligenztests gibt es häufig Beispielitems zu Beginn, um die Person mit der Aufgaben vertraut zu machen. (8 Punkte) Was könnte an diesem Vorgehen problematisch sein bezogen auf das unabhängige Messen? Begründen Sie ihre Antwort. •Dies führt dazu, dass der Test keine lokale stochastische Unabhängigkeit ausweist. Dies sollte, jedoch vorhanden sein, um von unabhängigen Messen zu sprechen.  •Zwei weitere Gründe dieses Effekts wären:  Ketteneffekt: vorhergegangene Items beeinflussen die nächsten Items bzw. ähneln dieser  Messung weiterer Eigenschaften: Durch das zusätzliche Messen wird der Fokus auf ein weiteres Merkmal geteilt und nicht beschränkt auf eines 
• Zur Herleitung des klassischen testtheoretischen Modells werden Axiome benötigt. Beschreiben Sie „das allgemeine Prinzip der Axiome“ (4 Punkte) •Werden a priori vorausgesetzt und sind nicht durch empirische Untersuchungen begründet  •Sind die Grundlage für mathematische Ableitungen weiterer Formeln (z.B. Formel zur Schätzung der Reliabilität eines Tests)  •Keine einheitliche Auffassung über die Einordnung der jeweiligen Axiomen in Grundannahmen, Zusatzannahmen und Ableitungen  •Alle Axiome gelten nicht nur für den gesamten Test, sondern auch für einzelne Teile des Tests bis hin zu einzelnen Items 
• Im Folgenden sind die Formeln der 5 Axiome der KTT dargestellt. Benennen Sie das jeweilige Axiom und beschreiben Sie dieses kurz inhaltlich. (10 Punkte) 1.𝜏𝑣𝑖 = Ε(𝑥𝑣𝑖) : Existenzaxiom: Es existiert ein wahrer Testwert 𝜏𝑣𝑖 als Erwartungswert einer Messung.  2.𝑥𝑣𝑖 = 𝜏𝑣𝑖 + 𝜀 : Verknüpfungsaxiom: Der Messwert setzt sich aus dem wahren Wert und dem Messfehler zusammen.  3.𝐶𝑜𝑟𝑟𝜏𝑣𝑖;𝑖 =0 : Unabhängigkeitsaxiom [(1) u. (2)]: Die Korrelation zwischen den Messfehlern 𝜀𝑣𝑖 und den wahren Werten 𝜏𝑣𝑖 bei beliebigen Personen und beliebigen Items ist 0.  4.𝐶𝑜𝑟𝑟 𝜀𝑣𝑖;𝑗 =0 𝐶𝑜𝑟𝑟 𝜀𝑣𝑖;𝜀𝑤𝑖 =0 : Unkorreliertheit der Messfehler: Die Messfehler einzelner Items und Personen sind unkorreliert.  5.𝐸𝜀𝑣𝑖 =0 : Zusatzannahme [(1) u. (2) u. (4)]: Der Erwartungswert des Fehlers ist gleich 0. 
• Obwohl die KTT einige Nachteile hat werden über 95% der auf dem Markt befindlichen Testverfahren nach der KTT konstruiert. Nennen Sie zwei Nachteile der KTT und erklären Sie diese näher. (6 Punkte) •Messtheoretische Probleme  Wissenschaftstheoretisch fundierte Probleme  Stichprobenabhängigkeit der Parameter und Gütekriterien  •Stichprobenabhängigkeit der Parameter und Gütekriterien  Item- und Testkennwerte werden an spezifischen Stichproben berechnet  Die Befunde sind daher unter Umständen nicht generalisierbar  Je homogener eine Stichprobe ist, desto geringer fallen die jeweiligen Korrelationen aus  Die Stichprobenrepräsentativität ist in Frage gestellt (Homogenität vs. Heterogenität)  Problem der Definition der Population 
• Testtheorien machen unterschiedliche Annahmen bezüglich des Zusammenhangs von Testergebnis und Testmerkmal Beschreiben Sie 2 Annahmen der probabilistischen Testtheorie hinsichtlich des Zusammenhangs von Testergebnis und Testmerkmal. (4 Punkte) •Das Testergebnis soll indikativ für ein bestimmtes Merkmal der getesteten Person sein.  •das Testergebnis ist kein unfehlbares numerisches Äquivalent für die entsprechende Merkmalsausprägung 
• An der Klassischen Testtheorie können einige Punkte als kritisch betrachtet werden. Bitte nennen Sie drei Hauptkritikpunkte der Klassischen Testtheorie und erklären Sie einen dieser Punkte ausführlicher. (5 Punkte) •1) Stichprobenabhängigkeit der Parameter und Gütekriterien  Item- und Testkennwerte werden an spezifischen Stichproben berechnet  Je homogener einer Stichprobe ist, desto geringer fallen die jeweiligen Korrelationen aus  •2) Messtheoretische Probleme  Intervallskalenniveau gefordert  •3) Wissenschaftstheoretisch fundierte Probleme  Axiomatische Fehlertheorie ohne psychologische Fundierung mit nicht überprüfbarer Axiomatik 
• Eine spezifische Stärke von IRT-Modellen liegt darin, dass sie die Lokalisation von sowohl Aufgabenschwierigkeiten als auch Personenmerkmalen auf einer gemeinsamen Skala ermöglichen. Nennen Sie zwei konkrete Punkte in der Diagnostik für die diese gemeinsame Skala Voraussetzung ist. (2 Punkte) In der diagnostischen Praxis ist die gemeinsame Skala Voraussetzung für niveaubezogene Rückmeldungen von Testergebnissen.  Eine effiziente Optimierung der Aufgabenauswahl wird ermöglicht. 
• Stellen Sie jeweils drei Vor- und Nachteile der IRT gegenüber. (6 Punkte) Vorteile:  •Allgemein: Verbesserte messtheoretische Eigenschaften.  •Intervallskalenniveau: Liegt bei der IRT gesichert vor  •Möglichkeit zum adaptiven Testen  Nachteile:  •enormer Testkonstruktions-Mehraufwand  •schmaler Merkmalsbereich:  •Items von Rasch-homogenen Skalen können einander sehr ähnlich werden  •Schwierigkeiten bei der Überprüfung der klassischen Testgütekriterien 
• Es gibt unterschiedliche Möglichkeiten, die Modelle der probalistischen Testtheorie zu klassifizieren, z.B. nach Variablenart Erläutern Sie in diesem Zusammenhang kurz das Modell das Latent Trait Modell und benennen Sie auch noch zwei weitere Möglichkeiten zur Klassifizierung. (7. Punkte) •Latente Variablen, die kontinuierlich vorliegen  •Annahme eines latenten Kontinuums (Fähigkeit, Eigenschaft) 𝜃𝑣  •Jede Person v weist auf diesem eine bestimmte Ausprägung 𝜃𝑣 auf  •Es könnte einen kritischen Wert auf 𝜃𝑣 geben, ab dem ein Item gelöst wird.  •Parameter: (A) Personenparameter = Fähigkeit einer Person ein bestimmtes Item zu lösen; (B) Itemparameter = Itemschwierigkeit  •Joint Scale = gemeinsame (eindimensionale) Skala  Weitere Klassifikationsmodelle  •Nach Art der Itemcharakteristischen Funktion  •Nach Anzahl der Modellparameter 
• Advertisement
• Beim Binominalmodell handelt es sich um ein tau-äquivalentes Messmodell in der psychologischen Diagnostik. Welche 3 Annahmen in Bezug auf die Items müssen für das Binominalmodell erfüllt sein? (3P.) •Die Items messen das gleiche Konstrukt  •Gleiche Schwierigkeit der Items  •Gleiche Trennschärfe der Items 
• Nennen Sie einen Grund warum Geraden als Itemfunktionen unplausibel sind. (2 Punkte) Geraden sind nicht als Itemfunktion plausibel, weil das Konzept linearer Itemfunktionen mit der Annahme unterschiedlicher Itemschwierigkeiten nicht vereinbar ist.  •Oder:  ..weil Geraden auch Antwortwahrscheinlichkeiten unter 0 und über 1 annehmen können. 
• Ist eine Skala modellkonform im Sinne des Rasch-Modells, besitzt sie 4 vorteilhafte Eigenschaften. Nennen Sie alle 4 Eigenschaften und erklären Sie eine Eigenschaft genauer. (6 Punkte) •Itemhomogenität  •Erschöpfende Statistik  •Spezifische Objektivität  •Stichprobenunabhängigkeit  Itemhomogenität: Items unterscheiden sich nur in der Position. Alle Items die nicht homogen sind und den Vorgaben nicht entsprechen werden eliminiert. 
• Im Folgenden sehen Sie die Formel der Modellgleichung des Rasch- Modells. a) Wie hängt das Ergebnis der Lösungswahrscheinlichkeit von der Kombination von Itemschwierigkeit (ßi) und der Personenfähigkeit (θv) ab? (5 Punkte) b) Vervollständigen Sie den Graph, indem Sie die Iteminformationsfunktion einzeichnen und den Graph vollständig richtig beschriften. Erläutern Sie die Iteminformation anhand des Graphs. (6 Punkte) a.)Sind Fähigkeit (θv) und Itemschwierigkeit (ßi) gleich groß, dann beträgt die Lösungswahrscheinlichkeit des Items 50%.  Je mehr die Fähigkeit die Itemschwierigkeit übersteigt, desto größer wird die Lösungswahrscheinlichkeit.  b) Die Iteminformation ist im mittleren Bereich am höchsten und    Die Itemschwierigkeit ist als Punkt auf er latenten Merkmalsdimension definiert, an dem die ICC die größte Steigung aufweist bzw die Lösungswahrscheinlichkeit beträgt P(i+) =.5 . Genau an diesem Punkt wird die Iteminformationsfunktion bei Ii= .25 maximal. • Ein Item bringt für die Testung einer Person unterschiedlich viel Informationsgewinn  • Am informativsten sind Items, wenn Itemschwierigkeit und Personenfähigkeit nahe beieinander liegen.  • Messungen in extremen Merkmalsbereichen sind bei gegebener Itemmenge weniger reliabel. 
• Bei dem dichotomen Rasch-Modell, werden die 5 Schritte bei der Erstellung von Raschskalierten Tests unterschieden. Bitte nennen Sie die einzelnen Schritte in der korrekten Reihenfolge. (5 Punkte) •1) Erstellung einer Matrix von Schwierigkeitsindizes  •2) Transformation in eine Logit-Matrix  •3) Schätzung der Modellparameter  •4) Reproduktion der Ausgangsmatrix als Modelltest  •5) Standardisierung der ermittelnden Personen- und Itemparameter 
• Bei der Schätzung der Modellparameter, gibt es unterschiedliche Schätzmethoden. Bitte nennen Sie die beiden LM-Methoden und erklären Sie kurz wie sich beide voneinander abgrenzen. (6 Punkte) •Conditional ML-Schätzung (CML)  Def.: Durch die Konstanthaltung einer Variablen, wird das Verhältnis der Lösungswahrscheinlichkeit einer Aufgabe ermittelt.  •Joint ML-Schätzung Schätzmethode  Def.: Es erfolgt eine ML-Schätzung, bei welcher die Personen- und Itemparameter simultan geschätzt werden. 
• Nennen Sie zwei Möglichkeiten von Teilungskriterien im Rahmen der Modellprüfung der Eindimensionalität. (3 Punkte) •Möglichkeit 1 der Wahl des Teilungskriteriums :  k-1 Gruppen („internes Teilungskriterium“), wobei Gruppen sich in ihren Fähigkeiten unterscheiden  •Möglichkeit 2 der Wahl des Teilungskriteriums :  Zweigruppenteilung (z.B. Median-Split), oder (wobei sich die Gruppen in ihren Fähigkeiten unterscheiden) 
• Sie möchten die Eindimensionalität des Itempools überprüfen. Erläutern Sie in diesem Zusammenhang das Teilungskriterium, das Vorgehen und welches Ergebnis für die Eindimensionalität sprechen würde. (8 Punkte) •k-1 Gruppen („internes Teilungskriterium“), wobei Gruppen sich in ihren Fähigkeiten unterscheiden  •Schätzung der Itemparameter  •signifikanter Unterschied zwischen den Gruppen → Annahme, dass die Items  •für die Personen der einzelnen Gruppen unterschiedlich schwierig sind → Keine Parallelität!  •Mögliche Gründe: effizientere Lösungsstrategien in einer Gruppe D.h. zusätzliche Fähigkeiten wurden mit erfasst  •Wenn die Gruppen sich nicht unterscheiden, geht man von einer Eindimensionalität aus 
• Welche Bedingungen gelten für das Ordinale Rasch Modell? Nennen Sie 4 dieser Bedingungen. (4 Punkte) Für die im ordinale Raschmodell zu skalierenden Variablen gelten folgende Möglichkeiten und Bedingungen:  1.In die Analyse dürfen dichotome und/oder polytome Items aufgenommen werden.  2.Die Items dürfen ungleich viele Kategorien (Ausprägungen) besitzen.  3.Alle Items messen auf einer gemeinsamen Messdimension (Annahme der Eindimensionalität).  4.Die Items besitzen unterschiedliche Schwierigkeitswerte.  5.Die Items besitzen die gleiche Diskriminationsfähigkeit.  6.Die Variablen müssen mit Einer-Schritten von ihrer Werte-Untergrenze zur Obergrenze kodiert sein. Die Werte-Untergrenze muss nicht notwendigerweise = 0 sein.  7.Besitzt ein Item 3 oder mehr Ausprägungen, dann müssen die Ausprägungen in ihrer Schwierigkeit ansteigend sein.  8.Die Variablen müssen in Richtung der Messdimension kodiert sein. 
• Die Kategorienwahrscheinlichkeit, also die Wahrscheinlichkeit für das Auftreten einer Antwort in Kategorie k in Item i beim ordinalen Rasch Modell wird in einer bestimmten Formel abgebildet. Ergänzen Sie die Formeln und erklären Sie sinngemäß was über dem Bruchstrich steht und unter dem Bruchstrich (5 Punkte) •Zähler: Summer der bereits überschrittenen Schwellenparameter (bis zur gewählten Antwortkategorie) und Differenz zwischen Personenfähigkeit und Itemschwierigkeit  •Nenner: Summe aller Schwellenparameter und Differenz zwischen Personenfähigkeit und Itemschwierigkeit  •d.h. alle Schwellenparameter des Items tragen zur Vorhersage der Wahrscheinlichkeit bei, mit der eine Person eine bestimmte Kategorie wählt. 
• Für das ordinale Rasch Modell mit geordnetem Schwellenparameter gibt es einige strengere Modelle. Nennen und erläutern Sie zwei restriktivere Modelle. (6 P) •Ratingskalenmodell:  Aufeinanderfolgende Schwellenparameter sollen (über alle Items) den gleichen Abstand aufweisen  Items unterscheiden sich damit nur in ihrer Schwierigkeit, nicht in ihrer Trennschärfe  D.h. gemittelte Schwellenparameter der Items variieren  •Äquidistanzmodell  Annahme: der Abstand zwischen zwei Schwellenparametern innerhalb jedes Items sind gleich  (Zwischen den Items können jedoch Unterschiede im Abstand (=Trennschärfe) bestehen) 
• Testwerte können normorientiert und kriteriumsorientiert interpretiert werden. Beschreiben Sie die normorientierte Interpretation und geben Sie ein Beispiel an für einen Test, der nach dieser Methode konstruiert wurde. (6 Punkte) •Logit-Skala (Joint-Scale): Nullpunkt festlegen; d.h. mittlere Personenfähigkeit/Itemschwierigkeit auf 0 restringieren  •→ Referenz auf mittlere Fähigkeit/Schwierigkeit  •Normierung vereinfacht die Werteinterpretation  •In dem meisten Feldern der psychologischen Leistungsforschung dominiert die normorientierte Interpretation quantitativer Testwerte.  z.B. IQ-Tests  z.B. PISA M = 500 Punkte, SD = 100 Punkte; dt. 10-jährige 491 Punkte „Lesekompetenz“ 

back  |  next 1 / 1