31
m6.5 (Subject) / m6.5 (Lesson)
Advertisement
- was ist die Klassische Testtheorie im Wesentlichen? im Wesentlichen ist die klassische Testtheorie eine Messfehlertheorie - Kernüberlegung besteht aus der Annahme, dass sich der MEsswert einer Person in einem Testitem immer aus zwei Komponenten zusammensetzt- wahren tatasächlichen Ausprägung des mit dem Item erfassten MErkmals (true Score)und einem zufälligen Messfehler
- Wei werden testtheoretische Grundannahmen formuliert? in Form von Axiomen
- Welche Axiome gibt es? ExistenzaxiomVerknüpfungsaxiomUnabhängigkeitsaxiom
- Existenzaxiom besagt, dass der true score tvi als Erwartungswert der Messungen xvi eines Pb v in Item i existiert
- Verknüpfungsaxiom besagt, dass jede Messung xvi aus einem wahren Wert tvi und einem zufälligen MEssfehler Evi zusammengesetzt ist
- Die Verbindung der Axiomr zeigt was auf? das der Zufallsfehler evi den Erwartungsfehler Null hat
- Unabhängigkeitsaxiom besagt, dass die Korrelation zwischen den Messfehlern e und den wahren Werten t bei beliebigen Personen und beliebigen Items null ist
- Zusatzannahmen der Axiome der Klassischen Testtheorie Paarweise unabhängige FehlervariablenUnabhängige ItemsUnabhängige Personen
- Paarweise unabhängige Fehlervariablen Über den Zufallscharakter der einzelnen Fehlerwerte hinausgehend wird für die Fehlervariablen evi und ewi von zwei Personen v und w auch angenommen, dass die Fehlervariablen paarweise unabhängig sind
- Unabhängige Items diese Zusatzannahme besagt, dass die Fehlerwerte zweier Messungen mit mit beliebigen Items i und j bei derselben Person unkorreliert sind.Für die Testpraxis erfordert dies, dass unabhängige Items konstruiert werden müssen.Das heisst die Bearbeitung jeder Testaufgabe soll unabhängigvom Erfolg oder Misserfolg der Bearbeitung anderer Testaufgaben seinDer Zusammenhang zwischen Messfehlern zweier beliebiger Items für dieselbe Person ist folglich Null
- Advertisement
- Unabhängigkeit der Messfehler zwischen Personen diese Zusatzannahme besagt, dass die Fehlerwerte zweier Messungen mit demselben Item i bei beliebigen Personen v und w unkorreliert sind.Für die Testpraxis erfordert dies, dass die Itembearbeitung durch unabhängige Personen erfolgen muss.Eine solche Unabhängigkeit setzt u.a voraus dass Pbn nicht voneinander abschreiben.der Zusammenhang zwischen den MEssfehlern zweier Messungen an beliebigen Personen mit demselben Item ist folglich null
- Bestimmung des wahren Testwertes Tv True Score wie bei Körpergewicht mehrmals zu messen und dann den Mittelwert zu bilden bei Persönlichkeitsmerkmalen ausgeschlossen aufgrund von Verzerrungen wie Erinnerung etc.Umgeht dieses Problem in dem man mehrere Items erstellt die jedoch dasselbe Persönlichkeitsmerkmal erfassen so erfolgt auch hier die Neutralisierung des Zufallsfehlers
- Rohwert Testwert Klassischen Testwerttheorie summiert die einzelnen Itemwerte der Subtest eines Probanden v zeilenweise zu einem Summenwert
- Wieso Vertrauensintervall? da sich bei der Bestimmung des wahren Wertes aus empirischen Daten nur um eine Schätzung handelt, besteht eine gewisse Unsicherheit darüber ob der geschätze Wert Tv tatsächlich mit dem wahren Wert Tv übereinstimmt.Mit hilfe des Standartmessfehlers kann um tv ein Konfidenz oder Vertrauensintervall gebildet werden welches diese Unsicherheit berücksichtigtAnzeil wahren Varianz Anteil Fehlervarianz
- Definition Reliabilität Die Reliabilität Rel bezeichnet die MEssgenauigkeit eines Tests und ist als Anteil der Varianz der wahren Werte T an der Varianz der beobachteten Testwerte x definiert.Rel = Var ( t) / Var (x)
- Reliabilitätskoeffizient Begriff Da sich Reliabilität aus dem Verhältnis zweier Grössen berechnet, wird häufig der Ausdruck Relabilitätskoeffizient verwendet.Dieser hat ein Wertebereich zwischen 0 und 1
- Reliabilitätskoeffizient Maximalwert 1 Bedeutung Der Maximalwert 1 bedeutet, dass die Testwertevarianz nur aus wahrer Varianz besteht und der Test Fehlerfrei misst
- Reliabilitätkoeffizient Minimalwert 0 Bedeutung? Der Minimalwert von 0 gibt an, dass die Testwertvarianz keine wahre Varianz enthält, sondern nur aus Fehlervarianz besteht
- Messgenauigkeit eines Tests Ein Test ist also umso messgenauer (reliabler) je grösser der wahre Varianzanteil Var (t) an der Gesamtvarianz Var (x) ist.Umgekehrt gilt auch, dass bei zunehmender Fehlervarianz Var (e)die Reliabilität abnimmt
- Wie kann der Anteil der wahren Varianz Var (t) an der beobachteten Testwertvarianz geschätzt werden? kann im Fall paralleler Tests mit Hilfe von Stichprobendaten als Test-Test-Korrelation rtt geschätzt werden
- vier Methoden der Reliabilitätsschätzung ParalleltestRetestSplit-HalfInterne Konsistenz
- Reliabilitätssteigerung durch Testverlängerung lässt sich steigern, wenn man den Test durch die Hinzunahme von parallelen Testteilen verlängert
- Verdoppelung der Testlänge eine Verdoppelung der Länge eines Tests durch Hinzunahme eines paralellen Testteils gleicher Länger zwar zu einer Verdoppelung der Fehlervarianz, aber gleichzeitig zu einer Vervierfachung der wahren Varianz führt.
- Schwächen bezüglich der Skalierung -Die Annahme der beobachtete Testwert setzte sich aus einem wahren Wert und einem Fehlerwert zusammen, ist empirisch nicht überprüfbar, da beide Grössen nicht bepbachtbar sind- Es kann nicht überprüft werden, ob die Testwerte Intervallskalenniveau aufweisen - Dies ist aber insofern wichtig, da die KKT für ihre Kalküle Intervallskalenniveau vorraussetz.
- Schwächen bezüglich der Konstruktvalidität - Es besteht nicht die Möglichkeit anahnd der Modellannahmen zu überprüfen, ob die Testitems bezüglich des jeweils untersuchten Merkmals homogen sindStreng genommen ist dies aber Voraussetzung für die Berrechnung des Testwertes als Summenwert über alle Items.
- Schwächen wegen Stichprobenabhängigkeit Die Kennwerte der KTT sind stichprobenabhängig.Je nachdem, an welchen Personen die Messungen durchgeführt werden, können unterschiedliche Ausprägungen für dieselben Kennwerte resultieren. Es bleibt also unklar inwieweit die gefundenen Ergebnisse verallgemeinert werden können
- Was ist das »klassische« an der KTT? Die Klassische Testtheorie wird deshalb als „klassisch“ bezeichnet, weil sie bereits vor über 50 Jahren entwickelt wurde, somit schon verhältnismäßig alt ist und sich sehr bewährt hat. Mittlerweile wurden mit der Items-Response-Theorie neuere Ansätze entwickelt, welche die Klassische Testtheorie in einigen Punkten ergänzen bzw. ersetzten können.
- Erläutern Sie knapp die wesentlichen Grundannahmen der KTT. Die wesentlichen Grundannahmen der KTT sind in sogenannten Axiomen festgehalten, die als solche nicht hinterfragt werden. Im Existenzaxiom wird angenommen, dass für die Merkmalsausprägung eines Probanden ein „wahrer Wert“ existiert, der als Erwartungswert der Messung des Probanden definiert ist. Das Verknüpfungsaxiom besagt, dass sich die Messung des Probanden aus einem wahren Wert und einem Fehlerwert zusammensetzt. Aus der Verbindung beider Axiome ergeben sich der Erwartungswert von Null für den Fehlerwert sowie die Unkorreliertheit von Fehlerwert und wahrem Wert.
- Warum soll zur Bestimmung des wahren Wertes auch ein Konfidenzintervall gebildet werden? Da der wahre Wert τv eines Probanden v nicht direkt berechnet werden kann, wird der beobachtete Testwert xv als Punktschätzung verwendet. Dabei ist jedoch zu berücksichtigen, dass nur der Erwartungswert der Punktschätzung mit dem wahren Wert übereinstimmt, sodass sich Testwert und wahrer Wert um einen Fehlerwert unterscheiden können. Deswegen soll zusätzlich zu der Punktschätzung das Konfidenzintervall angegeben werden, nämlich jener Bereich um die Punktschätzung, in dem sich der wahre Wert mit einer vorher festgelegten Wahrscheinlichkeit (meistens 95% oder 99%) befindet.
- Für welchen Zweck wird die Spearman-Brown Formel eingesetzt? Die Reliabilität eines Tests erhöht sich, wenn der Test um parallele Testteile verlängert wird. Die Spearman-Brown Formel findet Verwendung, wenn berechnet werden soll, welcher Reliabilitätskoeffizient für den Gesamttest resultiert, wenn man zwei parallele Testteile zu einem Gesamttest zusammenfügt.
- Advertisement
- Nennen Sie die wichtigsten Kritikpunkte an der KTT. Die Kritikpunkte beziehen sich zunächst auf die Axiome, die empirisch nicht überprüft werden können. Sodann kann das implizierte Intervallskalenniveau der Testwerte nicht überprüft werden, sodass die Erfüllung des Gütekriteriums der Skalierung anzweifelbar ist. Schwächen liegen auch bezüglich der Itemhomogenität vor, da die Annahme, dass alle Items, die für die Berechnung des Testwertes herangezogen werden, das Gleiche messen und somit homogen sind, auf Basis der Annahmen der KTT nicht überprüft werden kann. Außerdem sind alle Kennwerte der KTT von der jeweils untersuchten Stichprobe abhängig, sodass eine Verallgemeinerung der gefundenen Ergebnisse problematisch ist.