106

Testtheorie und Testkonstruktion (Subject) / Sose15 (Lesson)

This lesson was created by marb.

Learn lesson

This lesson is not released for learning.

back  |  next 2 / 3

• Welche Fragen stellt man sich bei der Inhaltsvalidität? Hinsichtlich der Inhaltsvalidität stellt sich die Frage, ob das Konstrukt durch die in dem Test enthaltenen Items angemessen repräsentiert wird.  Erfassen alle enthaltenen Items das zu messende Konstrukt? Ist ein repräsentativer Ausschnitt aller denkbaren Items enthalten?
• Wahr? Die Inhalstvalidität wird oft numerisch bestimmt! Falsch! Eine numerische Bestimmung der Inhaltsvalidität ist eher unüblich. Vielmehr wird hierbei auf Expertenurteile und Befunde aus der Literatur zurückgegriffen.
• Kriteriumsvalidität Die Kriteriumsvalidität befasst sich mit der Frage, inwiefern aus den Testwerten Kriteriumswerte vorhergesagt werden können  Die Kriteriumsvalidität wird als Korrelation zwischen Testwert und Kriteriumswert (rtc) bestimmt Arten: Echte Kriterien z.B. Verkaufszahlen, Erkrankung, Schulnoten Quasikriterien z.B. Werte in anderen Tests Target-Variablen z.B. Einschätzung von Suizidrisiko
• Definition ‚Konstruktvalidität‘ Auf Basis der Konstruktvalidität wird bestimmt, ob mit dem im Test gezeigten Verhalten auf zugrunde liegende Fähigkeits- oder Persönlichkeitskonstrukte geschlossen werden kann. Die Konstruktvalidität erlaubt entsprechende Aussagen, wie angemessen ein Test das beanspruchte Konstrukt misst. Konvergente Validität (Test soll hoch mit anderen Tests korrelieren, die das gleiche Konstrukt erfassen) Diskriminante Validität (Test soll niedrig mit anderen Tests korrelieren, die verschiedene Konstrukte erfassen)
• Was gibt es für eine Möglichkeit, um konvergente und diskriminante Validität gleichzeitig zu bestimmen? Multitrait-Multimethod-Analyse von Campbell und Fiske (1959) Es werden mindestens zwei Tests benötigt, die die gleichen Konstrukte erfassen Eine Stichprobe bearbeitet beide Tests und die Korrelationen zwischen den Konstrukten werden betrachtet
• Veranschauliche den Zusammenhang der Hauptgütekriterien! Objektivität ist notwendig aber nicht hinreichend für Ist ein Test nicht objektiv, so sind seine Ergebnisse hauptsächlich auf Aspekte der Durchführung zurückzuführen Reliabilität ist notwendig aber nicht hinreichend für Ist ein Test nicht reliabel, so wird kein einheitliches Konstrukt gemessen, d.h. die Items erfassen unterschiedliche Sachverhalte Validität Ist ein Test nicht valide, so können auf seiner Grundlage keine angemessenen Aussagen und sinnvollen Entscheidungen getroffen werden
• Normierung Nebengütekriterium; auch: Testeichung Anhand der Normdaten kann eingeordnet und interpretiert werden, ob die Ergebnisse einer getesteten Person zur Norm gehörend (durchschnittlich), oberhalb der Norm (überdurchschnittlich) oder unterhalb der Norm (unterdurchschnittlich) zu beurteilen sind.
• Normierungsstichprobe großer, repräsentativen Datensatz der Testergebnisse verschiedener Probanden Im Anschluss an die Testung eines einzelnen Individuums kann geprüft werden, an welcher Stelle der Verteilung des Datensatzes die Testwerte eines Probanden zu finden sind Die Abweichung des Probanden vom Mittelwert wird in Standardabweichungen ausgedrückt. Hierfür haben sich verschiedene Normmaßstäbe etabliert
• Was muss ich bei der Testevaluation beachten? Schwierigkeit Trennschärfe Power- & Speedindex
• Itemschwierigkeit Die Schwierigkeit eines Items bezeichnet den relativen Anteil aller Probanden, die ein Item „richtig“ (d.h. im Sinne höherer Merkmalsausprägung) beantworten
• Advertisement
• In einer Stichprobe von 360 Testpersonen haben 240 die Zahlenreihe 3-6-9-12-15-18-? richtig fortgesetzt und die Zahl 21 eingesetzt. Welche Schwierigkeit ergibt sich für das Item? geg: NR=240; N=360 ges: P Lsg: P= 240/360*100= 66,7 -------------------------------------------- P = SchwierigkeitsindexNR = richtig antwortende ProbandenN = alle Probanden
• Ein Item hat 5 Antwortoptionen, von denen eine die richtige ist. 360 Testpersonen bearbeiten das Item, 240 wählen die richtige Antwortoption. Wie lautet die um Ratewahrscheinlichkeit korrigierte Aufgabenschwierigkeit? (Schwierigkeit wird um die geschätzte Anzahl zufällig richtiger Antworten korrigiert) geg:NR= 240; N=360; m=5 ges: NF; P Lsg: NF= 360-240=120; P= (240-(120/(5-1)))/360= 58 --------------------- P = SchwierigkeitsindexNR = richtig antwortende ProbandenN = alle Probanden NF = falsch antwortende Probanden m = Antwortalternativen
• Ein Item hat 5 Antwortoptionen, von denen eine die richtige ist. Von 360 Testpersonen bearbeiten 240 das Item, 140 wählen die richtige Antwortoption. Wie lautet die um Ratewahrscheinlichkeit und Inangriffnahme korrigierte Aufgabenschwierigkeit? ------------------------------------------ P = SchwierigkeitsindexNR = richtig antwortende ProbandenN = alle Probanden NF = falsch antwortende Probanden m = Antwortalternativen NB = antwortende Probanden
• Welche Probleme gibt es bezüglich der Itemschwierigkeit? Probanden können durch Zufall (d.h. Raten) die richtige Antwortalternative wählen. Hieraus folgt eine artifizielle Verringerung der Itemschwierigkeit: Schwierigkeit wird um die geschätzte Anzahl zufällig richtiger Antworten korrigiert (Korrektur für Ratewahrscheinlichkeit) Probanden, die Items nicht bearbeiten, können diese auch nicht richtig beantworten. Hieraus folgt eine artifizielle Erhöhung der Itemschwierigkeit: Es werden lediglich die Probanden berücksichtigt, die das entsprechende Item auch bearbeitet haben (Korrektur für Ratewahrscheinlichkeit + Inangriffnahme) beachte besondere rechnung bei Ratingskalen
• Trennschärfe Die Trennschärfe eines Items bezeichnet üblicherweise die Korrelation zwischen der Antwort auf ein Item und dem Summenwert einer Skala Konvergente Trennschärfe (Korrelation mit der eigenen Skala,): Möglichst hoch Diskriminante Trennschärfe (Korrelation mit einer anderen Skala): Möglichst niedrig
• Was ist die Part-Whole-Korrektur? Wofür wird sie eingesetzt? Da der Summenwert durch die Ausprägung des Items konfundiert ist, wird die Trennschärfe als Korrelation zwischen dem Item und dem um das Item bereinigten Summenwert berechnet
• Generell ist die unkorrigierte Trennschärfe eines Items niedriger, als die part-whole-korrigierte Trennschärfe. Falsch! Generell ist die unkorrigierte Trennschärfe eines Items nie niedriger, als die part-whole-korrigierte Trennschärfe. Dies ist darauf zurückzuführen, dass der Summenwert in letzterem Fall nicht durch den Einfluss des Items konfundiert ist
• Bei Inhomogenität weißt die Part-Whole-Korrektur einen starken Effekt auf. Wahr! Die Part-Whole-Korrektur hat vor allem dann einen starken Effekt, wenn die Skala aus wenigen Items besteht oder wenn die Skala relativ geringe Trennschärfen aufweist (d.h. inhomogen ist)
• Was zeichnet einen Test mit hoher Speedkomponente aus? Was sind Nachteile?  Korrelationen unterschiedlicher Bedingungen klein Korrelationen gleicher Bedingungen groß Bruch klein Speedindex groß Nachteil: Parallelformen müssen vorliegen und in jeweils zwei Bedingungen durchgeführt werden
• Was zeichnet einen Test mit hoher Powerkomponente aus? Was sind Vorteile? Viele Aufgaben werden in Angriff genommen u tendiert gegen n Gleiche Werte über und unter Bruchstrich Powerindex groß Vorteil: Es wird nur eine Version benötigt, die in nur einer Bedingung durchgeführt wird
• Wie stehen Disposition und VH in Zusammenhang? Disposition: Persönlichkeitsmerkmal, latent (nicht beobachtbar) Verhalten: Testverhalten; manifest (beobachtbar) → Testtheorien beinhalten Annahmen über das Zustande- kommen von Messwerten
• Welche zwei Testtheorien gibt es? Klassische Testtheorie: Befasst sich mit der Frage, wie stark fehlerbehaftet Messwerte sind (Messfehlertheorie) Probabilistische Testtheorie: Befasst sich mit der Frage, wie gut das Testverhalten des Probanden mittels algebraischer Funk- tionen vorhergesagt werden kann
• Was sind die Axiome der klassischen Testtheorie? Verknüpfungsaxiom (Messwerte (xvi) setzen sich aus wahren Werten (τvi) und Fehlerwerten (ε vi) zusammen); xvi = τvi + εvi Existenzaxiom (Der wahre Wert ist der Erwartungswert unendlich vieler Testungen eines Probanden); τvi = E(xvi) Verknüpfungs- und Existenzaxiom (Der Messfehler ist eine Zufallsvariable mit dem Erwartungswert 0); E(εvi) = 0 Unabhängigkeitsaxiom (Als Zufallsvariable ist der Messfehler, von allen anderen Variablen unabhängig); r(εvi,∀) = 0
• Der Messwert (x) eines Probanden in einer Testung (t1) setzt sich aus ... zusammen ... dem wahren Wert (τ) des Probanden und einem Fehlerwert (ε)...
• Der Messwert (x') eines Probanden in einer zweiten Testung (t2) in demselben Test setzt sich aus ... zusammen ... demselben wahren Wert (τ) und einem anderen Fehlerwert (ε') ...
• Die Grundlage der Korrelation zwischen zwei Messwerten des gleichen Probanden in zwei Testungen ist, ... ... dass der wahre Wert der Gleiche bleibt
• Die Korrelation der Messwerte wird im Vergleich zur Korrelation der wahren Werte gemindert, da ... ... die Messwerte sich wegen des Messfehlers unterscheiden
• Aus den Axiomen der KTT kann abgeleitet werden, dass die Korrelation der Messwerte (rtt) ... entspricht. .. dem Anteil der Varianz der wahren Werte (sτ2) an der Gesamtvarianz der Messwerte (sx2) ..
• Reliabilitätsbegriff in der KTT Die Reliabilität ist der Anteil der Varianz wahrer Werte an der Gesamtvarianz der Testwerte→ Die Reliabilität ist der Prozentsatz wahrer Werte in den Testwerten. rtt = sτ2/sx2 Hohe Reliabilitäten entsprechen einem geringen Messfehleranteil (viel wahrer Wert), niedrige Reliabilitäten einem hohen Messfehleranteil (wenig wahrer Wert)
• Die Testwerte eines Tests mit einer Reliabilität von rtt = .70 gehen zu 30% auf wahre Werte und zu 70% auf Fehlerwerte zurück Falsch! Die Testwerte eines Tests mit einer Reliabilität von rtt = .70 gehen zu 70% auf wahre Werte und zu 30% auf Fehlerwerte zurück
• Advertisement
• Standardmessfehler Streuung, die sich bei unendlich häufiger Testung der gleichen Testperson aufgrund der Unreliabilität des Tests ergeben würde Die Formel zur Berechnung des Standardmessfehlers lässt sich aus den Axiomen der KTT ableiten und lautet folgendermaßen: set = sxt ∗ Wurzel(1 − rtt) CAVE: CI des wahren Werts (Mit dem Standardmessfehler kann ein Konfidenzintervall berechnet werden, in dem der wahre Werte mit einer bestimmten Wahrscheinlichkeit liegt)
• Konfidenzintervall des wahren Wertes Mit dem Standardmessfehler kann ein Konfidenzintervall berechnet werden, in dem der wahre Wert einer Testperson mit einer bestimmten Wahrscheinlichkeit zu finden istZur Berechnung des Konfidenzintervalls wird die folgende Formel verwendetCL = X ± zα/2 * set
• Wovon hängt die Breite des CI ab? Die Breite des Konfidenzintervalls hängt ausschließlich von der Größe des Standardmessfehlers und damit von der Reliabilität des Tests ab.
• Beispiel: Die Reliabilität eines IQ-Tests (M=100; SD=15) beträgt rtt = 0,80. Ein Proband erreicht einen Messwert von 110. In welchem Intervall ist der wah- re Wert des Probanden mit einer Wahrscheinlichkeit von 95% zu erwarten ...
• Minderungskorrektur Aus den Axiomen der KTT lässt sich die Formel der Minderungskorrektur ableiten, die den mindernden Einfluss des Messfehlers in der Korrelation der Messwerte korrigiert→ Wie hoch wäre Korrelation von zwei Tests maximal, wenn Sie komplett reliabel wären (rtt = 1) ? Doppelte MK: Es werden die Messfehler in beiden Tests korrigiertMan erhält die Korrelation der wahren Werte beider Tests r(τA,τB) Einfache MK: Es werden die Messfehler in einem Test korrigiertMan erhält die Korrelation des wahren Werts von Test A und dem Messwert von Test B r(τA,xB)
• Beispiel: Test A weist eine Reliabilität von rtt = 0,8 auf, Test B eine von rcc = 0,6. Die Test zeigen einen Zusammenhang von rtc = 0,3. Wie hoch wäre der Zusammenhang maximal, wenn Test A bzw. beide Tests perfekt reliabel wären? ..
• Welche Ableitungen aus den Axiomen der KTT gibt es? Standartmessfehler ( Streuung der Messwerte, die sich aufgrund der Unreliabilität des Tests); CAVE: Konfidenzintervall des wahren Werts (Mit dem Standardmessfehler kann ein Konfidenzintervall berechnet werden, in dem der wahre Werte mit einer bestimmten Wahrscheinlichkeit liegt) Minderungskorrektur (Mit der Minderungskorrektur kann berechnet werden, wie hoch die Korrelation von zwei Tests maximal wäre, wenn Sie komplett reliabel wären (rtt = 1)) Testverlängerung (Wenn ein Test verlängert wird, nimmt die Varianz wahrer Werte stärker zu als die Varianz der Fehlerwerte, d.h. der Test wird reliabler)
• Was passiert, wenn ich zusätzlich Items in den Test aufnehme? Werden zusätzliche Items in den Test aufgenommen, nehmen die Korrelationen der wahren Werte zu.Da die Fehlerwerte der Items voneinander unabhängig sind, kann es zwischen Ihnen keine Korrelationen geben. Wird ein Test um (gleich gut geeignete) Items verlängert, so nimmt die Varianz wahrer Werte stärker zu, als die Varianz der Fehlerwerte.Merke: Testverlängerung führt zur Erhöhung der Reliabilität eines Tests
• Was erreiche ich durch Testverlängerung? Wenn ein Test verlängert wird, nimmt die Varianz wahrer Werte stärker zu als die Varianz der Fehlerwerte, d.h. der Test wird reliabler.
• Aus den Axiomen der KTT lässt sich ein Formel ableiten, mit der geschätzt werden kann, wie hoch sich die Reliabilität des Tests nach der Verlängerung ergibt. Wie heißt sie? Diese Formel wird als Spearman-Brown-Prophecy-Formula bezeichnet.
• Beispiel: Ein Test besteht aus 10 Items und weist eine Reliabilität von rtt = 0,5 auf. Wie hoch wäre die Reliabilität, wenn man den Test um 5 Items verlängern würde ...
• Testverlängerung eignet sich vor allem dann zur Reliabilitätssteigerung, wenn ... ... der Test unreliabel ist und aus wenigen Items besteht.
• Probablistische Testtheorie (PTT) (Alternativ  auch als Item-Response-Theorie bezeichnet o. (fälschlicherweise) als Rasch-Modell) Grundidee der PTT ist es, das Antwortverhalten von Probanden mittels algebraischer Funktionen zu beschreiben Bei der Validierung von Testverfahren wird geprüft, ob die empirischen Daten durch Modellgleichungen vorhergesagt werden können Sofern diese Prüfung erfolgreich ist können dem Test bestimmte Eigenschaften zugemessen werden, die in der psychodiagnosti- schen Praxis von Vorteil sind
• Grundannahmen der PTT lt. Fisseni Jeder Proband besitzt eine Fähigkeit, Items zu lösen. Diese wird als Personenparameter bezeichnet Jedes Item hat eine Schwierigkeit. Diese wird als Itemparameter bezeichnet Personen und Itemparameter lassen sich gemeinsam auf einer eindimensionalen Skala abbildet Die Wahrscheinlichkeit, dass ein bestimmter Proband ein bestimmtes Item löst, wird gleichsam von Personen- und Itemparameter bestimmt
• Guttman-Skala Dieses Modell ist deterministisch, es gilt… Wenn ein Proband ein Item löst, muss er alle leichteren auch gelöst haben. Wenn ein Proband ein Item nicht löst, darf er danach kein schwereres lösen. Die relativ strengen Modellannahmen der Guttman-Skala werden in der psychodiagnostischen Praxis üblicherweise nicht erfüllt. → probabilist. Modelle weniger streng (v.a. Rasch-Modell): Ist ein Proband fähig, löst er wahrscheinlich schwere Items Ist ein Proband weniger fähig, löst er schwere Items wahrscheinlich nicht
• Was stimmt lt. Rasch-Modell? Ist der Proband fähiger, als das Item schwer ist, so ist es wahrscheinlicher, dass ... Ist der Proband weniger fähig, als das Item schwer ist, so ist es wahrscheinlicher, dass ... ... er es löst ... er es nicht löst
• Wie bezeichnet man die Erweiterungen des Rasch-Modells? 1 PL-Modell (es werden lediglich Unterschiede in Schwierigkeit berücksichtigt) 2-PL- (Birnbaum)- Modell (es werden zzl. Unterschiede in Steigung der ICC berücksichtigt) 3 PL-Modell (es wird zzl die Ratewahrscheinlichkeit der einzelnen Items berücksichtigt)
• Iteminformationsfunktion Die Iteminformationsfunktion zeigt an, wie viel Information ein Item in einem bestimmten Fähigkeitsbereich über die Unterschiedlichkeit der Probanden liefert
• Schlussfolgerung bei Modellgeltung (PTT)? Können die Modellparameter hinreichend genau geschätzt werden, so gelten die Modellannahmen, die der Schätzung zugrunde liegen, als erfüllt. Es gelten damit: Rasch-Homogenitiät: Die ICCs verlaufen entsprechend dem Schätzmodell (z.B. 1PL-, 2PL oder 3PL-Modell) Lokale stochastische Unabhängigkeit: Alle Items erfassen die gleiche eindimensionale latente Variable Spezifische Objektivität und Stichprobenunabhängigkeit: Die Parameterschätzung ist unabhängig von der Itemstichprobe und der Personenstichprobe Intervallskalenqualität: Unterschiede zwischen Probanden können als Abstände interpretiert werden und nicht nur als Rangreihe
• Lokale stochastische Unabhängigkeit Bei gegebener Eindimensionalität verschwinden Zusammenhänge zwischen Items, wenn die latente Variable auf einer Stufe konstant gehalten wird. Latente Variable (Merkmal, das für das Zustandekommen der Itemantworten „verantwortlich“ ist) Manifeste Variablen (Verhaltensäußerungen der latenten Variable. Wechselseitige Korrelationen gehen auf den Einfluss der latenten Variable zurück Wird die latente Variable „ausgeschaltet“, so verschwinden die Korrelationen zwischen den Items. In diesen Fällen besteht lokale stochastische Unabhängigkeit)

back  |  next 2 / 3