Testtheorie und Testkonstruktion (Fach) / Validität (Lektion)

Validität

Diese Lektion wurde von Kimmibu erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Inhaltsvalidität Systematischer Nachweis, dass die Items den vorab genau abgegrenzten Gegengstandsbereich (das Merkmal) adäquat repräsentieren und daher ein Schluss von Test auf den gesamten Gegenstandsbereich möglich ist. (Häufig zudem gefordert, dass das Testverhalten dem zu erfassenden Verhalten direkt entspricht).
• Inhaltsvalidität Variante l Vor Testkonstruktion muss das Universum (Population) aller Items festgelegt werden, die das Merkmal erfassen. (Items vollständig aufzählen oder angeben, worin sie sich unterscheiden und worin sie konstant sind). Dann ist eine Regel festzulegen, nach der die Items für den Test aus dem Universum ausgewählt und konstruiert wurden.
• Inhaltsvalidität Variante ll Das Itemuniversum ist nicht zu formal abgegrenzt und/ oder es existieren keine expliziten Regeln zur Itemauswahl/ konstruktion.
• logische Validität Man lässt durch Experten prüfen, ob die Items aus dem Itemuniversum stammen, es entsprechend repräsentativ abdecken und adäquat formuliert sind. Die Inhaltsvalidität ist dann hoch, wenn diese Prüfungen zwischen Experten übereinstimmend postiv ausfallen.
• Kriteriumsvalidität Bestimmung des Zusammenhangs deer Testleistung mit einem Außenkriterium, das der Test hervor sagen will.
• Bewertung Inhaltsvalidität + relevant bei Erfeasstung spezieller Kenntnisse wie im schulischen Kontext = curriculare Validität - in vielen Inhaltsbereichen keine eindeutige Abgrenzung des Itemuniversums möglich - Gefahr der Übergeneralisierung sehr hoch
• Vorhersagevalidität prognostische, prädiktive Validität Kriterium wird später erhoben
• Übereinstimmungsvalidität konkurrente Validität Kriterium wird fast zeitgleich erhoben
• Validitätskoeffizient Produkt-Moment-Korrelation zwischen Testwerten x  und den Messwerten im Außenkriterium y, die auf Statistische Signifikanz geprüft werden kann 
• inkrementelle Validität Validitätszuwachs, den ein Verfahren z über ein anderes Verfahren x hinaus erbirngt. Beispiel: Zusätzlich zu einem Intelligenztest: Arbeitsproben, Vorstellungsgespräch, Probezeit
• Differentielle Validität liegt vor, wenn die Höhe der Validität in Abhängigkeit von einer anderen Variablen z (Moderatorvariable) unterschiedlich ausfällt.
• Validitätskoeffizient wird beeinflusst von ... (Höhe der Korrelation zwischen Test und Kriterium) - Validität des Tests x - Reliabilität des Tests x - Wahl des Kriteriums und dessen Validität (Frage der Operationalisierung) - Reliabilität des Kriteriums y  - Varianzeinschränkungen im Test oder im Kriterium -  Art des Zusammenhangs: PM-Korrelationen erfassen nur lineare Zusammenhänge
• Der Reliabilitätsindex entspricht - der Wurzel aus der Reliabilität - Dem Verhältnis aus der Standardabweichung der wahren Werte und der beobachteten Werte - der Korrelation der beobachteten mit ihren wahren Werten - die Validität (als Korrelation der Werte mit einem Außenkriterium) kann nie größer sein, als der Reliabilitätsindex = Die beobachteten Werte können nie höher mit einem Außenkriterium korrelieren als mit ihren eigenen wahren Werten √Rel_x  >= Val Cor(x,t) >= Cor(x,y)
• Ein Kriterium ist invalide wenn ... ... eine Diskrepanz zwischen konzeptuellem und verwendetem Kriterium besteht.  - Kontamination oder Defizienz
• Bewertung Kriteriumsvalidität + relevant, wenn der Test explizit Ziel hat, externes Kriterium hervorzusagen (Berufserfolg) 0 wenn man nachgewiesen hat, dass ein Test ein Kriterium gut vorhersagt, weiß man immer noch nicht warum = keine Theorie = Generalisierung auf andere Stichproben unsicher - viele Tests dienen nicht der Vorhersage eines Außenkriteriums, sondern der Erfassung eines Konstrukt und können deshalb gar nicht so validiert werden - Höhe der Kriteriumsvalidität hängt auch stark von Reliabilität und Validität des Kriteriums ab
• Konstuktvalidität - Vorgehen Es werden theoretisch abgeleitete Vorhersagen aufgestellt, wie das zu erfassende Konstrukt mit anderen Variablen in Beziehung steht = nomological network Dabe kann man Vorhersagen unterscheiden, mit welchen anderen Variablen ein positiver oder negativer Zusammenhang besteht, und mit welchen kein Zusammenhang bestehen sollte.
• Konvergente Validität - Wenn sich bestätigt, dass mit bestimmten Variablen ein positiver oder negativer Zusammenhang besteht - Konvergente Validität ist hoch, wenn die Messungen eines Konstuks durch verschiedene Methoden zu ähnlichen Ergebnissen fürhen (hohe Korrelationen zwischen den Messungen) - MTHM soll hoch korrelieren
• Diskriminante Validität - Ist gegeben, wenn die Korrelation des Konstrukt mit der anderen Variable nahe 0 ist. - ist hoch, wenn die Messungen verschiedener Konstukte mit einer Methode zu unterschiedlichen Ergebnissen führen (geringe Korrelationen zwischen den Messungen) - HTMM
• MTMM-Matrixen = Vorgehen zur Überprüfung von Konstruktvalidität (Prüfung der vorher aufgestellten Vorhersagen mit externen Variablen) In einer Studie werden an einer Stichprobe mindestens zwei Konstrukte/ traits jeweils gleichzeitig mit mindestens zwei Methoden erfasst. Das Muster der Interkorrelationen zwischen Messungen gibt dann gleichzeitig Hinweise auf konvergente und diskriminante Validität.
• Konvergente Validität vs. Diskriminante Validität Konvergente: Ein Konstrukt, zwei Methoden, hohe Korrelation = MTHM Mono-Method-Hetero-Trait Diskriminante: Zwei Konstrukte, eine Methode, niedriege Korrelationen = HTMM Hetero-Trait-Mono-Method
• Stukturgleichungsmodellierung gut zur Analyse von MTMM-Matrizen - Ladungen auf den Methoden-Faktoren sollten möglichst niedrig sein - Ladungen auf den Trait-Faktoren sollten möglichst hoch sein - es sollte ein guter globaler Modellfit existieren
• Bewertung Konstruktvalidität + universelle, flexible Anwendbarkeit: oft Methode der Wahl 0 "Prozess der sukzessiven Approximation" - häufiger Theorien und die empirische Befundlage zu schwach entwickelt, um gur begründete Vorhersagen über ein Kosntukt abzuleiten
• Validität ist kleiner, wenn - Reliabilität von Test oder Kriterium geringer ist (meist) - Wenn Varianzeinschränkung im Test oder Kriterium vorliegt - man nur einen Korrlelativen Zusammenhang untersucht (im Vergleich zu Einzelpersonen) - Wenn die Wuellen der Variablen deren Zusammenhänge man untersucht nicht identisch sind
• Nebengütekriterien Normierung  Testökonomie (kurze Durchführungszeit, geringe Kosten, einfach zu handhaben, leicht auszuwerten) Nützlichkeit (Besteht praktisches Bedüftnis nach dem Test, wird wer benötigt?) Nutzen (Diagnostik: kann man auf Basis des Test eine optimale Entscheidung hinsichtlich des Kriteriums getroffen werden: Ist man jetzt suizidgefährdet?) Fairness (ethisch vertretbar, weden Pbn gerecht behandelt?) Fehlen von Testbias (Bias, wenn das zu erfassende Merkmal systematisch unter/überschätzt wird) Zumutbarkeit, Unverfälschbarkeit ...

zurück  |  weiter 1 / 1