10
Testtheorie und Testkonstruktion (Fach) / Evaluation des Testverfahrens (Lektion)
- Was bedeutet Validität? - Unter Validität versteht man die Übereinstimmung der Testergebnisse mit dem, was der Test zu messen vorgibt- Maß der Genauigkeit, mit dem der Test dasjenige Merkmal misst, das er messen soll.
- Definiere die Inhaltsvalidität Wie repräsentativ ist der Inhalt eines Tests (sind die Items) für das zu messende Merkmal? -> ist gegeben, wenn der Inhalt eines Tests (bzw. der Items) tatsächlich das interessierende Merkmal erfasst
- Was ist Konstruktvalidität? Und welche Arten davon gibt es= - ist ein empirischer Belege dafür, dass der Test das Konstrukt misst, das er zu messen vorgibt – und nicht ein anderes- Cronbach und Meehl (1955): Die Idealvorstellung - Das nomologische Netz - Konvergente Validität liegt vor, wenn hohe Korrelationen mit Test vorliegen, die dasselbe oder ähnliche Konstrukte erfassen -> Ähnlichkeit (Überlappungen)- Diskriminante Validität liegt vor, wenn geringer oder kein Zusammenhang zu Konstrukten vorliegt, zu denen theoretisch kein Zusammenhang angenommen wird à Abgrenzung von anderen, mit denen es keine Überschneidungen gibt (will kleine Korrelation)
- Was macht die Minderungskorrektur? - Testungenauigkeiten werden rausgerechnet, Reliabilität wird nach oben korrigiert- Mit Korrektur kann ich Werte über 1 erreichen -> Messfehler wird geschätzt
- Definiere die Kriteriumsvalidität - liegt vor, wenn von einem Testergebnis (z.B. Einstellungstest/Leistungstest) erfolgreich auf ein als relevant erachtetes Außenkriterium, nämlich auf ein Verhalten außerhalb der Testsituation, geschlossen werden kann. Zum Beispiel:- Schuleignungstest -> Schulerfolg- Studieneignungstest -> Studienerfolg
- Welche Arten der Kriteriumsvalidität gibt es? - Vorhersagevalidität (predictive validity) -> Testwerte werden zeitlich vor dem externen Kriterium erhoben (z.B. Berufseignung vor Einstellung ermittelt und später mit Berufserfolg korreliert/ Studieneignungstest mit Bachelornote) - Übereinstimmungsvalidität (concurrent validity) -> Testwerte und externe Kriterien werden zeitlich parallelerfasst, z.B. nach der Entscheidung in einer intakten, vorselektierten Population- Retrospektive Validität -> Zusammenhänge mit zwischen Testwert und zeitlich vorher ermittelten Kriterium (Studieneignungstest wird mit bereits zurückliegendem Bachelorabschluss korreliert) - Inkrementelle Validität .> Beitrage eines Tests zur Verbesserung der Vorhersage eines Kriteriums über einen anderen Test hinaus. -> wie stark der Test zu meinem vorhandenen Wissen darüber hinaus/zusätzlich noch bei Vorhersage helfen kann->Hier mehr praktischer Nutzen im Vordergrund
- Was besagt die Basisrate? - Basisrate (base rate) beeinflusst das Ergebnis der Entscheidung- Basisrate = Häufigkeit potentielle Erfolgreicher in der Population- Je höher die Basisrate desto höher die Anzahl angenommener erfolgreicher Bewerber / desto höher aber auch, die Anzahl potentiell erfolgreicher Bewerber, die abgelehnt werden
- Was besagt die Selektionsrate? - Selektionsrate (selection ratio) Anzahl der Stellen im Verhältnis zur Anzahl der Bewerber- Selektionsrate = je geringer die Selektionsrate, desto größer ist die Wahrscheinlichkeit erfolgreiche Bewerber anzunehmen
- Nehmen Sie kritisch Stellung zur Minderungskorrektur. Gehen Sie dabei auf Vorzüge aber auch Probleme ein. wenn bei der Minderungskorrektur Werte über 1 rauskommen, dann hatte man am Anfang eine zu geringe Reliabilität und das führt zu einer Überkorrektur. Hilft dabei den messfehler rauszurechnen und dadurch wird die Reliabilität (auch die Validität) erhöht
- Wie kann bei der Minderungskorrektur ein Wert über 1 herauskommen? - zu geringe Reliabilität führt zu Überkorrektur
Anzeige