Diagnostik II (Subject) / Kriterien der Qualitätsbeurteilung von psychologisch-diagnostischen Verfahren (Lesson)
There are 12 cards in this lesson
Testkuratorium, Kriterien, Qualitätsmerkmale etc.
This lesson was created by Macholocke.
- Was kennzeichnet das Testbeurteilungssystem des Testkuratoriums? - Erstellt Beurteilungskriterien und Testrezensionen, die auf DIN 33430 basieren => enthält Standards für Anforderungen an Verfahrenshinweise.- Testbeurteilung erfolgt nicht nach DIN 33430, sondern legt fest was ein Testmanual enthalten muss.- Fehlen wesentliche Informationen zu einem Verfahren => negative Beurteilung.- Eignet sich als rasches Negativscreening.- Im Fokus liegt die Testanwendung (Wie soll/darf man ihn anwenden?).
- Wie läuft die Testbeurteilung nach dem TBS-TK ab? - DIN Screen Checkliste 1 => vor allem hinsichtlich Verfahrenshinweise- Beschreibung des Tests nach bestimmtem Raster- Testrezension erfolgt durch zwei unabhängige Tester
- Was ist die DIN 33430? = Prozessnorm- bezieht sich auf alle Verfahren der Eignungsbeurteilung
- Welche Kriterien beinhaltet die TBS-TK? 1. Testbeschreibung2. Theoretische Grundlagen3. Objektivität4. Eichung5. Reliabilität6. Validität & Fairness7. Nebengütekriterien8. Gesamtbeurteilung
- Was muss die Testbeschreibung unter anderem beinhalten? - Anwendungsbereich- Auswertung- wie erfolgt Itemauswahl bei adaptiven Testen?
- Was muss unter anderem bei den theoretischen Grundlagen näher beschrieben werden? - Auf welcher Theorie basiert das Verfahren?- Ist der zu messende Bereich genau definiert?- Welche Unterschiede/Gemeinsamkeiten zu Verfahren mit überlappendem Geltungsanspruch gibt es?- Welchen Mehrwert hat das neue Verfahren gegenüber einem bereits bestehenden Verfahren?
- Was muss das Kriterium Objektivität unter anderem beinhalten? - Durchführungs-, Auswertungs-, Interpretationsobjektivität- Eine wortwörtliche Instruktion- Wie soll der Tl auf Nachfragen reagieren?- Wie soll man mit nicht beantworteten Items umgehen- Für die Anwender muss die Auswertung bei Computertest kontrollierbar sein- Welche Qualifikation muss man haben um Test interpretieren zu können?
- Was soll Eichung sicherstellen? - Ist Angemessenheit der Normen in den letzten 8 Jahren geprüft worden?- Sind Normen aktuell?- Sind verschiedene Vorgabearten auf Äquivalenz geprüft?
- Reliabilität soll sicherstellen, dass - die Reliabilitäten für die (Sub-) Populationen gegeben sind, für die der Test angewendet wird- die Interpretation der Reliabilität je nach untersuchter Gruppe erfolgen soll- sehr hohe interne Konsistenz auf nahezu idente Items rückführbar ist- der Standardschätzfehler bei IRT angeführt wird
- Validität soll sicherstellen, dass: - die Validitäten für jene (Sub-) Populationen angegeben ist bei denen der Test angewendet werden soll.- die Interpretation der Validität abhängig von der untersuchten Gruppe ist.- bei Mittelwertsvergleichen die inhaltiche Relevanz zu beurteilen ist.- die Validitätsstudien hypothesengeleitet entwickelt wurden.- bei konvergenter Validität auch die Gütekriterien des anderen Tests berücksichtigt werden.
- Nebengütekriterien die berücksichtigt werden müssen: - Verfälschbarkeit: sind die Verfahren willentlich verfälschbar => faking good/faking bad- Ist die Tp durch die Situation beeinflussbar?- Auf die Skalierung sollte im Manual näher eingegangen werden sofern es sich nicht um ein durch IRT skaliertes Verfahren handelt
- Welche Kriterien für Testgütekennwerte werden herangezogen? - Cut-Off-Werte: Dürfen allerdings nur in Verbindung mit der infrage kommenden Stichprobe interpretiert werden