17
Testaufbau und Analyse (Subject) / Qualitätsstandards (Lesson)
Advertisement
- Objektivität Definition = Ausmass, in dem die Ergebnisse eines Tests unabhängig von anderen untersuchten Personen sind. Stellt Vergleichbarkeit des Tests sicher. Ist gegeben wenn: - jede Testleistung mit jemanden einen Test durchführt und die jede Testauswertung gleich auswertet und interpretiert.
- Durchführungsobjektivität Anforderung: Testergebnis hängt NICHT davon ab, wer den Test mit der Testperson durchführt. Erfordert: Standardisierung der Durchführungsbedingungen -> Elimination und Kontrolle der Störvariablen Exakte Vorgaben im Testmanual: - Testmaterial (Unterlagen, Hilfsmittel)- Testbedingungen (z.B. Zeitbegrenzung)- Instruktionen - Reaktion bei Rückfragen Versuchsleiter-Effekt verhindern!
- Auswertungsobjektivität Anforderung: Testergebnis hängt nicht davon ab, WER die Angaben der Testperson auswertet. Erfordert: Standardisierung der Auswertungsmodalitäten Gleiches Testverhalten muss stets zum gleichen Ergebnis führen! Eindeutige Auswertungsvorschriften: - Klassifikation von Lösung/Antwortoptionen- Auswertungsregeln bei offenen Fragen- Umgang mit Auslassungen, korrekturen, uneindeutige Antworten- Auswertungsschablone & Auswertungsblätter
- Interpretationsobjektivität Anforderung: Schlussfolgerung über Merkmalsausprägung ist InterpretationspersonenUNabhängig Erfordert: Standardisierung des Interpretationsrahmens Beurteilung aller Personen mit demselben Massstab Eindeutige Angaben zum Merkmal: - klare Merkmalsbenennung- ausführliche Normtabellen- detaillierte Information zur Eichstichprobe
- Skalierung (Nebengütekriterium) Anforderung: Merkmalsunterschiede zwischen Personen werden in den Abständen der Testwerte korrekt abgebildet. Korrekte Wiedergabe des empirischen Relativs im numerischen Relativ! Erfordert: Angemessene Verrechnungsregeln, adäquates Skalenniveau der Testwerte - Ordinalskaliert für Rangreihen - Intervallskaliert für quantitative Aussagen
- Normierung (Nebengütekriterium) Anforderung: Mithilfe eines Bezugssystems können Testwerte einer Person eindeutig im Vergleich interpretiert werden. erfordert: detaillierte Normtabellen (Prozentränge, Abweichungsnormen, Standardnormen) Qualitätsaspekte: - Repräsentativität der Eichstichprobe- Differenziertheit der Normen- Aktualität der Normdaten- Dokumentation
- Zumutbarkeit (Nebengütekriterium) Anforderungen: geringe zeitliche, psychosche & physische Belastung für Testperson (absolut und relativ zum Testnutzen) erfordert: Sorgfältige Abwägung von Testnutzen und Beanspruchung der Testperson. Schwierige Bewertung von "Nutzen"! Einfluss von: - gesellschaftliche Normen- Untersuchungsumstände- individuellen Charakter
- Nützlichkeit Anforderungen: praktische Relevanz des gemessenen Merkmals. Nutzen der abgeleiteten Entscheidungen & Massnahmen Erfordert: objektive Bedarfs, -Nutzen- & Merkmalsanalyse Vermeidung von Redundanz zu bereits verfügbaren Tests.
- Unverfälschbarkeit Anforderung: Testperson haben keine Möglichkeit die Testwerte zu verzerren/verfälschen/steuern Erfordert: angemessene Item-Schwierigkeit Verfälschungsarten: - Faking: absichtliche Täuschung- Selbstdarstellung: Impression Management- Selbsttäuschung: Self-deception -> Selbstwertdienliche Verklärung der Realität
- Fairness Anforderung: keine systematische Benachteiligung von Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechterspezifische Gruppen. --> alle Personen würden dasselbe Ergebnis erzielen, wenn sie dieselebe Ausprägung haben. Erfordert: Elimination von Itembias (differenzielle Itemschwierigkeit für bestimmte Personengruppen)
- Advertisement
- Testökonomie Anfroderung: geringe Beanspruchung finanzieller & zeitlicher Ressourcen. Es soll in Relation stehen. Ist ähnlich wie die Zumutbarkeit für Probanden, hier ist es für die Durchführenden. Erfodert: kurze Durchführungszeit, geringen Matieralverbrauch, Möglichkeit zur Gruppendurchführung, schnelle Auswertungen.
- Teststandards (Leitlinien) Sind Leitlinien, in denen man festgelegt hat, wie man Tests entwickelt, anwendet, rezensiert und interpretiert. - Sind Zielsetzungen über Entwicklung, Adaptation, Anwendung und Qualitätsbeurteilungen. Dafür gibt es Teststandards-Kompendien. Da alle Durchführungen Normen brauchen, brauchen wir diese Kompendien. Inhalte des "Standards for educational Testing" - Validität/Reliabilität/ Objektivität- Norms- Interpretation Inhalte DIN 33430 - Anforderung an Verfahren- Interpretation & Urteilsbildung
- DIN 33430 Ist eine Dienstleistungsnorm für "Anforderungen an berufsbezogene Eignungsdiagnostik". Ist eine konkrete Handlungsanweisung. Zielgruppen: - Auftraggebende (als Massstab zur Qualitätsbewertung)- Auftragnehmende (Durchführungsleitfaden)- Mitwirkende (Qualifikationskatalog. Was muss er/sie können?)
- Qualitätsbeurteilung mit TBS-TK (Testbeurteilungssystem des Testkuratoriums) Problem: schwierige Vergleichbarkeit von Testverfahren durch fehlendes verbindliches Kriteriumsystem. Lösung: "Testbeurteilungssystem des Testkuratoriums (TBS-TK)
- TBS-TK Vorgehen 1. Man beauftragt 2 fachkundige Rezensierende (meistens Uni Professoren) 2. Der Test wird auf Prüffähigkeit gestestet (DIN 33430) 3. Es wird nach formalen Inhalten & Merkmalen kategorisiert 4. Testverfahren wird gemäss vorgegebenen Besprechungs-& Beurteilungskriterien bewertet.
- TBS-TK Rezensionsinhalte 1. Allg. Information 2. theoretische Grundlagen 3. Objektivität 4. Normierung 5. Reliabilität 6. Validität 7. Nebengütekriterien 8. Abschlussbewertung Es gibt am Ende eine klare Bewertung "gut oder schlecht".
- Alternative zu TBS-TK: SDBB/CSFO - Rezensionen Ist ähnlich wie TBS-Tk. Kommen aber eher aus dem Bereich "Berufsberatung". --> Testbeurteilung von Fachgruppe der SDBB statt Uni Professoren. Inhalte: - Beschreibung (Fragestellungen/Anwendungsbereich/Gütekriterien) - Einschätzung der Fachgruppe Diagnostik (Anwendungsqualitäten, Kritik/Grenzen, Gesamtbewertung für Berufsberatung)