6
Diagnostik (Fach) / Testfairness (Lektion)
- Perspektiven zur Testfairness 1 Testfairness ist ein Gütekriterium unabhängig von der Validität (Konstrukt-irrelevante Merkmale sollen keinen substanziellen Effekt auf die Testergebnisse und deren Interpretation haben) → Personen, die Tests konstruieren und Personen,die Tests anwenden, haben gemeinsame Verantwortung Tests fair einzusetzen (Auswahl des Tests, Interpretation von Testwerten, Rückmeldung von Testergebnissen) DIN 33430: Testfairness als Bestandteil des diagnostischen Prozesses Beispiel Personalauswahl: Einstellen des Bewerbers, der am besten geeignet ist → Einbeziehen aller Informationen, die für eine wissenschaftlich valide Vorhersage über die zu erwartende individuelle Leistung benötigt werden! unethische Beispiele: verfügbarer valider Prädiktor wird wissentlich nicht herangezogen; ein Test ist für eine Subgruppe schwerer als die andere
- Perspektiven zu Testfairness 2 Testfairness als Merkmal der Testqualität - nur ein valider Test kann fair sein! - Zentrale Konzepte: Differentielle Validität und (soziale) Gerechtigkeit - Verwendung von Testwerten in Auswahlsituationen - Realisierung von Fairness: ein Test integriert ethische, gesetzliche und philosophische Ansätze - Verzerrungen (Bias) werden in einem validen Test versucht zu vermeiden → Ein Item gilt als „biased“, wenn es in verschiedenen Personengruppen unterschiedlich funktioniert (Geschlecht, Kultur, Ethnizität sollen keinen Einfluss auf Messung haben)
- Grundlagen für Testfairness: Messinvarianz Messinvarianz: interindividuelle Unterschiede in einem kontinuirlichen Merkmal (Konstrukt) schlagen sich unabhänging von einer Gruppenzugehörigkeit in den gemessenen Variablen nieder. → In untersuchten Gruppen sind gleiche Reliabilitäten und konvergente Validitäten der Items gegeben Messinvarianz und Vermeidung von DIF tragen zur Testfairness bei → Differential Item Functioning (DIF) = Item weist unterschiedliche Messeigenschaften in verschiedenen Gruppen auf, unabhängig davon, ob sich die Gruppen in dem gemessenen Merkmal unterscheiden (Item wird von etwas Irrelevantem beeinflusst!) → Wenn Items kein DIF aufweisen, können alle Gruppenunterschiede auf das Konstrukt zurückgeführt werden!!
- Grundlagen für Testfairness: Modellperspektive Testbias (nach Cleary, 1968): Personen, die einer bestimmten Gruppe zugehören, werden aufgrund eines Unterschieds im Prädiktor, welcher sich nicht im Kriterium wiederfindet, häufiger ausgewählt, obwohl sie nicht besser sind (kein Unterschied im Kriterium) → systematische Bevorzugung/ Benachteiligung aufgrund der Gruppenzugehörigkeit bei der Betrachtung von Testergebnissen (Eignung wird nicht berücksichtigt) (Beispiel: Vorstellungsgespräch Call Center → der attraktivere Bewerber wird ausgewählt, obwohl Attraktivität keinen Einfluss auf Arbeitsleistung hat) Lösung → Prädiktive Invarianz Interindividuelle Unterschiede in einem Prädiktor (meist eine Variable mit kontinuierlichen Werteausprägungen) schlagen sich unabhängig von einer Gruppenzugehörigkeit im Kriterium nieder. Vermeidung von Testbias: = jede geeignetere Person hat unabhängig von jedweder Gruppenzugehörigkeit aufgrund des Prädiktors (Tests) eine entsprechend ihrer Eignung erhöhte Chance, ausgewähltzu werden → „Eignung“ als Grundlage für Chancen(un)gleichheit → Verdeutlichung von Testbias durch Regressionsgeraden möglich!
- Normierung und Testfairness Möglichkeiten von Test-Bias Maximierung von Testfairness durch Normierung möglich! Meade und Fetzer (2009): Testfairness = Fairness in Bezug auf bestimmte diagnostische Entscheidungen (Testfairness somit keine technische Qualität eines Tests, sondern Testfairness = ein Merkmal der Testwerte im Kontext einer Auswahlprozedur, die anhand eines Kriteriums (z.B. eine Norm) erfolgt. Wichtig: Ein Test-Bias, der bei einer bestimmten Prädiktor-Kriterium-Relation in einer Stichprobe nicht vorlag, kann bei Hinzunahme eines weiteren Prädiktors auftreten! Möglichkeiten von Test-Bias: Hinweis auf differentielle Validitäten (= Verfahren hat für verschiedene Gruppen unterschiedliche Kriteriumsvaliditäten) → diagnostisch nutzbar!
- Zusammenfassung Testfairness wird aus verschiedenen Perspektiven diskutiert:- Konzeptionell (Prädiktor-Kriteriums-Relationen, Verwendung von Normen)- Statistisch (Messinvarianzprüfungen)- Ethisch (wann ist Gleichheitfair vs. Wann ist Ungleichheit gerechtfertigt?) Die Beurteilung von Testfairness = Teil eines komplexen diagnostischen Prozesses! (bezieht sich auf verschiedene Etappen von Auswahlprozessen -> Einladung Vorstellungsgespräch, Einstellung, Beförderung, ...) Modelle und Kriterien sowie deren qualitative (z.B. gesetzliche Vorgaben) bzw. quantitative (z.B. Regressionsgeraden) Formalisierung sind Hilfsmittel, um diagnostischen Entscheidungsprozess unter dem Blickwinkel der Testfairness zu beleuchten.
Anzeige