Diagnostik (Fach) / Validität 2 (Lektion)
In dieser Lektion befinden sich 9 Karteikarten
05
Diese Lektion wurde von leonau erstellt.
- Kriteriumsvalidität und Prognose Hilft oder nützt ein Inventar Prognosen in Bezug auf ein Außenkriterium vorzunehmen und Personen dabei korrekt zu klassifizieren? Kriteriumsvalidierung ist sozusagen das Kernstück der Personalauswahl, der Interventions- und Evaluationsforschung. Es geht weniger um die Frage, ob der Test genau das misst, wofür er entwickelt wurde, sondern um die Frage, ob die Prognose „richtig“ ist – in dem Sinne, dass die diagnostische Entscheidung dem Auftraggeber nützt Psychologische Diagnostik möchte Verhalten aufgrund von Merkmalsausprägungen vorhersagen → Beispiel: Statistischer Zusammenhang (Korrelation) zwischen Auswahlverfahren und Berufserfolg (Prädiktive Validität): Vorhersage von Berufserfolg bei der Personalselektion + Intelligenztest, Arbeitsproben, Gewissenhaftigkeit, Strukturiertes Interview - Interessen, Graphologie, Alter
- Kriteriumsvalidität Man bezeichnet das Zielmerkmal in der Regel als „Außenkriterium“ Man grenzt solche, meist pragmatischen Außenkriterien von den sogenanntenBinnenkriterien oder Quasikriterien ab:Binnenkriterien sind z.B.die Korrelationen eines Tests mit gleichartigenTests.Man spricht bei diesen Korrelationen auch von Binnenvaliditäten. Man hat einen neuenIntelligenztest entwickelt und validiert diesen anhand der Korrelation mit einem älteren Intelligenztest validiert, dann ist der ältere Intelligenztest ein Quasikriterium.
- Kriteriumsvalidität Kriteriumsvalidität hängt von der Reliablität des Tests (Prädiktor) und Reliabilität des Kriteriums ab! → doppelte Minderungskorrektur der Kriteriumsvalidität? Weitere Beeinflussung der Korrelation von Test und Kriterium: Generalität (Unterschiede in der Generalität von Test und Kriterium: Verminderung der Kriteriumsvalidität!) Brunswik-Symetrie: Ähnlichkeit der Generalitätniveaus (nur dann kann Kriteriumsvalidität maximal sein) Aggregationsniveau kann zu einem gewissen Grad das Generalitätsniveau erfassen
- Weitere Arten von Kriteriumsvalidität Konkurrente Validität (Prädiktor und Kriterium werden gleichzeitig erhoben) Prädiktive Validität (Prädiktor wird deutlich vor dem Kriterium erhoben) → meist höherer Stellenwert der prädiktiven Validität (prognostische Validität): wird der Prädiktor deutlich früher erhoben, können keine neuen Korrelationen mit Merkmalsausprägungen die durch das Kriterium entstanden sind, gemessen werden, die dann fälschlicherweise als Prädiktoren gegolten hätten → Kriterien werden oftmals durch gesellschaftliche Anforderungen definiert
- Kriteriumsvalidität: Target-Variablen Target-Variablen (Zielvariablen) = Variablen, für die eine statistische Vorhersage als relevant erachtet werden, wobei für die Auswahl von Prädiktoren keine theoretischen Gründe angeführt werden können. Der Unterschied zwischen Target-Variablen und „echten“ Kriterien ist nicht immer leicht zu beurteilen! Je mehr man über ein Kriterium und dessen Beeinflussung weiß, desto eher kann man es als „echtes“ Kriterium auffassen. Empirische Prognosen auch ohne Vorstellungen über die Wirkmechanismen zu treffen einerseits erfreulich, andererseits hohes Risiko!! → Bei Kenntnis oder Wegfallen einer Randbedingung kann empirischer Zusammenhang plötzlich nicht mehr gelten! (Beispiel Korrelation von Störche und Geburtenanzahl...)
- Stufen des Kriteriums und Selektivität - Kriterien liegen oft in abgestufter Form vor (geeignet/ ungeeignet, etc): daraus ergibt sich, dass bei einseitiger Besetzung der Kategorien, eine geringe Kriteriumsvalidität folgt (wenn ich nur eie Gruppe von Personen nehme, kann es sein, dass ein Kriterium nicht vorhergesagt wird? LN) - zudem: oft mehrstufiger Selektionsprozess (Man wählt anhand eines Tests eine Gruppe geeigneter Personen aus) -Ergebnisse beziehen sich dann nur auf diese Gruppe → Kriteriumsvalidität wird unterschätzt! → Effekt der eingeschränkten Varianz Möglichkeit: Formel zur Korrektur der eingeschränkten Varianz (→ sorgt dafür, dass Kriteriumvalidität weniger unterschätzt wird bzw. auch, dass in Extremgruppen die Kriteriumsvalidität realistischer ausfällt!) Andere Möglichkeit: doppelte Minderungskorrektur (hier geht man jedoch von einer Reliabilität von 1 aus - kritisch!) → jedoch sinnvoll bei Einstellungsuntersuchungen
- Zusammenfassung/ Fazit - Arten des Kriteriums: Quasi-Kriterium, Binnenkriterium, Targetvariablen, echtes Kriterium - Generalitätsniveau: Prädiktor vs. Kriterium, sind die Skalen gerechtfertigt? - Optimal: Kenntnis über Wirkmechanismen - Erworbene Kompetenzen / Erfahrungen beeinflussen den Prädiktor-Kriteriums- Zusammenhang - Differenziertheit, Reliabilität, Datenniveau des Kriteriums beeinflusst die Kriteriumsvalidität -Aufwertung des Validitätskoeffizienten vs.doppelte Minderungskorrektur
- Beziehungen zwischen Hauptgütekriterien (Validität, Objektivität, etc, ...) Objektivität Voraussetzung für Reliablität (Zuverlässigkeit der Daten) Reliabilität (Zuverlässigkeit der Daten) Voraussetzung für Validität (es wird das gemessen was gemessen werden soll) (→ Validitätskoeffizienten können theoretisch jedoch größer als Reliabilitätskoeffizienten sein, da Reliabiltät Varianzen darstellen und Validität Korrelationen.) Validität maximal so so groß wie Wurzel aus der Reliabilität) Reliabilität und Validität können mitunter in einen Konflikt geraten Reliabilitäts-Validitäts-Dilemma: Ursache für den Argwohn, dass Tests entweder etwas Irrelevantes relativ genau messen, oder aber etwas Relevantes extrem ungenau messen.
- Nutzen von diagnostischen Verfahren & Kosten-Nutzen-Analysen Nutzen oder Nützlichkeit eines diagnostischen Verfahrens ist gegeben, wenn die Anwendung eines Verfahrens mehr positive als negative Konsequenzenerbringt! Spezifisch: Erhöhung der Anzahl korrekter Klassifikations- oder Eignungsentscheidungen → Überprüfung der Effektivität (=Nutzen) und Effizienz (Nutzen - Kosten) durch Evaluation (z.B. von Personalauswahlverfahren) → Effizienz: Basis für Kosten-Nutzen-Analysen -Taylor-Russel-Modell (1939): Erfolgsquote eines Personalauswahlverfahrens (Bewerber der eingestellt wurde ist auch geeignet) wird beeinflusst durch: - Validitätskoeffizienten (des eingesetzten Verfahrens) - Basisrate (wie viel Bewerber sind überhaupt geeignet von allen Bewerbern) - Selektionsquote (wie viele Bewerber werden überhaupt von allen eingestellt) FORSCHUNG LEUE UND BEAUDUCEL: → hohe Validität, mittlere Basisrate und mittlere Selektionsquote gut! - Brogden- Cronbach- Gleser- Modell: berücksichtigt monetäre Aspekte und sorgt für finanziellen Nutzen im Vergleich zu einer Zufallsauswahl!!