der diagnostische Prozess
Abfolge von Maßnahmen zurGewinnung diagnostisch relevanter Informationen und derenIntegration zur Beantwortung einer Fragestellung
Beispiele zur Zerlegung in Unterabschnitte des diagn. Prozesses
Westmeyer & Hageböck (1992) – präskriptives (normatives) Prozessmodell mit elf Schritten Maloney & Ward (1996) – deskriptives Prozessmodell mit zwei bis sieben Abschnitten
Was man bei der Hypothesenbildung beachten sollte
Hypothesen müssen explizit formuliert werden es muss grundsätzlich zu jeder Hypothese zumindest eine Alternativhypothese formuliert werden die implizite Selektion von Hypothesen auf Grund von theoretischen Voreingenommenheiten und „Schulenzugehörigkeit“ muss reflektiert werden
Grundidee TBS‐TK:
Was sind die Messziele des Verfahrens? Beleuchten der Gütekriterien unter Berücksichtigung derMessziele!Was ist die zugrundeliegende Theorie? Beleuchtung der Messziele und der Gütekriterien unterdiesem Aspekt!
„Doppelbeleg“‐Regel Datenauswertung
Aussagen solltenmindestens durch zwei unterschiedliche Datenquellenbestätigt sein
Marburger Modell
– auf Normwerte anwendbar, denen eine Normalverteilungzugrunde liegt– Klassifikation in 5 Bereichen: sehr niedrig – niedrig –durchschnittlich – hoch – sehr hoch– „durchschnittlich“ = M +, ‐ 0.5 SD (34%)– eine Merkmalsausprägung (mit Konfidenzintervallen) kann aufeiner fünfstufigen Skala visualisiert werden– Visualisierung erfolgt in Bezug auf die Referenzgruppe
Kompensatorische Regel
• lineare Kombination von Prädiktionsmesswerten– wie in der Faktorenanalyse, Regressionsanalyse• ein und derselbe Gesamtwert kann durch verschiedeneMerkmalskonfigurationen in den eingesetzten Verfahrenerreicht werden• niedrige Ergebnisse in einem Verfahren können durch hoheErgebnisse in anderen Tests ausgeglichen werden
oder‐Regel (Strategie)
• auch disjunktive Strategie genannt• Sonderform der kompensatorischen Regel• keine Summe der Teilkomponenten; es genügtentsprechend hoher Punktwert in einem der (beiden)Prädiktoren• nur angemessen, wenn die im Kriterium geforderte Leistungentweder auf die eine oder andere Weise erbracht werdenkann– Bsp.: Gute Schulleistungen aufgrund Fleiß oder Begabung
Konjunktive Regel (Strategie)
• Kompensatorische Entscheidungen sind unangemessen,wenn in jedem Teilbereich bestimmteMindestanforderungen vorliegen müssen– z. B. Pilot: Mangelnde Sehfähigkeit kann nicht wett gemachtwerden• explizite Annahme, dass ein Merkmal nicht kompensierbarist• Leistungen in dem einem und dem anderen Bereich nötig konjunktive bzw. Und‐Strategie
Mischformen – Schwach konjunktiv
• alle Eigenschaften müssen in einem Mindestmaß vorhandensein• für alle Personen, die oberhalb der Grenzen liegen werdendie Werte dann wieder kompensatorisch verrechnet
Mischformen – Schwache oder‐Regel
• Überschreiten des gesetzten Grenzwertes in einem derBereiche bedeutet positive Diagnose, egal, wie die Werte inden anderen Bereichen sind• Unterschreiten führt jedoch nicht direkt zu einer negativenDiagnose. Stattdessen gibt es einen Bereich, in dem sich diebeiden Eigenschaften wieder kompensieren können.
diagnostisches Urteil
Beantwortung einer Fragestellungunter Verwendung von bereits vorliegenden diagnostischenInformationen bezeichnet
„Klinische“ Urteilsbildung
die Daten aus den einzelnen Verfahren werden subjektivintegriert und zu einem Ergebnis zusammengefügt• individuelle Besonderheiten (z. B. Biographie der Testperson,aktuelle Einflussfaktoren auf ihr Verhalten, Kontext derDatenerhebung) können berücksichtigt und gewichtet werden• die subjektive Urteilsbildung unterliegt häufig impliziten Regeln,die nicht bewusst werden• das Urteil ist vom Diagnostiker abhängig!!!
Mechanische/Statistische Urteilsbildung
Die Daten aus den einzelnen Verfahren werden auf derGrundlage eines empirisch gewonnenen Algorithmusintegriert (z. B. in einer Regressionsgleichung) • ein entsprechender Algorithmus muss vorliegen; das setzt(umfangreiche) empirische Studien voraus• alle Informationen müssen quantifiziert vorliegen oderquantifiziert werden können• Das Ergebnis ist vom Diagnostiker unabhängig !!!
Schritte des diagnostischen Prozesses
• Auftrag und Fragestellung• Hypothesenbildung und Entscheidungsregeln• Auswahl von Verfahren• Datenerhebung und Auswertung / Ergebnisdarstellung• Datenintegration• Beantwortung der Fragestellung
Goldberg‐Index
aufgrund der Minnesota Multiphasic Personality Inventory(MMPI) Testergebnissen einer Person Urteil, ob Patientpsychotisch ist oder nicht• 5 Skalenwerte als T‐Werte• Gleichung: L + Pa + Sc – Hy – Pt– L = Lügenskala– Pa = Paranoia– Sc = Schizophrenie– Hy = Hysterie, Konversionsstörung– Pt = Psychastenie• Index über 45 Diagnose= Patient ist psychotisch
Metaanalyse Grove (2000) mechanische Urteilsbildung
Überlegenheit statistischer Urteile relativieren 136 Untersuchungen bewertet mechanische Vorhersage überlegen mittlere Effektstärke d = .089 sehr klein! mechanisch vor allem besser wenn medizinische und forensische Kriterien vorherzusagen sind!
Review Meehl (1954) : clinical versus statistical prediction
22 Studien ausgewertet zum Vergleich: klinisch vs. statistisch Überlegenheit der statistischen Urteilsbildung!
Klinisch vs. Statistisch Ergebnisse Arkes (1991)
Klinisches Urteil unterliegt eher subjektivenVerzerrungen Strategiebasierter Fehler Assoziationsbasierter Fehler Psychophysikalisch basierter Fehler
Arkes (1991): Gegenmaßnahmen gegen subjkt. Verzerrungen
Bedeutung der Diagnose und der eigenen Verantwortung verdeutlichen Consider the opposite Erlernen neuer Informationen, um eigenes Assoziationsnetzwerk zu vergrößern
Übliches Vorgehen der Vergleichsstudien
Für Patientengruppe wird Diagnose per Expertenurteil festgelegt(Kriterium) Ergebnisse einer diagnostischen Untersuchung dieser Personenwerden einer Versuchsgruppe vorgelegt, die eine klinischeEntscheidung trifft Analog wird eine statistische Verrechnungsvorschrift auf dieDaten angewandt und so eine statistische Entscheidunggetroffen Beide Entscheidungen werden mit dem Kriterium verglichen undso lässt sich prüfen, welche besser ist Sensitivität und Spezifität (siehe Thema klassifikatorische
Moderatorenanalyse Metaanalyse Grove (2000)
mechanisch vor allem besser wenn medizinische und forensische Kriterien vorherzusagen sind! Auswerten von Interviewdaten = statistisches Urteil besser! Erfahrung der Rater hatte keinen Einfluss! ob bei der Integration auch psychologische Tests und Verhaltensbeobachtungenhinzugezogen werden, wirkt sich kaum auf den Unterschied aus.
menschliche Urteile fehleranfällig weil... (Grove 2000)
Basisrate werden ignoriert (zu oft Diagnosen gestellt, die statistisch selten sind) Informationen falsch gewichtet: Availability-Heuristik Regression zur Mitte wird vernachlässigt
Christiansen et al. 2010: Urteilsfehler
160 Berater aus der Personalauswahl untersucht min. 6 Jahre Berufserfahrung diagnostisches Urteil abgeben, wer von Bewerbern am geeignesten ist für Managementposition Bewerber A besser kognitiv, durschnittlich bei Personlichkeitsmaßen Beurteiler lassen sich von invaliden Informationen leiten! -> stufen Bewerber mit besserer psych Konstitution besser ein als mit besseren kognitiven Fähigkeiten -> stufen ehrliche Person (Skala soziale Erwünschtheit) als besser geeignet ein, obwohl es dazu in der Forschung keine Belege dafür gibt!
Umgang mit Diskrepanzen bei Ergebnissen
Messfehler Testperson? Abstraktionsebene des Verfahrens unterschiedliche Methoden? implizite vs explizite Verfahren mangelnde Objektivität unterschiedliche Normierung Entscheidungsorientierte Nachuntersuchung Fragebogen plus Interview / Verhaltensbeobachtung
Strategiebasierte Fehler: klinisches Urteil
Diagnostiker schätzt Mehraufwand für gut durchdachte Strategiehöher ein als potenziellen Nutzen und greift daher auf suboptimaleStrategie zurück
Assoziationsbasierte Fehler: Klinisches Urteil
Menschliches Handeln erleichtert durch Assoziation vonGeschehnissen, Personen, Eigenschaften, ... -> Gefährlich beiDiagnose, wenn falsche oder irrelevante Assoziation aktiviert wird ( z.B. Confirmation Bias, Overconfidence, Repräsentativitätsheuristik)
Psychophysikalisch basierte Fehler: klinisches Urteil (Arkes, 1991)
gehen auf Erkenntnisse der Entscheidungsforschung und der Psychophysik zurück es werden (mathematische) Funktionen gesucht, die menschliche Entscheidungen modellieren (z.B. Ist Gewicht A größer als Gewicht B?) -> wenig verlässlich in den Randbereichen ‐ also bei sehr häufigen oder sehr seltenen Ereignissen -> Formeln kommen in bestimmten Bereichen (in denen eine fehlerhafte Verrechnung von Kosten und Nutzen stattfindet) zu Fehlentscheidungen
Wie gewichte ich den Test / Fragebogen mit dem Ergebnis
eines Interviews und der Verhaltensbeobachtungen?
Verrechnung von Normwerten nicht möglich Ggf. vorher festlegen, ob eines der Verfahren prioritär ist z.B. FB durch soz. Erwünschtheit verzerrt, daher Interview höher gewichten ist keine gute Begründung Hilfreich sind Ergebnistabellen (Zwischengutachten) Übersicht über Hypothese, Verfahren, Ergebnisse, Entscheidungsregeln Diskrepante Ergebnisse fallen aus Zwischengutachten direkt auf
Ideen zur Verbesserung des klinischen Urteils
• Westen & Weinberger (2004): Mitschuld am schlechten klinischenUrteil ist die fehlende Verwendung systematischer Datenauswertungdurch reliable und valide Auswertungsmethoden- Problem vor allem für Interviews und Verhaltensbeobachtungen, dabeobachtete Information nicht einfach aufsummiert werden kann- Oft intuitive Verknüpfung - Lösung wäre die Entwicklung und Verwendung bessererAuswertungsinstrumente Beispiel ist eine verhaltensverankerte Ratingskala (behavior anchored ratingscale, BARS)
Gründe einen Auftrag abzulehen
dem Diagnostiker fehlt die nötige Sachkunde Auftrag ist mit dem eigenen Gewissen/gesetzlichen Vorschriften nicht vereinbar Diagnostiker ist nicht neutral
Häufige Fehler in Gutachten nach Kubinger (2009)
• unscharfe Ausdrucksweise• ausweichende Stellungnahmen• fehlende Objektivierbarkeit der Befunde• Grenzen der Aussage bezüglich Generalisierbarkeit nicht deutlich• Einsatz von zweifelhaften Verfahren• fehlende Angaben zu den Gütekriterien• fehlende Konfidenzintervalle• fehlende Erläuterung der Verfahren inklusive ihresHypothesenbezugs
Das diagnostische Gutachten
Ein psychologisch-diagnostisches Gutachten ist ein Bericht über die Beantwortungvon konkreten Fragestellungen, die eine Person oder eine Gruppe von Personenbetreffen. Die Antwort kommt durch Anwendung wissenschaftlich anerkannterMethoden und Kriterien nach feststehenden Regeln der Gewinnung und Interpretationvon Daten zustande. Der zur Beantwortung der Fragestellung führendediagnostische Prozess wird transparent und nachvollziehbar dargestellt. Er umfasstdie Herleitung psychologischer Fragen, die Auswahl und Anwendung von Erhebungsmethoden,die Darstellung und Interpretation der Ergebnisse sowie dieBeantwortung der Fragestellung(en).
Ethische Prinzipien bei Gutachtenerstellung
Sorgfaltspflicht Transparenz Einsichtnahme: Auftraggeber vs. Begutachtete Gefälligkeitsgutachten Stellung zu Gutachten von Kollegen
Gutachtenerstellung: Themen für psychologische Fragen:
situative Faktoren körperliche Faktoren kog. Faktoren emotionale und motivationale Faktoren Persönlichkeitsmerkmale
Woran erkenne ich ein gutes Gutachten?Westhoff und Kluck (2008)
Grad der Gültigkeit abhängig von:
– Art und Qualität der zugrunde liegenden theoretischen Aussagen– ob die Regeln der Logik bei ihrer Verknüpfung beachtet wurden– von der Angemessenheit der Operationalisierung der hypothetischenKonstrukte– von den zentralen Merkmalen Objektivität und Messgenauigkeit(Reliabilität) der empirischen Vorgehensweisen– vom beanspruchten Geltungsbereich
Woran erkenne ich ein gutes Gutachten?Westhoff und Kluck (2008)
•Grad der Kommunizierbarkeit der Aussagen, abhängig von:
– der Transparenz des Vorgehens in allen Schritten– der Prüfbarkeit des Vorgehens
Verhaltensgleichung Westhoff & Kluck
V=f(U,O,K,E,M,S) Umgebunsvariablen Organismus kog. Variablen emotionale V. motivationale V. soziale V.
Drei grobe Bereiche: Diagnostischer Prozess
Planung, Durchführung, Integration
Phasen nach Sloves und Kollegen (1979)
• 6 sequenzielle Phasen– Problemklärung– Planung– Entwicklung– Implementierung– Ergebnisfindung– Weitergabe • Prozessmodell• Diagnostischer Prozess wird als Problemlösungsprozess
Phasenmodell nach Jäger (1983, 2006)
• Der diagnostische Prozess = komplexes Geschehen• Ist nicht unidirektional, sondern bestimmte Phasen könnenje nach Frage und Lösungserfolg mehrmals durchlaufen • Phasen– Problembeschreibung Übersetzung in psychologische Fragen– Hypothesenbildung– Gewinnung der diagnostischen Daten– Urteilsbildung– Urteil und Gutachten
deskriptives Prozessmodell
beschreiben eine Vorgehensweise ohnediese zu evaluieren
normative (präskriptive) Modelle
evaluierenunterschiedliche/alternative Vorgehensweisen für dieBeantwortung einer Fragestellung
Datenauswertung bei Gesprächen:
nach Möglichkeit Auswertung auf derGrundlage von (Tonband)protokollen
Anforderungen an die Richtlinien EAPA
Anwendbarkeit auf unterschiedliche Kontexte Integration unterschiedlicher diagnostischer Ziele:Beschreiben, Klassifizieren, Vorhersagen, Erklären Generierung und Testung von Hypothesen
Reliabilität nach AERA Standards:
„Reliabilität ist der Grad, mit demnummerische Ergebnisse (z.B. die Rohwerte) für eineGruppe von Personen bei mehrfacher Anwendung desdiagnostischen Verfahrens konsistent und wiederholbarsind.“
