16
Diagnostik und Evaluation (Subject) / Arbeits-und Organisationspsy. (Lesson)
Advertisement
- Definiere Berufsdiagnostik und ihre Einsatzbereiche. Bezeichnet•Die Entwicklung, Prüfung und Anwendung psychologischer Verfahren>>Zum Zwecke eignungsbezogener Erfolgsprognosen>>Und Entscheidungshilfen im beruflichen KontextIhre wissenschaftliche Basis sind v.a.•Theorien der Anforderungen•Fähigkeiten und Leistungen•Sowie Methoden zu deren Messung•Und Modelle der KlassifikationPraktische Einsatzbereiche sind•Alle Arten berufsbezogener Einschätzung, Beratung, Selektion und ZuordnungMit dem Ziel»Der individuellen Arbeitsplatz-, Berufs-und Organisationswahl»Der institutionellen Berufsberatung»Sowie der Auswahl und Entwicklung von Mitarbeitern in Wirtschafts-und Verwaltungsorganisationen
- Beschreibe das 4-Felder-Schema zur Systematik der Aufgabenfelder. In der Praxis liegen Mischformen vor!Ziel:Auswahl (Selektion) von Personen:Personalauswahl•Anforderungsanalyse•Messung der Merkmale von Bewerbern•Evaluation von Entscheidungen>>Minimierung von FehlentscheidungenZiel:Auswahl (Selektion) von Arbeitsbedingungen:PersonalplatzierungZiel:Entwicklung (Modifikation) von Personen:Personalentwicklung•Spezifizierung von Maßnahmen zur Fortbildung•Evaluation der Maßnahmen•Optimierung zukünftiger Interventionen>>Feststellung des EntwicklungsbedarfsZiel:Entwicklung (Modifikation) von Arbeitsbedingungen:Organisationsentwicklung
- Lerne den Leitplan zur Berufseignungsdiagnostik. Siehe VL Folie!
- Beschreibe die Punkte Tätigkeit, Eignungsdiagn. Operatoren, Prognose und Evaluation des Leitplans zur Berufseignungsdiagnostik! Allgemein: Der Eignungsdiagnostische Prozess soll nach wissenschaftlichen Kriterien ablaufen!1. Tätigkeit•Ziel: Feststellen der Anforderungen•Vorgehen: Arbeits-und Anforderungsanalyse:(obere Ecke des ED)−Aufgaben-und Ergebnisanforderungen−Verhaltensanforderungen−Eigenschaftsanforderungen>>2 Strategien der Arbeits-und Anforderungsanalyse»Bottom-Up-Strategie»Top-Down-Strategie (Kompetenzmanagementansatz)2. Eignungsdiagnostische Verfahren/Operationen•Ziel: Auswahl/Entwicklung eignungsdiagnostischerVerfahren/Operationen•Vorgehen:Ergebnisse der Arbeits-und Anforderungsanalyse dienen als Grundlage der Konstruktion von……Eignungsdiagnostischen Verfahren(untere, linke Ecke des ED)−Eigenschaftsorientierte Verfahren−Simulationsorientierte Verfahren−Biografieorientierte Verfahren>>>Wichtig/wünschenswert: multimethodales & multimodales Vorgehen!…&……Berufserfolgskriterien(untere, rechte Ecke des ED)−Eigenschaftskriterien−Verhaltenskriterien−Ergebniskriterien>Eignungsdiagnostische Verfahren müssen psychometrische Gütekriterien erfüllen>Auswertung eignungsdiagnostischer Verfahren ->Rohdaten>Transformation der Rohdaten zu Standardwerten»Wichtig dabei: spezielle Validität der Verfahren!3. Prognose•Ziel: Prognose über Bewährung (Leistung) eines Bewerbers in einer zu besetzenden Zielposition•Vorgehen: Regelbasierte Klassifikation eines Bewerbers als (un)geeignet, auf Basis der diagnostischen Standardwerte>>>Bewerberauswahl4. Evaluation•Prüfung der Bewährung der Prognose>>>Wurde im eignungsdiagnostischen Prozess tatsächlich der geeignete Bewerber ausgewählt?
- Beschreibe das eignungsdiagnostische Dreieck. Oben Mitte:Arbeits-und AnforderungsanalyseAufgaben-und ErgebnisanforderungenVerhaltensanforderungenEigenschaftsanforderungenZur Konstruktion von:unten links:1.Eignungsdiagnostische VerfahrenEigenschaftsorientiertSimulationsorientiertBiografisch2.BerufserfolgskriterienEigenschaftsorientiertVerhaltensbezogenErgebnisorientiertDurch den Vergleich von 1. und 2. werden diese validiert.
- Was sind die Verfahren zur Aufgaben-und Anforderungsanalyse? Nenne Vor- und Nachteile und gib Kritik. Bottom-up Strategien:Qualitative PhaseAuswertung schriftlicher Materialien, wie>>Stellenbeschreibungen>>Führungsrichtlinien>>Interviews mit Experten (Interviewleitfaden)>>Extremgruppenanalysen (erfolgreiche vs. nicht erfolgreiche Stelleninhaber).>>Sammlung von criticalincidentsÜbergang>>Auswertung der qualitativen Verfahren>>Entwicklung und Überprüfung von quantitativen Verfahren (Vorversion)Quantitative Phase>>Erstellung der Endversion des quantitativen Verfahrens,>>Bearbeitung durch erfahrene Arbeitsplatzinhaber>>Auswertung, Datenreduktion,>>Bildung von AnforderungsdimensionenVorteile:>>Spezifische Ausrichtung auf bestimmte Zielpositionen>>Verknüpfung mit einer konkreten Zielsetzung>>Verwendung von standardisierten und empirisch bewährten psychodiagnostischen Verfahren>>MultimethodalesVorgehenNachteile:Retrospektive OrientierungStellenspezifische AnalyseAnforderungsprofil = Momentaufnahme des BerufsbildesTop-down Strategien:Kompetenzmanagementansatz>> stellenübergreifende Analyse und Dokumentation>> konzeptionelle Wurzeln im pädagogischen Bereich(Stichwort: Schlüsselkompetenzen)>> Top-down-Strategie zur Ableitung>> Funktionen>>>Ermittlung zielpositionsspezifischer Kompetenzprofile>>>Förderung der strategischen Unternehmensausrichtung>>>Bezugsrahmen zur Analyse der UnternehmenssituationKritik bisher kaum empirische Güteprüfungen vage, undifferenzierte Definition der Kompetenz kaum standardisierte Methodik zur Kompetenzermittlung
- Welche Verfahren der Eignungsdiagnostik kennst du? Beobachtung; Befragen; Testen>Dokumentenanalyse>Test>Fragebogen>Simulationsorientierte Verfahren >>Arbeitsprobe>>situative Interviewfragen>>PL-Szenarien>Assessment Center
- Nenne ein paar Leistungstests und beschreibe Vor- und Nachteile. Was sind Kriterien zur Auswahl der Testverfahren? Tests zur Messung allgemeiner kognitiver Fähigkeiten Berliner Intelligenzstruktur-Test, BIS-4 (Jäger et al., 1997) Bochumer Matrizentest, BOMAT (Hossiep, et al., 2003) Frankfurter Aufmerksamkeitsinventar, FAIR (Moosbrugger et al., 1996) Test d2 – Aufmerksamkeits-Belastungs-Test (Brickenkamp, 2002) Intelligenz-Struktur-Test, I-S-T 2000-R(Amthauer)Tests zur Messung berufsbezogener kognitiver Leistungen Büro-Test, BT (Marschner, 1981) Drahtbiegeprobe, DBP (Lienert, 1967) Test zur Untersuchung des praktisch-technischen Verständnisses, PTV(Amthauer, 1972)Kriterien zur Auswahl der Testverfahren Auswahl/Neuentwicklung beruht auf einer Anforderungsanalyse Validität -> Relevanz der Stichproben -> Auswahl der Validitätskriterien Normen -> Relevanz der Normierungsstichproben; Alter der Normen Konstruktion nachvollziehbar?•Vorteile Leistungstests haben gute Validität»Tests der allgemeinen kognitiven Leistung sind neben der Arbeitsanalyse die besten Prädiktoren beruflicher Leistung»Berufsrelevante Wissenstest haben hohe prognostische ValiditätMultimethodales Vorgehen•NachteileAbstrakte Aufgaben»Keine Simulation des tatsächlichen BerufsalltagsLeistung bemisst sich nach der Anzahl der richtig gelösten Aufgaben pro Zeiteinheit»Ist das tatsächlich repräsentativ für den beruflichen Alltag?
- Nenne ein Fragebogenverfahren und gib Vor- und Nachteile. Persönlichkeitsfragebogen:N=Neurotizismus (Neuroticism)E=Extraversion (Extraversion)O=Offenheit (Openness to experience)A=Verträglichkeit (Agreeableness)C= Gewissenhaftigkeit (Conscientiousness)•Zusammenhang der BIG 5 mit…Allgemeiner ArbeitsleitungSpezifischen LeistungskriterienUnd Berufserfolg hinsichtlich spezieller BerufsgruppenWas wird hier deutlich?•Gewissenhaftigkeit zeigt durchweg positive und insgesamt die höchsten Zusammenhänge aufHöchster positiver Zusammenhang mit „Beurteilung durch den Vorgesetzten“•Neurotizismus zeigt durchweg negative ZusammenhängeBesonders bzgl. Teamarbeit•Andere Persönlichkeitsmerkmale weisen eher spezifische Zusammenhänge aufExtraversion & Offenheit »AusbildungsleistungVerträglichkeit »TeamarbeitAllgemein lässt sich zu (Persönlichkeits-)Fragebogenverfahren Folgendes festhalten:•Erfassen mehr oder minder allgemeine Verhaltensdispositionen•Selbsteinschätzungen•(Je nach Dimension ist die) Validität gut belegt (z.B. Gewissenhaftigkeit)>>Validität jedoch geringer als z.B. Leistungstests oder Arbeitsproben•Inkrementelle Validität nachgewiesenEin paar weitere Überlegungen zu Persönlichkeitsfragebögen:•Persönlichkeitstests beruhen auf SelbsteinschätzungenEs werden keine „tatsächlichen“ Persönlichkeitseigenschaften erfasst……sondern die von einer Person bevorzugte Wahrnehmung und Darstellung ihrer selbst•Persönlichkeitstests sind relativ anfällig für Verzerrungen!Aspekt der sozialen ErwünschtheitRelativ hohe AugenscheinvaliditätFazit:•Persönlichkeitstests im Rahmen der Personalauswahl nur zur Vorauswahl / ergänzend zu anderen Verfahren verwenden•Validität im Hinblick auf die eigene Fragestellung ermitteln•Im Hinterkopf behalten, dass Verzerrungsgefahr bei Persönlichkeitstests am größten ist!•Vorteile:ÖkonomieObjektivitätReliabilität•Nachteile:Relativ aufwendige NeuentwicklungJe nach betrachteter Dimension oft mangelhaft belegte ValiditätGefahr einer unreflektierten Auswahl
- Beschreibe biografische Fragebögen. Nenne auch Vor- und Nachteile und vergleiche sie mit Persönlichkeitsfragebögen. Merkmale biografischer Items (Mael, 1991)beziehen sich auf die Vergangenheit,erfassen beobachtbare Ereignisse,Ereignisse, die sich klar voneinander abgrenzen,objektiv identifizieren undprinzipiell verifizieren lassen.beziehen sich auf die bewusste Beobachtung des PbDie Ereignisse stehen zwar unter der Kontrolle des Pb,könnten aber auch bei jedem anderen Menschen auftreten.besitzen einen offensichtlichen Bezug zum Berufslebenverletzen nicht die Privatsphäre des Pb•VorteileHohe ValiditätGeringe VerfälschbarkeitHohe ObjektivitätÖkonomische Anwendung•NachteileMeist Neukonstruktion notwendig»Soll sich ja immer auf den speziellen beruflichen Kontext beziehenEntwicklung/Konstruktion sehr aufwändigGgf. Ablehnung durch die Pbn»Obwohl Akzeptanz insgesamt besser als bei Persönlichkeitsfragebögen•Bei biografischen Fragebögen ist die Akzeptanz bei den Pbnmeist höher•Subjektive Verletzung der Privatsphäre ist geringer!
- Advertisement
- Beschreibe Arbeitsproben zur Simulation. Nenne Vor und Nachteile. •Simulation wichtiger Ausschnitte der Arbeitstätigkeit•Systematische Beobachtung des Verhaltens der Person in der Situation•Arbeitsprobe hat die höchste Validität aller personaldiagnostischen Verfahren•Hohe Augenscheinvalidität = hohe Akzeptanz bei den Bewerbern•Beispiele für Arbeitsproben sind:Anfertigen eines WerkstücksProbevorlesungGruppendiskussionRollenspielPostkorbübungVariationen von Arbeitsproben:Spezifität->Ausmaß, in dem AP allgemeine/spezifische Fertigkeiten erfasstErfahrungsbezug->Ausmaß, in dem AP Berufserfahrung voraussetztBandbreite->Ausmaß, in dem AP Arbeitswirklichkeit abbildetRealitätsbezug-> Ausmaß, in dem AP Arbeitswirklichkeit realistisch simuliertAufgabentypus->kognitiv, motorisch, verbal, sozialAntwortmodus-> Tatsächliches Verhalten, mündliche/schriftliche VerhaltensbeschreibungBewertungsmodus->Ratingskalen, Beispiele guter/schlechter Leistung, Checklisten•VorteileHohe Validität (höchste Einzelvalidität aller personaldiagnostischer Verfahren!)Hohe Akzeptanz (durch hohe Augenscheinvalidität)Erlaubt eindeutige Aussagen über FertigkeitenGibt dem Bewerber einen Einblick in die tatsächliche Tätigkeit•NachteilHöhere Kosten als TestverfahrenFür Berufsanfänger schwieriger als für „Alte Hasen“Bei komplexen / langwierigen Aufgaben kaum umsetzbarGenerell mit mehr Aufwand verbunden
- Beschreibe situative Interviewfragen zur Simulation. Nenne Vor- und Nachteile. Aspekte, hinsichtlich derer sich situative Interviewfragen unterscheiden können:StimuluspräsentationMündlich, schriftlich (= situational judgement test), VideoResponseerfassungAuswahl/Bewertung von Antwortvorgaben, freie BeschreibungRealitätsbezugAusführliche vs. abstrakte Darstellung, InteraktivitätUnabhängigkeit der ItemsIsolierte Items vs. Zusammenhängende GeschichteErfasstes MerkmalWissen vs. (beschriebenes) Verhalten•VorteileOffensichtlicher RealitätsbezugHohe AkzeptanzGute prognostische Validität•NachteilFragen sehr spezifisch (auf bestimmtes Berufsfeld bezogen)»Nur begrenzt auf andere Berufsfelder generalisierbarHohe Konstruktionskosten»Muss i.d.R. für jedes Berufsfeld neu entwickelt werdenHeterogene SkalenErfassung von hypothetischem Verhalten»Unklar, ob der Bewerber sich in einer „echten“ Situation tatsächlich so verhalten würde, wie im Interview angegeben
- Beschreibe das Interview als Verfahren der Eignungsdiagnostik. Allgemeine Anforderungen an Interviewverfahren:•Dem Interview soll eine Anforderungsanalyse vorausgehen•Strukturiertes VorgehenInterviewleitfadenStörungsfreies SettingMaximal 60 Min. Gesprächsdauer•Standardisierung bzgl.InhaltTyp und Reihenfolge der FragenBewertungskriterien / Auswertungsregeln•Interviewte ist ein gleichberechtigter VerhandlungspartnerSoll nicht als „Bittsteller“ gesehen / behandelt werden•Interviewpartner erhält Gelegenheit Fragen zu stellen•Gestellte Fragen sind rechtlich zulässigDürfen die Privatsphäre nicht verletzen•Zu jedem Merkmalsbereich sollten mehrere Fragen gestellt werden•Antworten des Pbn sollen protokolliert werden•Interviewer müssen geschult sein•Bewertung sollte (wenn möglich) durch zwei unabhängige Beurteiler erfolgen•Datenerhebung und Datenauswertung sollte getrennt voneinander erfolgenAm besten durch unterschiedliche Personen•Verwendung von verhaltensverankerten Beurteilungsskalen / Checklisten•Verfahren sollte evaluiert werden
- Beschreibe das multimodale Interview nach Schuler. GesprächsbeginnAufbau einer freundlichen,offenen Gesprächsatmosphäre; bewertungsfreiSelbstvorstellung des BewerbersBewerber berichtet frei von Ausbildungsweg, beruflichen Erfahrungen;Bewertung auf relevanten AnforderungsdimensionenBerufsinteressen/BerufswahlStandardisierte Fragen zur MotivationBewertung mit verhaltensverankerten Skalen.Freier GesprächsteilFragen, abgeleitet aus Bewerbungsunterlagen,GesprächsverlaufZusammenfassende BewertungBiografische FragenStandardisierte Fragen zur BiografieBewertung mit verhaltensverankerten Skalen.Information zurTätigkeitInterviewer informiert über Vor-und Nachteile der Stelle; bewertungsfreiSituative FragenStandardisierte Fragen zu konkreten Situationen des Berufsalltags Bewertung anhand verhaltensverankerter SkalenFragen des Bewerbers, GesprächsabschlussFragen des Bewerbers an den Interviewer; bewertungsfrei
- Nenne Vor- und Nachteile zu Problemlöseszenairen als Simulation. •VorteileUnterhaltungswertHohe AkzeptanzJe nach Szenario kostengünstig in Durchführung / Auswertung•NachteilAufwändige EntwicklungKonfundierung mit VorwissenMeist fiktive Szenarien (keine Simulation des tatsächlichen Arbeitsalltags)Items sind untereinander abhängig (Vernetzung von Variablen)Häufig sind Aufgaben unlösbar (Frustration?)Meist keine Standardisierung der TestaufgabenIntransparente BeurteilungskriterienPrognostische Validität unklar
- Beschreibe Assessment-Center. Diagnostische Zielsetzung•Personalentwicklung/Potenzialsuche•BewerberauswahlTheoretische Grundlagen•Führungskompetenz ist trainierbar•Für die Führungsposition gibt es ein individuelles AnforderungsprofilAnhand dessen kann die Führungseignung sachgerecht diagnostiziert werdenKonstruktion•Bestimmen der Anforderungen der zu besetzenden Stelle•Erstellen eines Anforderungsprofils•Zuordnung von Übungen zu Anforderungen der Position•Organisatorische Planung und Vorbereitung des AC•Wichtig:Konstruktion muss für alle Beteiligten nachvollziehbar seinTransparenz & Akzeptanz sind die Voraussetzungen für das Gelingen des AC!Objektivität (Durchführung)•Keine Durchführungsobjektivität•Es gibt viele „Fallstricke“, die zu geringer Objektivität führen könnenBesonderheiten situativer Übungen»Werden Beobachtungen anhand konkreter Verhaltensbeschreibungen fixiert?»Gibt es eindeutige Regeln, wie Beobachtungen zu einer Gesamtbewertung integriert werden?»Gibt es Regeln, wie man mit Unstimmigkeiten zwischen Beobachtern umgeht?»Sind die Rollenspiele standardisiert?Verhält der „Spielpartner“ sich immer gleich, oder gibt er bei Bewerber A z.B. schneller nach als bei Bewerber B?»Sind die Beobachter (gut) geschult?Transparenz•Transparenz sowohl bei der Konstruktion als auch bei der Durchführung wichtigOffenlegen der AnforderungenBenennen der BeobachtungskriterienZumutbarkeit•Assessment Center ist sowohl für Bewerber, als auch für Mitarbeitende sehr anstrengend (und für den Arbeitgeber auch mit hohen Kosten verbunden)•Sollte im Vorhinein klar sein, ob sich dieser Aufwand wirklich lohntKosten-Nutzen-RelationVerfälschbarkeit•Täuschungsgefahr im Vergleich zu isolierten Persönlichkeitstests/ Interviews geringerStöranfälligkeit•Entscheidend ist eine gute OrganisationGute Organisation verhindert / minimiert die Störanfälligkeit 24Objektivität (Auswertung)•Durch strenge Trennung von Beobachtungs-und Bewertungsphase gegebenReliabilität•Interrater-Reliabilität schwankt zwischen .50 -.90 (gut)Validität•Prognostische Validität gegebenAls Kriterium werden die Mitarbeiterbeurteilungen eingestellter Mitarbeiter betrachtetProblem/Kritik: Kriterienkontamination!»Bewerter im AC sind später häufig die Vorgesetzten der ausgewählten Bewerber»Ergebnisse des AC beeinflussen dabei auch im tatsächlichen Berufsleben die Bewertung durch die Vorgesetzten»Vorgesetzte bewerten einen Mitarbeiter als gut, weil sie (durch das AC) zu wissen glauben, dass es sich um einen besonders fähigen Mitarbeiter handelt und nicht, weil dieser durch seine tatsächliche Arbeitsleitung positiv auffälltNormierung•Keine Normierung im engeren SinneAC ist nicht norm-sondern kriterienorientiert»Es geht nicht um die Position eines Bewerbers relativ zur Populationsverteilung…»… sondern um die Position bezüglich eines bestimmten Kriteriums (Anforderungsprofil)Bandbreite•Methodenvielfalt gibt ganzheitliches Bild des BewerbersInformationsausschöpfung•Von der Konstruktion des AC und Schulung der Beobachter abhängig•Änderungssensitivität gegeben•Problem: ÜbungseffekteÄnderungssensitivitätGegeben; ÜbungseffekteÖkonomie•AC mit hohen Kosten verbundenNur ökonomisch, wenn Nutzen die Kosten übersteigtWichtig das Kosten-Nutzen-Verhältnis vor der Planung/Durchführung eines AC zu betrachtenFairness•Benachteiligung von AC-Unerfahrenen möglich (Übungseffekte)Akzeptanz•GegebenVergleichbarkeit•GegebenBewährung•In der Prognose von Beförderungen und Leistungsbeurteilung bewährt