Wirschaftspsychologie (Subject) / Testtheorie & Testkonstruktion (Lesson)

This lesson was created by Deborah1101.

Learn lesson

back  |  next 1 / 1

• Was ist ein Psychologischer Test? Ein Test im psychologischen Sinne ist eine Messmethode zur Erfassung von Merkmalen, um qualitative und quantitative Aussagen hierüber zu machen.
• Was erfordert die eigungsdiagnostisch begründete Personalauswahl? Die die eignungsdiagnostik begründete PE erfordert die Erfassung von Merkmalen einer Person (Prädiktoren) und den Indikatoren des beruflichen Erfolgs (Kriterien) und den Vergleich dieser Größen.
• Was ist messen? Messen ist das Zuordnen von Zahlen zu Objekten oder Ereignissen, sodass diese Zuordnung die Objektrelationen des empirischen Relativs in ein numerisches Relativ korrekt abbildet, d.h. (realen) Objekten werden Zhalen zugeordnet, sodass Beziehungen zwischen den Zahlen den Beziehungen zwischen den Objekten entsprechen und die Beziehungen interpretierbar sind. Objekte können nicht als Ganzes gemessen werden, lediglich deren Eigenschaften sind erfassbar
• Wofür benötigt man eine Skala? Wovon hängt ihre Qualität ab? Für die Messung einer Eigenschaftsausprägung muss eine Skala festgelegt werdenEine Skala stellt eine systematische Zahlenanordnung dar, die jeder Ausprägung eine Zahl zuordnet.  Zusammenhang empirisches - numerisches Relativ wird durch Skala abgebildet. Die Qualität des Messens hängt davon ab, welche Zahlenbeziehungen sich als Objektbeziehungen interpretieren lassen. Die Relation der Ausprägungen muss in den Zahlen erkennbar sein. Relationen variieren hinsichtlich Rangfolge, Abständen etc. --> Nominalskala, Ordinalskala, Intervallskala, Verhältnisskala
• Was ist ein Überbrückungsproblem? Übersetzung der Empirie (Konstukte wie Aggressivität, Intelligenz, Empathie) in Zahlen.
• Welches sind die 10 Schritte der Testentwicklung/ Testkonstruktion und was beinhalten sie? Planungsgrundlagen (Was ist es für ein Test? Was ist des Messgegenstand) Aufgabenkonstuktion (Aufgabenstellung, Wahl des Antwortformats, Aufgabenentwicklung) Testentwurf (Instruktion, Aufgabenreihenfolge, Aufgabengruppen, vorläufige Testzeit) // Einsatz des Testentwurfs an Stichprobe des Geltungsbereichs) Rohwertanalyse (Bewertung der Lösungen/ Antworten mit richtig/ falsch,..) Aufgabenanalyse AA (Aufgabenschwieirigkeit, Aufgabentrennschärfe) Bewertung der Aufgabenanalyse (Bewertung: Item-Position, Item-Selektion, Item-Modifikation) Erstellung der Testendform (Endgültige Festlegung der Itemreihenfolge, Itembewertung, Testzeit, Instuktionen) Kontrolle der Reliabilität (Bestimmung der empirischen Zuverlässigleit des Tests und seiner Testteile (wie gut misst der Test) Kontrolle der Validität (Bestimmung der Gültigkeit der Messbereiche des Tests (misst der tets, was er messen soll?) Testnormierung (Standardisierung, Wahl des Normmaßstabes, Erhebung der Normstichprobe) Entwicklungszeit eines Testverfahrens: 3- 5 Jahre
• Welches sind die Stufen der Testkonstuktion und was gehört jeweils zu ihnen? Konzept & Planung (Merkmal festlegen (basierend auf einem Modell), Merkmal nicht sichtbar- Erschließung über Verhaltensstichprobe, Strategie zur Erfassung des für das Merkmal relevanten Verhaltens (lexikalisch), Reichweite festlegen, Konzept zur Itemgestaltung (freie Antworten/ Auswahl etc.) entwickeln) Itemanalyse (Schwieirigkeitsindex, Trennschärfe, Homogenität, Itemselektion) Ermitteln der Gütekriterien (Validität, Objektivität, Reliabilität, Ökonomie, Nützlichkeit, Vergleichbarkeit) Normierung    Skalenniveau- ausreichend? nominal-/ordinal-/intervallskaliert), Normenskalen (ist Test an einer Normstichprobe geeicht, sodass Positionsaussagen möglich sind- z.B. "Dieser Mensch ist hochbegabt"), Vertrauensintervall- Sicherheit mit der man Positionsaussagen machen kann- hängt von Streuung der Reliabilität/ Messfehlern ab)
• Was muss im Vorfeld zum Test festgelegt werden? Messgegenstand (ggf. präzisiert) Struktur (ein- oder mehrdimensional) Zielgruppe (Normalbevölkerung, Patienten, Erwachsene,..) Anwendungsbereich (Berufsberatunf, Schule, Kinder) Einsatzbedingungen (wer soll Test anbieten, auswerten, wie ist die Durchführungszeit, PC-gestützt oder mit Papier & Bleistift) Item-Format (Multiple Choice, freie Antworten,..)
• Wie können Items gewonnen werden? Ohne Wissen über das interessierende Merkmal kann man keine oder nur unbrauchbare Items generieren. Deduktive/ rationale Methode (Rückgriff auf Theorien & Konstrukte aus aktueller Literatur) --> meist gewählte Art der Item-Gewinnung, Abweichnung von der Regel dieses Verfahren zu nutzen bedarf guter Gründe! Externale Konstuktion (Testung von Personen mit Merkmalen und ohne Merkmal, dann differenzierende Items für Test auswählen) Induktive Konstruktion (wenn wenig Forschungsgrundlage vorhanden: gestützt aif Korrelationsrechnung, diejenigen Items, die miteinander hoch, aber mit anderen Items niedrig korrelieren, werden zu Skalne zusammengefasst. Hilfsmittel: Faktoranalytische Untersuchung) Prototypen-Ansatz: Begriffe aussuchen, die Prototypen für bestimmte Dinge darstellen (Rose oder Tulpe für Blume)
• Was sind die Grundzüge von Item-Analysen? Itemschwierigkeit Rate-Wahrscheinlichkeit fehlende Beantwortung Speed-Test Power-Test Item-Kennwerte sind stichprobenartig Trennschärfe Homogenität Itemvalidität
• Advertisement
• Was ist die Trennschärfe eines Items? Die Trennschärfe beschreibt, inwieweit das Ergebnis eines Items auf das Gesamttestergebnis oder das Ergebnis anderer Items schließen lässt. Zeigt, in welchem Ausmaß die durch das Item erfolgte Differenzierung in Löser und Nicht-Löser mit derjenigen durch die Skala als Ganzes übereinstimmt.
• Welche Trennschärfe verlangen heterogene und welche homogene Merkmale? moderat und hoch
• Was sind homogene Items? Sie sind formal und inhaltlich einheitlich, z.B. Messung von Kenntnisse einer Schulklasse im addieren und ausschließlich Additionsaufgaben)
• Was ist die KTT? Klassische Testtheorie (Reliabilitätstheorie, reine Messfehlertheorie) geht davon aus, dass immer Messfehler gemacht werden (immer in unterschiedlichem Ausmaß und unkorreliert) Beochachteter Wert = wahrer Wert + Messfehler mit Hilfe von Formeln lässt sich mit einer bestimmten Wahrscheinlichkeit abschätzen, in welchem Bereich der "wahre Wert" liegt (über eine Mittelwertsbildung) Grundlage von 95 % aller psychologischen Tests großer Vorteil: einfache Anwendbarkeit
• Was sind typische Quellen für Messfehler? Fehler bei... Testkonstruktion (Items sind nicht eindeutig) Testdurchführung (Variationen bei Testsituation, Person, Testleiter) Auswertung (insbesondere bei freien Antworten)
• Was bedeutet eine Reliabilitätskoeffizienz von .80? Die beobachtete Testvarianz beruht zu 80% auf Unterschieden der wahren Werte und zu 20% auf Messfehlern.
• Was ist die IRT? Die Item-Response-Theorie wurde entwickelt um die KTT abzulösen. IRT sucht Antworten auf die Fragen nach den Rückschlüssen auf Einstellungen, Persönlichkeits- und Fähigkeitsmerkmalen. Denn den Probanden werden Antworten (responses) auf verschiedene Testitems (Fragen) vorgegeben. geht von expliziter Beziehung zwischen dem Antwortverhalten von Personen und den dahinterliegenden Merkmalen aus - das bei IRT im Test gezeigte Verhalten wird einer Fähigkeit oder Eigenschaft zugeschrieben, die das gezeigte Testverhalten verursacht) Unterscheidung manifeste (gezeigtes Antwortverhalten) und latente (dahinterliegende Dispositon) Variablen um von den manifesten Variablen auf eine übergeordnete latente Variable schließen zu können, müssen die manifesten Variablen Korrelationen aufweisen, d.h. die latente Variable wird als anhängig von der manifesten betrachtet. Ist genauer, aber komplexer in der Konstruktion als KTT
• Was ist ein kriteriumsorientierter Test? Ein inhaltsvalides Testverfahren, welches Erreichen der Verfehlen eines Kriteriums ermittelt, z.B. Führerschein-Theorieprüfung.
• Was sind die Hauptgütekritierien und wie sind ihre Kennwerte? Validität (bzgl. Inhalt, Augenschein, Konstrukt, Kriterium) / Mittel: .40-.60 Objektivität (in Durchführung, Auswertung, Interpretation) Mittel: .60-.80 Reliabilität (prüfbar durch Retest, Paralleltest, Testhalbierung, Kausalanalyse) Mittel: 0.80-.90 Ohne Objektivität keine Reliabilität - kann man etw. nicht objektiv erfassen ist es auch nicht genau!
• Was ist Inhaltsvalidität? Inhaltsvalidität besagt, inwieweit ein Test oder Item das zu messende Merkmal repräsentativ erfasst (Einschätzung durch Expertenurteil).
• Was ist Konstruktvalidität? Merkmale sind in Konstukte eingebettet. Die Konstruktvalidität sagt aus, ob man von Verhalten auf das hinterliegende Merkmal schließen kann. Es gibt 2 Vorgehensweisen: Struktursuchender Ansatz: Sucht nach Einordnung des Ergebnisses in theoretisches Gefüge. Konvergente Validität (Übereinstimmung der Testergebnisse mit Ergebnissen aus anderen ähnlichen Tests (1 Merkmal, mehrere Übungen) / Diskriminante/ divergente Validität (Tets muss für andere Merkmale abgrenzbar sein (mehrere Merkmale in einem Test) Strukturprüfender Ansatz: IRT-Modelluntersuchung
• Was ist Kriteriumsvalidität? Bestimmt die praktische Anwendbarkeit eines Tests für die Vorhersage eines Verhaltens. Es wird ein Außenkriterium benötigt, z.B. Ausbildungserfolg nach Berufsinteressenstest). Übereinstimmungsvalidität: Außenkriterium liegt in Gegenwart Vorhersagekriterium: Außenkriterium liegt in der Zukunft
• Welche Nebengütekriterien gibt es? Skalierung, Eichung, Test-Ökonomie, Nützlichkeit, Zumutbarkeit, Unverfälschbarkeit, Fairness
• Was ist die DIN 3304, was tut sie und wofür ist die gut? Qualitätsnorm zur Beschreibung des Ablaufs von Eignungsdiagnostik. Qualitätsmanagement in der Eignungsdiagnostik. Kein Testsiegel. Norm beschreibt: Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilunegn Qualifikationsanforderungen an die an der Eignungsbeurteilung beteiligter Personen Die Norm dient als: Leitfaden für die Planung und Durchführung von Eignungsbeurteilungen als Maßstab zur Bewertung externer Angebote zur Qualiutätssicherung zum Schutz der Kandidaten Inhalte: Arbeits- und Anforderungsanalyse als Grundlage Ausführliche Verfahrenshinweise (Manuale) Voarb Festlegung aller Regeln Gültigkeit der Reliabilitäts-, Validitäts- und Normwerte ist spätestens alle 8 Jahre zu überprüfen Normwerte entsprechend der Referentgruppe der Kandidaten Beurteilungsdimensionen müssen vorab Beispielaussagen und Beispielverhaltensweisen zugeordnet werden Streubreite der Urteile mehrer Assessoren ist festzuhalten Nachvollziehbare Dokumentation des Prozesses Verantwortliche und Mitwirkende müssen über Kenntnisse und angeleitete Praxiserfahrung verfügen

back  |  next 1 / 1