64

Testheorie (Subject) / Standardisierte Verfahren (Lesson)

This lesson was created by AliceMiller.

Learn lesson

back  |  next 1 / 2

• Wann ist eine Differenzierung der Normen erforderlich? wenn mit dem Untersuchungsmerkmal korrelierte Hintergrundfaktoren der Testperson zu anderen Testwerten als denen in der Vergleichgruppe führen
• Nenne verschiedene Hintergrundfaktoren. Alter Geschlecht Bildungshintergrund SÖS
• Ist es ein Problem, dass der WIT-2 nicht bevölkerungsrepräsentativ ist? Nein, da der WIT-2 zielgruppenspezifische Normen bietet  spiegelt damit genau das wieder, da der Test für Eignungskontext konzipiert wurde
• Was versteht man unter dem Problem des "overadjustment"? Nennen Sie ein prominentes Beispiel. differenzierte Normen kontrollieren Hintergrundfaktoren > führen damit zu diagnostisch besserer Einschätzung Gefahr: zu starke Anpassung der Testnorm an bestimmte Teilpopulationen kann Aussagekraftverlust nach sich ziehen Beispiel: Normen für Männer und Frauen im "Mechanical Reasoning" (Cronbach, 1990)
• Beschreiben Sie die Grundidee des Fairnessmodells mit einem Beispiel. proportionale Repräsentation (Quotenmodell) Definition- Selektionskriterium ist fair, wenn in der Gruppe ausgewählter Bewerber die Proportion unterschiedlicher Teilgruppen dieselbe ist wie in der Bewerberpopulation- d. h. tatsächlich vorhandene Unterschiede zw. TN werden nivelliert Beispiel: Einstellung Alkoholkranker, wenn er in dieser Population besonders gut abschneidet
• Definieren Sie Testeichung. das zu normierende psychologische Testverfahren wird an Personen einer Normstichprobe, die für die Bezugsgruppe repräsentativ ist, durchgeführt
• Was bedeutet Repräsentativität? Unterscheiden Sie zwei Arten der Repräsentativität einer Stichprobe. Repräsentativität- Stichprobe bildet hinsichtlich ihrer Zusammensetzung die Zielpopulation möglichst genau ab- >>> immer auf bestimmte Zielpopulation bezogen (zB. WET für Kinder!) globale Repräsentativität- Zusammensetzung der Stichprobe stimmt hinsichtlich aller möglichen Faktoren mit Population überein spezifische Repräsentativität- Stichprobe stimmt hinsichtlich derjenigen Faktoren die mit dem Untersuchungsmerkmal zusammenhängen überein- relevant: Alter, Geschlecht, Bildungsgrad, Beruf
• Was passiert mit der Repräsentativität, wenn die Stichprobe vergrößert wird? kein Ausgleich mangelnder Repr. durch größere Stichprobe!! d. h. kleinere repr. Stichprobe ist besser!
• Wonach entscheidet sich mit welchem Erhebungsdesign die Normstichprobe gezogen wird? Welche Verfahren sind jeweils anzuwenden? Kriterium:- Kenntnisse über die mit dem Untersuchungsmerkmal zusammenhängenden Faktoren- bspw. Persönlichkeitstest für Jugendliche mit a) familiäres Millieu und b) Arbeitslosigkeit Fall 1 - Kenntnisse liegen vor- geschichtete Stichprobe = zufälllige Auswahl der Personen- Quotenstichprobe = nicht-zufällige Auswahl Fall 2 - keine Kenntnisse- Zufallsstichprobe (> führt zu globaler Repräsentativität)
• Durch welche Stichprobe kann nachträglich eine Quotenstichprobe generiert werden? ad-hoc-Stichprobe- Erhebung bei "sich bietender Gelegenheit"- nachträgliche Kombination zu Quotenstichprobe
• Advertisement
• Was sind Kriterien für den Umfang der Normstichprobe und wie beeinflussen Sie diese? Differenzierungsgrad- je feiner die Norm unterscheiden soll, desto größer muss SP sein (bspw. Quartile vs. Sten) Relibilität- Voraussetzung für Feinheit der Normen ist hohe Relibilität- Grund: KI's überdecken sonst mehrere Normen Homogenität der Zielpopulation- je heterogener Zielpopulation desto größer muss SP sein
• Was wird mit der Normstichprobe durchgeführt? Prüfung Verteilungseigenschaften- Merkmal NV? dann Standard-Normen- wenn nicht: Prozentrangnormen
• Welche Aspekte der Normierung sind im Testmanual festzuhalten? Geltungsbereich: Definition Zielpopulation Erhebungsdesign > Grad der Repräsentativität hinsichtlich Zielpopulation Stichprobenumfang und -zusammensetzung Deskriptivstatistiken Jahr der Datenerhebung
• Definieren Sie Objektivität. Test ist objektiv wenn:- Testergebnis unabhängig vom Testleiter und -auswerter gemessen wird- klare und anwendungsorientierte Interpretationsregeln
• Beschreiben Sie Durchführungsobjektivität und Maßnahmen zu deren Erhöhung. nimmt mit Standardisierung zu liegt vor, wenn Testperson einzige Variationsquelle ist Maßnahmen- Reduktion TP-TL-Interaktion- pc-gestützte Durchführung
• Beschreiben Sie Auswertungsobjektivität. keine Beeinflussung der Auswertung durch den Auswerter- Auswerter-Übereinstimmung - KonkordanzKoeffizient Kendall-W bei geschlossenem Antwortformat (MC) gut
• Beschreiben Sie Interpretationsobjektivität. standardisierte Ergebnisinterpretation > klare & anwenderorientierte Regeln Vergleichbarkeit der Testergebnisse der TP > Normtabellen
• Was ist das Ziel der Objektivität? Sicherstellen der Vergleichbarkeit von TPen hinsichtlich ihrer Ergebnisse
• Was versteht man unter Reliabilität? Wie lauten die Konventionen? Ein Test ist reliabel, wenn er das, was er misst, genau misstdh. ohne Messfehler Konventionenr < .80 = gering.80 < r < .90 = mittelr > .90 = hoch
• Beschreibe Retestreliabilität und einen Test mit guten Werten. Test wird an 2 Messzeitpunkten gemessen > Ergebnisse korreliert abhängig vom Zeitintervall, da:- Übungs- und Erinnerungseffekte- Veränderungen des Merkmals an sich Testbeispiel- WAIS-IV (Index: .85 - .91)
• Definieren Sie Paralleltestreliabilität. Test mit A- und B-Form zu einem Messzeitpunkt mit 2 Durchführungen  "Königsweg der Reliabilitätsmessung" Konstruktion aufwändig und schwierig- da Erstellung von Itemzwillingen- möglich zB. bei Leistungstests Pseudo-Parallel = Vertauschen Itemsreihenfolge Testbeispiel- gibts nicht ;P
• Definieren Sie Testhalbierungs-Reliabilität. 1 MZP und 1 Durchführung Test wird in 2 homogene Hälften korreliert > Korrelation der Items der Testhälften Spearman-Brown: Berechnung Korrekturfaktor, der Testlänge wieder hochrechnet Testbeispiel- WAIS-IV: Index-Werte hoch (.90 - .97)
• Beschreibe Interne Konsistenz und nenne ein Testbeispiel. 1 MZP und 1 Durchfühung jedes Item wird mit allen Items des Tests korreliertdh. je stärker die Testteile untereinander positiv korrelieren, desto höher ist die interne Konsistenz des Verfahrens Testbeispiel-  NEO-PI-R: Skalen mittel - hoch
• Was ist das Ziel der Reliabilität? Messen eines Merkmals ohne Messfehler.
• Definieren Sie Validität und beschreiben Sie was hohe Validität bedeutet. Test ist valide, wenn er das Merkmal misst, das er messen soll. wenn Validität hoch:- gute Voraussetzung um Verhalten in der Testsituation auf Verhalten außerhalb der Testsituation zu übertragen
• Was versteht man unter Augenscheinvalidität? Nennen Sie ein Testbeispiel. = aus Sicht der TP Augenschein-Validität gibt an, inwieweit der Validitätsanspruch eines Tests vom bloßen Augenschein eines Laien her, gerechtfertigt erscheint Testbeispiel- Explorix hat hohe ASV
• Definieren Sie Inhaltsvalidität und nennen Sie ein Testbeispiel. aus Expertensicht Unter IV versteht man inwieweit ein Test oder ein Testitem das zu erfassende Merkmal repräsentativ erfasst.- Repräsentationsschluss = Items sind repräsentativ SP aus Itemuniversum Beurteilung mittels logischer und fachlicher Überlegungen Testbeispiel- WAIS-IV: hoch
• Definieren Sie Konstruktvalidität. Test weist KV aus, wenn- Rückschluss vom Verhalten der TP auf zugrunde liegende psychologische Persönlichkeitsmerkmale (latente Variablen) wissenschaftlich fundiert ist- Enge dieser Beziehung durch theor. Modelle und Annahmen überprüft
• Welche Ansätze werden innerhalb der Konstruktvalidität unterschieden und welche Verfahren lassen sich jeweils zuordnen? struktursuchend- EFA zur Hypothesengewinnung- Faktorladungen der Items- nomologisches Netzwerk (konvergente + diskriminante Validität) strukturprüfend- KFA zur Überprüfung- IRT-Modelle prüfen Item-Homogenität- MTMMA
• Beschreiben Sie den Ablauf von struktursuchender Konstruktvalidierung. EFA zur Gewinnung verschiedener Hypothesen Faktorladungen der Items geben Auskunft über Homogenität der Testitems so gewonnene Merkmalsdimensionen können theor. eingeordnet werden nomologisches Netzwerk- a priori werden Erwartungen über Zusammenhänge mit konstruktverwandten und konstruktfremden Tests formuliert4.1 konvergente Validität- Übereinstimmung des Tests mit Ergebnissen für gleiche/ähnliche Merkmale4.2 diskriminante Validität- wünschenswert: niedrige Korrelationen mit relativ konstruktnahen TestszB. Konzentration und Intelligenz
• Advertisement
• Beschreiben Sie das strukturprüfende Vorgehen zur Konstruktvalidierung. Voraussetzung: Testmodellen mit latenten Variablendh. Modell stellt Hypothesen über Beziehungen zw. manifesten Var. (Testitems) und lV auf Überprüfung mit EFA gefundener Struktur mittels KFA einzelne Dimensionen mittels IRT-Modellen hinsichtlich Homogenität überprüfen MTMMA im Rahmen latenter Strukturgleichungsmodelle
• Beschreiben Sie die faktorielle Validität genauer. Was kann man damit herausfinden? Faktorielle Validität ist Form der Konstruktvalidität. Durch Faktorenanalyse kann geprüft werden, wie hoch die Korrelation der Testwerte mit den Faktoren ist. Beispiel - Intelligentest "Primary mental abilities" (Thurstone): Die 7 herausgearbeiteten Intelligenzfaktoren (räumliches Sehen/Vorstellung, Wahrnehmungsgeschwindigkeit, Numerische Fähigkeit, Verbale Fähigkeit, Wortflüssiugkeit, Gedächtnis, induktives Denken) müssten Intelligenz messen und dabei sollten die Messergebnisse nicht miteinander korrelieren.
• Definieren Sie Kriteriumsvalidität. erfolgreicher Schluss von Verhalten der TP innerhalb der Testsituation auf Verhalten außerhalb (=Kriterium) Enge der Beziehung = Ausmaß an Kriteriumsvalidität (Korrelationsschluss)
• Welche Arten von Kriteriumsvalidität können unterschieden werden und was ihr Unterscheidungskriterium? konkurrente Validität- kriteriales Verhalten existiert zeitlich- zB. PT: Abfrage aktuelles Erleben prognostische Validität- Prognose einer zukünftigen Ausprägung eines Merkmals- zB. BerufserfolgTestbeispiel- hoch bei BIP6F
• Definieren Sie Skalierung. Test erfüllt Gütekriterium der Skalierung wenn die durch Verrechnungsregeln resultierenden Testwerte die empirische Merkmalsrelationen adäquat abbildendh. bei Leistungstests müssen leistungsstärkere TP bessere Testwerte als weniger leistungsstarke Personen erhalten Darstellung inter- und intraindividueller Unterschiede Umsetzbarkeit hängt vom Skalenniveau ab: wenigstens ordinal, besser intervallskaliert!
• Definieren Sie Normierung. Erstellen eines Bezugssystems mit dessen Hilfe die Testwerte einer Person im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können
• Welche Methoden können eingesetzt werden um das Testergebnis der Person an den Merkmalsausprägungen anderer Personen zu relativieren? Prozentrangnormen- kumuliert die in der Eichstichprobe erzielten Häufigkeiten bis zum Testwert der TP- Verwendung wenn Merkmal nicht NV Standardnormen- bauen auf SD auf- Merkmal muss NV sein (nicht? > Flächentransformation)zB. IQ-Werte, Stanine, Standardschulnoten
• Warum sollten Normen regelmäßig aktualisiert werden? Welcher Zeitraum wird dabei empfohlen? für angemessene Vergleichbarkeit: keine veralteten Normen zB. wegen Flynn-Effekt DIN 33430: spätestens nach 8 Jahren Kontrolle der Gültigkeit der Eichwerte > ggf. Neunormierung
• Definieren Sie Testökonomie. Nenne je ein Testbeispiel für gute und schlechte Testökonomie. Test ist ökonomisch, wenn er gemessen am diagnostischen Erkenntnisgewinn relativ wenig finanzielle und zeitliche Ressourcen verbraucht Testbeispiel - gut- d2-R und WMT-2 Testbeispiel - schlecht- WAIS-IV (u. U.)
• Definieren Sie Nützlichkeit. für gemessenes Merkmal besteht praktische Relevanz auf Grundlage der Messung getroffene Entscheidung lässt mehr nutzen als Schaden erwarten zB. Test zur Studieneignungsprüfung bei medizinischen Studenten
• Definieren Sie das Gütekriterium der Zumutbarkeit. Test erfüllt Zumutbarkeit, wenn er:- absolut und relativ zu seinem Nutzen- die zu testende Person nicht über Gebühr a) zeitlichb) körperlichc) psychischbelastet nur aus Sicht der TP!
• Definieren Sie Unverfäschbarkeit. Test erfüllt Unverfälschbarkeit, wenn:- TP durch gezieltes Testverhalten die konkreten Ausprägungen ihrer Testwerte nicht steuern oder verzerren kann
• Welche Verfälschungsmöglichkeiten gibt es für Tests? 5 Verfälschungsmöglichkeiten a) Antwortstil (Ja-Sager, extreme Antworttendenz)b) soziale Erwünschtheitc) Testmotivation/-angstd) Faking (Simulation und Dissimulation)- good: ein nicht vorhandenes Merkmal wird vorgetäuscht- bad: Verbergen vorhandenes Merkmale) Kombination
• Definieren Sie das Gütekriterium der Fairness. Test erfüllt Fairness, wenn:- resultierende Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen
• Warum ist eine Differenzierung von Normen wichtig? wesentliche mit dem Untersuchungsmerkmal korrelierende Hintergrundfaktoren der Testperson können zu anderen Testwerten als denen in der Vergleichsgruppe führendh. Bildung eigener Norm = Kontrolle dieses Einflusses Beispiel- Normen zum Ausgleich von Übungs-, Alters-, Geschlechts und Bildungseffekten
• Wie viele Personen verzerren ihre Antworten in Testsituationen? ca. 50%
• Hat Fälschung einen Einfluss auf Teststatistiken? Fälschung verändert:- Skalenmittelwerte- Rangreihen- Korrelationsstrukturen- Reliabilität- Validität
• Wie kann man mit verzerrten Testwerten umgehen? Ignorieren Prävention Detektion (und Versuch der Korrektur) Testanwender- bei Auswertung und Interpretation auf Risiko und Möglichkeiten von Verfälschung achten Testentwickler- klare Regeln zum Erkennen und Umgang Verfälschung im Manual benennen
• Was versteht man unter einer Zufallskritischen Einzelfallauswertung? kommt in der Einzelfalldiagnostik zum Einsatz (z. B. bei der Gutachtenerstellung)• zentrale Frage: Wie verlässlich ist ein individueller Testwert?• Beispiel: Eine Person erzielt in einem Intelligenztest einen IQ-Wert von 132. Ist ihrdamit Hochbegabung zu bescheinigen? Wie verlässlich ist das Ergebnis? Definition• Zufallskritische Einzelfallauswertung = Klassifikation und Interpretation vonTestwerten unter Berücksichtigung der Reliabilität eines Tests
• Warum ist die zufallskritische Einzelfallauswertung wichtig? Klassische Testtheorie   • Grundaxiom: Testwert = Wahrer Wert + Fehler (X = T + e)   • verschiedene Testverfahren sind mit unterschiedlichen Fehlern behaftet, d. h. sie   messen unterschiedlich genau (= testspezifische Fehlervarianz)   • Reliabilität gibt die Genauigkeit an, mit der ein Test misstdaraus folgt:   • die Testwerte stehen stellvertretend für einen Bereich von Werten, in dem der Wahre   Wert mit einer bestimmten Wahrscheinlichkeit liegt   • es ist nicht zulässig, in der Einzelfalldiagnostik einen Punktwert (d. h. Testwert) zu   verwenden   • für die richtige Interpretation des Testwertes muss ein Vertrauensintervall genutzt   werden

back  |  next 1 / 2