Psycholog. Diagnostik (Fach) / Lernkontrolle 2 - Testentwicklung, Testtheorie I und Gütemaße (Lektion)

Diese Lektion wurde von 240401 erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• LK 2 1. Benennen Sie die drei verschiedenen Operationalisierungen von Leistungstest und unterscheiden Sie diese. Skript: Folie 136 1. Speed-Test: viele leichte Items / kurze Bearbeitungszeit 2. Power-Test: Items mit ansteigendem Schwierigkeitsgrad / keine Zeitbegrenzung 3. Speed-Power-Test: Items mit ansteigendem Schwierigkeitsgrad / angepasste Zeitbegrenzung
• LK 2 2. Skizzieren Sie einen Deckeneffekt und beschreiben Sie die Problematik in Bezug auf die Differenzierungsfähigkeit. Skript: Folie 122, 152 Deckeneffekt = • linksschief verteilte Messwerte • Items sind zu einfach, viele Testpersonen erreichen hohe Rohwerte ⇒ Test unterscheidet nicht zwischen guten und schlechten Testteilnehmern Bodeneffekt = • rechtsschief • Items zu schwierig, die meisten Testpersonen erreichen nur niedrige Rohwerte (wenige Testpersonen mit hohen Rohwerten) ⇒ Test unterscheidet ebenfalls nicht zwischen guten und schlechten Testteilnehmern, weil selbst gut Probanden schlecht abschneiden
• LK 2 3. Definieren Sie Itemtrennschärfekoeffizient [rit] und beschreiben Sie die Nützlichkeit dieses Itemparameters für die Testentwicklung und praktische Diagnostik. Skript: Folie 121, 156 Trennschärfe = Fähigkeit eines Test zwischen zwischen Personen mit hoher und niedriger Merkmalsausprägung zu trennen (Item-)Trennschärfe-Koeffizient = Maß der Korrelation zwischen Item und dem Gesamtrohwert des Tests (Gesamtergebnis des Tests) bzw. Korrelation eines Items mit der Summe aller anderen Items ⇒ Testentwicklung: gibt an, wie gut ein einzelnes Item das Gesamtergebnis des Tests repräsentiert ⇒ praktische Diagnostik: Differenzierbarkeit zwischen leistungsstarken und -schwachen Personen bzw. Personen mit hoher und niedriger Konstruktausprägung
• LK 2 4. Skizzieren Sie die Beziehung von Itemschwierigkeit [P] und Trennschärfekoeffizient [rit] in einem Diagramm und beschreiben Sie diese Beziehung. Skript: Diff. Psych. / LK 3 / Aufgabe 6 Itemtrennschärfe = Trennschärfekoeffizient [rit] = 0 bis 1 =   ↑ Itemschwierigkeit* [P] =  0 bis 100 =   → Graph = ∩ (auf x-Achse von 0 bis 100 eingezeichnet) • niedrige Itemschwierigkeit [P]: niedrige Itemtrennschärfe, keine Trennung von guten und schlechten Testteilnehmern möglich ⇒ Aufgaben zu leicht • mittlere Itemschwierigkeit [P]: höchste Itemtrennschärfe, Trennung von guten und schlechten Testteilnehmern optimal möglich ⇒ durchschnittlich schwierige Aufgaben • hohe Itemschwierigkeit [P]: niedrige Itemtrennschärfe, keine Trennung von guten und schlechten Testteilnehmern möglich (oder nur Selektion von sehr wenigen, herausragend guten Testteilnehmern möglich) ⇒ Aufgaben zu schwer *Itemschwierigkeit = Wahrscheinlichkeit, mit der ein Item richtig oder nicht-richtig gelöst wird
• LK 2 5. Formulieren Sie die Forschungsfragestellung eines Tests, der nach der "Klassischen-Test-Theorie" (KTT) konstruiert wurde. Skript: Folie 169 Welchen Ausprägungsgrad hat eine Testperson bzgl. einer bestimmten Eigenschaft im Vergleich zu einem definiertem Geltungsbereich?
• LK 2 6. a) Wie lautet das erste Axiom 1 der KTT? b) Benennen Sie die Variablen des Axioms*. Skript: Folie 172 a) x = t + e b) x = beobachteter Wert     t = wahrer Wert     e = Messfehler *Axiom = gültige Wahrheit, die keines Beweises bedarf
• LK 2 7. Wie lauten die Axiome 2, 3, und 4 der KTT? Formulieren Sie verständlich die Inhalte der Axiome. Skript: Folie 174-176                                                                                                                                                  • Axiom 2: xe = 0          /   x = Mittelwert; e = Fehlerwert ⇒ Messfehler geht gegen 0, Messfehler mittelt sich aus. ⇒ Grundgedanke: Je größer die Evaluationsstichprobe eines Tests, desto kleiner wird der Messfehler • Axiom 3: ree = 0        / r = Korrelation; e = Fehlerwert ⇒ Die unsystematischen Anteile von Messungen werden in der KTT dem Messfehler (e) zugeschrieben. ⇒ unsystematisch bedeutet, dass keine lineare Beziehungen (Korrelation) zwischen den Messungen und Fehlern bestehen. •  Axiom 4: ret = 0        / r = Korrelation; e = Fehlerwert; t = wahrer Wert ⇒ unsystematische Anteile von Messungen werden dem Messfehler (e) zugeschrieben ⇒ systematische Anteile von Messungen werden der Eigenschaft (t) zugeschrieben ⇒ Eigenschaft (t) und Messfehler (e) sind voneinander unabhängig!
• LK 2 8. Beschreiben Sie den Verständnisinhalt von "übergeordnete Objektivität" im Rahmen der "Psychologischen Diagnostik". Skript: Folie 183 übergeordnete Objektivität = Grad der Unabhängigkeit der Testergebnisse vom Untersucher/Testleiter
• LK 2 9. Wie lauten die Objektivitäten, die eingehalten werden müssen, um die "übergeordnete Definition der Objektivität" zu erreichen? Skript: Folien 184, 186, 188 • Durchführungs-Objektivität: z. B. Gleichheit der Bedingungen • Auswertungs-Objektivität: z. B. eindeutige Auswertungsregeln "ohne Spielraum" • Interpretations-Objektivität: z. B. eindeutige Interpretationsregeln für die Test-Rohwerte
• LK 2 10. Definieren Sie "Reliabilität". Skript: Folie 191 Reliabilität = Messgenauigkeit ⇒ definiert sich durch die Zuverlässigkeit eines Tests, d.h. ⇒ als Grad der Genauigkeit, mit welcher der Ausprägungsgrad einer Eigenschaft gemessen wird ⇒ Maß der Reliabilitätsschätzung: Korrelationskoeffizient
• Anzeige
• LK 2 11. Mit welchen zwei Methoden kann die testtechnische Reliabilität bestimmt werden? a) Benennen Sie diese Methoden. b) Beschreiben Sie die Unterschiede in der Bedeutung. c) Was sagen die Koeffizienten inhaltlich aus? Skript: Folie 195, 197, 204 Hinweis: testtechnische Reliabilität (Messgenauigkeit) = innere Konsistenz • einmalige Testvorgabe • Splittung in Testteile, die als äquivalent (gleichwertig) betrachtet werden ⇒ Wie gut ist die Beziehung zwischen den einzelnen Items eines Tests in Bezug auf den Gesamttest? a) Methoden (zur Ermittlung der internen Konsistenz) 1. Split-Half-Reliabilität 2. Cronbachs α b) Unterschiede in der Berechnung 1. Split-Half-Reliabilität • Halbierung des Tests in zwei Teile • Korrelation beider Testhälften miteinander (z. B. 20 Items insgesamt = 2 Testhälften je 10 Items) 2. Cronbachs α •  Splittung in k-Testteile, die als äquivalent betrachtet werden •  jedes Item steht für einen Testteile (z. B. 20 Items insgesamt = 20 Testteile) c) Inhaltliche Aussage der Koeffizienten • innere Konsistenz: Wie gut ist die Beziehung zwischen den einzelnen Items eines Tests in Bezug auf den Gesamttest? (Aussage über die test-technische Messgenauigkeit des Tests) ⇒ Korrelationskoeffizient häufig Maß der Reliabilitätsschätzung
• LK 2 12. Welche Aussagen in Bezug auf die Messgenauigkeit können Sie treffen, wenn in einem Manual Aussagen zur Test-Retest-Reliabilität aufgeführt sind? Skript: Folie 210 Test-Retest-Reliabilität = Stabilitätskoeffizient • Hintergrund: Schwankungen oder Veränderungen werden im Rahmen der Messwiederholung erfasst • Ein identischer Test wird an derselben Personengruppe zu zwei unterschiedlichen Zeitpunkten durchgeführt. Die Rohwerte beider Messzeitpunkte werden korreliert. ⇒ Der Korrelationskoeffizient definiert die Reliabilitätsschätzung. • Je höher der Koeffizient und je länger der zeitliche Abstand, desto höher ist die Merkmalskonstanz (Stabilität) • Die Bestimmung des Zeitintervalls zwischen den Messzeitpunkten kann Kontrukt abhängig sein:    - bei stabilen Eigenschaften (IQ) langer Abstand    - bei Gefühlszuständen eher kurzer Abstand
• LK 2 13. Mit welcher Formel können Sie die Auswirkungen von Testverlängerung und Testverkürzung "simulieren"? Skript: Folie 196, 199 Spearman-Brown-Formel (SBF) Spearman-Brown-Korrektur = Bei der Testhalbierung (Split-Half-Methode) wurde eine Testverkürzung vorgenommen und damit eine Itemverringerung durchgeführt. (Testverkürzung = verringerte Anzahl der Items pro Testhälfte im Vergleich zum Gesamttest führt). Im direkten Vergleich zur Testverlängerung führt eine Testverkürzung zu einer Verringerung der Reliabilität. Um die Reliabilität des Ausgangstest zu erhalten, erfolgt die Korrektur mithilfe der Spearman-Brown-Formel.
• LK 2 14. Welche Auswirkung hat eine Testverlängerung auf die Differenzierungsfähigkeit einer Messung? • Messfehler wird kleiner • Reliabilität wird größer ⇒ bessere Differenzierungsfähigkeit von Testergebnissen und damit des Leistungsniveaus der Testpersonen
• LK 2 15. Definieren Sie "Validität". Skript: Folie 245 Validität = Gültigkeit Ein Testverfahren ist dann valide, wenn es die Eigenschaft, die es vorgibt zu messen, auch tatsächlich misst. ⇒ inhaltliche, kriterien- und konstruktbezogene Validität
• LK 2 16. Definieren Sie "inhaltliche Validität" und beschreiben Sie ein plausibles Beispiel. Skript: Folie 248 Inhaltich Validität liegt vor, wenn die Testaufgabe selbst einen eindeutigen Schluss auf die Fertigkeit zulässt. Beispiele: • Rechtschreibtest bei einer Sekretariatsstelle • Fahrtauglichkeitstest bei Berufskraftfahrern
• LK 2 17. Definieren Sie "äußere, kriterienbezogene Validität" und beschreiben Sie ein plausibles Beispiel. Skript: Folie 249 Äußere kriterienbezogene Validität liegt dann vor, wenn die Testergebnisse mit einem definierten äußeren Kriterium korrelieren. ⇒ definiert den Zusammenhang zwischen Testergebnis und Kriterium (Erfolgsfaktoren) ⇒ Vorhersage von Kriterium (z.B. Berufserfolg) aufgrund von Testergebnis (z.B. Intelligenztest) Beispiel für Kriterium: • Berufserfolg (operationalisiert durch Einkommen / Umsatz / Anzahl der Mitarbeiter etc.)
• LK 2 18. Definieren Sie "Konstruktvalidität". Skript: Folie 250 Konstruktvalidität liegt dann vor, wenn ein Test eine hohe Beziehung zu theoretischen Eigenschaften aufweist (also Eigenschaften, die nicht "anfassbar" sind). Konstrukt = gedankliche Hilfestellung zur Beschreibung von Phänomenen Beispiele: • Extraversion (Persönlichkeitsmerkmale) • Intelligenz • Stressresistenz etc. Hinweis: Unter dem Begriff Konstrukt werden theoretische Eigenschaftsdimensionen (z. B. Intelligenz) verstanden. Konstruktvalidität bezieht sich auf die Zulässigkeit von Aussagen aufgrund der Operationalisierung über das gesamte dahinter liegende Konstrukt. Als empirische Indikatoren der Konstruktvalidität gelten die konvergente und diskriminante (oder auch: divergente) Validität: KonvergenzvaliditätDie Messdaten von Testverfahren, die dasselbe Konstrukt abbilden, müssten hoch miteinander korrelieren. DiskriminanzvaliditätDie Messdaten von Testverfahren, die verschiedene Konstrukte abbilden, sollten nur gering miteinander korrelieren (sofern die Konstrukte auch tatsächlich voneinander unabhängig sind). Sowohl konvergente als auch diskriminante Validität müssen gegeben sein, um einen vollständigen Nachweis der Konstruktvalidität zu gewährleisten.
• LK 2 19. Zählen Sie die Methoden zur Konstruktvalidierung (nach Cronbach und Meehl) auf und beschreiben Sie zu jeder Methode ein Beispiel für den Nachweis. (7 Antworten) Skript: Folie 251 1. Korrelation des Tests mit mehreren Außenkriterien. Beispiel: Berufserfolg mit Umsatz, Mitarbeiteranzahl ( = Außenkriterien) 2. Korrelation des Tests mit Tests ähnlichen Validitätsanspruchs (konvergente Validität) Beispiel: logisches Schlussfolgern mit Mathematik bzw. Mathe-Tests mit anderen Mathe-Tests Hinweis: Um zu zeigen, dass ein Test das zu messende Merkmal misst und nicht irgendein anderes, kann das Ausmaß der Übereinstimmung mit Ergebnissen aus Tests für gleiche oder ähnliche Merkmale ermittelt werden. So soll z.B. die Korrelation eines neuartigen Intelligenztests mit einem etablierten Test zu einer hohen Korrelation führen, um zu zeigen, dass auch der neue Test das Konstrukt »Intelligenz« misst. 3. Korrelation des Tests mit Tests unterschiedlichen Validitätsanspruchs (diskriminate Validität) Beispiel: Mathe-Tests mit Test zum Sprachverständnis Hinweis: Um zu zeigen, dass ein Test das zu messende Merkmal misst und nicht eigentlich ein anderes, muss er von Tests für andere Merkmale abgrenzbar sein. Zum Nachweis der diskriminanten Validität ist es nicht hinreichend, dass der zu validierende Test nur mit irgendwelchen offensichtlich konstruktfernen Tests verglichen wird, sondern dass er auch zu relativ konstruktnahen Tests in Beziehung gesetzt wird. So wäre z.B. eine niedrige Korrelation zwischen Konzentration und Intelligenz wünschenswert. 4. faktorenanalytische Betrachtung des zu validierenden Tests (Testaufgaben, die in etwa das gleiche erfassen, werden in Faktorengruppen zusammengefasst - Umgang mit Zahlen, Wortschatz etc.) Beispiel:  Logisches Schlussfolgern mit zahlengebundenen Aufgaben (Mathematik), Sprachverständnis mit wörtergebundenen Aufgaben 5. Analyse interindividueller Unterschiede Beispiel: Intelligenz mit Niveau des Schulabschlusses (zwischen verschiedenen Personen) 6. Analyse der intraindividuellen Unterschiede Beispiel: Berufserfolg mit Extraversion 7. inhaltlich-logische Analyse der Testelemente Beispiel: Fahrprüfung zur Messung der Fahrtauglichkeit

zurück  |  weiter 1 / 1