8
Testtheorie (Subject) / Itemkonstruktion und -zusammenstellung (Lesson)
- Zwischen welchen Konstruktionsstrategien für einen Test kann unterschieden werden? 1. Schritt: Intuitive Konstruktion• Intuition und Erfahrung des Testkonstrukteurs leiten die Itemgenerierung• sinnvoll, wenn der theoretische Kenntnisstand bzgl. des Merkmals gering ist Rationale Konstruktion• deduktive Herleitung der Items aus elaborierten Theorien über Merkmalsunterschiede zwischen Personen• zunächst Definition und Spezifikation des zu messenden Konstrukts• z.B. Umwandlung konstruktdefinierender Verhaltensweisen in Statements 2. Schritt: Externale (kriteriumsorientierte) Konstruktion• empirische Auswahl von Items, die zwischen Gruppen mit unterschiedlicher Merkmalsausprägung möglichst gut differenzieren können• Verwendung unterschiedlicher Testandenstichproben zur Vermeidung systematischer Fehler -> Orientierung an relevanten Kriterien, die vorhergesagt werden sollen -> Itemauswahl, dass zwischen Gruppenunterschieden möglichst gut zu differenzieren ist -> auch gruppenabhängig, wie man in Items abschneidet (Computerbasierte IT Items vielleicht bei Psychostudierenden nicht unbedingt sinnvoll) Internale (faktorenanalytische) Konstruktion• empirische Auswahl der Items anhand von Faktorenanalysen• Items, die auf einem Faktor laden, also statistisch eindimensional sind, werden zu Skalen zusammengefasst -> am besten mit HAA -> wenn Items auf mehreren Faktoren gleich laden (hohe Beiladungen), sollten sie am besten entfernt werden (Cattell hat diese z.B. beim 16 FFP drin gelassen, da gewisses Items mit Beiladungen auf anderen Faktoren ausgeglichen wurden -> hat sich allerdings praktisch nicht bewährt und hat sich mit der Zeit als invalide rausgestellt)
- Zwischen welchen Aufgabentypen und Antwortformaten kann unterschieden werden? Aufgabenstamm:Der Aufgabenstamm enthält die Frage oder die Problemstellung, für die der Testand die Lösung angeben soll. Aufgabentypen:Jankisz und Moosbrugger (2007) unterscheiden folgende Aufgabentypen nach ihrem Antwortformat: 1. Aufgaben mit freiem Antwortformat a. Kurzaufsatzaufgaben (Stellung nehmen bzw. begründen)b. Ergänzungsaufgaben (z.B. Lückentext/Satzergänzungsaufgaben) 2. Aufgaben mit gebundenem Antwortformata. Ordnungsaufgaben (etwas in eine bestimmte Reihenfolge bringen) i. Zuordnungsaufgaben ii. Umordnungsaufgaben b. Auswahlaufgaben i. Dichotome Aufgaben (ja/nein Antworten) ii. Mehrfachwahlaufgaben (Multiple-Choice Aufgaben) iii. Forced-Choiced Items (Psychologie oder BWL) c. Beurteilungsaufgaben (eher im Persönlichkeitsbereich) i. Analogskala-Aufgaben (Kontinuum) ii. Ratingskala-Aufgaben (gewisse Abstufungen, z.B. "trifft eher zu", "trifft eher nicht zu",...) 3. Aufgaben mit atypischem Antwortformat _______________________________________________ -> Bei der Konstruktion von Auswahlaufgaben für Leistungstests ist auf geeignete Distraktoren zuachten. Diese sollten attraktiv und disjunkt sein. (attraktiv = wird schnell angekreuztdisjunkt = stehen nicht in Beziehung zueinander) -> Bei Persönlichkeitstests sollten die Antwortalternativen exhaustiv und disjunkt sein. (exhaustiv = alle möglichen Reaktionen/Antwortmöglichkeiten sollten abgedeckt sein (man sollte nicht auf eine Antwort kommen und diese nicht ankreuzen können) -> in z.B. Persönlichkeitstests in Magazinen trifft dies meistens nicht zu) -> "nicht exhaustiv" auch: Wieviel verdienen sie? 1000 , 5000 und 10000 -> derjenige der 900 oder 4000 verdient könnte nichts eindeutiges ankreuzen
- In welche Skalen lassen sich Beurteilungsaufgaben weiter untergliedern? • unipolare vs. bipolare Skalen (von weniger bis mehr (unipolar) oder gegensätzliche Kontinuen (bipolar), die man auswählen kann) • numerische, verbale oder optische/symbolische Skalen (numerisch: Ausmaß der Zustimmung wird durch Zahlen ausgedrückt (z.B. -5 - +5); verbal: "stimme zu", "stimme nicht zu"; optisch/symbolisch: z.B. Dreieck auf dem man sich selbst einordnen soll) • asymmetrische Beurteilungsskalen Es sind auch Kombinationen gebräuchlich.
- Was sind mögliche Fehlerquellen bei der Itembeantwortung? -> neben zufälligen Fehlern auch systematische Fehler möglich (=der Testand wählt nicht die seiner Merkmalsausprägung entsprechenden Antwortkategorien aus) Soziale Erwünschtheit• Fremdtäuschung (Impression Management) = Man weiß wie es in Wahrheit ist, möchte aber einen anderen Eindruck vermitteln • Selbsttäuschung (Self-deceptive Enhancement) = Man denkt selbst, dass man gewisse Eigenschaften zeigt, obwohl man es in Realität nicht tut Antworttendenzen• Tendenz zur Mitte: nicht so extreme Urteile = z.B. meistens in der Mitte angekreuzt • Tendenz zum extremen Urteil = meist extreme Urteile (immer -5 oder +5 oder stimme überhaupt nicht zu / stimme total zu -> kann zwar zu höheren Korrelationen führen, allerdings drückt es dann auch wahrscheinlich nicht die Realität wieder) • Akquieszenz (Zustimmungstendenz) = z.B. Ziehst du dich gerne mit einem Buch zurück? "Ja"Gehst du gerne auf Parties? "Ja" -> widersprüchlich -> man kann bei der Fragebogen-konstruktion darauf achten, dass man immer gegensätzlich gepolte Aussagen dabei hat um nicht eine Vermengung dieser Zustimmungstendenz zu erhalten • Konsistenz = Neigung, sich möglichst konsistent festzulegen -> Pflichtgefühl, dass aufkommt, wenn man Dinge schon vorher angekreuzt hat und sich weiterhin so zeigen möchte
- In welche Kategorien lassen sich Items aufteilen? nach Angleitner, John und Löhr (1986): • Fragen zur Selbstbeschreibung („ich lache oft“)• Fragen zur Fremdbeschreibung („meine Freunde halten mich für eine tüchtige Person“)• Fragen zu biografischen Fakten („in meiner Jugend habeich gerne Modellflugzeuge gebaut“)• Trait- / Eigenschaftszuschreibungen („ich halte mich für spontan“)• Motivationale Fragen („Ich habe eine besondere Vorliebe für schwierige Aufgaben“)• Fragen zu Wünschen und Interessen („ich gehe gerne ins Theater“)• Fragen zu Einstellungen und Meinungen („Es gibt im Leben wichtigeres als beruflichen Erfolg“) nach Jankisz und Moosbrugger (2007): • direkte vs. indirekte Items • hypothetische vs. biografische Itemformulierung = Würde ich gerne was tun vs. Habe ich was getan • konkrete vs. abstrakte Items = abstrakt: Ich beschäftige mich gerne mit Basteleienkonkret: Ich baue gerne Modellflugzeuge • personalisierte vs. depersonalisierte Items = Ich vs. Man/Es/Die Menschen -> z.B. Es ist anzustreben immer ehrlich zueinander zu sein (depersonalisiert) -> möglicher Vorteil von depersonalisierten Items: sozial erwünschte Antwort kann reduziert werden (sollte allerdings individuell abgeschätzt werden)• emotionale Neutralität vs. Intensität des Stimulus = Intensität des Stimulus: Was würdest du tun, wenn die Schule brennt und dein bester Freund im Treppenhaus festhängt und du eventuell auch eine Rauchvergiftung bekommen könntest? (sehr intensiv)
- Auf welche Aspekte ist bei der Itemformulierung zu achten, um die sprachliche Verständlichkeit und Eindeutigkeit sicherzustellen? • positive Formulierung, Verneinungen meiden, auf keinen Fall doppelte Verneinungen -> wenn man viele Items verneint ausdrückt ist es möglich am Ende einen sog. Verneinungsfaktor zu erhalten, daher besser & positiv umformulieren (!!) z.B. Ich gehe nicht gerne auf Parties vs. Ich versuche Parties allgemein zu vermeiden• einfache Satzkonstruktionen ohne Verschachtelungen• keine umständlichen Fragen• keine Abkürzungen• Begriffe an Zielpopulation anpassen, keine Fachbegriffe• Angaben zur Intensität oder Häufigkeit im Itemstamm vermeiden -> gehören in die Antwortmöglichkeiten -> z.B. "Ich gehe sehr gerne auf Parties" -> Was macht jemand, der "nur" gerne auf Parties geht? Nein/Ja?! -> Erzeugung von Fehlervarianz Eindeutigkeit der Formulierung• Universalausrücke (zB „immer“, „alle“, „nie“) meiden• notwendige Definitionen vor der Frage geben• Iteminhalt darf nur auf eine Weise interpretierbar sein• nur eine Aussage pro Item (kein „double-bind“) -> besser dann 2 Items daraus machen• Unabhängigkeit der Antwort von Vorwissen• eindeutige Definition von Zeitspannen (schlecht z.B. „in letzter Zeit“) weitere Aspekte: • i.d.R. Items mit extremer Zustimmungs- oder Lösungswahrscheinlichkeit vermeiden -> können allerdings benutzt werden, um die Gewissenhaftigkeit während der Bearbeitung des Testes zu kontrollieren (z.B. im 16 PF) • auf unterschiedliche Itemschwierigkeiten achten (z.B. nicht nur extreme Aussagen) • Vermeidung von Items, die schnell veralten könnten (z.B. Jugendsprache) • Vermeidung von Items, deren Antwort auch von Wertorientierungen abhängen könnte (manchmal auch nicht vermeidbar: z.B. Gewissenhaftigkeit) • Vermeidung von Items, die konstruktfremde Emotionen evozieren könnten (z.B. Extraversionsitem, impliziert aber aufgrund der Formulierung eine Angst vor Spinnen) • Vermeidung suggestiver Formulierungen (Sie werden doch nicht etwa ...? Denken Sie nicht auch, dass es wichtig wäre ....?)
- Welche Reihenfolge wird normalerweise bei der Ordnung der Items beachtet? (Persönlichkeits- und Leistungstests) bei Leistungstests:• i.d.R. in aufsteigender Schwierigkeit (das nicht zu viel Zeit am Anfang verbracht wird)• evtl. Eisbrecheritembei Persönlichkeitstests:• möglichst zu verschiedenen Skalen vermischt• Vermeidung von Kontexteffekten (bei benachbarten Items: durch Item vorher wird man in eine gewisse Richtung beeinflusst (soll vermieden werden!))
- Mit welchen Methoden kann man nach der Vorabversion des Tests versuchen diesen zu optimieren? • retrospektive Befragung: Man fragt nach dem Test die Testanden was sie sich dabei gedacht haben, ob es Probleme gab o.ä.• Debriefing: Man erklärt wofür der Test gut ist und fragt dann, was darüber gedacht wird/wurde• Verhaltenskodierung: Verhaltensbeobachtung während der Testbearbeitung (Kopf kratzen,...) -> sehr aufwändig, wird nicht oft gemacht • kognitives Vortesten / lautes Denken: Während der Testbearbeitung sollen Gedanken laut ausgesprochen werden -> allerdings wird oft laut anders gedacht als wenn man es nicht ausgesprochen hätte -> manchmal aber ganz hilfreich, um ein ungefähres Bild zu bekommen -> wenn keine Verbesserungsvorschläge von VPN mehr kommen ist der Test fertig(muss allerdings subjektiv entschieden werden)
Advertisement