Testtheorie und Testkonstruktion (Fach) / 2.1) Itemkonstruktion (Lektion)

Fragen zur Itemkonstruktion

Diese Lektion wurde von Eidechse erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Was ist ein Item? kleinste Beobachtungseinheit in einem Test
• Woraus besteht ein Item? Beschreibe die Bestandteile. Itemstamm: Frage, Aussage, Bild, Rechenaufgabe... & Antwortformat: ankreuzbare Alternativen, leere Zeilen, mehrstufige Antwortskala
• Wonach werden Aufgaben- /Itemtypen unterschieden? nach dem Antwortformat (frei, gebunden, a-typisch)
• Aufgaben mit freiem Antwortformat: Welche Aufgabentypen gibt es? - Kurzaufsatz-Aufgaben - Ergänzungsaufgaben
• Was sind Kurzaufsatz-Aufgaben? - Vorgabe von Fragen oder Aufforderungen - Anwort kann aus einem Wort, Satz oder mehreren Sätzen bestehen
• Was sind die Vorteile von Kurzaufsatz-Aufgaben? - Reproduktion von Wissen bzw. selbst erzeugte Antwort - zufällig richtige Antwort ist nicht möglich
• Was sind die Nachteile von Kurzaufsatz-Aufgaben? lange Bearbeitungszeit Auswertung kann schwierig sein (vorher festlegen, was wie kodiert werden soll)
• Wie sollten Kurzaufsatz-Aufgaben konstruiert werden? - Frage / Aufforderung sollte so formuliert sein, dass die Antwort kurz ausfällt - eindeutige Fragestellung - Freiplätze für Antworten möglichst gleich lang - Antwortschlüssel zur Kodierung der Antworten 
• Was sind Ergänzungsaufgaben? - Vorgabe von Sätzen, in denen bestimmte wichtige Wörter, Zahlen, Zeichen, Symbole o.ä. ausgelassen sind - Testbearbeiter muss Lücken füllen
• Welche Vorteile haben Ergänzungsaufgaben? - leichte Konstruktion - Herabsetzung d. Ratewahrscheinlichkeit
• Welche Nachteile haben Ergänzungsaufgaben? - i.d.R. nur Faktenwissen testbar - bei nicht exakter Aufgabenstellung: unerwünschte Antworten, die als gültig angesehen werden können - Gefahr: Prüfung von Intelligenz und Lesefähigkeit statt beabsichtigtem Testinhalt
• Wie sollten Ergänzungsaufgaben konstruiert werden? eindeutige Fragestellung --> nur eine Antwort möglich keine grammatikalischen Hinweie auf die richtige Lösung Länge der Lücken ohne Hinweis auf die richtige Lösung Antwortschlüssel mit akzeptablen Antworten
• gebundenes Antwortformat: Welche Aufgabentypen gibt es? - Ordnungsaufgaben - Auswahlaufgaben - Beurteilungsaufgaben
• Welche Arten von Ordnungsaufgaben gibt es? - Zuordnungsaufgaben - Umordnungsaufgaben
• Was sind Zuordnungsaufgaben? richtige Zuordnung von jeweils 2 Elementen
• Was sind Vorteile von Zuordnungsaufgaben? einfach, ökonomisch, objektiv Ratewahrscheinlichkeit gering, wenn mehr Antwortalternativen als Fragen
• Was sind Nachteile von Zuordnungsaufgaben? nur Wiedererkennungsleistung, keine Reproduktion mit jeder richtigen Zuordnung steigt die Ratewahrscheinlichkeit
• Wie sollten Zuordnungsaufgaben konstruiert werden? mind. 50 % mehr Antwortalternativen als Fragen Testbearbeiter muss genau verstehen, wie er zuordnen soll Antwortalternativen sollen systematisch geordnet sein (z.B. alphabetisch) Fragen mit Zahlen zuordnen, Antworten mit Buchstaben
• Was sind Umordnungsaufgaben? umsortieren von Worten, Satzteilen, Bildern etc. in einer sinnvollen Reihenfolge
• Was sind die Vorteile von Umordnungsaufgaben? einfache Konstruktion bei geschickter Konstruktion auch Denkvollzüge prüfbar, die über reine Reproduktion hinausgehen nicht auf verbales Material beschränkt
• Was sind die Nachteile von Umordnungsaufgaben? - nur anwendbar auf Sachverhalte, die eine Ordnung aufweisen - problematische Auswertung: ab wann gilt Aufgabe als gelöst?
• Wie sollten Umordnungsaufgaben konstruiert werden? - nicht zu viele zu sortierende Objekte - eindeutige Lösung muss vorhanden sein
• Was sind Auswahlaufgaben? aus mehreren vorgegebenen Antwortalternativen die richtige Antwort identifizieren
• Was sind die Vorteile von Auswahlaufgaben? - einfach, ökonomisch, objektiv - bei Mehrfachwahlaufgaben: geringere Ratewahrscheinlichkeit bei mehreren richtigen Antwortalternative
• Was sind die Nachteile von Auswahlaufgaben? - bei dichotomen Aufgaben: 50%ige Ratewahrscheinlichkeit - nur Wiedererkennungsleistung - bei Mängeln in den Distraktoren können diese Hinweise auf die Lösung geben
• Wie sollten Auswahlaufgaben konstruiert werden? - Wahl geeigneter Distraktoren - Disjunktheit der Antwortalternativen - Exhaustivität der Antwortkategorien - Anzahl der Antwortalternativen
• Beurteilungsaufgaben: Welche Skalen können verwendet werden und worauf sollte man dabei achten? Analogskala (kontinuierlich gestuft): - mit Computern mittlerweile besser auswertbar, aber Differenziertheit der Messung entspricht i.d.R. nicht der Differenziertheit des Urteils Ratingskala (diskret gestuft): - bei mehr als 7 Skalenstufen kein weiterer Informationsgewinn in den individuellen Urteilsdifferenzierungen - Antworttendenzen müssen berücksichtigt werden
• Beurteilungsaufgaben: Sollten die Aufgaben bipolar oder unipolar sein? abhängig vom Iteminhalt bzw. von der  zu erfassenden Eigenschaft
• Beurteilungsaufgaben: Wie können die Skalenpunkte bezeichnet werden? - numerische Skala (Zahlenstrahl zum Ankreuzen) - verbale Ratingskala (nie, selten, manchmal, oft, immer) - optische Skalen u. Symbolskalen (unipolare optische Analogskala --> "aufsteigendes Dreieck", bipolare Symbolskala "+" und "-")
• Beurteilungsaufgaben: Sollte es eine neutrale Mittelkategorie geben? eher nicht: - zeigt nicht immer wirklich die mittlere Merkmalsausprägung - Nutzung als Ausweichkategorie, besonders motivierte Probanden vermeiden die Mittelkategorie - Konfundierung!
• Beurteilungsaufgaben: Sollte es eine "Weiß-nicht"-Kategorie geben? - sinnvoll, falls davon ausgegangen wird, dass einige Probanden keine ausgeprägte Meinung zum Untersuchungsgegenstand haben
• Itemformulierung: Was sollte für die sprachliche Verständlichkeit der Items beachtet werden? - positive Formulierungen, keine Verneinungen - einfache, nicht verschachtelte Sätze - keine Abkürzungen - Fachbegriffe vermeiden, bzw. angepasst an Zielgruppe verwenden - Angaben zu Intensität oder Häufigkeit können uneindeutig sein
• Itemformulierung: Worauf sollte für die Eindeutigkeit von Iteminhalten geachtet werden? - keine Universalausdrücke (immer, nie, alle) - ggf. Definitionen / Erklärungen einfügen - keine mehrdeutigen Iteminhalte - nur eine Aussage pro Item - Unabhängigkeit vom Vorwissen - eindeutige Angabe von Zeitspannen
• Was sind die Vorteile und was die Nachteile von Beurteilungsaufgaben? Vorteile: - leicht zu handhaben, ökonomisch - da in einer Skala der Antwortmodus gleich bleibt, sinkt die Bearbeitungszeit Nachteile: - numerische Intervallskalen können den Anschein einer Intervallskalierung geben --> Antworten sind aber ordinalskaliert

zurück  |  weiter 1 / 1