Psychologie (Subject) / Testtheorie und Testpraxis (Lesson)

This lesson was created by Tinisweet.

Learn lesson

back  |  next 2 / 3

• Was ist die Rationale Konstruktionsstrategie?   Methode der Deduktion —Voraussetzung: ◦Vorhandensein einer elaborierten Theorie über die Differenziertheit von Personen hinsichtlich der Personeneigenschaft (Verhaltensdisposition) —bei der Konstruktion der Testaufgaben: ◦ ABSTUFUNG innerhalb der Eigenschaft: ◦Abhängig von Häufigkeit und/ oder Intensität des beobachteten Verhaltens     —Konstruktionsschritte: — —1. Definition und Spezifikation des Konstrukts, Definitionen der Verhaltensweisen —2. Sammeln von Verhaltensindikatoren zu Unterkonstrukten —3. in Statement- /Frageform bringen —4. Probanden als Testitems vorgelegen
• Was ist die externale/ kriteriumsorientierte Konstruktionsstrategie?   —Können die Items zwischen Gruppen mit untersch. Ausprägungen in einem externalen Merkmal („Kriterium“) eindeutig differenzieren? —Items finden, die zwischen den Gruppen differenzieren können: —1. Zusammenstellen eines Itempools ◦Erprobung an Personengruppen, die sich im Kriterium stark unterscheiden —2. Auswahl der Items, die Differenzierung am besten leisten — —Absicherung gegen situative Effekte: ◦Itemauswahl an anderen Stichproben testen         
• Was ist die internale/ faktorenanalytische Konstruktionsstrategie?   —dimensionsanalytisch- und theoriegeleitet —Konstruktion von Items zu hypothetischen Verhaltensdimensionen — —Faktorenanalyse: —Auswahl und Zusammenfassung der Items zu Faktoren die: ◦ untereinander hohe Zusammenhänge aufweisen ◦ statistisch eindimensional sind — —„Einfachstruktur“: keine oder nur geringe Korrelation der ermittelte Aufgabengruppen mit  anderen Aufgabengruppen — —Ergebnisse der Faktorenanalyse:      sorgfältige Interpretation, durch welche Verhaltensweisen die gefundenen Faktoren konstituiert werden
• Was für Antwortformate kann man unterscheiden?
• Nenne Vor und Nachteile des freien Antwortformats. (Kurzaufsatz und Ergänzungsaufgaben)   Kurzaufsatzaufgaben Ergänzungsaufgaben +  •Reproduktion von Wissen •Zufällig richtige Antworten nicht möglich •Erfassung von Kreativität,  Motiven, stilistischer Begabung •Reproduktion von Wissen •Geringe Wahrscheinlichkeit für zufällig richtige Antworten •Objektivität durch standardisierte Instruktion und Auswertungsschema -   •großer Zeitaufwand •großer Auswertungsaufwand •Eingeschränkte Auswertungsobjektivität •Benachteiligung von Probanden mit Formulierungsschwierigkeiten •Nur Prüfung des Faktenwissens •Zeitaufwendig •Gefahr der Suggestivwirkung •Eingeschränkte Objektivität, wenn nicht alle richtigen Antworten zugelassen werden •Gefahr, dass eher allgemeine Intelligenz und Lesefähigkeit überprüft wird
• Nenne Vor- und Nachteile von Ordungsaufgaben.   Zuordnungsaufgaben Umordnungsaufgaben + •Einfach, ökonomisch, objektiv •Platzsparend •Geringe Ratewahrscheinlichkeit •Geeignet für Wissens- und Kenntnisprüfung •Nicht auf verbales Material beschränkt •Keine Einschränkung für Legastheniker •Überprüfung von Abstraktionsfähigkeit, schlussfolgerndem Denken - •Nur Wiedererkennungsleistung •Mit jeder richtigen Zuordnung sinken Freiheitsgrade und Ratewahrscheinlichkeit nimmt zu •Hoher Materialaufwand •Gruppentestung nur bedingt möglich
• Welche Aspekte muss man bei der Konstruktion von Auswahlaufgaben beachten?   ◦Wahl geeigneter Distraktoren ◦Disjunktheit der Antwortalternativen ◦Exhaustivität der Antwortalternativen (bei Persönlichkeitstest) ◦Anzahl der Antwortalternativen ◦Anzahl „richtiger“ Antwortalternativen
• Was sind Distraktoren und was muss man bei ihrer Konstruktion beachten? Antwortalternativen, die richtig aussehen, aber inhaltlich falsch sind Auswahlwahrscheinlichkeit („Attraktivität“); Ähnlichkeit mit richtigen Antwort; Plausibilität; z.B. Nutzung häufig falsch genannter Lösungen aus Ergänzungsaufgaben
• Was ist die Disjunktheit der Antwortalternativen? Antwortalternativen schließen sich gegenseitig aus und ihre Schnittmenge ist leer = genau eine richtige Antwort
• Was ist die Exhaustivität der Antwortalternativen ? (bei Persönlichkeitstest) Vollständigkeit der Antwortalternativen; Berücksichtigung aller Verhaltensvarianten
• Advertisement
• Nenne Vor- und Nachteile dichotomer Aufgaben.   Vorteile Nachteile Einfach und ökonomisch Kurze Lösungszeit 50% Ratewahrscheinlichkeit Nur Wiedererkennungsleistung abgefragt Erhöhte Zustimmungstendenz Schwierigkeiten bei der Formulierung des Aufgabenstamms
• Nenne Vor- und Nachteile von Mehrfachwahlaufgaben.   Vorteile Nachteile Einfach, ökonomisch, objektiv Ratewahrscheinlichkeit durch Antwortalternativen stark verringert Wiedererkennungsleistung Verzerrung möglich, wenn Mängel in den Distraktoren vorliegen oder die Aufgabe selbst Hinweise auf Lösung gibt
• Nenne Vor-und Nachteile von Beurteilungsaufgaben.   Vorteile Nachteile Leicht zu handhaben Ökonomisch im Materialverbrauch und der Auswertungszeit Durch einheitliches Antwortformat Bearbeitungszeit kürzt Oft als Intervallskala benutzt, was bei der Interpretation der Ergebnisse zu messtheoretischen Problemen führen kann
• Nenne die 6 Aspekte zur Konstruktion der Antwortskala bei Beurteilungsaufgaben.   Frage nach der Verwendung von Skalenstufen Bipolare oder unipolare Antwortskala Bezeichnung der Skalenpunkte Neutrale Mittelkategorie „Weiß nicht“- Kategorie Asymmetrische Beurteilungsskalen
• Diskutiere die Bezeichnung der Skalenpunkte.     Numerische Skala Verbale Ratingskala Stufen häufig mit Zahlen markiert Gleiche Abstände zwischen Skalenpunkten entsprechen nicht sicher gleichen Abständen im Urteil des Probanden Verschiebung der Antworten möglich Numerisch: erweckt Anschein einer präzisen Messung, Intervallskala; darauf achten, dass Zahlenformat auch Wirkung auf Probanden hat Skalenpunkte: Worten Vorteil: Interpretation der Punkte intersubjektiv einheitlicher Antwortoptionen: Bewertungen, Häufigkeits- und Intensitätsangaben, Wahrscheinlichkeiten Gut: alle Skalenpunkte bezeichnen Verbal: VP kann sich gut hineinversetzen; Bewertung-, Häufigkeits- und Intensitätsangaben; schwierig Beschreibungen zu finden, die die Abstände zwischen den Skalenstufen zufriedenstellend darstellen Optische: keine subjektiven Schwankungen hinsichtlich Bedeutung sprachlicher Bezeichnungen
• Diskutiere die Mittel- und die "weiß nicht"- kategorien.   •Neutrale Mittelkategorie Von Probanden oft als Ausweichoption genutzt ◦Validitätsprobleme =Verzerrungen in der Interpretation der Befunde  Neutrale Mittelkategorie eher nachteilig —„Weiß- nicht“-Kategorie ◦Als separate Antwortalternative darbieten ◦bei Annahme, dass Probanden keine ausgeprägte Meinung zum Untersuchungsgegenstand habend ◦Verminderung des Problem der neutralen Mittelkategorie ◦vorteilhaft: wenn konstruktgetreue Beurteilung der Aufgabe durch Probanden unklar
• Was sind Asymmetrische Beurteilungsskalen? bei Bewertungen, die extrem in positive gehen z.B. Fragebögen in der Markforschung   —Variante = Itemmspezifische Antwortformate: ◦Formate, die sich in der Anzahl der Antwortkategorien zw. den Items unterscheiden (Iteminhalten angepasst) ◦Bsp.: Erhebung demographischer Daten
• Was sind die Zielvorgaben (Entscheidungshilfen) für angemessene Aufgaben in Fragebögen?   –Leichte Verständlichkeit des Tests –Einfache Durchführbarkeit –Kurze Lösungszeit –Geringer Materialverbrauch –Leichte Auswertbarkeit –Geringere Häufigkeit von Zufallslösungen
• Erläutere das Optimizing-Satisficing-Modell nach Krosnick 1999.   ◦Kognitive Prozesse haben unterschiedliche Qualitäten ◦Zwei Motivgruppen werden unterschieden Optimizing Satisficing -Motivation liegt in einem positiven Grund --> gründliche Bearbeitung der Items -Ursächlich: Selbstbild der VP, Altruismus, Belohnung -Nur beiläufige Bearbeitung der Items -Verpflichtung zur Teilnahme --> keine Motivation, aber kognitive Aufgaben bearbeiten müssen -Bewältigungsstrategien: •Oberflächliche Durchführung •Verschmelzung von Stadium Abruf + Urteil
• Nenne die Kognitive Stadien (Podsakoff, 2003).   Begriff Prozess Fehlerquelle Verständnis - Aufmerksamkeit auf Aufgabe richten - Instruktion verstehen - Itemmehrdeutigkeit Abruf - Infos mittels Schlüsselreizen aus LZG abrufen - Abrufstrategie entwickeln - veränderte Stimmungslage verändert den Abruf Urteil Begriff Prozess Fehlerquelle Antwortwahl - Überprüfen gegebener Antwortmöglichkeiten - Versuch optimale Entscheidung zu Treffen - Tendenz zur Mitte Antwortabgabe - Überprüfen auf inhaltliche Konsistenz zw. Entscheidung und Abgabe der Antwort - veränderte Antwort durch soziale Erwünschtheit - Bewerten der Infos auf Vollständigkeit und Richtigkeit - entscheiden für ein Urteil - globales Urteil kann entwickelt und auf alle Items übertragen werden
• Erläutere die Fehlerquelle der Sozialen Erwünschtheit.   ◦VP äußern Einstellungen von denen sie annehmen, dass sie mit sozialen Normen und Werten der Gesellschaft übereinstimmen ◦Produziert unerwünschte Effekte ◦Bestehend aus Selbsttäuschung und Fremdtäuschung –Aufklärung über Untersuchungsgegenstand –Zusicherung der Anonymität –Verwendung von Kontrollskalen Konstruktion des Tests Undurchschaubare Anforderungen Erhebung von Verhalten
• Welche Antworttendenzen gibt es?   ◦Tendenz zur Mitte –Verringerung: keine neutrale Mittelkategorie; keine extremen sprachlichen Bezeichnungen; „Weiß nicht“ Kategorien anbieten ◦Tendenz zum extremen Urteil ◦Akquieszenz (Zustimmungstendenz) •Invertieren der Items ◦Itempolung
• Welche Itemarten gibt es?   ◦Direkte vs. Indirekte Items ◦Hypotetische vs. Biographiebezogene Itmes ◦Konkrete vs. Abstrakte Items ◦Personalisierte vs. Depersonalisierte Items (◦Stimulusqualität ◦Aufgabeninhalte)
• Erkläre was Stimulusqualität und Aufgabeninhalte bei den Itemarten sind.   ◦Stimulusqualität   = hohe oder niedrige emotionale              Intensität, mit der Reaktionen beim   Probanden hervorgerufen werden           sollen ◦Aufgabeninhalte - Selbstbeschreibung - Fremdbeschreibung - biograpische Fakten - Eigenschaftszuschreibung - Wünsche und Interessen - Einstellungen und Meinungen
• Nenne die Kriterien der sprachlichen Verständlichkeit.   ◦Items positiv formulieren (keine doppelten Verneinungen) ◦keine komplizierten Satzkonstruktionen ◦keine umständlichen Fragen oder Abkürzungen ◦keine Fachbegriffe die nicht jedem bekannt sind ◦Fragen zur Häufigkeit konkret formulieren
• Was sind die Regeln zur Eindeutigkeit des Iteminhalts.   ◦keine Universalausdrücke (immer, nie) ◦Definitionen anbringen ◦ Iteminhalt soll nicht unterschiedlich interpretiert werden können ◦ Item darf nur eine Aussage enthalten ◦Antwort darf nicht von unterschiedlichem Vorwissen abhängig sein ◦erfragte Zeitspannen genau formulieren ◦Antwortrichtung eindeutig machen
• Nenne Aspekte der Itemformulierung.   Varianz des Antwortverhaltens ◦Fragen sollten so formuliert sein, dass sie auch unterschiedliche Antworten bei unterschiedlichen Merkmalsausprägungen hervorrufen ◦Aktualität ◦Wertungen in Fragen vermeiden ◦Suggestivfragen vermeiden
• Was sollte man bei der Reihenfolge von Items beachten?   •Aufsteigende Schwierigkeit •Aktualisierungseffekte vermeiden Logische und inhaltliche Unabhängigkeit •Gegenmaßnahmen für Konsistenzeffekte (VP geben stimmige antworten auf Item, von denen sie vermuten, dass sie das gleiche Merkmal erfassen): Pufferaufgaben einfügen Randomisieren und Ausbalancieren der     Itemreihenfolge Mischen einzelner Subskalen
• Auf was sollte man bei Testinstruktionen hinweisen?   •Erklärung des Antwortmodus mit Beispiel •Spontane und wahrheitsgetreue Beantwortung •Vollständigkeit •Hinweis auf Anonymität •Verantwortliche Person/ Institut
• Welche Möglichkeiten gibt es für die Erprobung der vorläufigen Testversion?   Retrospektive Befragung der Testteilnehmer Debriefing ◦Durchführung von Interviews mit Testleitern Verhaltenskodierung ◦Eine dritte Person beobachtet Testsituation Kognitives Vortesten und Technik des lauten Denkens
• Advertisement
• Wann ist ein Testverfahren reliabel? Testverfahren ist perfekt reliabel, wenn die damit erhaltenenTestwerte frei von zufälligen Messfehlern sindje größer die Einflüsse von zufälligen Messfehlern, desto geringerist die Reliabilität
• Wie definitiert sich Reliabilität in der KTT? Varianzverhältnis zwischen den Varianzen der wahren Werte und dertatsächlichen Varianzen der vom Testverfahren gelieferten Werte   Wahrer Wert lediglich durch zufällige Fehlereinflüsse verfälscht
• Womit korreliert der Messfehler nicht?   sich selbst der Variablen des wahren Wertes (T) wahren Werten oder Messfehlern anderer Tests
• Wie definiert sich die Gesamvarianz eines Tests?
• Was sind die Annahmen zur Retest-Reliabilität? zweimalige Durchführung des Testverfahrens an der gleichen Stichprobe• Annahme: wahre Werte & Messfehlereinflüsse bleiben unverändert(konstante Fehlervarianz → konstante Testvarianz)• Korrelation entspricht dem gesuchten Anteil der wahren Varianz an derVarianz der Testwerte: Retest-Reliabilität hoch bei hoher Korrelation der Messungen • Berechnung beruht auf Voraussetzungen → konstante Messfehler und wahre WerteABER: wahre Werte veränderbar! → Verfälschung der Reliabilität möglich
• Wann kommt es zu einer perfekten Retest-Reliabilität von 1.00? Merkmal stabil oder Erinnerungseffekte
• Was kann man bei systematischen Veränderungen bei der Retest-Reliabilität machen? Addition/ Subtraktion eines konst. Betrages bei allen Messwerten → keineVeränderung der Korrelation
• Was passiert bei Unsystematischen Lern- u. Übungseffekten? wahre Werte verändern sich bei verschiedenen Personen unterschiedlich→ Verminderung der Retest-Reliabilität
• Wie wirken sich instabile Merkmale auf die Retest-Reliabilität aus? interindividuell unterschiedliche Entwicklungsverläufe→ Verminderung der Retest- Reliabilität
• Wozu führen Erinnerungseffekte?   Überschätzung der Reliabilität
• Wie sollte man das Retest.Intervall wählen? • sehr kurz: unsystematische Veränderungen geringer, Erinnerungseffektegrößer• sehr lang: Erinnerungseffekte gering, unsystematische Veränderungenpotentiell störender→ je instabiler zu testendes Merkmal, desto kürzeres Intervall
• Wann sind 2 Testformen im Sinne der KTT parallel? wenn sie die gleichen wahren Werte und Fehlervarianzen haben Zur Überprüfung:• Tests an derselben Stichprobe durchführen• Korrelation zwischen den Ergebnisse beider Formen berechnen (wie bei Retest)
  Paralleltest-Reliabilität eines Testverfahrens ist hoch, wenn zweiparallele Testformen dieses Verfahrens hoch miteinander korrelieren
• Was für Probleme gibt es bei der Erstellung von Parallelformen? • Großer Konstruktionsaufwand• Leichter bei Leistungstests
  viele gleichartige Items• Schwer bei Persönlichkeitstests
  große Itempools notwendig• Auch wenn Test aufgrund der Items reliabel ist, kann Parallelität durchTestsituation oder Testleiter beeinträchtigt werden• Lerneffekte können auftreten   •Annahme, dass Testformen parallel sind, wenn: •Gleiche MW •Gleiche Streuungen •Ausreichend hohe Korrelation Aber: ungenau, da mögliche Beeinflussung von: •Übungseffekten •Merkmalsveränderungen (abhängig von Zeitintervall) •strenge Testung der Parallelität in KTT nicht möglich
• Welche Einflüsse wirken auf die Paralleltest-Reliabilität?   •Vorteil: keine Erinnerungseffekte •Minderung der Korrelation der beiden Testformen durch nicht perfekte Parallelität • Testdurchführung in kurzem Abstand, um die Gefahr von unsystematischen Veränderungen der wahren Merkmalsausprägungen zu verhindern • Zur Vermeidung systematischer Übertragungseffekte von einer auf die andere Testform: eine Hälfte der VPs erhält zuerst Testform A, dieandere Hälfte zuerst Testform B = Ausbalancieren
• Was passiert mit abnehmender Testlänge z.B. bei der Splithalf-Methode?   Verringerung der Reliabilität bei abnehmender Testlänge Resultierende Halbtestkorrelation entspricht nur der Reliabilität eines Testshalber Länge → rechnerische Aufwertung auf volle Länge notwendig mit Spearman-Brown-Korrektur: -Verdopplung der Fehlervarianz -Vervierfachung der wahren Varianz
• Nenne und erläutere 3 Methoden der Testhalbierung. • Odd-Even Methode:- Abwechselnde Zuweisung der Items zu Testhälften (grade-ungrade) z.B. bei Leistungstest • Zeitpartitionierungsmethode:- zeitliche Zweiteilung des Tests- z. B. bei vielen prinzipiell gleichartigen Items (Konzentrationstest) • Methode der Itemzwillinge:→bei Verfahren mit inhaltlich eher heterogenen Items- Aufteilung anhand von Schwierigkeitsgrad und Trennschärfe:- Bildung von Paaren aus je zwei Items mit ähnlichem Schwierigkeitsgradund Trennschärfe → zufällige Zuteilung jeweiliger Items zu Testhälften
• Welche Probleme gibt es bei der Bildung paralleler Testhälften? • keine Garantie für tatsächlich parallele Testhälften• Anzahl möglicher Kombinationen von Items zu Testhälften steigt mitzunehmender Itemzahl• in Praxis meist nicht einmal annähernd gleiche Testhälften→Grundproblem: Items eines Test messen nicht zwingend alle das Gleiche
• Wann ist die interne Konsistenz hoch? Interne Konsistenz ist umso höher, je höher durchschnittliche Korrelationaller Items eines homogenen Tests ist
• Was für ein Problem gibt es bei der internen Konsistenz und was ist die Lösung dafür?   Wahre Itemwerte und Fehlervarianzen müssten alle gleich sein Aber: Voraussetzung nicht immer gegeben •Lösung:  Konzept der Tau-Äquivalenz oder der essentiellen Tau-Äquivalenz •Tau-Äquivalenz: •Gleiche wahre Werte der Items •Verschiedene Fehlervarianzen •essentielle Tau-Äquivalenz: •Wahre Werte der Items unterscheiden sich zusätzlich um additive Konstante •Voraussetzung für Reliabilitätsschätzung durch Cronbachs α
• Welche Aspekte muss man bei der Interpretation von Cronbachs Alpha beachten? • Problem: von Cronbachs α wird auf Eindimensionalität geschlossen
  Hohes Cronbachs α ist ein Maß für interne Konsistenz, aber kein Maßfür Eindimensionalität
  Cronbachs α ist von der Anzahl der Items abhängig• Über-oder Unterschätzung der Reliabilität durch invers formulierte Items

back  |  next 2 / 3