9

Forschungsmethodik (Fach) / Lektion 06 (Grundlegende Konzepte der Itembildung) (Lektion)

Diese Lektion wurde von Dennis1602 erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Allgemeines - bei Erstellung eines Tests muss zuerst die Fragestellung operationalisiert werden - Begriffsdefinitionen müssen durch Messungen erfassbar gemacht werden - Wie manifeste Indikatoren dazu bringen, Maßzahlen für weitere Analysen zu produzieren?
• Skalentypen - Teil 1 (Item, Entwicklung Fragebogen-Test) - Item: kleinste Stimulus-Einheit die bei Probanden Verhaltensreaktionen auslösen, z.B. einzelne Fragen, Aufforderungen zu einer Handlung etc., am häufigsten Frage in Fragebogen - Fragebogen-Test selbst entwickeln -- Definition/Bestimmung des Untersuchungsmerkmals -- Definition Personenkreis und Geltungsbereich der Untersuchung -- Entwicklung einer operationalen Definition (latentes Merkmal durch manifeste Indikatoren fassbar machen) -- Jeder Indikator sollte durch ein. Satz von geeigneten Items (Itembatterie) gemessen werden können -- z.B. IQ Test, sprachliches Denkvermögen wichtige Dimension von Intelligenz, Darstellung durch Messung von Items, die logische Verknüpfung abfragen, Fisch steht im Verhältnis zu Wasser wie Vogel zu (Luft) (Stein) (Erde) -- Unterschiedliche Formate für jedes Item denkbar -- Item mit offenem, halboffenem Antwortmuster, für statistische Analysen besonders Items mit geschlossenen Antwortvorgaben von hoher Bedeutung (Richtig) oder (Falsch) ankreuzen -- gute Distraktoren: falsche Antworten sollen nicht offensichtlich falsch sein -- Proband sollte auch nicht von Ratewahrscheinlichkeit profitieren bzw. von Elimination falscher Antworten -- Leistungstests (man kann sich nicht schlauer stellen als man ist, von Vorteil), Einstellungstest/Persönlichkeitstest (häufigeres Lügen, Abgabe von sozial erwünschter Antworten)
• Skalentypen - Teil 1 (Geschlossene Antwortformate) - Dichotom: exakt zwei Alternativen (Zustimmung/ Ablehnung), häufig bei Leistungstest, persönliche Einstellung gut charakterisierbar - Antwortkontinuum: zwei entgegengesetzte Pole (Ausmaß Zustimmung/Ablehnung) oder durch Zeitmessung - Wahl Itemformat: Pragmatismus -- Arbeit mit Ansatz Dichotomes Raschmodell aus probabilistischen Testtheorie -> dann nur Arbeit mit dichotomen Itemformaten -- Arbeit mit anderen Antwortformaten -> Suche nach geeignetem Modell -- Klassische Testtheorie -> einfachere Handhabung, erlaubt Anknüpfung an nachfolgende Itemformate - Testskala: erklärt, welche Messzahlen durch Reaktion erzeugt werden + welche Bedeutung/ Eigenschaft die Messzahlen haben (nicht verwechseln mit Skalenniveau aus Statistik)
• Skalentypen - Teil 1 (Thurstone Skala) - Ursprünglich zum Messen von Einstellungen konzipiert - Sätze von Items, die möglichst gesamtes Merkmalskontinuum repräsentieren - Arbeitet mit dichotomen Antwortformaten, produziert Messwerte, die in einem Kontinuum zwischen zwei Polen angesiedelt sind - Beispiel Untersuchung Kontaktsituation in Wohnsiedlung, jedem Probanden werden Sätze zur Auswahl vorgelegt, soll zu jedem Satz sagen, ob er zustimmt oder nicht, jedoch vorher Vorlage bei Experten (Sozialpsychologen) -- 1. Rating der Sätze durch Experten (jeden Stimulus mit Punktzahl -5 bis 5, schlechte/gute Nachbarschaftskontakte) -- 2. Sätze mit zu hoher Varianz an Bewertung werden ausgeschlossen -- 3. Arithmetische Mittel (od. Median) aus Experten-Urteil für jedes Item -- 4. für jedes Item wird ein Wert festgelegt (z.B. erstes Item -2, wer also im ersten Item zustimmt, generiert -2 Punkte auf seiner Testscore, wer ablehnt generiert keine Punkte) -> Zustimmung: entsprechende Punktzahl -> Ablehnung: keine Punkte -- 5. Summenscore (Addition aller Punkte, Summenscore ist dann Testergebnis)
• Skalentypen - Teil 2 (Likert-Skala) - Oft i.d.P. eingesetzt, am einfachsten zu erstellen - Gegensatz Thurstone: keine aufwendigen Expertenratings - Zu einem Stimulus werden verschiedene Antwortmöglichkeiten vorgegeben (eindeutig zutreffend, zutreffend, neutral, zutreffend, …) - Antworten werden Ordnungszahlen zugeordnet (experten raten 4, damit Proband gezwungen wird Position zu beziehen und nicht die neutrale Mitte 3 ankreuzt) - Testscore = für jeden Probanden die Summe der von ihm angekreuzten Ordnungsnummern - Testscore von 1+2+4+5 ist identisch mit einem von 1+3+3+5 (somit Likert nur anwendbar, wenn man bereit ist zu unterstellen, dass Ordnungsnummern äquidistant sind, gleichwertig sind (ordinal + intervallskaliert)
• Skalentypen - Teil 2 (Guttman-Skala) - Komplexer als vorherige Typen - schwieriger geeignete Items zu finden, die im Einklang mit Modellannahmen der Guttman Skala stehen - Annahme: Items stehen zueinander in hierarchischem Verhältnis (Bejahung eines Items, impliziert stets die Bejahung aller hierarchisch nachgeordneten Items) - z.B. Item 4 über Item 3, usw. Proband der Item 3 bejaht muss also auch Item 2 und 1 bejahen, ansonsten Problem, siehe nachfolgend - Gehen Probanden mit ihrem Antworten nicht konform mit der Hierarchie -> Eliminierung entsprechendes Item, bei zu vielen Problemen anderes Modell wählen - Testscore: Anzahl der bejahten Aussagen
• Skalentypen - Teil 2 (Rasch-Skala) - Rasch Modell begründet die Rasch-Skala - Entwicklung Itembatterie aus dichotomen Stimuli, die mit allen Modellimplikationen des Rasch-Modells konformgehen (erst dann gilt Test, der auf Itembatterie beruht, als Rasch-skaliert) - Testscore: Anzahl richtiger Antworten (Lösen einer sehr schweren Aufg. nicht besser als Lösen einer sehr leichten Aufg.) - Bei Bestimmung der Persönlichkeitsparameter i. R. eines Rasch-skalierten Tests geht’s es nur um Anzahl der gelösten Aufgaben, nicht aber um die Schwierigkeit) - Bsp.: Messgerät „Minigolfanlage“, mit dem man das latente „Minigolfkönnen“ der Probanden messen will, Schwierigkeitsunterschiede von Loch zu Loch sind nicht sehr gewaltig, deshalb keine Aussagen möglich wer gut und schlecht ist, Gesamtzahl der Schläge daher viel aussagekräftiger
• Indexbildung - Test -> Schluss auf latente Variable mittels Item - Hierzu werden Item-Responses (Verhaltensreaktionen auf einzelne Stimuli des Tests) zu einer Kennzahl zusammengefasst z.B. Klassenarbeit, 10 Stück, arithmetisches Mittel aus allen - Solche Kennzahl -> unmittelbares Ergebnis von Test = Index im Sinne der Testtheorie, wird aus mehreren Größen errrechnet, wenn z.B. sich das latente Merkmal aus mehreren anderen latenten Merkmalen zusammensetzt (bisher Summenscore, gleichberechtigtes Aufaddieren aller erreichten Punkte) - Problem: oft latente Merkmale aus vielen versch. Latenten zusammengesetzt z.B. Intelligenz -> sprachlicher, rechnerischer, räumlicher, usw. -> genau überlegen wie einzelnen Indikatoren in Index des Tests eingehen soll - Additive Indizes: ∑ αⁱ * vⁱ -- α: Gewicht Einzelindikator -- v: Wert, der bei Einzelindikator gemessen wurde (ist eig. Auch ein Index, Summenscore) - Ungewichteter Summenindex: alle α´s gleich, z.B. artmeth. Mittel - Gewichteter Summenindex: untersch. Begabungen untersch. Wichtig  - Dazu eignet sich die Delphi Methode - Multiplikativer Index: z.B. Begabung, Fleiß und Vorkenntnisse verknüpfen multiplikativ den zukünftigen Erfolg einer Statistikklausur - Einzelindikatoren spannen Raum auf, dessen Volumen als Index vom Test fungiert -> Idee: wechselseitig Voraussetzung (ein Merkmal 0 -> alle 0) - Interpretatorisch: Gegenteil von additivem Index - größer: alle Einzelmerkmale gleich stark ausgeprägt -> Binomische Formel - Qualität eines Indexes hängt davon ab, ob alle Dimensionen/Indikatoren ausgewählt und angemessen gewichtet wurden (additiver Index macht Ausgleich möglich aufgrund Einzelindikatoren, Kompensationsmöglichkeit, gut für Umfragen bei der die Probanden einige Antworten verweigern) - Multiple Regression (mehrdimensionale Variante lin. Regression) -- bestimmt Gewichte derart (β), dass die beobachtete Empirie y möglichst gut erfasst wird
• Indexbildung (Delphi Methode) - Problem: angemessene Gewichte -> durch normative Indexbildung (Expertengespräch/Rating, eigene Überlegung angemessene Gewichtung) -> Objektivität d. Gewichtung: mehrere Experten befragen - Delphi Methode dafür geeignet - Ablauf: -- 1. Runde: Stellungnahme der Experten -- 2. Runde: erneute Befragung, jedoch anonyme Mitteilung der Einschätzungen aus erster Runde -> Soll zu Überdenken der Bewertung führen --- Quantitativ lassen sich die versch. Voten versch. Experten mit Cohens Kappa testen --- empirisch-analytische Gewichtsbestimmung ist über explorative Faktorenanalyse möglich (wechselseitiges Zusammenhängen der Einzelindikatoren -> Korrelationsmatrix, Berechnung Faktorladung für jede Variable, die angibt wie eng der Zusammenhang zwischen Indikatorvariablen und dem latenten Merkmal (Faktor) ist, Wertebereich -1 bis +1, können als Gewichtsfaktoren dienen)

zurück  |  weiter 1 / 1