11
Forschungsmethodik (Fach) / Lektion 05 (Prüfung der Gütekriterien in der quantitativen Forschung) (Lektion)
Methodik
Diese Lektion wurde von Dennis1602 erstellt.
Diese Lektion ist leider nicht zum lernen freigegeben.
Anzeige
- Allgemeines - Schwierige Leistungsmessung im Fußball, wer ist die bessere Mannschaft? - Jede Messung unter Mitwirkung eines anderen Gegners, Leistung kann nicht konstant gehalten werden, verschiedene Spiele also Zeitreihe - Es gibt also gute und weniger gute Messinstrumente
- Gütekriterium Objektivität - Objektivität = Ausmaß der Unabhängigkeit eines Test- oder Messverfahrens vom Versuchsleiter - Objektivität direkte Umsetzung der Charakterisierung von Wissenschaft als unpersö. Erkenntnissystem - Bei gleichen Einflussfaktoren (konstante Versuchsumgebung, Messzeitpunkt) und nur Änderung des wissenschaftlichen Personals darf bei perfekt objektiven Test keine systematischen, überzufälligen Schwankungen der Messwerte ausgelöst werden - Bei nicht objektiven Test existiert ein überzufälliger Versuchsleiter-Effekt auch bei willentlicher Verzerrung -> nicht objektive Untersuchung ist unwissenschaftlich - Obj. ≠ Wahrheit -> eher: intersubjektive Transmissibilität - Aufgrund objektiven Methode können Untersuchungsergebnisse nur „vorläufig gesichert“ betrachtet werden - Werden manifeste Merkmale durch zwei verschiedene Versuchsleiter in Form kategorialer Daten festgehalten (signiert) -> leichte Berechnung der Signierobjektivität mithilfe Übereinstimmungsmatrix - Zwei Forschende haben 84 Verhaltensreaktionen beobachtet und signiert -> jede Reaktion wird einer Kategorie zugeordnet -> folgende Übereinstimmungsmatrix ergibt sich - Zelle mit 3 bedeutet, dass es genau 3 Verhaltensreaktionen gab, die F1 als Fall D und F2 als Fall A gedeutet hat - Grau hinterlegte Zahlen -> Randzahlen einer Randverteilung (Urteile einer Person unter Ausblendung der anderen Person) z.B. Zelle 19 -> F2 hat von 84 Reizreaktionen genau 19 als Fall B eingestuft - Bei perfekter Einstufung/Objektivität -> alle Zellen der Matrix 0 bis auf Diagonale, da hier Deckung Votum von F1 und F2 - D.h. hier Großteil der Zahlen auf der Diagonalen -> erster Hinweis, dass Aufzeichnungen der beiden Forscher im Wesentlichen übereinstimmen
- Gütekriterium Objektivität (Cohens Kappa (Grad der Übereinstimmung)) - Erst Bestimmung Anteil der übereinstimmenden Voten an der Gesamtzahl der Voten p = (Zahlen der Diagonalen / Gesamtzahl) -> in 79% der Fälle stimmen die Forschenden überein - Anschließend Berechnung Übereinstimmung, wenn Forschende willkürlich durch zufälliges Auswürfeln ihre Urteile bilden würden q = (Randzahl 1 F1/ Gesamtzahlen) * (Randzahl 1 F2 / Gesamtzahlen) + (Randzahl 2 F1/ Gesamtzahlen) * (Randzahl 2 F2 / Gesamtzahlen) + ... + ..... k = (p-q) / (1-q) - Perfekte zufällige Übereinstimmung -> Produkt der Randzahlen - Cohens Kappa immer größer oder gleich Null - k < 0,4 schlechte Signierobjektivität - 0,4 bis 0,6 akzeptable SO - 0,6 bis 0,75 gute SO - k > 0,75 ausgezeichnete SO - Interesse an der Frage wie hoch der überzufällige Anteil der Übereinstimmung ist -> - Cohens K = Anteil der beobacht. Übereinstimmungen (abzgl. Durchschn. möglichen zufälligen Übereinstimmung) an der max. mögl. Übereinstimmung (abzgl. Durchschn. mögl. zufäll. Ü.) - Voraussetzung: Forschende arbeiten mit gleichen manifesten Verhaltensreaktionen (wenn beide bspw. Gleiche Niederschrift bearbeiten oder gleiches Videoband analysieren) - Forschende haben nicht immer gleiches Material vorliegen - Konzeptionelles Problem: Messwiederholung unter gleichen Umständen oft nicht möglich (leichte Diskrepanz zwischen Zeitpunkten Messung A und Messung B, Welt hat sich geändert, Lerneffekte, Generierung neue Stichprobe nötig die, andere Untersuchungsobjekte enthält) - In Praxis: Objektivität ist per Gedankenexperiment abschätzen (je nach Schwankung situativer Bedingungen kann man von spezifischer Art von Objektivität sprechen)
- Gütekriterium Objektivität (Versuchsleitereffekt) - Wenn Anwesenheit des Versuchsleiters dazu führt, dass Situation nicht mehr natürlich ist und die Probanden daher anderes Verhalten an den Tag legen werden - Wenn Versuchsleiter aufgrund seiner wirtschaftspolitischen Einstellung unbewusst auf die Messung einwirkt
- Gütekriterium Validität - Übereinstimmungsgrad zwischen dem was ein Test messen soll und tatsächlich misst - Grad der Gültigkeit der Messung bzw. Aussagefähigkeit des Testergebnisses bzgl. Messintention - z.B. alte Waage nicht valide, wenn sie das Körpergewicht unterschiedlich misst bei unebenem Boden - Inhaltvalidität, Konstruktvalidität, Konvergenzvalidität, prognostische Konstruktvalidität, interne Validität, externe Validität
- Inhaltvalidität Inhaltvalidität = Kontrast was Test an Messung erzeugt mit operationalisierten Definition des Merkmals Test ist inhaltlich valide, wenn die operationalisierten messbaren Merkmale richtig gemessen werden - Bsp.: -- latentes Merkmal "sozialer Status" = Einkommen + Bildung (gibt unterschiedliche operationaliserende definitionen was sozialer Status ist), Inhaltsvalidität gegeben, wenn großteil der Masse zustimmt
- Konstruktvalidität - Konstruktvalidität = ist gegeben wenn das, was ein Test an Messung erzeugt mit dem, was als latenes Merkmal die Intention der Messung darstellt, kontrastiert wird - Bsp.: -- Ermittlung Verbraucherpreisindex anhand Warenkorb, nie Kritik bzgl. Inhaltvalidität, allerdings Kritik an Zusammensetzung des Warenkorbs (also die oper. Definition der Lebenshaltungskosten und die oper. Definition des typischen Verbrauchers -- Konstrukt okay (anhand des Warenkorbs die Preise zu berechnen, aber Kritik an Inhalten des Warenkorbs) -- Kritik: Verbraucherpreisindex orientiere sich zu wenig an der sozialen Unterschicht -> Infragestellung der Konstruktvalidität des Messinstruments
- Konvergenzvalidität - Konvergenzvalidität = Vergleich Messinstrument mit anderen Messinstrumenten, die gleiche latente Konstrukt messen z.B. bei Markteinführung elektronisches Thermometer, Vergleich Messergebnisse mit denen eines alten Thermometers Korrelationskoeffizient = Kovarianz,also Summe der Produkte der Abweichungen / Varianz Sigma x * Varianz Sigma y
- Prognostische Konstruktvalidität - Prognostische Konstruktvalidität = Abgleich eines Messinstruments mit Vorhersagen, die unmittelbar aus den Messungen abgeleitet werden (Thermometer meldet mit zu großer Verzögerung, dann nicht prog. Konstruktvalidität nicht erfüllt)
- Interne und Externe Validität - Interne Validität = verletzt, wenn Messergebnisse aus sachzwänglichen Gründen falsch sein müssen (bei Messung Ergebnis mehr als -273 Grad Kelvin, physikalisch unmöglich) - Externe Validität = Sammelbegriff für alle nicht internen Validitätsbegriffe
- Anzeige
- Gütekriterium Reliabilität - gibt die Zuverlässigkeit an - Messinstrument reliabel, wenn bei Messwiederholung unter gleichen Umständen (nach Abzug zufälliger Fehler) dieselbe Maßzahl ermittelt wird - Ignorieren des natürlichen Fehlerrauschens, Fehler ist nicht dem Messgerät zuzuschreiben, sondern liegt in der Natur der Welt, dass Phänomene von einem Zufallsrauschen überdeckt werden - Bsp.: -- Latentes Merkmal von Person X durch Messzahl 3 wiedergegeben, natürliches Zufallsrauschen Varianz von 5, also Latentes Merkmal im Test Zahlen zwischen -2 und 8 -- i.d.P. sind den Forschenden diese Informationen jedoch unbekannt, schwierige Ermittlung der wahren Varianz, wir gehen hier davon aus, dass die Informationen vorliegen -- nun Messinstrument, welches im Laufe vieler Messungen in den Messungen Varianz von 8 aufweist -- fügt dem natürlichen Fehlerrauschen noch ein eigenes Fehlerrauschen hinzu -> also nicht reliabel -- Maßzahl für Reliabilität = Quotient aus natürlicher (wahrer) Varianz und beobachteter Varianz -- Wahre Varianz stets kleiner oder gleich der beobachteten Varianz -- Reliabilität ist also Zahl zwischen Null und 1 -- Nahe 1 steht für hohe Güte, nahe 0 für schlechte Reliabilität - Test, der nicht objektiv ist, ist auch nicht valide - Test, der nicht reliabel ist, ist auch nicht valide - Test, der nicht objektiv ist, ist auch nicht reliabel