59
ausgewählte Methoden (Subject) / h (Lesson)
- Was ist die Testmacht (Power)? α ist die Wahrscheinlichkeit die H0 zu verwerfen (also die H1 anzunehmen), obwohl sie in der Bevölkerung nicht gilt (in der Pop gilt H0, wir nehmen aber die H1 an).β ist die Wahrscheinlichkeit, die H0 nicht zu verwerfen (also sie beizubehalten), obwohl sie in Wirklichkeit in der Population nicht gilt (in der Pop gilt H1, wir behalten aber H0 bei). 1-β ist daher die Wahrscheinlichkeit die H0 zu verwerfen, wenn sie in Pop nicht gilt (sprich, die H1 wird angenommen, da sie in der Pop gilt). Power ist als 1-β definiert und wird üblicherweise mit 1 - .20 = .80 festgelegt.
- Was muss man bei der Berechnung von N berücksichtigen? Publizierte Effekte sind meistens zu groß bzw. eine Überschätzung der Wirklichkeit (da sonst nicht publiziert wird). Um spezifische H1 bestmöglich testen zu können, sollte ein optimaler Stichprobenumfang ermittelt werden, welcher jedoch eher als minimaler Umfang behandelt werden sollte- der mittels g*Power oder Tabellen berechnete Umfang gibt das N an, mit den gewünschte Power gerade so erreicht wird. Wichtig ist jedoch auch, dass mit steigendem N ab einem gewissen Punkt jede beliebige H0 mit Sicherheit verworfen wird, da jeder beliebig kleine Effekt signifikant werden kann. Overpowered Study: Verwerfen der H0 bedeutet nicht unbedingt, dass ein bedeutsamer Effekt gefunden wurde (→Uninteressante Effekte ohne Realbedeutung werden gefunden) Underpowered Study: Beibehalten der H0 bedeutet nicht unbedingt, dass kein Effekt existiert (→Effekte können nicht gefunden werden, obwohl es sie gibt)
- Erhebungsmethoden in der psychologischen Forschung können durch Selbst- und durch Fremdbeurteilungen zustande kommen. Was bezeichnet die Interraterreliabilität und hinsichtlich welcher Aspekte liefert sie Aussagen? Interraterreliabilität ist das Maß der Übereinstimmung zwischen zwei oder mehr Ratern, die unabhängig voneinander zum gleichen Ergebnis gekommen sein müssen. Sie liefert Aussagen hinsichtlich der Genauigkeit von Urteilen und der Objektivität, d.h. grundsätzlich sollten die Rater austauschbar sein und das Urteil eines einzelnen Raters ausreichend. Die Urteile spiegeln dann die Wahre Merkmalsausprägung wider.
- Welche Voraussetzungen hat die Bestimmung der Interraterreliabilität und wie kann sie bestimmt werden? Was ist Konkordanz und was Reliabilität in diesem Kontext Mindestens zwei Rater müssen unabhängig voneinander in der gleichen Sache zum gleichen Ergebnis gekommen sein. Das macht Mehrfachbefragungen von Personen notwendig. Sie werden mit Maßen der Beurteilerübereinstimmung bestimmt, abhängig von Skalenniveau. Konkordanz bezeichnet die absolute Gleichheit von Urteilen, Reliabilität ist die relative Gleichheit (Ähnlichkeit) von Urteilen.
- Auf welchen Ebenen ist Nicht-Übereinstimmung erwartbar? Ebene der Operationalisierung Ebene der Durchführenden Rater Ebene der Interviewten
- Wie funktioniert die Konkordanzbestimmung mittels prozentualer Übereinstimmung? Was ist die Schwierigkeit dieser Bestimmung? Die prozentuale Übereinstimmung ist die Anzahl der Übereinstimmung/Anzahl der beurteilten Personen x 100. Anschauliches Maß, jedoch wird es auch zufällige Übereinstimmungen geben, was hier nicht berücksichtigt wird. Die führt zu Überschätzung der Konkordanz.
- Wie funktioniert die Konkordanzbestimmung mittels Cohens Kappa? Welchen Vorteil hat es gegenüber prozentualer Übereinstimmung? Welchen Wertebereich hat es und was bedeuten die Werte? Welche Cutoffs hat Kappa und durch was wird es beeinflusst? Was ist das gewichtete Kappa Cohens Kappa ist ein zufallsbereinigtes Maß, welches die Anzahl der zufällig konkordanten Urteile zweier Rater schätzt. Es ist der Anteil der über den Zufall hinausgehenden konkordanten Urteile gemessen an den theoretisch möglichen.Kappa hat einen Wertebereich von -1 bis +1, wobei -1 = keine beobachteten Übereinstimmungen, 0 = nur durch den Zufall erwartete Übereinstimmungen sind beobachtet worden, +1 = perfekte Konkordanz. Wenn Kappa signifikant ausfällt, ist ein Kappa >.75 sehr gut und eines < .40 mangelhaft. Dies ist jedoch auch von anderen Faktoren beeinflusst, was die Interpretation erschwert und den Nutzen verringert: Ungleiche Randverteilungen der Urteile, geringe Anzahl an Beurteilungskategorien und geringe Besetzung von Zellen, niedrige Prävalenz des Merkmals Das gewichtete Kappa ist für ordinale Kategoriensysteme geeigneter, da beim normalen Kappa alle Nicht-Übereinstimmungen gleich schwer wiegen (mach aber z.B. bei verschiedenen Schweregraden einer Erkrankung wenig Sinn). Das gewichtete Kappa ist aber dann nur mehr ein Maß der relativen Gleichheit, welches normalerweise höher ausfällt als ungewichtetes Kappa.
- Wie funktioniert die Konkordanzbestimmung mittels Fleiss‘ Kappa? Was ist der Unterschied zu Cohens Kappa? Fleiss Kappa ist eine Erweiterung auf mehr als zwei Rater, welches die mittlere Konkordanz aller Rater über alle Objekte bestimmt. Es wird wie Cohens Kappa interpretiert, aber es ist keine Gewichtung mehr möglich.
- Welche anderen Maße können zur Beurteilerübereinstimmung genommen werden? Odds Ratio kann für dichotome Skalen und zwei Rater ebenso verwendet werden. Außerdem die Intraklassenkorrelation (ICC), die für metrische Skalen ein Maß der Varianzaufklärung (Wertebereich 0 bis 1) darstellt. Es ist für zwei oder mehr Rater geeignet und kann die absolute und relative Gleichheit bestimmen.
Advertisement