Psychologie - Forschungsmethoden (Fach) / Teil 3 Inferenzstatistik (Lektion)

Diese Lektion wurde von mosaicpilz erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• 10 Grundlagen der Inferenzstatistik 10.1 Anfang Grundlagen der Inferenzstatistik Psychologische und sozialwissenschaftliche Theorien beziehen sich fast nie auf Stichproben und fast immer auf Populationen. Da selten alle Mitglieder einer Population untersucht werden können, benutzt man Stichprobenstatistiken als Schätzungen für Populationsparameter. Beides sind Bezeichnungen für zusammengefasste Werte wie Anteile, Mittelwerte, Mittelwertsunterschiede oder Varianzen. Warum und wie man solche Schlüsse oder Inferenzen von der Stichprobe auf die Population ziehen kann, ist Gegenstand der Inferenzstatistik. Die zwei inferenzstatistischen Verfahren, mit denen sich in diesem Buch hauptsächlich beschäftigt werden wird, sind Konfidenzintervalle und Signifikanztests. Konfidenzintervalle dienen dazu, Genauigkeitsaussagen über Schätzungen von Populationsparametern zu treffen, und Signifikanztests benutzt man, um Hypothesen über Populationsparameter zu prüfen. In diesem Kapitel behandeln wir die wahrscheinlichkeitstheoretischen Grundlagen der Inferenzstatistik, auf denen alle speziellen Verfahren, die in den nächsten Kapiteln beschrieben werden, beruhen. Theoretische Grundlage für Aussagen über die Population aufgrund der Stichprobe sind Stichprobenverteilungen. Das sind theoretische Verteilungen von Stichprobenstatistiken, die Auskunft darüber geben, mit welcher Wahrscheinlichkeit man welche Stichprobenergebnisse erwarten kann, wenn man bestimmte Annahmen über die jeweilige Population trifft.
• 10 Grundlagen der Inferenzstatistik 10.1 Wahrscheinlichkeiten, kurz gefasst 10.1.1 Was ist Wahrscheinlichkeit? Wahrscheinlichkeiten, kurz gefasst: Schlussfolgerungen, Inferenzen oder Schlüsse über Populationsparameter sind immer potenziell fehlerbehaftet, man kann aber versuchen, solche Schätzungen oder Urteile so genau und fundiert wie möglich zu machen – hierzu muss man mit Wahrscheinlichkeiten operieren. Was ist Wahrscheinlichkeit? Häufige Unterscheidung zwischen subjektiver Wahrscheinlichkeit. klassischer Wahrscheinlichkeit. empirischer / frequentistischer Wahrscheinlichkeit Wahrscheinlichkeiten variieren zwischen p = 0 und p = 1 (p steht für probability) oder zwischen 0% und 100%. zu 1) Grundlage für die subjektive Einschätzung ist ein Gefühl oder eine Intuition. zu 2) Mehr Übereinstimmung kann man erwarten, wenn man Wahrscheinlichkeit nach dem klassischen Ansatz bestimmt. BSP: Würfel, Münze: Generell kommt man zur entsprechenden Wahrscheinlichkeit eines Ereignisses A, indem man die Anzahl der „günstigen“ Fälle durch die Anzahl der möglichen Fälle teilt, die sich wiederum zusammensetzen aus der Anzahl der günstigen Fälle und der nicht-günstigen Fälle. BSP. Will man eine 6 würfeln, gibt es einen günstigen Fall (6) und 5 ungünstige Fälle (1, 2, 3, 4, 5). Die Wahrscheinlichkeit, eine 6 zu würfeln, ist also p = 1/(1 + 5) = 1/6 und die Wahrscheinlichkeit, dass die Münze auf den Kopf fällt, ist p = 1/(1 + 1) = 1/2. Der Anwendungsbereich für diese klassische Vorgehensweise ist offensichtlich sehr eingeschränkt, weil die Wahrscheinlichkeit der Einzelergebnisse eindeutig aus den Eigenschaften der betreffenden Gegenstände bestimmbar sein muss. Subjektive Wahrscheinlichkeiten können dem gegenüber zwar prinzipiell immer geschätzt werden, aber oft wird es große Uneinigkeit über die genaue Werte geben. zu 3) Deswegen nutzt man in der Praxis meist empirische / frequentistische Wahrscheinlichkeiten — man schätzt sie aufgrund relativer Häufigkeiten. Die Grundlage für die Häufigkeitswerte sind jedoch nicht theoretische Überlegungen, sondern Beobachtungen. Die relative Häufigkeit erhält man, indem man die Anzahl der „passenden“ Beobachtungen f(A) (f steht für frequency) durch die Anzahl aller relevanten Beobachtungen, der passenden wie der nicht-passenden f(-A) (- steht für nicht), teilt:  p(A) = f(A) / f(A / -A) BSP. In einer Zufallsstichprobe leiden 6 Frauen an Depression und 14 nicht, dann wäre die Schätzung für die Wahrscheinlichkeit, dass eine zufällig ausgewählte Frau aus der entsprechenden Population an Depression leidet, p = 6/(6 + 14) = 0.3, oder 30%. Besonders wichtig ist bei frequentistischen Wahrscheinlichkeiten die Rolle des Zufalls. Während der Zufalls bei klassischen Wahrscheinlichkeiten gewissermaßen „automatisch“ mitspielt, muss man bei frequentistischen Wahrscheinlichkeiten darauf achten, dass die Häufigkeiten, die man zur Wahrscheinlichkeitsschätzung benutzt, durch eine Zufallsstichprobe entstanden sind oder zumindest so interpretiert werden können.
• 10 Grundlagen der Inferenzstatistik 10.1 Wahrscheinlichkeiten, kurz gefasst 10.1.2 Wahrscheinlichkeit von Konjunktionen und bedingte Wahrscheinlichkeiten Wahrscheinlichkeit von Konjunktionen [1] und bedingte Wahrscheinlichkeiten [1] in der Logik eine Verknüpfung von Aussagen (Wikipedia) Wahrscheinlichkeitsschätzungen beziehen sich häufig auf zusammengesetzte Ereignisse oder Konjunktionen, wie z. B. „Die Sonne scheint und es ist warm“ oder „Das Essen schmeckt, aber es ist teuer“: und und aber zeigen hier, dass beide Ereignisse jeweils zusammen zutreffen müssen. BSP. > Ein Schüler hat im Abschlusszeugnis in Mathematik die Note Vier erzielt. Welche der folgenden Aussagen trifft für ihn mit größerer Wahrscheinlichkeit zu? a) Er hatte eine Sechs in Mathe im Halbjahreszeugnis. b) Er hatte eine Sechs in Mathe im Halbjahreszeugnis, hat aber im zweiten Halbjahr Nachhilfe in Mathe erhalten. Wahrscheinlichkeit für eine 6 im Halbjahreszeugnis: 8/30, dass ein Schüler Nachhilfe bekam: 12/30, aber die Wahrscheinlichkeit der Konjunktion ist nur 5/30. ! -> immer dieselbe Schlussfolgerung: Die Wahrscheinlichkeit einer Konjunktion kann nie größer sein als die Wahrscheinlichkeit jeder der Einzelwahrscheinlichkeiten. <- ! Die Wahrscheinlichkeiten von Konjunktionen ist für sich gesehen schon interessant, aber sie werden auch gebraucht, um bedingte Wahrscheinlichkeiten zu bestimmen. In einfachen Fällen erkennt man die Bedingung an dem Wort wenn, das die Bedingung spezifiziert: Wie groß ist die Wahrscheinlichkeit, dass ein Schüler (Foto oben) Nachhilfe bekommen hat, wenn er eine Sechs im Halbjahreszeugnis hatte? -> Anteil der Schüler, auf die beides zutrifft (Nachhilfe und Sechs – eine Konjunktion), an den Schülern, die eine Sechs hatten (die Bedingung): 5 von 8 oder 5/8. Generell kann man eine bedingte Wahrscheinlichkeit für das Ereignis A unter der Bedingung B mit folgender Formel berechnen (rechts von dem senkrechten Strich „|“ steht die Bedingung und das Zeichen „˄“ steht für „und“): p(A|B) = p(A ˄ B) / p(B) BSP. p(Nachhilfe|Sechs) = p(Nachhilfe ˄ Sechs) / p(Sechs) = 5/8 Man kann auch zuerst die Wahrscheinlichkeiten für Zähler und Nenner schätzen und dann damit weiter rechnen (insbesondere, wenn diese Wahrscheinlichkeiten schon zur Verfügung stehen, wird man so verfahren). Bedingte Wahrscheinlichkeiten kommen im Alltag häufig vor, sind aber nicht immer leicht zu erkennen, wie an folgendem Beispiel: Welches der folgenden Ereignisse ist wahrscheinlicher? a) Eine Hausfrau hat promoviert. b) Eine promovierte Frau ist Hausfrau. Das Problem ist hier, erst einmal zu erkennen, dass es sich um bedingte Wahrscheinlichkeiten handelt. Übersetzt in eine formale Notation wären die Aussagen a und b: a) p(promoviert | Hausfrau) b) p(Hausfrau | promoviert) Die Wahrscheinlichkeit der Konjunktion ist in beiden Fällen gleich, die Wahrscheinlichkeiten für die Bedingungen unterscheiden sich jedoch deutlich. p(promoviert) < p(Hausfrau). Da man ja bei dieser Aufgabe die Wahrscheinlichkeit derselben Konjunktion durch die Wahrscheinlichkeit der entsprechenden Bedingung teilt, ist die (bedingte) Wahrscheinlichkeit für die Aussage a (teilen durch p(Hausfrau)) deutlich kleiner als die für Aussage b (teilen durch p(promoviert)). Wie aber kann man die Wahrscheinlichkeit einer Konjunktion berechnen, wenn man das Stichprobenergebnis nicht im Detail zur Verfügung hat? Das ist durch eine einfache Umstellung der obigen Formel möglich: p(A ˄ B) = p(A|B) * p(B) Auf der rechten Seite der Gleichung steht p(A | B), was ausdrückt, dass man eine mögliche Abhängigkeit des Auftretens des Ereignisses A vom Auftreten des Ereignisses B bei der Berechnung einer Wahrscheinlichkeit einer Konjunktion mit berücksichtigt. Die beiden Ergebnisse können aber auch unabhängig voneinander auftreten. Beispiele für unabhängige Ereignisse sind (sich nicht beeinflussende) wiederholte Zufallsexperimente, wie etwa Münzwürfe oder Würfelergebnisse -> Wurf A hat keinerlei Auswirkung auf Wurf B. Eine wichtige Art von unabhängigen Ereignissen, mit denen wir es immer wieder zu tun haben, sind Zufallsziehungen aus einer Population. Wenn ich zufällig eine Person aus der Population auswähle und ihre Körpergröße messe, dann hat das keine Einfluss darauf, welche Körpergröße die nächste zufällig gezogene Person haben wird (die erste Person ist dabei wieder mit in der Population). Auf diese Art der Unabhängigkeit (das Ergebnis in einer Zufallsziehung ist unabhängig von dem in einer anderen) werden wir wiederholt zurückkommen. Wenn nun das Ereignis A unabhängig vom Ereignis B auftritt (die Wahrscheinlichkeit von A bleibt gleich, ob nun das Ergebnis B aufgetreten ist oder nicht), dann kann man die Wahrscheinlichkeit einer Konjunktion noch einfacher berechnen: wenn die Bedingung keine Rolle spielt, kann man sie weglassen: p(A ˄ B) = p(A) * p(B) Diese sogenannte Produktregel der Wahrscheinlichkeitstheorie kann man auf beliebig viele unabhängige Ereignisse erweitern und deswegen auch für die Ableitung der konjunktiven Wahrscheinlichkeiten für die sogenannte Binomialverteilung nutzen.
• 10 Grundlagen der Inferenzstatistik 10.2 Von der Population über Stichproben zur Stichprobenverteilung 10.2.1 Simulationsbeispiel für Anteile 10.2.2 Simulationsbeispiel für Mittelwert 10.2.3 Die tatsächliche Vorgehensweise: Von der Stichprobe zur Population Von der Population über Stichproben zur Stichprobenverteilung: Stichprobenverteilungen als Bindeglied zw. Stichprobenergebnissen und Populationsparametern (z. B. Anteile, Mittelwerte, Varianzen). Empirische Stichprobenverteilungen = Verteilungen der aus Stichprobenstatistiken von wiederholt aus der Population gezogenen Stichproben Theoretische Stichprobenverteilungen = Verteilung unendlich vieler Stichprobenstatistiken (berechnet aus den Resultaten unendlich vieler Stichprobenziehungen aus derselben Population). Bevor man sie verwendet, werden diese Verteilungen standardisiert, so dass ihre Fläche den Wert 1 (oder 100%) hat. Dann kann man nämlich die Höhe der Verteilung über einem Wert oder einem Intervall von Werten (auf der y-Achse) als Wahrscheinlichkeit interpretieren. Theoretische Stichprobenverteilungen werden allerdings in der Regel mathematisch abgeleitet. ! Im Folgenden sind mit dem Ausdruck „Stichprobenverteilung“ immer theoretische Stichprobenverteilungen gemeint. Zwei Simulationsbeispiele, um zu zeigen, wie durch die wiederholte Ziehung von Zufallsstichproben aus einer Population Stichprobenverteilungen entstehen. Das erste BSP befasst sich mit nominalskalierten Daten (Stichprobenstatistik: Anteil) und das zweite mit intervallskalierten Daten (Stichprobenstatistik: Mittelwert). BSP 1) Simulationsbeispiel für Anteile (nominalskalierte Daten) BSP 3 x Ziehungen von Frauen, depressiv ja/nein. Jede Frau hat bei neuerlicher Ziehung (neuer Zufallsstichprobe) wieder die Chance gezogen zu werden.  >> Siehe auch Chips-BSP: Das Zurücklegen ist notwendig, damit sich die Anteile von „D“ und „G“ Chips nicht ändern. Aber: Wenn die Population sehr groß ist, macht es keinen praktisch bedeutsamen Unterschied, ob man mit oder ohne Zurücklegen zieht. << Die Unterschiede zwischen den drei Stichproben sind vollständig auf den Zufallsprozess zurückführbar, die Variation kommt also ausschließlich durch den sogenannten Stichprobenfehler zustande. Bei wiederholter Ziehung von Stichproben im Umfang n = 20 bekommt man insgesamt eine empirische Stichprobenverteilung, eine Verteilung von Stichprobenstatistiken. Wenn wir nur eine Stichprobe ziehen und den Anteil berechnen, ist es am wahrscheinlichsten, dass dieser Anteil mit dem Populationswert übereinstimmt. Selbst wenn keine totale Übereinstimmung vorliegt, ist die Wahrscheinlichkeit, dass der gefundene Anteil nahe am Populationsanteil liegt, viel größer, als dass er weit davon entfernt liegt. Bei Anteilen ist es automatisch so, dass auch die in der Stichprobe gefundene Streuung (eine weitere Stichprobenstatistik) eine gute Schätzung der Populationsstreuung ist, wenn der Anteil eine gute Schätzung war, denn die Streuung wird durch die Höhe des Anteils vollständig festgelegt. BSP 2) Simulationsbeispiel für Mittelwert (intervallskalierte Daten) BSP. Hypothetischer Mathematiktest, 0 – 10 Punkte möglich. Aus der Population werden wiederholt Stichproben unterschiedlicher Größe gezogen (n = 10, n = 40). Ziehungen mit n = 40 sehen der Populationsverteilung schon relativ ähnlich. -> Nun wird von jeder Stichprobe der Mittelwert (die Stichprobenstatistik) berechnet und in der empirischen Stichprobenverteilung angezeigt -> Streuung der empirischen Stichprobenverteilung ist deutlich kleiner, als die Streuung sowohl der Populationsverteilung als auch der Häufigkeitsverteilungen -> Höhere Stichprobengröße (n = 40) => geringer Streuung. Wenn also nur ein einziger Stichprobenmittelwert zur Verfügung stünde, dann wäre es vernünftig anzunehmen, dass dieser mit dem Populationsmittelwert übereinstimmt. Drastische Abweichungen vom Populationsmittelwert sind umso weniger zu erwarten, je größer die zugrunde liegende Stichprobe ist. Im Gegensatz zu Anteilen, aus denen die Streuung automatisch folgt, ist das bei Mittelwerten nicht der Fall. Selbst wenn der Mittelwert in der Stichprobe eine gute Schätzung für den Populationsmittelwert ist, heißt das nicht automatisch, dass auch die Varianz der Stichprobe eine gute Schätzung für die Populationsvarianz ist. Die tatsächliche Vorgehensweise: Von der Stichprobe zur Population In der Praxis nur eine einzige Stichprobe, deren Stichprobenstatistiken wir nutzen wollen, um Aussagen über die entsprechenden Populationsparameter zu treffen. Die Simulationen sollen demonstrieren, warum man die Stichprobenstatistiken selbst als Schätzungen für die Populationsparameter benutzen kann. Stichprobenstatistiken, die identisch mit den Populationsparametern sind oder zumindest sie sehr nahe an diesen liegen, haben auch im Vergleich zu anderen Ergebnissen die höchste Auftrittswahrscheinlichkeit (wobei Zufallsstichproben essentiell sind). Die Schätzung von Populationsparametern ist bei der Inferenzstatistik jedoch nur der erste Schritt bei der Konstruktion von Konfidenzintervallen, und bei Signifikanztests werden in der Regel nur Streuungsmaße für die Schätzung korrespondierender Populationsparameter benötigt. Was wir aber immer benötigen, um Genauigkeitsaussagen über Populationsparameter zu treffen (Konfidenzintervalle) oder Stichprobenergebnisse in Bezug auf die Hypothesen zu beurteilen (Signifikanztests), sind detaillierte Aussagen über die Wahrscheinlichkeiten, mit denen unterschiedliche Ergebnisse (unterschiedliche Werte für die Stichprobenstatistiken) auftreten: Wir benötigen (theoretische) Stichprobenverteilungen.
• 10 Grundlagen der Inferenzstatistik 10.3 Stichprobenverteilung für Anteile Stichprobenverteilung für Anteile: Herleitung von (theoretischen) Stichprobenverteilungen ist mathematisch nicht ganz einfach, Ausnahme: Binomialverteilung -> deswegen gutes BSP zur Veranschaulichung. Ausgangsbasis für Binomialverteilungen sind Zufallsexperimente (oder Bernoulli-Experiment(e): Ereignis, dessen Ausgang oder Ergebnis vom Zufall abhängt) mit nur zwei möglichen Ereignissen. Vorheriges Bespiel: Wahrscheinlichkeit einer depressiven Frau war p = 0.3 oder 30% (n = 20) Welche Informationen sind in dieser Stichprobenverteilung enthalten? Z. B. ist das wahrscheinlichste Ergebnis (p = 0.192 oder 19.2% Wahrscheinlichkeit, dass 6 Frauen depressiv sind) in einer solchen Stichprobe, dass 6 von 20 Frauen depressiv sind (= 30% Populationsanteil); es kann auch vorkommen, dass nur eine dieser Frauen depressiv ist, allerdings mit einer sehr geringen Wahrscheinlichkeit (p = 0.007 oder 0.7%) Binomialverteilung „per Hand“ BSP: Antwort auf vier Fragen raten (R = richtig, F = falsch) -> es gibt unterschiedliche Reihenfolgen möglicher Antworten, z.B. RFFR, RFRF, FFFF etc. Konstruktion einer Binomialverteilung [1 Name Binomialverteilung kommt daher, dass beim der in der Mahtematik als Binom bekannten Ausdruck (a+b)² a und b durch p und q ersetzt werden können, und sich bei der Expanision dieses Ausdrucks (wenn n=2) die Wahrscheinlichkeiten für 0, 1 und 2 "Erfolge" ergeben]: Schritt 1) Bestimmen der Anzahl möglicher Reihenfolgen für ein bestimmtes Ergebnis (z.B. zwei richtige Lösungen). Schritt 2) Wahrscheinlichkeit für eine der Reihenfolgen bestimmen (Wahrscheinlichkeit für die anderen Reihenfolgen ist dieselbe). Im BSP muss die Person raten, d. h. die Wahrscheinlichkeit für eine richtige und eine falsche Lösung wäre gleich: p(R) = p(F) = 0.5. Nun wird aber die Wahrscheinlichkeit für die gesamte Reihenfolge, also für vier Ereignisse zusammen benötigt = Wahrscheinlichkeit der Konjunktion dieser vier Ereignisse. Lösungswahrscheinlichkeiten für die vier Aufgaben sind unabhängig voneinander, weswegen wir die Produktregel anwenden und die Einzelwahrscheinlichkeiten multiplizieren können: p(FRRF) = 0.5 x 0.5 x 0.5 x 0.5 = 0.0625 oder 6.25%. Weil es insg. sechs solche Reihenfolgen mit jr zwei richtigen und zwei falschen Lösungen gibt, ist somit die Wahrscheinlichkeit von zwei richtigen Lösungen: 6.25% x 6 = 37.5%. Was bei z.B. vier Antwortalternativen (statt zwei) mit einer richtigen Antwort? -> Die Anzahl der Reihenfolgen für die richtigen Lösungen bleibt dieselbe, aber die Wahrscheinlichkeiten würden sich ändern, da nun p(R) = 0.25 und p(F) = 0.75. Somit wäre bspw. p(FRRF) = 0.75 x 0.25 x 0.25 x 0.75 = 0.03515625 oder 3.52%. Händisch möglich, aber leichter: Binomialverteilung mit Binomialformel Die Wahrscheinlichkeit von beliebigen Ergebnissen aus Bernoulli-Experimenten kann man mithilfe der Binomialformel berechnen. Sie beschreibt P(Ak), die Wahrscheinlichkeit, dass ein Ergebnis A in einem Zufallsexperiment mit n Ziehungen k-Mal eintritt. Ergebnis A hat bei jeder der n Ziehungen eine konstante Auftrittswahrscheinlichkeit p. P(Ak) = (n über k) pk (1 - p)n-k Der erste Teil des Ausdrucks auf der rechten Seite der Formel (ausgesprochen „n über k“) heißt Binomialkoeffizient und wird berechnet als (! = Fakultät): Der Binomialkoeffizient: Anzahl der Möglichkeiten, k Objekte aus n zu wählen. Der Rest der Formel (rechts vom Binomialkoeffizienten) ist die Wahrscheinlichkeit einer Konjunktion: das Produkt der Wahrscheinlichkeiten des Ergebnisses A und des Ergebnisses nicht A. Die Binomialverteilung ist also eine Erörterung dessen, was wir schon gehört haben: das Produkt aus der Anzahl der Reihenfolgen, mit denen ein Ergebnis zustande kommen kann, mal der Wahrscheinlichkeit einer dieser (gleich wahrscheinlichen) Reihenfolgen. Die Parameter der Binomialverteilung, d.h. die Kenngrößen, durch die sie vollständig bestimmt ist, sind n und p. BSP Wie groß ist die Wahrscheinlichkeit, dass von vier Rateaufgaben zwei richtig gelöst werden? Es gilt: n = 4, k = 2, p = 0.5.
• 10 Grundlagen der Inferenzstatistik 10.4 Lage- und Streuungsmaße von Stichprobenverteilungen 10.4.1 Binomialverteilung 10.4.2 Stichprobenverteilungen für Mittelwerte Lage- und Streuungsmaße von Stichprobenverteilungen: Wie Häufigkeitsverteilungen werden auch (hier: theoretische) Stichprobenverteilungen am besten durch Angabe von Lage- und Streuungsmaßen charakterisiert (zur Berechnung von Konfidenzintervallen und Berechnung von Signifikanztests nötig): Erwartungswert: (weil auf Population bezogen: Populationsmittelwert μ; bei empirischer Stichprobenverteilung: MW) Durchschnittswert, der bei unendlich oft durchgeführten Zufallsziehungen erwartet werden kann Varianz Standardabweichung (oder Stichprobenfehler, häufige Bezeichnung bei Stichprobenverteilungen) Erwartungswert und Varianz werden theoretisch abgeleitet oder aus Stichprobenergebnissen geschätzt: Binomialverteilung Bernoulli-Experimente (Zufallsexperiment mit zwei möglichen Ergebnissen) sind Ausgangsbasis für die Konstruktion von Binomialverteilungen. Erwartungswert, Varianz und Standardabweichung (bei Stichprobenverteilungen häufig als Standardfehler bezeichnet) beziehen sich im Folgenden immer auf „Erfolg“. Der Erwartungswert einer Binomialverteilung für die Anzahl der Erfolge bei n Durchführungen das Bernoulli-Experimente: E(Anzahl "Erfolge") = n*p BSP. 4 Rateaufgaben, Lösungswahrscheinlichkeit p = 0.5 -> Erwartungswert für Anzahl der Erfolge, also richtigen Lösungen: 2. Manchmal ist man nicht an der Anzahl der Erfolge, sondern an deren Anteil interessiert – dementsprechender Erwartungswert: E(Anzahl "Erfolge") =n*p / n = p Die Varianz einer Binomialverteilung ist: σ² = n*p*(1-p) und die Standardabweichung (der Standardfehler) für Erfolge als Wurzel der Varianz. BSP. 4 * 0.5 * 0.5 = 1 Den Standardfehler für Anteile erhält man wieder mittels Division: σAnteile = Wurzel(n*p*(1-p)) / n Zufallsvariablen = Variablen, deren mögliche Ergebnisse zwar bekannt sind, bei denen das aktuelle Ergebnis jedoch vom Zufall abhängt. Die möglichen Werte, die eine Zufallsvariable annehmen kann, und deren Wahrscheinlichkeiten können als Verteilung der Zufallsvariable dargestellt werden. Von solchen Zufallsvariablen können nun Erwartungswerte und Varianzen berechnet werden. Stichprobenverteilungen für Mittelwerte Forschung: häufiger Mittelwerte und Mittelwertsunterschiede als Anteile. Um Inferenzen über Mittelwerte und Mittelwertsunterschiede in der Population zu ziehen, stehen unterschiedliche Arten von Stichprobenverteilungen zur Verfügung (z.B. t-Verteilung, F-Verteilung). Hier zuerst: prinzipielle Vorgehensweise bei der Bestimmung von Erwartungswert und Varianz von Stichprobenverteilungen für Mittelwerte. Der Erwartungswert für den Mittelwert ist nichts anderes als der Erwartungswert für eine der Zufallsvariablen, aus der er berechnet wurde, und der Erwartungswert einer Zufallsvariable ist, nichts anderes als der Populationsmittelwert: E(-X-) = E(X) = μ Bestimmung des Erwartungswerts: Stichprobenmittelwert als Schätzung oder theoretische Vorgaben (aus Hypothesen abgeleitet). Die Varianz der Stichprobenverteilung muss in den meisten Fällen aus der Stichprobenvarianz geschätzt werden -> jedoch nicht die Stichprobenvarianz selbst wird benutzt, sondern eine leichte Modifikation, die Schätzung für die Populationsvarianz. Bei dieser wird die Summe der Abweichungsquadrate nicht durch n sondern durch 1 – n geteilt (warum -> siehe Kasten): Diese geteilt durch n ist die Varianz der Stichprobenverteilung für die Mittelwerte. Meist wird für konkrete Berechnungen aber nicht die Varianz, sondern der Standardfehler benutzt, da dieser in den Originalwerten ausgedruckt werden kann: Man erhält die Stichprobenvarianz für Mittelwerte, indem man die geschätzte Populationsvarianz durch n teilt! Argumentation für die Herleitung der Varianz ist analog zu der bei der Herleitung des Mittelwerts: Wenn wir die Varianz für eine Zufallsvariable kennen, dann können wir wieder die Summenregel der Varianz für unabhängige Zufallsvariablen anwenden und die Varianzen der n Zufallsvariablen aufaddieren. Stichprobenvarianz: Summe der Abweichungsquadrate wird durch n geteilt. Populationsvarianz: Summe der Abweichungsquadrate wird durch n – 1 geteilt; die Schätzung der Populationsvarianz wird dadurch dadurch genauer, weil die Stichprobenvarianz eine leichte Unterschätzung ist, die dadurch ausgeglichen wird, dass man die Summe der quadrierten Abweichungen durch n – 1 und nicht durch n teilt. Trotz der potenziell fehlerbehafteten Vorgehensweise: plausibelste Erwartung einer Zufallsziehung ist, dass das Stichprobenergebnis (die Häufigkeitsverteilung) repräsentativ für die Populationsverteilung ist. Wir können jetzt Lage- und Streuungsmaße für die Stichprobenverteilung von Mittelwerten schätzen. Was noch fehlt, ist die genaue Form der Stichprobenverteilung – die hängt von der Form der Populationsverteilung und vor allem von der Stichprobengröße ab. Zwar nehmen Stichprobenverteilungen mit steigender Stichprobengröße immer die Form einer Normalverteilung an (unabhängig davon, wie die Populationsverteilung aussieht!) – bei kleineren Stichproben benötigt man jedoch Annahmen über die Form der Populationsverteilung, um die genaue Form der entsprechenden Stichprobenverteilung zu bestimmten.
• 10 Grundlagen der Inferenzstatistik 10.5 Der Einfluss der Stichprobengröße auf die Stichprobenverteilung 10.5.1 Empirisches Gesetz der großen Zahlen 10.5.2 Zentraler Grenzwertsatz Der Einfluss der Stichprobengröße auf die Stichprobenverteilung: Mit steigender Stichprobengröße sinkt die Varianz der Stichprobenverteilung, weil die geschätzte Populationsvarianz durch n (nur die Summe der Abweichungsquadrate wird durch n – 1 geteilt) geteilt wird. Zwei Extreme: Bei n = 1 -> Varianzen von Stichprobenverteilung und Populationsverteilung gleich/ident, weil hier die geschätzte Populationsvarianz durch 1 geteilt wird. Vollständiges n -> Wenn aber die ganze Population aus der Stichprobe gezogen wird (geht nur bei endlichen Population), dann wird sich am daraus berechneten Mittelwert nichts ändern, auch wenn wir die Stichprobenziehung unendlich oft wiederholen: Die Varianz der Stichprobenverteilung ist Null. Was aber passiert zwischen diesen beiden Extremen? Dazu sehen wir uns an: 1) Empirisches Gesetz der großen Zahlen Kein mathematisches Gesetz im strengen Sinn, sondern eine beobachtbare „Gesetzmäßigkeit“. Es besagt, dass die Schätzungen von zusammengesetzten Werten wie Anteilen oder Mittelwerten tendenziell mit steigender Stichprobengröße genauer werden. Die Stichprobengröße nähert sich dem Populationsanteil jedoch nicht in völlig systematischer Weise an – die Genauigkeit nimmt nicht monoton zu! Die Schätzungen können mit kleinen Stichproben besser sein als mit größeren, aber größere Stichproben sind im Durchschnitt genauer und variieren auch weniger um den tatsächlichen Wert. Abeer ein Anteil oder Mittelwert ist schon bei relativ kleinen Stichproben nah am Populationsanteil -> kann als Begründung dafür genommen werden, warum man Stichprobenstatistiken grundsätzlich als Schätzungen für Populationsparameter nutzen kann. 2) Zentraler Grenzwertsatz Der zentrale Grenzwertsatz beschreibt eine mathematische Gesetzmäßigkeit, die Auswirkungen auf die Form von Stichprobenverteilungen hat. Sie besagt, dass sich jede gebräuchliche Stichprobenverteilung (jede Verteilung von Summen oder Mittelwerten von Zufallsvariablen) mit steigender Stichprobengröße immer mehr der sogenannten Normalverteilung oder, in ihrer standardisierten Form, der Standardnormalverteilung annähert. [1] [1] Stimmt streng genommen nur, wenn entweder die Population, aus der man die Stichprobe zieht, unendlich groß ist, oder wenn man jede Person / jedes Objekt nach der Ziehung wieder in die Stichprobe „zurücklegt“. Würde man wiederholt die ganze Population auf einmal als Stichprobe ziehen, würde man natürlich immer denselben Wert bekommen und die Verteilung bestünde aus einem senkrechtem „Strich“. Normalverteilungen und Standardnormalverteilungen Normalverteilung = Glockenkurve = Gaußsche Verteilung (nach Carl Friedrich Gauß) -> Erfinder aber war Abraham de Moivre [döh moawf]: Er fand als Erster, dass die Binomialverteilung bei großen Stichproben in die Normalverteilung übergeht -> eine Gesetzmäßigkeit, die der zentrale Grenzwertsatz beschreibt. Später zeigen Laplace und Gauß, dass die Normalverteilung die Verteilung von Fehlern bei wiederholten Beobachtungen und Experimenten oft gut beschreibt. Normalverteilung als „Mutter aller Verteilungen“: Jede gebräuchliche Stichprobenverteilung geht bei n → ∞ in eine Normalverteilung über. Das macht man sich in der Statistik zunutze, indem man ab einer genügend großen Stichprobe die Normalverteilung verwendet. Zumindest theoretisch besteht zwischen BV (Erinnerung: BV wurde hier immer als BSP verwendet) und NV immer ein Unterschied, weil die Binomialverteilung eine Verteilung diskreter Werte ist und die Normalverteilung sich auf kontinuierliche Werte bezieht. -> Unterschied wird mit zunehmender Stichprobengröße immer mehr vernachlässigbar und bei n → ∞ verschwindet er völlig. Wahrer Vorteil der Normalverteilung zeigt sich erst bei der Benutzung der Standardnormalverteilung: Die Standardnormalverteilung erhält man aus der Normalverteilung durch die z-Transformation. Wenn also die Stichprobenverteilung eines Mittelwerts -X- (großes X) normalverteilt ist, mit dem Standardfehler σ/√(n) und dem Erwartungswert μ, dann erhält man die entsprechenden Werte der Standardnormalverteilung durch die Berechnung der z-Werte: zi = (-X-i - μ) / σ/√(n) Eigenschaft der SNV: Mittelwert = 0, und Varianz (und somit auch Streuung) = 1 Außerdem kann man bei der NV und der SNV die Bedeutung von Standardabweichungen genau interpretieren: Zwischen je einer Standardabweichung links und rechts vom Mittelwert liegen etwa 68% aller Werte – der „Normalbereich“. Zusammenhang zwischen Flächeninhalt und z-Wert ist in nahezu jedem Statistikbuch tabelliert.
• 10 Grundlagen der Inferenzstatistik 10.6 Rekapitulation und Ausblick Rekapitulation und Ausblick: Grundlage für Wahrscheinlichkeitsaussagen (nötig um aus den Stichprobenstatistiken Schlüsse auf die Populationsparameter zu ziehen) sind Stichprobenverteilungen (für Anteile, Mittelwerte, Mittelwertsunterschiede, Varianzen oder andere zusammengesetzte Maße) – diese entstehen, indem man unendlich oft Stichproben aus einer Population zieht, die entsprechende Stichprobenstatistik berechnet und daraus sukzessive eine Verteilung bildet. -> Wenn man diese Verteilung standardisiert (wenn also die gesamte Fläche unter der Verteilung den Wert 1 hat, also 100%), dann kann man die Wahrscheinlichkeiten für bestimmte Werte (bei diskreten Verteilungen)  oder festgelegte Intervalle (bei kontinuierlichen Verteilungen) bestimmen. Damit lassen sich verschiedenen Aussagen von Wahrscheinlichkeiten treffen. Bspw. können wir für eine vorgegebene Population bestimmen, mit welcher Wahrscheinlichkeit eine Stichprobenstatistik in einem vorgegebenen Intervall liegen wird, oder die Wahrscheinlichkeit dafür, dass eine Stichprobenstatistik um mindestens einen bestimmten Betrag vom Erwartungswert der Stichprobenverteilung abweicht. Stichprobenergebnisse variieren, warum kann man dann die aktuelle Stichprobenstatistik als Grundlage für die Schätzung des entsprechenden Populationsparameters benutzen? Das wahrscheinlichste Ergebnis für eine Stichprobenstatistik ist ein Wert, der identisch mit dem entsprechenden Populationsparameter ist oder zumindest nahe daran liegt. Dieses Ergebnis ist umso wahrscheinlicher, je größer die benutzte Stichprobe ist (empirisches Gesetz der großen Zahlen). Dass auch die Varianz der Stichprobe die bester Schätzung der Populationsvarianz ist (mit der Einschränkung, dass die Stichprobenvarianz eine leichte Unterschätzung ist, die dadurch ausgeglichen wird, dass man die Summe der quadrierten Abweichungen durch n – 1 und nicht durch n teilt), kann man nicht so leicht aus den Simulationsergebnissen für n = 10, aber schon etwas eher für n = 40 erkennen. Wenn man aber bedenkt, dass bei einer Zufallsstichprobe jedes Element in der Populationsverteilung dieselbe Chance hat, gezogen zu werden, sollte man nichts anderes erwarten, als dass die Verteilung in der Stichprobe für die Populationsvarianz repräsentativ ist. Somit ist auch die Stichprobenvarianz eine gute Schätzung der Populationsvarianz. Bei großen Stichproben kann man eigentlich immer die Normalverteilung oder die Standardnormalverteilung als Stichprobenverteilung benutzen (zentraler Grenzwertsatz). In der Psychologie / den Sozialwissenschaften werden jedoch häufig kleine Stichproben verwendet. Deshalb wurden unterschiedliche Stichprobenverteilungen entwickelt, die sich je nach Art der Fragestellung unterscheiden -> hier werden v.a. die t-, F- und Chi-Quadrat-Verteilungen behandelt.
• 11 Konfidenzintervalle 11.1 Konfidenzintervalle 11.1.1 Wahrscheinlichkeitsintervalle: Ein Gedankenexperiment 11.1.2 Konfidenzintervalle für Anteile 11.1.3 Auswirkungen der Höhe der Konfidenz und der Stichprobengröße 11.1.4 Die Berechnung von Konfidenzintervallen Konfidenzintervalle: Schätzungen von Populationsparametern werden mit steigender Stichprobengröße genauer – aber wie genau? -> Konfidenzintervalle bzw. Vertrauensintervall: je kürzer das Intervall, desto genauer die Schätzung (bei konstanter Konfidenz). Anhand von Konfidenzintervallen für Anteile werden wir das generelle Konzept erklären. Konfidenzintervalle Wahrscheinlichkeitsintervalle sind keine Konfidenzintervalle, helfen aber diese zu verstehen: Wahrscheinlichkeitsintervalle: Ein Gedankenexperiment Was sind die Grenzen des Intervalls, welches je 45% der Stichprobenergebnisse links und rechts vom tatsächlichen Anteil von 30% (bei p = 0.3) umfasst, indem also unsere Ergebnisse mit 90%-iger Wahrscheinlichkeit (z.B. bei erneuter Stichprobenziehung) liegen werden? Ein Wahrscheinlichkeitsintervall können wir nur erstellen, wenn wir den tatsächlichen Wert kennen. Wäre das der Fall, bräuchten wir allerdings keine Inferenzstatistik. Wir kennen den tatsächlichen Wert nicht – das ist der Normalfall –, daher können wir kein Wahrscheinlichkeitsintervall bestimmen. Man hilft sich dann mit dem Konzept des Konfidenzintervalls. Anstelle einer formalen Definition illustrieren wir die Grundidee am Bespiel von Konfidenzintervallen für Anteile. Konfidenzintervalle für Anteile 90% KI von 60% CDU-WählerInnen (60 aus 100) bestimmen? -> Ausgehend von dem geschätzten Anteil konstruieren wir die Stichprobenverteilung – eine Binomialverteilung mit p = 0.6 und n = 100 – und suchen die Endpunkte für das Intervall, welches die mittleren 90% der Stichprobenverteilung einschließt (bei diskreten Verteilungen , wenn nicht n sehr groß, nicht exakt 90%). Aber was ist nun der Unterschied zwischen Wahrscheinlichkeitsintervall und Konfidenzintervall? -> Angenommen der Anteil der CDU-WählerInnen ist tatsächlich 55%. Beim Wahrscheinlichkeitsintervall gäbe es ein einziges Intervall, das sich (ungefähr) symmetrisch um 55% herum erstrecken würde. Bei Zufallsstichproben (Abb.): Jede Stichprobe liefert einen Anteil, der 55% sein kann, aber, aufgrund des Stichprobenfehlers (also rein durch Zufall), möglicherweise auch davon abweicht. Einige der Intervalle überlappen den wahren Wert von 55% auch nicht. Mit dem Konfidenzintervall lassen sich zwar keine Wahrscheinlichkeitsaussagen über den tatsächlichen Wert in der Population machen, aber wir können eine Wahrscheinlichkeitsaussage über das Intervall treffen: Ein 90%-iges Konfidenzintervall überdeckt mit 90%-iger Wahrscheinlichkeit den wahren Wert. (Ein Konfidenzintervall von 90% meint, dass 90% der gefunden Intervalle den Populationsparameter beinhalten.) Auch bei der Interpretation von KIs liegt in der Regel ein frequentistischer Wahrscheinlichkeitsbegriff zugrunde: Wenn man unendlich viele Zufallsstichproben aus derselben Population ziehen würde, jeweils den Anteil bestimmen und anschließend 90%-Konfidenzintervalle konstruieren würde, dann überlappten 90% von ihnen den tatsächlichen Wert. -> Wenn man also eine Stichprobe gezogen und ein 90%-iges Konfidenzintervall aus dem resultierenden Anteil oder Mittelwert berechnet hat, dann kann man 90% konfident (oder 90% sicher) sein, dass das Intervall den wahren Wert beinhaltet. Auswirkungen der Höhe der Konfidenz und der Stichprobengröße Häufigste KIs sind 90%, 95% und 99% – warum andere Werte selten? Kompromiss zwischen Trivialität (100%) und Aussagekraft (50%). KI ebenfalls hochgradig abhängig von Stichprobengröße: je kleiner die Stichprobe, desto größer das Konfidenzintervall. Die Berechnung von Konfidenzintervallen Zur Berechnung von KIs für Anteile benutzt man meist Standardnormalverteilungen – möglich, weil sich die Binomialverteilung schon bei relativ kleinen Stichproben der NV annähert. Bei genügend großen Stichproben, kann man die Standardnormalverteilung zur Berechnung von KI für jede Art von gebräuchlichen Stichprobenverteilungen nutzen. Demonstration der Vorgehensweise: Vorteil: x-Werte (z-Werte/Standardwerte) schließen bestimmte Flächeninhalte mit ein, die sehr leicht in Tabellen nachschlagbar sind: z.B. werden die mittleren 95% der Standardnormalverteilung durch -1.96 und +1.96 Standardabweichungseinheiten eingeschlossen. Da die Standardabweichung einer Standardnormalverteilung 1 beträgt, sind das auch die Endpunkte für das 95%-ige KI in Standardabweichungseinheiten. -> Aber: Interesse an Originaleinheit des Konfidenzintervalls. Dazu wird die Standardabweichung der ursprünglichen Stichprobenverteilung (der Standardfehler) mit den Standardwerten (hier: -1.96 und +1.96) multipliziert -> man erhält linken und rechten Abstand vom Kennwert (z.B. Mittelwert oder Anteil), der die Endpunkte des KI kennzeichnet.
• 11 Konfidenzintervalle 11.2 Konfidenzintervalle für Mittelwerte Konfidenzintervalle für Mittelwerte Lage- und Streuungsmaße für Stichprobenverteilungen von Mittelwerten würden für die KI-Berechnung bei großen Stichproben ausreichen; da man es jedoch in der Psychologie häufig mit relativ kleinen Stichproben zu tun hat, wird oft nicht die Standardnormalverteilung benutzt, sondern Stichprobenverteilungen, die für diesen Fall genauere Schätzungen liefern. Will man das KI für einen Mittelwert berechnen, verwendet man dazu die t-Verteilung (Student’s t): Die t-Verteilung wurde ursprünglich in einem Aufsatz unter dem Pseudonym "Student" im Jahre 1908 veröffentlicht. Autor: William Gosset, arbeitete bei der Guinness-Brauerei und publizierte unter dem Pseudonym, weil es den Angestellten nicht erlaubt war, in Fachzeitschriften zu veröffentlichen (so wurden einmal bereits Geheimnisse verraten). Gossert war vor das Problem gestellt, wie man Bier von einer konsistent hohen Qualität herstellen könne und hatte es dabei mit relativ kleinen Stichproben (z.B. von Gerstenlieferungen) zu tun. Wegen der kleinen Stichproben konnte er die Standardnormalverteilung nicht benutzen und entwickelte deswegen die t-Verteilung. Diese ist ebenso eine Verteilung einer standardisierten Zufallsvariable mit Mittelwert Null und Streuung ≥ 1 (1 bei df →∞); ein einzelner Wert der t-Verteilung wird berechnet als: t = (Empirischer Mittelwert - theoretischer Mittelwert) / geschätzter Standardfehler [Standardabweichung = reale Streuung eines erhobenen Werts; Standardfehler = theoretische Streubreite der Gruppenmittelwerte, wenn theoretisch unendlich viele Stichproben aus der Grundgesamtheit gezogen würden] Im Unterschied zur z-Verteilung ist die Form der t-Verteilung abhängig von der Stichprobengröße (bei sehr großen Stichproben geht sie in die z-Verteilung über). Zur Charakterisierung einer bestimmten t-Verteilung verwendet man nicht direkt die Stichprobengröße, sondern die Freiheitsgrade (siehe 9.4.1). Wenn der Mittelwert berechnet ist, können nur mehr n-1 Freiheitsgrade variieren, der letzte Wert ist schon festgelegt: wir haben es hier also mit n-1 Freiheitsgraden zu tun. Je größer die Anzahl der Freiheitsgrade, desto näher kommt die t-Verteilung einer NV. Zwei Voraussetzungen für die t-Verteilungen werden stillschweigend vorausgesetzt: Intervallskalierte Werte Werte in der Population sind normalverteilt (2. Annahme muss nicht strikt erfüllt sein; Verfahren die auf der t-Verteilung beruhen sind relativ unempfindlich, wenn die Populationsverteilung von einer NV abweicht) Bei deutlicher Abweichung von der NV sollte die t-Verteilung v.a. bei kleinen Stichproben aber nicht angewandt werden, sondern andere Verfahren, die diese Verteilungsannahmen nicht benötigen (siehe 18, Verfahren zur Analyse ordinalskalierter Daten). Mithilfe der t-Verteilung können KIs für Mittelwerte und Mittelwertsunterschiede berechnet werden. Vorgehensweise analog zu der Berechnung von KI für Anteile: Stichprobe ziehen, daraus Mittelwert und Varianz berechnen Stichprobenmittelwert wird als Schätzung für den Populationsmittelwert benutzt; Stichprobenvarianz ist die Grundlage für die Schätzung der Populationsvarianz: Die Summe der Abweichungsquadrate wird dabei durch n – 1 und nicht durch n geteilt (siehe 10) Geschätzte Populationsvarianz ist wiederum Grundlage für Schätzung des Standardfehlers Bestimmung der t-Werte für die passenden Freiheitsgrade und die gewünschte Höhe der Konfidenz (tdf,Konf.) aus der Tafel für t-Verteilung -> untere und obere Höhe des KI: Untere Grenze = -x- – ^σ-x- * tdf,Konf Obere Grenze = -x- + ^σ-x- * tdf,Konf
• Anzeige
• 11 Konfidenzintervalle 11.3 Konfidenzintervalle für Mittelwertsunterschiede 11.3.1 Unabhängige Messungen 11.3.2 Abhängige (gepaarte) Messungen Konfidenzintervalle für Mittelwertsunterschiede: Messungen sind unabhängig voneinander (unverbunden), wenn die Auswahl der Personen in der einen Stichprobe keinen Einfluss auf die Auswahl der Personen in der anderen Stichprobe hat (z.B. Vergleich von Mathematikkenntnissen von Mädchen und Jungen). Voneinander nicht unabhängige, also abhängige (verbundene) Messungen, wenn einem Objekt / einer Person einer Stichprobe eindeutig ein Objekt / eine Person einer anderen Stichprobe zugeordnet ist (z.B. Vergleich von Zwillingen). Hier lässt sich eine Korrelation der Messwerte der beiden Stichproben annehmen. Auswirkung auf die Konstruktion von Konfidenzintervallen. KI bei unabhängigen Messungen Schätzung der entsprechenden Populationsmittelwerte und deren Varianzen Daraus berechnet man Mittelwert und Streuung der Stichprobenverteilung für den Mittelwertsunterschied (diese Stichprobenverteilung würde entstehen, wenn man unendlich oft je eine Stichprobe aus den zwei entsprechenden Populationen zöge, daraus jeweils den Mittelwert berechnete und schließlich die Verteilung der Differenzen der Mittelwerte betrachtete) Schließlich benutzt man auch wieder aus praktischen Gründen die standardisierten Stichprobenverteilung für Mittelwertsunterschiede; das ist auch diesmal wieder die t-Verteilung: t = Mittelwert A –  Mittelwert B / Standardfehler der Mttelwertsdifferenzen Bei der Berechnung der Standardfehler für die Mittelwertsunterschiede berücksichtigt die Gewichtung mit den Freiheitsgraden (nA – 1 und nB - 1) die Tatsache, dass größere Stichproben bessere Schätzungen liefern und deshalb bei der Schätzung auch stärker berücksichtigt werden sollten. Ergänzte Voraussetzungen, wenn t-Verteilung für die Berechnungen der KI für Mittelwertsunterschiede verwendet werden soll: intervallskalierte Werte in der Population normalverteilte Werte die Varianzen der beiden Populationen A und B müssen gleich sein Stichprobenvarianzen sind in der Regel aber nicht gleich; wenn man nun trotzdem diese Annahme beibehält, dann ist die beste Schätzung die gemeinsame (engl. pooled) Varianz, bei deren Berechnung die Freiheitsgrade als Gewichtungsfaktoren benutzt werden. Alternativ: stark unterschiedliche Varianzen schon bei der Inspektion der Verteilung sichtbar sind: nonparametrische Verfahren (K18, Verfahren zur Analyse ordinalskalierter Daten) oder auf Verfahren, die Korrekturen an den Freiheitsgraden vornehmen. Varianz einer Summe von unabhängigen Zufallsvarianzen ist nichts anderes als die Summe der Varianzen: Var(A+B) = Var(A) + Var(B). Hier aber Varianz einer Differenz: Differenzen können jedoch auch als Summe betrachtet werden: Var(A-B) = Var(A) + Var(-B). KI bei abhängigen (gepaarten) Messungen Abhängige Messungen haben keine systematischen Auswirkungen auf Mittelwertsunterschiede, aber auf die Varianz des Mittelwertsunterschieds und somit auch auf den Standardfehler. (Foto) BSP. Links sind die Messwerte positiv korreliertI: Q-Senkung infolge von Krankheit; vorher vorhandene Niveauunterschiede bleiben also im Allgemeinen erhalten versus Rechts: zweimalige Messung von Personen – die die vorher hungrig waren, haben vor der zweiten Messung wahrscheinlich schon gegessen und sind nicht mehr hungrig -> hohe negative Korrelation rechts. An den je acht Werten für Messung A und für Messung B hat sich jedoch nichts geändert und somit ändert sich auch der Mittelwertsunterschied nicht. Bei abhängigen Messungen ist die Untersuchungseinheit nicht die einzelne Messung, sondern die Differenz zwischen den beiden Messungen. Der mittlere Differenzwert (Mittelwertsunterschied) würde im Falle der Abbildung für das linke und rechte BSP derselbe sein. Bei den Varianzen der Differenzen ergeben sich aber deutliche Unterschiede: Bei den negativ korrelierten Messwerten (rechts) ist die Varianz deutlich höher als bei einer positiven Korrelation (links). Wenn abhängige Messungen negativ korreliert sind, dann kehrt sich der Vorteil, den man normalerweise bei abhängigen Messungen hat – die Verkleinerung der Streuung –, in sein Gegenteil um. Bei unabhängigen Messungen geht man davon aus, dass die Werte nicht korreliert sind. An der Größe des Mittelwertsunterschieds würde sich nichts ändern, aber der Standardfehler des Mittelwertsunterschieds müsste nun anders berechnet werden. Wenn die Messungen (BSP) unabhängig voneinander vorgenommen worden wären, dann wäre das KI um ca. 65% größer als bei positiv korrelierten, abhängigen Messungen. Dieser Effekt – eine verminderte Genauigkeit bei unabhängigen Messungen – kommt, wie wir gesehen haben, durch den geringen Standardfehler bei den abhängigen Messungen zustande und dieser geringere Standardfehler wiederum dadurch, dass die abhängigen Messungen in der Regel positiv miteinander korrelieren. Falls das (was selten vorkommt) nicht der Fall ist, falls also die Messwerte negativ korrelieren, vergrößert sich allerdings der Standardfehler im Vergleich zu unabhängigen Messungen.
• 11 Konfidenzintervalle 11.4 Die Interpretation von Konfidenzintervallen Die Interpretation von Konfidenzintervallen: KIs beinhalten eine Wahrscheinlichkeitsaussage; diese bezieht sich aber nicht auf den wahren Wert (den Populationsparameter) sondern auf das Intervall. Wenn wir unendlich oft eine Zufallsstichprobe aus einer Population ziehen und jeweils für die Stichprobenstatistik ein 90%-iges Konfidenzintervall berechnen, dann werden 90% dieser Intervalle den wahren Wert (den Wert des entsprechenden Populationsparameters) überdecken. (Die Zufallsvariablen sind also die Intervallgrenzen; Zufallsvariable: Größe, deren Wert vom Zufall abhängig ist). Genau das war Kritik an Jerzy Neyman’s Konfidenzintervallen (1934): Konfidenzintervalle lassen keine Wahrscheinlichkeitsaussage über den wahren Wert zu, sondern nur über die Intervalle. Heutige KIs von vielen Methodikern gerade deswegen als nützlichstes inferenzstatistisches Verfahren geschätzt (siehe Cumming). Konfidenzintervalle wurden ursprünglich von Neyman als Hilfsmittel für Entscheidungen entwickelt -> wenn eine einzige Untersuchung als Grundlage für eine Entscheidungen ausreichen muss (schnelle Entscheidung, eingeschränkte Ressourcen). Häufig nicht Länge von KI interessant, sondern ob das Konfidenzintervall einen kritischen Wert über- oder unterschreitet. Auch ohne Entscheidungsdruck nützlich: BSP Wahlprognosen & (klassischerweise) um Aussagen über die Genauigkeit von Ergebnissen zu machen. Aber keine absoluten Aussagen möglich. Um die in einem Konfidenzintervall enthaltene Genauigkeitsaussage nutzen zu können, benötigt man in der Regel Vorwissen über den Gegenstandsbereich. Die in diesem Kapitel verwendete Art der Berechnung und Interpretation von KIs sind gewissermaßen der Standardfall und kann immer bei symmetrischen Prüfverteilungen verwendet werden. Unter bestimmten Umständen stößt dieser Ansatz jedoch an seine Grenzen, etwa bei der Berechnung von KIs für Effektgrößen (hierfür: K24).
• 12 Signifikanztests 12.1 Wie funktioniert ein Signifikanztest? Signifikanztests: = das am weitesten verbreitete statistische Verfahren in der Psychologie und den SW -> Verfahren zur Überprüfung von Hypothesen. Es gibt hierbei mehrere Ansätze, die sich nicht wesentlich hinsichtlich der Berechnung unterscheiden, aber hinsichtlich der getroffenen Annahmen und Interpretation. Grundlage sind wie bei den Konfidenzintervallen Stichprobenverteilungen, allerdings sind die Ausgangswerte hierbei hypothetische Populationsparameter – die sog. statistischen Hypothesen (zB "a ist um 2 größer als b"), die vor der Testdurchführung festgelegt werden (und nicht empirisch ermittelte Stichprobenstatistiken). Ergebnis eines Signifikanztests = eine Wahrscheinlichkeitsaussage über ein Stichprobenergebnis im Lichte der zuvor aufgestellten Hypothesen. Wie funktioniert ein Signifikanztest? Ergebnis einer Zufallsstichprobe; bedingte Wahrscheinlichkeit [p(Daten|H0)] ist das zentrale Ergebnis eines Signifikanztests: Die Wahrscheinlichkeit dafür, dass die aktuelle Stichprobenstatistik von einem vorgegebenen oder erwarteten Populationsparameter um mindestens den gefundenen Betrag abweicht. Nullhypothese, H0 = Hypothese, dass es keinen Effekt gibt (BSP keine Abweichung); ein Signifikanztest gibt die Wahrscheinlichkeit an, dass die gegebenen Daten oder noch stärker von der Nullhypothese abweichende Daten gefunden werden konnten, wenn die Nullhypothese tatsächlich zutrifft = p(Daten|H0) = p-Wert = p. Ermöglicht Antwort auf die Frage „Kann das noch Zufall sein?“ -> wenn p wert sehr klein ist  = signifikant (statistisch bedeutsam). Zur Berechnung der p-Werte nutzt man die entsprechende Stichprobenverteilung (K10). Im Gegensatz zur Berechnung von Konfidenzintervallen (bei denen man von empirisch gefundenen Stichprobenergebnissen ausgeht), werden die Stichprobenverteilungen beim Signifikanztesten um einen theoretischen oder erwarteten Wert herumkonstruiert (BSP IQ = 100 als Durchschnitt, hier wäre es eine Stichprobenverteilung für Mittelwerte; beim Anteil depressiver Personen eine Stichprobenverteilung für Anteile (Binomialverteilung)). Wenn H0 stimmt, dann sind große Effekte unwahrscheinlich, können aber rein durch Zufall (Stichprobenfehler) vorkommen. Ob ein gefundener Effekt durch Zufall zustande kam, entscheidet man in der Regel aufgrund eines Kriteriums, einer festgelegten kleinen Wahrscheinlichkeit, die meist mit α (Signifikanzkriterium) bezeichnet wird und einem Flächenanteil am Rand (oder den Rändern) der Stichprobenverteilung entspricht, z. B. α von 5%. Erster dokumentierter Signifikanztest: „Beeinflusst Gott die Geschlechterverteilung?“ (Engländer, 1710: Geburstregister, 82 Jahre, 1/2 Wahrscheinlichkeit für jedes Jahr; Wahrscheinlichkeit einer Konjunktion – im ersten Jahr werden mehr Jungen geboren und im zweiten Jahr werden mehr Jungen geboren und … – erhält man durch Multiplikation der Einzelwahrscheinlichkeiten: p = (1/2)82 -> astronomisch kleine Wahrscheinlichkeit, kein Zufall! -> jedoch keine Stichprobenverteilung für die „Zufallshypothese“ benutzt -> Wahrscheinlichkeit für mehr Jungen über 82 Jahre praktisch gleich Null; erfand praktisch den Vorzeichentest). Wie aber bestimmt man die Zufallsgrenze (Signifikanzkriterium) und was ist ein signifikantes Ergebnis? Drei Ansätze werden hier betrachtet: Vorgehensweise nach R.A. Fisher Vorgehensweise nach Neyman & Pearson Das konventionelle Verfahren: Der "Hybrid"
• 12 Signifikanztests 12.2 Vorgehensweise nach R. A. Fisher 12.2.1 Beispiel 1: Vorzeichentest 12.2.2 Beispiel 2: t-Test für Mittelwerte 12.2.3 Probleme mit der Vorgehensweise nach Fisher Möglichkeit 1) Vorgehensweise nach R. A. Fisher: Test ist signifikant, wenn der Wert für die gefundene Stichprobenstatistik ein Kriterium überschreitet (also der p-Wert kleiner oder gleich α ist) -> H0 wird abgelehnt/verworfen. Bei nicht-signifikantem Testergebnis ist allerdings keine Schlussfolgerung möglich. Empfohlene Größen für α: 5% und 1%. Beispiel 1: Vorzeichentest für Anteile Aus Gott-BSP -> Der Engländer verwendete im Prinzip einen Vorzeichentest. Dieser wird verwendet um zu ermitteln, ob ein empirisch ermittelter Anteil von einem theoretisch zu erwartenden Wert von 50% abweicht. Unterscheidet sich der Anteil positiver und negativer Vorzeichen signifikant? H0 = Anteil der positiven Vorzeichen beträgt in der Population 50%, π = 0.5 (griech. kleines Pi für Populationswert von p). Berechnung der Stichprobenverteilung für alle möglichen (einzelnen) Ergebnisse. Bei der Annahme, dass es mehr + geben würde -> α wird auf rechter Seite der Verteilung festgelegt. BSP: Wahrscheinlichkeit für 7 oder mehr positive Vorzeichen bei gültiger H0: 17.2%, was größer ist als 5.5%. Fisher’sche Ansatz erlaubt hier keine Schlussfolgerung. Beispiel 2: t-Test für Mittelwerte t-Verteilung um zu überprüfen ob sich der Mittelwert von einem erwarteten Wert unterscheidet. BSP: t(249) = 1.249 Alle empirischen Werte, die größer als der kritische t-Wert sind, liegen rechts vom Kriterium und sind signifikant da p ≤ α (je größer der t-Wert desto kleiner der p-Wert). Probleme mit der Vorgehensweise nach Fisher Was bedeutet die Verwerfung der Nullhypothese? Wechselnde Ansichten Fishers, zeitweise Größe des p-Werts auch als Stärke für Evidenz gegen die Nullhypothese. Kann bei identen Experimenten sinnvoll sein, aber nicht beim Vergleich unterschiedlicher Experimente. Fisher verlangt bei der Verwendung von Signifikanztests großes Wissen über den jeweiligen Gegenstandsbereich (er als Arbeiter in Agrar-Versuchsanstalt: Wirkung von Dünger). Erst wenn ein Experiment wiederholt signifikante Ergebnisse zeigt, kann man vom Nachweis eines Phänomens sprechen; Vorsicht bei der Interpretation isolierter signifikanter Ergebnisse. Lässt keine Aussage darüber zu, wie groß die Chancen sind einen Effekt zu entdeckten, wenn tatsächlich einer vorhanden ist. Lässt keine Aussagen zu, wenn der Test nicht signifikant ist; besonders problematisch, wenn die Forschungshypothese der Nullhypothese entspricht. Deswegen: Neyman & Pearson -> Verbesserungsvorschläge.
• 12 Signifikanztests 12.3 Neymans & Pearsons Verbesserungsvorschläge Neymans & Pearsons Verbesserungsvorschläge: Stellen der Nullhypothese eine Alternativhypothese gegenüber, um a) die Wahrscheinlichkeit, einen vorhandenen Effekt entdecken zu können, einschätzen zu können, und b) bei nicht-signifikantem Ergebnis verwertbare Informationen zu bekommen. Das Problem der Interpretation lösen sie durch eine „Verhaltensinterpretation“: Wenn der Test signifikant ist, verhalte dich so wie wenn die H1 wahr wäre, wenn er nicht signifikant ist, so wie wenn die H0 wahr wäre. Warum braucht man die Alternativhypothese und wie wird sie bestimmt? Der p-Wert bezieht sich immer auf die H0, zu seiner Berechnung braucht man keine H1. Auch bei Neymans & Pearsons Herangehensweise nicht; warum H1 trotzdem wichtig? Vermutet man im Vorhinein einen kleinen Effekt, können entsprechende Annahmen über die Alternativhypothese getroffen werden, die Verschwendung von Ressourcen vermieden und die Sinnhaftigkeit einer Testdurchführung abgewogen werden (evtl. Chance, einen Effekt zu finden, vergrößern). Vernachlässigung der Alternativhypothese ist größeres Problem, wenn H0 = Forschungshypothese und nicht-signifikantes Ergebnis als Bestätigung für H0 interpretiert wird. Große Stichproben können problematisch sein, da bereits sehr kleine Effekte signifikant werden. Problem nicht vorhanden bei festgelegter Alternativhypothese, da man bestimmen kann, wie hoch die Wahrscheinlichkeit ist, den in der H1 festgelegten Effekt mithilfe des Tests aufzudecken, genannt Teststärke (Power). Lösung für folgende Probleme: bei geringer Entdeckbarkeit vorhandener Effekte, bei der Interpretation eines Nullergebnisses, wenn ein sehr kleiner Effekt eine große Chance hatte, entdeckt zu werden (hier auch n.s.-Ergebnis eine brauchbare Evidenz), und bei hoher Wahrscheinlichkeit für signifikante aber irrelevante Effekte: anhand der Teststärkenanalyse lässt sich überlegen, wie groß ein praktisch bedeutsamer Effekt sein sollte. Wie findet man die passende Alternativhypothese? Überlegen, wie groß praktisch bedeutsamer Effekt sein muss (BSP ExpertInnenmeinung bei Rechtschreibtraining). Analyse bisheriger relevanter Ergebnisse (Effektgrößen dieser Studien zur Schätzung eines Populationseffekts, z.B. mindestens so gut wie Vorgängerstudien) Wenn keine Vorinformation: Konventionen für Effektgrößen benutzen Intention der Forschenden: z.B. praktisch bedeutsamer Effekt erwünscht: großen Effekt vermuten.   Fehler erster und zweiter Art (α und b) Bei der Entscheidung zwischen H0 und H1 können zwei Fehler passieren: Fehler erster Art oder α-Fehler: Wenn die H0 zutrifft und man sich irrtümlich für die H1 entscheidet Fehler zweiter Art oder β-Fehler: Wenn die H1 [1] zutrifft und man sich irrtümlich für die H0 entscheidet: [1] Zwar kann auch weder die H0 noch die H1, sondern eine dritte Hypothese zutreffen, jedoch wird die Wahrscheinlichkeit hierfür durch theoriegeleitetes Vorgehen minimiert. Teststärke bzw. Power ist nichts anderes als das Komplement von β [2], also 1 - β. [2] Die Gesamtwahrscheinlichkeit und somit auch die Fläche jeder der beiden Stichprobenverteilungen beträgt 1. BSP b = 0.2 (20%) dann wäre die Teststärke 1 - b = 0.8 (80%). Die „Verhaltensinterpretation“ des Signifikanztestergebnisses Fisher: Interpretation ausschließlich anhand Signifikanztest Neyman & Pearson: Ergebnisse des Signifikanztest als Grundlage für Entscheidungen Für Neyman & Pearson ist die Ausgangsbasis für einen Signifikanztest ein Entscheidungsproblem und das Ergebnis eines Signifikanztests soll dann die Grundlage für die Entscheidung liefern: möglich, weil in diesem Ansatz die Fehler erster und zweiter Art (ein subjektiver Bestandteil des Signifikanztests) von Kosten-Nutzen-Abwägungen abhängen und nicht auf Konventionen beruhen. Bei solider Grundlage reicht Testergebnis für die Wahl zwischen entsprechenden Aktionen aus.
• 12 Signifikanztests 12.4 Welche Faktoren beeinflussen das Ergebnis eines Signifikanztests? Welche Faktoren beeinflussen das Ergebnis eines Signifikanztests?: Einflüsse lassen sich nur quantifizieren, wenn man eine Alternativhypothese benutzt. Wie kann man die Wahrscheinlichkeit dafür, dass ein Test signifikant wird, wenn die H1 zutrifft, beeinflussen? Frage nach der Teststärke. Da Grundlage für Signifikanztesten die Stichprobenverteilungen sind, hat alles was deren Formen oder den Abstand zwischen den Erwartungswerten für H0 und H1 beeinflusst auch Auswirkung auf die Teststärke. 3 zentrale Faktoren werden anhand von Beispielen aus Binomialtests illustriert; weiters 2 zusätzliche Einflussfaktoren: 1) Populations-Effektgröße (zentraler Faktor) Je größer der Populationseffekt (Grafik: 10% vs 40%), desto höher die Teststärke. 2) Stichprobengröße (zentraler Faktor) Je größer die Stichprobe desto größer die Teststärke Alle gebräuchlichen Stichprobenverteilungen nähern sich mit zunehmender Größe immer mehr einer Normalverteilung an (Zentraler Grenzwertsatz) Standardfehler wird mit zunehmender Stichprobengröße kleiner VGL n = 10 vs n = 40; Teststärke hat sich bei fast konstantem Alpha verdoppelt. 3) Abwägung der Fehler erster und zweiter Art (zentraler Faktor) Neyman &Pearson: Kosten-Nutzen-Analyse vor dem Test, als deren Resultat man sich für die Größen von α und β und somit für ein bestimmtes Kriterium entscheidet. Man möchte beide Arten von Fehler so klein wie möglich (nötig) halten: Möglich, solange man über die Stichprobengröße frei entscheiden kann (oft jedoch nur eingeschränkt möglich; geringe Größe, Kostengründe) -> Entscheidung: Soll α oder β größer sein bzw. was wäre ein geeignetes Verhältnis? Vernünftig ist sicher, dass keiner der beiden Fehler größer als 50% sein sollte, denn damit wäre die Chance, einen Fehler zu begehen (falls die entsprechende Hypothese zuträfe), größer als die Chance, ein richtiges Resultat zu erhalten. BSP Neue Methode zur Erhöhung der Überlebenschance bei Knochenmarktransplantation: Fehler erster Art (irrtümliche Verwerfung der H0) wäre bei geringen Mehrkosten und wenig Nebenwirkungen nicht besonders schwerwiegend. Fehler zweiter Art (irrtümliche Annahme der H0) wäre deutlich schwerwiegender (Chance versäumt, das Leben von X Personen zu verlängern). Es gibt Programme um Alternativen für die Gewichtung der Fehler zu verdeutlichen. Wenn in der Stichprobe 75% (15 von 20) Patienten überlebt hätten, sollte man sich so verhalten, als würde die Behandlung wirken und die neue Methode einführen. Psychologische Forschung: Aufgrund von Konventionen werden häufig Fehler erster Art von 5% oder 1% benutzt. Wäre in BSP (n = 20) nicht sinnvoll gewesen, weil dadurch die Teststärke unbrauchbar klein wäre. [1] Allerdings gegebene Lösung auch problematisch, da p ≤ α im BSP von vornherein unter Gültigkeit der H0 relativ wahrscheinlich (41.7%); Evidenz des Signifikanztestes wäre nicht sehr aussagekräftig. Möglichkeit: auf mehr Patienten warten. 4) Minimierung des „experimentellen Fehlers“ (zusätzlicher Faktor) Erfassung psychologischer Variablen tlw. schwierig (latente Variablen, Verzerrung durch Störvariablen, Fehler/Ungenauigkeiten in der Auswahl der Stichprobe => all das: experimentelle Fehler). Geringere Fehlergröße -> geringere Streuung. Erhöhte Sorgfalt und Präzision durch: hohe Reliabilität und Validität potentielle Einflüsse der Versuchsleiter minimieren (z.B. identische Instruktionen am Computer und einzelne Testung) Nur Stichprobenmitglieder der Population für welche die Hypothese abgeleitet wurde 5) Homogenität der  Population(en) (zusätzlicher Faktor) Nicht so offensichtlich, hat aber Auswirkung auf den Standardfehler. BSP. Zufallsstichprobe von Psychologie-Erstsemester anstelle von Zufallsstichprobe von erwachsenen Männern und Frauen, da in homogener Gruppe eine geringere Varianz erwartet wird als in einer heterogenen Gruppe. Varianz ist Grundlage für Berechnung des Standardfehlers, der wiederum die Form der Stichprobenverteilung bestimmt. Aber: größere Homogenität kann eine geringere externe Validität bedeuten
• 12 Signifikanztests 12.5 Poweranalyse Poweranalyse: 3 Haupteinflussgrößen auf Teststärke, die sich gegenseitig kompensieren können: (angenommene) Effektgröße in der Population Stichprobengröße Abwägung von α und β Deswegen vor jedem Test: Teststärkeanalyse (Poweranalyse). Tabellenwerke und Computerprogramme (zB GPower). Normale Form der Poweranalyse sollte immer a priori erfolgen (a priori-Analyse), um die notwenige Stichprobengröße zu ermitteln. Wenn Größe vorgegeben: Kompromiss-Analyse. Aber auch im Nachhinein kann es unter Umständen sinnvoll sein, eine post hoc-Analyse vorzunehmen (bei Versäumnis, Interpretation der Ergebnissen anderer Forscher) Die Suche nach der Stichprobengröße: „A priori-Analyse“ 3 Fragen klären: Was ist meine Alternativhypothese (wie groß ist der Mindesteffekt, den ich entdecken möchte)? Wie groß möchte ich α oder den Fehler erster Art (die Irrtums-wahrscheinlichkeit) setzen? Wie groß sollte die Teststärke mindestens sein (oder äquivalent: Welchen Wert sollte β oder der Fehler zweiter Art nicht überschreiten)? Die Suche nach einem Kompromiss zwischen α und β Manchmal Größe der verfügbaren Stichprobe begrenzt (spezielle Stichprobe, begrenzte Zeit/Geldmittel) + an der Größe des Populationseffekts kann man selten etwas ändern, bleiben also nur die beiden Fehler, insbesondere der Fehler erster Art. Die Suche nach weiteren Interpretationsmöglichkeiten: „post hoc-Analyse“ Post hoc-Analyse wäre im Neyman & Pearson-Ansatz nicht notwendig, weil man vor der Durchführung eine Teststärkenanalyse macht. Bei Versäumnis oder Interpretation der Ergebnisse anderer Forscher empfiehlt sich die post hoc-Analyse vor allem dann, wenn die Forschungshypothese mit der Nullhypothese korrespondiert und wenn das Testergebnis nicht signifikant geworden ist. Ergebnis nur dann sinnvoll interpretierbar, wenn gewährleistet ist, dass die Chance groß genug war, selbst geringe Effekte aufzudecken. Dann kann man sich überlegen, wie groß ein Effekt in der Population maximal sein dürfte, um von einem vernachlässigbaren Effekt sprechen zu können.
• 12 Signifikanztests 12.6 Vorgehensweise nach Neyman und Pearson 12.6.1 Beispiel 1: Vorzeichentest nach Neyman und Pearson 12.6.2 Beispiel 2: t-Test nach Neyman und Pearson 12.6.3 Akzeptanz des Ansatzes in Psychologie und Sozialwissenschaften Möglichkeit 2) Vorgehensweise nach Neyman und Pearson Signifikanztest in der Version von Neyman und Pearson häufig auch als Hypothesentest bezeichnet; hier nochmal grundlegende Vorgehensweise: Nullhypothese formulieren + entsprechende Stichprobenverteilung konstruieren (falls Stichprobengröße vorgegeben) Alternativhypothese formulieren + entsprechende Stichprobenverteilung konstruieren (falls Stichprobengröße vorgegeben) Größe von α oder β festlegen, deren relative Wichtigkeit abwägen + anhand der daraus ermittelten Stichprobengröße die entsprechende Stichprobenverteilung ermitteln (falls nicht schon geschehen) Jetzt im Idealfall Datenerhebung Prüfen, ob p-Wert größer oder kleiner/gleich α ist p < α -> signifikant, p > α -> nicht signifikant Signifikantes Ergebnis: Verhalte dich, wie wenn die Alternativhypothese wahr wäre; Ergebnis nicht signifikant: Verhalte dich, wie wenn die Nullhypothese zuträfe. Datenerhebung erfolgt im Idealfall nach Schritt 3, als wenn der Test voll spezifiziert ist, weil man erst nach diesem Schritt die notwendige Stichprobengröße ermitteln kann (Ausnahme begrenzte Stichprobe). Akzeptanz des Ansatzes in Psychologie und Sozialwissenschaften In seiner Reinform wird der Ansatz von Neyman & Pearson in der psychologischen / sozialwissenschaftlichen Forschung selten verwendet, u.a. weil Fisher die vorgeschlagenen Verbesserungen nicht als solche gesehen hat und es somit zu keiner Integration kam (persönliche Spannung zwischen Fisher und Neyman & Pearson) weil sicher auch in (selbst der angewandten) psychologischen Forschung nur selten zeitkritischen Entscheidungen anstehen weil meistens schon viele Studien zu einem Forschungsgebiet vorliegen weil es in der Grundlagenforschung selten um Entscheidungen, sondern eher um Erkenntnis und Wissenszuwachs geht – daher hat es ein Verfahren, das auf Entscheidungen ausgelegt ist, hier besonders schwer sich zu etablieren
• 12 Signifikanztests 12.7 Das konventionelle Verfahren: Der "Hybrid" Möglichkeit 3) Das konventionell Verfahren: Der „Hybrid“: Meist „Hybrid“ aus Ansätzen von Fisher, Neyman & Pearson, (manchmal) Bayes; wird in der psychologischen Praxis am häufigsten benutzt. Bestandteile Wie unterscheidet sich der Hybrid von anderen beiden Ansätzen? Nicht ganz eindeutig. (Falsche Interpretation des p-Werts, offensichtlich durch Vermischung der Ansätze mitverursacht) Fast nie Verhaltensinterpretation (Wenn signifikant / nicht signifikant, verhalte dich wie wenn ... wahr / nicht wahr wäre) von Signifikanzergebnissen bei Hybrid (Verhaltensinterpretation bei Neyman & Pearson) Fehler erster Art nahezu immer von vornherein (ohne Kosten-Nutzen-Analyse) auf 5% oder 1% festgelegt (Fisher) Aber meist immer die Alternativhypothese (Neyman & Pearson) beschrieben Häufig liest man, dass bei nicht signifikanten Ergebnissen keine Aussagen zu machen sind (Fisher), auch wenn immer öfter Teststärken-Berechnungen vorgeführt werden (Neyman-Pearson) Hybrider Ansatz: „Sternchenstrategie“ sehr beliebt (* signifikant für p < 5%, ** sehr signifikant für p < 1% und *** hoch signifikant für p < 0.1%). -> Achtung: Diese Vorgehensweise suggeriert, dass der p-Wert automatisch eine Aussage über die praktische Bedeutsamkeit eines Ergebnisses erlaubt, was er aber nur eingeschränkt tut (etwa wenn man die Ergebnisse mehrerer identisch spezifizierter Experimente miteinander vergleicht). Hier meist optimierte Version des konventionellen Ansatzes verwendet (abgesehen von einer ausführlicher Kosten-Nutzenanalyse & der Verhaltensinterpretation der Ergebnisse). A Priori-Festlegung auf kleines α macht Sinn, weil Forschungshypothese meist H1 ist und diese entsprechend streng geprüft werden sollte. Zunehmen aber Meinung, dass auch der Alternativhypothese eine genügend hohe Chance gegeben werden sollte (Konvention nach Cohen 1988: 80%); wenn Forschungshypothese = H0 noch höhere Teststärke! Poweranalyse muss also integraler Bestandteil auch des konventionellen Ansatzes sein, selbst wenn Stichprobe schon vor der Spezifikation des Tests erhoben wurde. Zudem werden im konventionellen Ansatz immer öfter exakte p-Werte berichtet (im N&P-Ansatz nicht notwendig, weil anhand der Kosten-Nutzen-Analyse schon Klarheit über akzeptablen Wert verschafft wurde): Vorteil ist deren Verwendung bei der Berechnung von Effektstärken. Vorgehensweise und Ergebnisinterpretation Es spräche auch im konventionellen Ansatz nichts dagegen, das Signifikanztestergebnis als Grundlage für eine Entscheidung zu nutzen. Generell wird im konventionellen Ansatz das Ergebnis von Signifikanztests als Entscheidungs- und Bewertungskriterium für die geprüften Hypothesen benutzt, wobei in der Regel auch weitere Kriterien (bspw. Effektgrößen und die Ergebnisse grafischer Analyse) miteinbezogen werden sollten.
• 12 Signifikanztests 12.8 Signifikanztests: Was man noch wissen sollte 12.8.1 Spezifikation von Null- und Alternativhypothese 12.8.2 Wie man p-Werte nicht interpretieren sollte 12.8.3 Signifikanztest und Konfidenzintervall 12.8.4 Allgemeine Hinweise und Empfehlungen Signifikanztests: Was man noch wissen sollte: Gilt für Neyman & Pearson-Ansatz wie auch optimierte Version des konventionellen Ansatzes: Spezifikation von Null- und Alternativhypothese Man kann in beide Richtungen testen: Einseitige vs. zweiseitige Tests Rückgriff auf theoretische Vorarbeiten nicht möglich: zweiseitige Testung -> α wird gleichmäßig auf beide Ränder der Stichprobenverteilung aufgeteilt, es ist somit schwieriger ein signifikantes Ergebnis zu erlangen. Spezifizieren der Alternativhypothese Wenn überhaupt Angaben zur Alternativhypothese gemacht werden, dann häufig nur anhand von Ungleichheitszeichen, einfacher ist die Poweranalyse jedoch meist, wenn man sich zunächst Gedanken über einen Mindesteffekt macht. Wie man p-Werte nicht interpretieren sollte: Warum ist p kein Indikator für die Effektgröße? Größe des Effekts ist nur eine von mehreren Faktoren, die den p-Wert beeinflussen. Z.B. auch Stichprobengröße Warum kann man mit p die Wahrscheinlichkeit der Hypothese nicht abschätzen? Der p-Wert ist eine bedingte Wahrscheinlichkeit, p(Ergebnis|H0) – siehe Definition oben. Man könnte auch p(Ergebnis|H1) bestimmen, aber auch in diesem Fall betrifft die Wahrscheinlichkeitsaussage das Ergebnis und nicht die Alternativhypothese. Aussagen über die Wahrscheinlichkeit von Hypothesen weder im Fisher- noch im NP- oder hybriden Ansatz möglich (dafür Bayesianischer Ansatz in K19). Warum ist p nicht die Irrtumswahrscheinlichkeit? Die Irrtumswahrscheinlichkeit (Signifikanzniveau, α) ist nichts anderes als die Wahrscheinlichkeit, einen Fehler erster Art zu begehen, der sich ausschließlich auf die Nullhypothese bezieht. Die Wahrscheinlichkeit für diesen Fehler wird aufgrund theoretischer Erwägungen vor dem Test festgelegt, während der p-Wert nach dem Test aufgrund des empirischen Ergebnisses berechnet wird. Warum ist p kein Indikator für Replizierbarkeit? Die Replizierbarkeit eines (signifikanten) Ergebnisses hängt von der Teststärke ab, und die wiederum von n, der Effektgröße und α. Fixierung dieser Größen und wiederholte Stichprobenziehung führt zu konstanter Teststärke, aber bedingt durch Zufallseinflüsse sind unterschiedliche Ergebnisse zu erwarten -> unterschiedliche p-Werte; diese daher kein Indikator für Replizierbarkeit. Wie sollte man p-Werte interpretieren? Konventionelle Ansätze -> Entscheidungs- oder Bewertungskriterium für die Hypothesen; Neyman & Pearson -> Verhaltensinterpretation (Wenn signifikant / nicht signifikant, verhalte dich wie wenn ... wahr / nicht wahr wäre). Signifikanztest und Konfidenzintervall Hängen eng zusammen: Ein 95%-Konfidenzintervall, das den Wert für die Nullhypothese nicht überlappt, ist äquivalent zu einem signifikanten Testergebnis mit einem zweiseitigen α von 100 – 95%. Warum -> Der Standardfehler wird in beiden Fällen aus der Stichprobenvarianz geschätzt. Die Intervalle, die die mittleren 95% der Stichprobenverteilung einschließen, sind also in beiden Fällen gleich lang. Konfidenzintervalle können im Prinzip somit auch zum Signifikanztesten verwendet werden (lassen zusätzlich Aussagen über die Genauigkeit von Ergebnissen zu). Allgemeine Hinweise und Empfehlungen Zentrale Empfehlungen (der APA): Immer Teststärke berechnen Immer exakte p-Werte berichten Immer (Stichproben-)Effektgrößen berechnen In Zweifelsfällen Konfidenzintervallen gegenüber Signifikanztests den Vorzug geben Zusätzliche Empfehlungen von Sedlmeier & Renkewitz: Signifikanztest nach Neyman-Pearson durchführen, wenn dies angebracht ist (wenn Entscheidungsgrundlage) -> dann sollten Fehler erster und zweiter Art nach einer Kosten-Nutzen-Analyse vor der Durchführung des Tests festgelegt werden. In keinem Fall sollte der p-Wert das einzige Ergebnis einer Studie sein.
• 13 t-Tests 13.1 Unterschied zwischen zwei Mittelwerten 13.1.1 Unabhängige Stichproben 13.1.2 Abhängige Stichproben t-Verteilung: Unterschied zwischen zwei Mittelwerten Unabhängige Stichproben Generelle Vorgehensweise Bei Überprüfung auf signifikante Unterschiede zweier unabhängiger Populationen benötigt man zwei unabhängige Stichproben (eine aus jeder Population) => stochastische Unabhängigkeit [vom Zufall abhängig]: Werte der einen Stichprobe erlauben keine Vorhersage über die Werte der anderen Stichprobe. Beim t-Test für einen Mittelwertsunterschied aus zwei unabhängigen Stichproben A und B nutzt man folgende Prüfgröße: t = ((-x-A – -x-B) – (μA – μB)) / ^σ-x-A – -x-B t-Wert = Mittelwertsunterschied. Wird dadurch standardisiert (in ein von der tatsächlich verwendeten Skala unabhängiges Format gebracht wird), dass man ihn durch den Standardfehler (die Streuung dieses Mittelwertsunterschiedes) teilt. (μA – μB) -> Vermutung über entsprechende Populationsmittelwerte; entspricht der Nullhypothese; kann beliebige Werte annehmen, aber man geht meist vom Wert Null aus, da H0 i.d.R. meint, dass kein Unterschied vorhanden ist. ^σ-x-A – -x-B -> Standardfehler des Mittelwertsunterschieds (Stichprobengrößen werden berücksichtigt). Berechnung des empirischen t-Werts -> Vergleich mit kritischem t-Wert (theoretischer Wert, der durch das Kriterium, also die Wahl von α und β festgelegt ist): Ist der empirische t-Wert größer als der kritische t-Wert ist das gleichbedeutend mit einem signifikanten Ergebnis, also mit p < α (ident: p = α); und vice versa. Vor Testdurchführung sollte Poweranalyse berechnet werde, um Höhe der Chance, einen tatsächlich vorhandenen Populationseffekt auch zu entdecken, abschätzen zu können: Poweranalyse Der Populationseffekt für unabhängige Mittelwertsunterschiede lässt sich als Abstandsmaß in Standardabweichungseinheiten ausdrücken (K9): d = (μA – μB) / σAB μA – μB -> Größe des Mittelwertsunterschied zwischen zwei Populationen σAB -> gemeinsame Streuung der beiden Populationen d als Ausgangswert für die Festlegung der Alternativhypothese Voraussetzungen für die Durchführung Stochastische Unabhängigkeit der Stichproben Intervallskalierte Messwerte Normalverteilung der jeweiligen Populationswerte Homogene Varianzen der beiden Populationen Wenn nicht dann folgt die Stichprobenverteilung nicht mehr der t-Verteilung und die Aussagekraft des Testergebnisses ist eingeschränkt meist stimmt das vorgegebene α nicht mehr mit dem realen α überein allerdings sind t-Tests relativ robust gegenüber Verletzungen der Annahme über die Verteilung der Populationswerte, es sei denn, die Stichproben sind sehr klein Bei deutlicher Verletzung der Voraussetzungen -> sollte ein entsprechendes nonparametrisches (verteilungsfreies) Verfahren verwendet werden (K18; Verfahren zur Analyse ordinalskalierter Daten). Abhängige Stichproben Jeder Wert einer Stichprobe lässt sich einem Wert der anderen Stichprobe zuordnen: Wertpaare. Zwei Werte eines Paares haben oft ähnliches Niveau, deswegen ist der Standardfehler in der Regel kleiner als bei unabhängigen Stichproben (s.u.). Dafür gibt es einen eigenen t-Test: Generelle Vorgehensweise Prüft, ob die gefundene Mittelwertsdifferenz zwischen den abhängigen Stichproben bedeutsam von der für die entsprechenden Populationen vermuteten Mittelwertsdifferenz abweicht. Mittelwertsunterschied zwischen zwei abhängigen Stichproben A und B = Mittelwert der Differenzen aller n Wertpaare. Wie der Test für den Einstichprobenfall, nur mit Differenzwerten statt Einzelwerten -> deswegen: n bezieht sich auf Anzahl der Wertpaare (ebenso df = n -1). -> Starker Einfluss der Korrelation auf das Ergebnis des t-Tests sichtbar! Je höher die (positive) Korrelation, desto kleiner ist die geschätzte Populationsstreuung. Bei konstantem Mittelwertsunterschied führt also eine höhere Korrelation zu einem größeren t-Wert als eine geringere Korrelation. Die Höhe der Korrelation wirkt sich somit direkt auf die Power des Tests aus (größere t-Werte werden eher signifikant). Poweranalyse Der Populationseffekt kann als standardisierter Differenzwert ausgedrückt werden: d = μdiff / σdiff Achtung: Dieses d ist nicht identisch mit dem d im Falle unabhängiger Stichproben! Voraussetzungen für die Anwendung Intervallskalenniveau Differenzwerte (Messung A – Messung B) d = 1 -> eine Standardabweichungseinheit
• 13 t-Tests 13.2 Weitere t-Tests 13.2.1 Korrelation 13.2.2 Regression Weitere t-Tests: t-Tests werden nicht nur für Mittelwerte und Mittelwertsvergleiche benutzt, sondern auch, um zu prüfen, ob sich eine Korrelation oder ein Regressionskoeffizient signifikant von Null unterscheidet. (Außerdem Kapitel 16, Kontrastanalyse) Korrelation t-Test für Korrelationen nur möglich, wenn die Nullhypothese besagt, dass sich die Korrelation in der Population nicht von Null unterscheidet (sonst Stichprobenverteilung nicht symmetrisch -> in diesem Fall z-Transformation). Korrelation r ist selbst eine Effektgröße und kann direkt – als Populationskorrelation ρ (rho) – für die Poweranalyse benutzt werden. Regression t-Test, der überprüft, ob sich im Falle einer Prädiktorvariable ein Regressionsgewicht b (oder β für standardisierte Werte) signifikant von Null unterscheidet (K8). Möglich, weil Korrelation und Regressionskoeffizient (insbesondere im Fall von nur zwei Variablen) eng zusammenhängen; dieser Zusammenhang ist (wie in K8): r = b * sx/sy Korrelation: Bei gleicher Streuung der Variablen (wie im Fall von z-standardisierten Variablen = 1) sind Regressionsgewicht und Korrelation identisch. Auch eine Poweranalyse lässt sich analog zu der beim Test für die Abweichung einer Korrelation von Null durchführen.
• 13 t-Tests 13.3 Effektgrößenberechnung aus Testergebnissen von t-Tests 13.3.1 Generelle Idee 13.3.2 Eine Stichprobe (Mittelwert vs. vorgegebener Wert) 13.3.3 Zwei unabhängige Stichproben 13.3.4 Zwei abhängige Stichproben 13.3.5 Korrelation und Regression Effektgrößenberechnung aus Testergebnissen von t-Tests: Effektgrößen-Berechnungen bisher bezogen sich auf den Populationseffekt (immer nur ein Effekt möglich), hier nun Stichprobeneffekte (mehrere möglich). Beste Schätzung für Populationseffekt: Mittelwert bereits berechneter Stichprobeneffekte aus derselben Population (Prinzip der Meta-Analyse, K25). Generelle Idee Folgende „Merkregel“: Effektgröße = Signifikanztestergebnis / Größe der Studie Signifikanztestergebnis = Funktion der Teststatistik (z.B. t-Wert) Größe der Studie = meist Freiheitsgrade (df) oder direkt als Stichprobengröße (n) In der Regel lassen sich auf diese Weise sowohl Abstands- als auch Korrelationsmaße berechnen; hier wird nur die Vorgehensweise für die bislang behandelten Arten von t-Tests anhand der Effektgrößen g und r demonstriert. Eine Stichprobe (Mittelwert vs. vorgegebener Wert) Abstandsmaß g für den Einstichprobenfall: g = t / √n Zwei unabhängige Stichproben g = t  √(nA + nB / nA * nB) Im Falle zweier Stichproben kann man auch eine korrelative Effektgröße (Zusammenhangsmaß) r aus dem t-Wert berechnen, die als Korrelation zwischen Gruppenzugehörigkeit (UV) und Messwerten (AV) interpretiert werden kann: Zwei abhängige Stichproben Bezieht sich auf Differenzwerte (diff); Effektgröße g schon in der Formel für den t-Test für Mittelwerte aus abhängigen Stichproben (tAS) enthalten: g = tAS / √n Abhängige Stichproben korrelieren (meistens positiv) -> Fehlervarianz bei t-Tests für abhängige Stichproben kleiner, umso mehr je höher die (positive) Korrelation zwischen den Stichproben ist. Achtung: inhaltlich vergleichbare Effektgrößen aus Studien mit unabhängigen Stichproben und abhängigen Stichproben -> hinsichtlich der Größe nicht direkt vergleichbar. Korrelation und Regression Wenn nur der t-Wert und nicht die Korrelation selbst (meist aber der Fall + r ist schon eine Effektgröße!) angegeben ist, kann man diese mithilfe der schon beim t-Test für unabhängige Mittelwertsunterschiede verwendeten Formel zurückrechnen: r = √( t² / t² + df) Diese Formel kann auch benutzt werden, wenn man das Ergebnis eines Signifikanztests zur Frage, ob sich ein Regressionskoeffizient signifikant von Null unterscheidet, vorliegen hat (mehr zur Berechnung von Effektgrößen im Rahmen von Regressionsrechnungen: K21).
• 14 Der F-Test in der einfaktoriellen Varianzanalyse 14.1 Warum nicht mehrere t-Tests? Der F-Test in der einfaktoriellen Varianzanalyse Varianzanalyse: Unterschiede zwischen Mittelwerten aus mehr als zwei Stichproben auf Signifikanz testen (z.B. jedes Experiment, in dem eine unabhängige Variable in mehr als zwei Stufen variiert). Name Varianzanalyse, weil Vergleich von Mittelwerten mithilfe einer Betrachtung von Varianzen erreicht wird (im einfachsten Fall die Untersuchung der Varianzen innerhalb und zwischen den Stichproben). VA kommt vor allem in der experimentellen Forschung zur Anwendung (z.B. Auswirkung von Schlagmangel unterschiedlicher Dauer auf die Konzentration). Verwendung einer Varianzanalyse für unabhängige Stichproben ist vor allem dann geeignet, wenn sich in den verschiedenen Bedingungen oder Gruppen unterschiedliche Personen befinden (also z.B. in Experimenten im Between-Subjects-Design mit Randomisierung). Es gibt aber auch eine Varianzanalyse für abhängige Stichproben: v.a. wenn Daten in verschiedenen Bedingungen von denselben Teilnehmern stammen (Experimente mit Within-Subjects-Design) Mehrere UV -> mehrfaktorielle Varianzanalyse (K15) Warum nicht mehrere t-Tests? Stichprobenmittelwert paarweise mit mehreren t-Tests vergleichen ist prinzipiell möglich (zB 3 t-Tests), ABER die Wahrscheinlichkeit für das Auftreten von Fehlentscheidungen erhöht sich hierbei zwangsläufig. Mit dem Signifikanzkriterium α wird die Wahrscheinlichkeit für eine Fehlentscheidung zugunsten der Alternativhypothese festgelegt. BSP. keine Unterschiede zwischen den Populationsmittelwerten – bei allen drei t-Tests ist die Nullhypothese korrekt. Es wurde je ein Kriterium von α = 5% festgelegt. Beim ersten durchgeführten Test haben wir somit eine Wahrscheinlichkeit von 1 – α = 95% ein nicht-signifikantes Ergebnis zu finden und uns richtiger Weise gegen die Alternativhypothese zu entscheiden. Wie groß ist aber die Wahrscheinlichkeit, dass wir uns bei der Durchführung von drei Tests in beiden Tests richtig entscheiden?  0.95 * 0.95 * 0.95 = 0.857 -> kumuliertes α  von 0.143, also 14.3% = erhöhte Wahrscheinlichkeit, dass bei mehreren Tests mindestens ein α-Fehler auftritt. Eine Lösungsmöglichkeit: für die einzelnen Tests ein korrigiertes α‘ festlegen -> sollte so niedrig sein, dass das kumulierte die angestrebte Fehlerwahrscheinlichkeit nicht überschreitet: Rechnerisch viel einfacher lässt sich das α‘ mit der Bonferroni-Korrektur bestimmen, die näherungsweise zu denselben Ergebnissen führt. Tatsächlich ist das kumulierte α kleiner als das berechnete (sehr konservatives Vorgehen). Nur ein großer Effekt in den Stichprobendaten zieht eine Entscheidung zugunsten der Alternativhypothese nach sich. Die Teststärke der einzelnen t-Tests sinkt! Tatsächlich vorhandene Alternativhypothesen werden so mit geringerer Wahrscheinlichkeit entdeckt: Die Wahrscheinlichkeit eines β-Fehlers (Fehlentscheidung zugunsten der H0) steigt! Außerdem, BSP: 5% α bei 100 durchgeführten Tests: so oder so 5 signifikante Ergebnisse -> Findet man in 100 Tests 7 signifikante Ergebnisse, bleibt offen, welche dieser Ergebnisse tatsächlich vorhandene Unterschiede zeigen. Ausbruch aus diesem Dilemma: Ein Test zum Vergleich aller Gruppenmittelwerte -> Varianzanalyse
• 14 Der F-Test in der einfaktoriellen Varianzanalyse 14.2 Die Logik der Varianzanalyse 14.2.1 Zwei Wege zu einer Schätzung der Populationsvarianz 14.2.2 Varianzzerlegung Die Logik der Varianzanalyse: Alternativhypothese -> Gegenteil der H0, d.h. irgendwelche Mittelwertsunterschiede bestehen; wenn mind. zwei Populationsmittelwerte voneinander abweichen (nicht mehr durch zufällige Abweichungen der Stichprobenmittelwerte vom gleichen Populationsmittelwert) Dazu: Betrachtung der Varianzen, weil Frage nach Unterschieden zwischen Mittelwerten gleichbedeutend mit der Frage nach der Variation dieser Mittelwerte ist: Zwei Wege zu einer Schätzung der Populationsvarianz Populationsvarianz wird aus Stichprobendaten geschätzt; auf 2 Arten: Anhand der Varianz der Messwerte innerhalb der einzelnen Stichproben Aufgrund der Variation zwischen den Mittelwerten der Stichproben Diese 2 Schätzungen werden verglichen -> ähnliches Ergebnis wird erwartet, wenn H0 korrekt. Schätzung der Populationsvarianz aufgrund der Variation innerhalb der Stichproben Geschätzte Varianz = summierte Abweichungsquadrate / n – 1 Aus jeder Stichprobe können wir eine Schätzung für die Populationsvarianz σ² gewinnen. Generell gilt, man kann die Schätzung eines Populationsparameters verbessern, indem man mehrere (unabhängige) Schätzer dieses Parameters ermittelt. Wir erhalten also eine gute Schätzung der Populationsvarianz, wenn wir den Mittelwert der Varianzschätzung aus den einzelnen Stichproben berechnen. Diese mittlere geschätzte Varianz wird auch Varianzschätzung innerhalb von Gruppen genannt und mit ^σ²inn abgekürzt. Nur dann korrektes Ergebnis, wenn gleiche Anzahl von Teilnehmern in den Gruppen! ! Varianzschätzung innerhalb von Gruppen wird von Mittelwertsunterschieden zwischen den Gruppen nicht beeinflusst; daher Annahme, dass Varianzschätzung innerhalb von Gruppen stets eine gute Schätzung der Populationsvarianz liefert. Schätzung der Populationsvarianz aufgrund der Variation zwischen den Stichprobenmittelwerten Berechnung der Varianz der Stichprobenmittelwerte (ergibt sich aus der quadrierten Abweichung der einzelnen Mittelwerte vom Gesamtmittelwert aller Daten, bezeichnet als =x=; sofern in allen Stichproben die gleiche Teilnehmeranzahl untersucht wird, ist der Gesamtmittelwert =x= identisch mit dem Mittelwert der Stichprobenmittelwerte). Erinnerung: unendlich viele Mittelwerte aus gezogenen Stichproben bilden zusammen eine neue Verteilung – die Stichprobenverteilung des Mittelwerts. Bei Gültigkeit der Nullhypothese, kann man annehmen (und wird hier angenommen), dass alle Populationen (für die die Stichproben eine Schätzung sind) die gleiche Varianz und die gleiche Form (Normalverteilung) haben; wenn H0 zutrifft: alle Mittelwerte aus einer Population gezogen sind identisch. Verschiedene Mittelwerte kann man als Ausschnitt der unendlich vielen Mittelwerte in der Stichprobenverteilung verstehen. Entsprechend schätzt die nach der obigen Formel berechnete Varianz der Stichprobenmittelwerte die Varianz der Stichprobenverteilung. Wovon hängt diese nun ab? Populationsvarianz: geringe Streuung in Stichproben -> vermutlich geringe Streuung in Population. Deswegen sollte es möglich sein, aus der Varianz der Stichprobenmittelwerte eine Schätzung für die Populationsvarianz zu gewinnen Zur Bestimmung der Varianz der Stichprobenverteilung des (Populations-)Mittelwerts wird die Populationsvarianz durch die Stichprobengröße n geteilt. Bei VA umgekehrt: geschätzt Varianz der Stichprobenverteilung wird mit n multipliziert -> Schätzung der Populationsvarianz (Varianzschätzung zwischen den Gruppen): Populationsvarianz lässt sich aber nur dann korrekt aus der Varianz der Stichprobenmittelwerte schätzen, wenn die H0 zutrifft! Bei Gültigkeit der H0 können wir daher auch erwarten, dass die Varianzschätzung zwischen den Gruppen zu einem ähnlichen Ergebnis führt wie die Varianzschätzung innerhalb von Gruppen. Anders bei Gültigkeit der Alternativhypothese: Stichproben aus Population haben gleiche Varianz und gleiche Form (gemäß Annahmen der Varianzanalyse), aber unterschiedliche Mittelwerte. D.h. Varianz der Stichprobenmittelwert hängt wiederum von der Populationsvarianz ab, zusätzlich aber auch von Unterschiedlichkeiten der Populationsmittelwerte. Außerdem bei Gültigkeit der Alternativhypothese: Varianzschätzung zwischen Gruppen führt zu einer systematischen Überschätzung der Populationsvarianz (größer je größer die Unterschiede zwischen den Populationsmittelwerten); außerdem fällt die Varianzschätzung zwischen Gruppen höher aus als die innerhalb von Gruppen. Der Hypothesentest der Varianzanalyse vollzieht sich über den Vergleich der beiden Varianzschätzungen: ähnliches Ergebnis spricht für die H0; deutlicher Unterschied spricht gegen die H0 F-Wert und F-Verteilung Vergleich der beiden Varianzschätzungen wird anhand des Verhältnisses beider Größen durchgeführt – dieses Verhältnis nennt sich F-Wert (F steht für Fisher, Statistiker und Entwickler der Varianzanalyse): F = ^σ²zw / ^σ²inn Bei gleicher Größe: F-Wert von 1 (nahe 1). Wie viel größer als 1 muss ein F-Wert sein, damit wir die Nullhypothese zurückweisen können (die Abweichung von 1 nicht mehr plausibel durch Zufall erklärbar ist)? Lösung anhand der F-Verteilung: Stichprobenverteilung von F-Werten, die angibt mit welcher Wahrscheinlichkeit bei Gültigkeit der Nullhypothese verschiedene F-Werte auftreten (anhand unendlich vieler F-Werte aus Stichproben; mathematisch hergeleitet). Es gibt mehrere F-Verteilungen; die exakte Form hängt ab von der Anzahl der Freiheitsgrade (dfzw und dfinn) in der varianzanalytischen Studie (diese wiederum ergeben sich aus der Anzahl und Größe der untersuchten Stichproben). Die F-Verteilung erstreckt sich (anders als t-Verteilungen und die NV) nicht in den negativen Zahlenbereich (da es sich bei F-Werten um Verhältnisse zweier Zahlen handelt und Varianzen stets positive Werte annehmen); außerdem häufen sich die meisten F-Werte im kleinen Wertebereich (weil bei Gültigkeit der H0 häufig Werte um den Bereich 1 gefunden werden und nur wenige deutlich größer als 1 sind). Die hierbei gefundene Wahrscheinlichkeit (kritischer F-Wert) entspricht dem p-Wert. Werden auch Zähler- und Nennerfreiheitsgrade genannt (entspricht Zähler und Nenner bei F-Wert; Zähler = zw, bzw. Nenner = inn) -> Tabellen mit kritischen F-Werten zu verschiedenen α-Niveaus Auch nach Annahme der Alternativhypothese bleibt allerdings offen, welche der Populationsmittelwerte sich unterscheiden! Dafür Post-hoc-Tests (K14.4); jedoch können auch Post-Hoc-Tests ein inhärentes Problem der Varianzanalyse nicht lösen: Die Alternativhypothese der Varianzanalyse ist unspezifisch (auch als Omnibus-Hypothese bezeichnet, da sie alle möglichen Unterschiede zwischen mehreren Populationsmittelwerte beinhaltet). Eine spezifische Forschungshypothese können wir genau genommen mit der VA nicht testen -> man benötigt eine Kontrastanalyse (K16), die es erlaubt, fokussierte Hypothesen zu überprüfen. Varianzzerlegung -> ist der zweite Ansatz der VA; äquivalent mit dem gerade behandelten Ansatz der Varianzschätzung, somit identische Ergebnisse, aber hier gebräuchlichere und flexiblere Berechnungsmethoden (die Formeln können z.B. auch bei ungleichen Stichprobengrößen eingesetzt werden); inhaltlich wird aber einfach anderer Aspekt der Logik der VA in diesem Kapitel betont. Zentrale Idee: Gesamtvariation in den Stichprobendaten in eine systematische Variation zwischen Gruppen und eine Fehlervariation innerhalb von Gruppen zu zerlegen. Gesamtvariation der Daten ergibt sich aus der Abweichung aller einzelnen Messwerte vom Gesamtmittelwert (xi – =x=), ungeachtet der Gruppenzugehörigkeit. Generell gilt nun, dass die Abweichungen eines Messwerts vom Gruppenmittelwert in zwei Komponenten aufgeteilt werden kann: Die Abweichung des Messwerts von seinem Gruppenmittelwert (xij – -x-j) und die Abweichung seines Gruppenmittelwerts vom Gesamtmittelwert (-x-j – =x=): (xij – =x=)  =  (xij – -x-j) + (-x-j – =x=) Zerlegung ist relevant, weil die beiden Komponenten eine unterschiedliche inhaltliche Bedeutung haben. Die Abweichung eines Gruppenmittelwerts vom Gesamtmittelwert können wir als systematische Variation deuten. Die Abweichungen der Gruppenmittelwerte vom Gesamtmittelwert können innerhalb unserer Untersuchung ja durch eine Wirkung der unabhängigen Variablen erklärt werden (Die Abweichung eines Messwerts vom Gruppenmittelwert ist hier hingegen nicht erklärbar – diese Abweichungen stellen Fehlervariationen dar). Um Aussagen über das Ausmaß der systematischen Variation und der Fehlervariation im gesamten Datensatz treffen zu können: Quadrierte Abweichungen: Quadratsumme (QS, engl. SS sum of squares): QuadratsummeGesamtvariation = Fehlervariation + Systematische Variation Die Fehlervariation und die systematische Variation addieren sich auf zur Gesamtvariation: QSgesamt = QSinn + QSzw Varianzschätzung zwischen und innerhalb der Gruppen wird erreicht, indem die Quadratsummen durch die entsprechenden Freiheitsgrade dividiert werden: Das Funktionsprinzip der Varianzanalyse kann also auch als ein Vergleich von systematischer Variation und Fehlervariation in den Daten beschrieben werden. Bei unveränderter Anzahl von Freiheitsgraden: Je größer die systematische Variation im Vergleich zur Fehlervariation, umso größer wird der F-Wert und umso eher können wir schließen, dass in der Population ein Effekt vorhanden ist (BSP Signal vs. Rauschen, zB Wort das man Freund in lautem Club sagen will; je lauter das Signal vor dem Hintergrund des Rauschens, desto leichter wird es erkennbar sein). ANOVA-Tabelle Ergebnisse einer Varianzanalyse werden häufig in ANOVA-Tabelle berichtet. Varianzschätzungen im Englischen: mean of squares (MS) Struktur der meist berichteten verkürzten Form: F(dfzw, dfinn) = gefundener F-Wert, p = gefundener p-Wert zB F(2, 12) = 12.71, p = .001
• 14 Der F-Test in der einfaktoriellen Varianzanalyse 14.3 Voraussetzungen der einfaktoriellen Varianzanalyse Voraussetzungen der einfaktoriellen Varianzanalyse Werte in allen untersuchten Populationen sind normalverteilt Untersuchte Populationen haben die gleiche Varianz (Varianzhomogenität) Daten in verschiedenen Stichproben müssen unabhängig sein Notwendig, damit die Stichprobenverteilung der von uns errechneten Prüfgröße (des F-Werts) exakt einer F-Verteilung gleicht. Sonst entspricht der Anteil der jenseits des kritischen F-Werts angenommenen F-Werte nicht mehr dem von uns angenommenen Anteil: z.B. Ist Anteil der F-Werte, der jenseits des kritischen F-Werts liegt, kleiner als 5%, würden wir uns bei Gültigkeit der Nullhypothese seltener für die Alternativhypothese entscheiden. Die Wahrscheinlichkeit für einen α-Fehler wäre kleiner als 5% (konservativer Test). z.B. Ist Anteil der F-Werte, der jenseits des kritischen F-Werts liegt, hingegen größer als 5%, so entscheiden wir uns häufiger als angenommen fälschlich zugunsten der Alternativhypothese (progressiver Test). Robuster Test (robust gegenüber ersten beiden Voraussetzungen): Anteil der F-Werte, die den kritischen F-Wert überschreiten, weicht nicht nennenswert von dem durch das Signifikanzkriterium α spezifizierten Anteil ab; die Wahrscheinlichkeit eines α-Fehlers läge auch bei Verletzung der Voraussetzungen in etwa bei 5%. Studien zur Robustheit der VA: Abweichung von der NV beeinflusst Wahrscheinlichkeit für α-Fehler nur unwesentlich (außer bei sehr kleinen Stichproben oder extrem schiefer Populationsverteilung) Robust gegenüber ungleichen Populationsvarianzen (nur bei gleich großen Stichproben, ansonsten stellen heterogene Varianzen ein großes Problem dar; so führen bspw. schon vergleichsweise geringe Unterschiede zwischen größter und kleinster Varianz zu kritischen Veränderungen des α-Fehlerniveaus) Maßnahmen: Große Stichproben Gleichgroße (oder zumindest ähnlich große) Stichproben -> erhöht Robustheit der VA, außerdem Verteilung der Daten in Stichproben und Stichprobenvarianzen vor Auswertung ansehen (z.B.Stamm-Blatt-Diagramm); Möglichkeiten bei Verletzung: Ungleiche Varianzen bei ungleichen Stichprobengrößen -> Modifikation der VA (Varianzhomogenität wird bei diesen nicht benötigt): Welch-Test oder Brown-Forsythe-Test Andere Voraussetzungsverletzungen (zB Unabhängigkeit nicht gegeben): nonparametrisches Verfahren anstelle der VA: Kruskal-Wallis-Test („Rangvarianzanalyse“) Zur 3. Voraussetzung: Unabhängigkeit der Daten in Stichproben, ansonsten falsche Wahrscheinlichkeitsaussagen über den α-Fehler. Ist somit „echtes“ Problem. Können davon ausgehen, dass Voraussetzung der Unabhängigkeit erfüllt ist, wenn in den verschiedenen Gruppen unterschiedliche Teilnehmer untersucht werden und diese Teilnehmer den Gruppen zufällig zugeordnet sind (bei allen Experimenten im Between-Subjects-Design mit Randomisierung (K5) der Fall); bei Auswertung von Experimenten im Within-Subjects-Design muss anderes Verfahren eingesetzt werden: Varianzanalyse für abhängige Stichproben (K15.2).
• 14 Der F-Test in der einfaktoriellen Varianzanalyse 14.4 Post-hoc-Tests Post-hoc-Tests Im Rahmen der VA wird Omnibus-Hypothese geprüft -> aber zwischen welchen konkreten Gruppen bestehen Mittelwertsunterschiede? Anschluss an signifikantes Ergebnis: Post-hoc-Tests -> Durchführung aller möglicher Einzelvergleiche von zwei Mittelwerten, um festzustellen, welche sich signifikant unterscheiden und welche nicht [1]. VA heißt, dass wir noch keine genaueren Hypothesen haben (weil diese mit der VA nicht untersucht werden könnten; man würde hier von vornherein ein anderes Verfahren wählen: die Kontrastanalyse, K16) -> Post-hoc-Tests könne somit im eigentlichen Sinn auch nicht als Hypothesen prüfende Verfahren betrachtet werden; das mit ihnen verbundenen Vorgehen ist eher explorativ. [1] Manche Post-hoc-Tests untersuchen lediglich eine Teilmenge aller Einzelvergleiche; diese wird so gewählt, dass man auf die Ergebnisse in den übrigen Einzelvergleichen rückschließen kann. Alle möglichen Einzelvergleiche, jedoch: Durchführung mehrerer Signifikanztests führt zu erhöhter Auftrittswahrscheinlichkeit mindestens eines α-Fehlers. Wird diese kumulierte Wahrscheinlichkeit für einen α-Fehler kontrolliert, dann sinkt die Power der einzelnen Test. Reihe von post-hoc-Verfahren, die einen Kompromiss zwischen der Kontrolle des kumulierten α-Fehlers und einem Verlust an Power zu finden; gebräuchlichste Verfahren tragen Namen ihrer Entwickler (unterschiedliche Konservativität der Verfahren; außerdem untschiedlich vorteilhaft, je nach Homogenität/Heterogenität der Varianz und Gleichheit der Stichprobengröße): Scheffé-Test (eher strenge Kontrolle des kumulierten α-Fehlers -> vglw. häufige Entscheidung zugunsten der H0; geringe Power) Tukey-Test Newman-Keuls-Methode (progressiver, nimmt größeres Risiko eines α-Fehlers in Kauf; entdeckt dafür auch eher vorhandene Effekte) Duncan-Methode
• 14 Der F-Test in der einfaktoriellen Varianzanalyse 14.5 Effektgrößen in der einfaktoriellen Varianzanalyse Effektgrößen in der einfaktoriellen Varianzanalyse Falls ein Effekt existiert – wie groß ist er? Bisher verwendete Effektgrößenmaße (d, g, r; d = standardisierter Mittelwertsunterschied; r kann aus d berechnet werden) können nur beim Vergleich zweier Gruppen eingesetzt werde. Hier werden aber Mittelwertsunterschiede mehrerer Gruppen untersucht. Deswegen geben in der VA verwendete Effektgrößen den Anteil der systematischen Variation (Quadratsumme zwischen Gruppen) an der gesamten Variation (gesamte Quadratsumme) in den Daten an. Die in der VA am einfachsten zu bestimmende Effektgröße ist η² (Eta-Quadrat, zwischen 0 und 1): η² = QSzw / QSgesamt Null = keine Unterschiede zwischen den Mittelwerten der verschiedenen Gruppen = Gesamtvariation in den Daten geht ausschließlich auf die Unterschiede innerhalb der Gruppen zurück. 1 = Gruppenmittelwerte unterscheiden sich, Messwerte innerhalb der Gruppen sind aber völlig gleich = Gesamtvariation kann vollständig auf die Unterschiede zwischen den Gruppen zurückgeführt werden / Variation wird dadurch „aufgeklärt“ (unrealistisch“) Konventionen nach Cohen (empfiehlt für die VA die Effektgröße f; seltene Verwendung): Kleiner Effekt:                η² = .01 Mittlerer Effekt:              η² = .06 Großer Effekt:                η² = .14 Die Effektgröße η² kann alternativ auch aus dem F-Wert und den Zähler- und Nennerfreiheitsgraden berechnet werden. Hilfreich zur Bestimmung der Effektgröße in publizierten Studien (Angabe zu Quadratsummen selten); z.B. η² = .68 -> 68% der gesamten Variation in Messwerten sind systematische Variation. η² jedoch umstritten, da Interpretation nicht immer eindeutig (manche raten, die Berechnung von Effektgrößen in der Varianzanalyse beim Vergleich von mehr als zwei Gruppen ganz wegzulassen). Der Austausch zweier Gruppenmittelwerte hat keinen Einfluss auf die Quadratsumme zwischen den Gruppen: Ein Satz von identischen Mittelwerten hat bei gleicher Teilnehmerzahl natürlich immer die gleiche Quadratsumme, unabhängig davon, wie die Mittelwerte verschiedenen Gruppen zugeordnet sind. Auch die Quadratsumme für die gesamte Variation verändert sich gegenüber dem ersten Experiment nicht. Man erhält wiederum 68% -> stimmt, weil ja immer noch dieselbe Menge an Variation erklärt wird (passt zur Omnibus-Hypothese). ABER man kann nicht behaupten, dass in beiden Experimenten die gleiche Auswirkung von Schlafentzug gefunden wurde. Generelles Problem: Unterschiedliche Ergebnismuster (Kombinationen von Mittelwerten) können zur gleichen Effektgröße führen. Man erhält zwar eine Aussage über den Effekt einer Variablen, aber eine inhaltliche Aussage über die Art des Effekts können wir anhand η² nicht machen (ob Schlafentzug die Konzentration erhöht oder vermindert, oder komplexer beeinflusst). Effektgrößen, die auch inhaltlich interpretierbar sind, können nur im Rahmen von Kontrastanalysen (K16) bestimmt werden.
• 14 Der F-Test in der einfaktoriellen Varianzanalyse 14.6 Power in der einfaktoriellen Varianzanalyse Power in der einfaktoriellen Varianzanalyse Power in der VA abhängig von: Effektstärke in der Population Signifikanzkriterium α Stichprobengröße pro Gruppe Anzahl der untersuchten Gruppen Deswegen: Poweranalyse vor Datenerhebung (zB GPower)! Konvention: 80% Power und α = .05
• 15 Weitere F-Tests 15.1 Mehrfaktorielle Varianzanalyse 15.1.1 Varianzzerlegung in der zweifaktoriellen Varianzanalyse 15.1.2 ANOVA-Tabelle 15.1.3 Varianzanalysen mit mehr als zwei Faktoren 15.1.4 Voraussetzungen der mehrfaktoriellen Varianzanalyse 15.1.5 Mehrfaktorielle Varianzanalysen mit ungleichen Stichprobengrößen 15.1.6 Effektgrößen in der mehrfaktoriellen Varianzanalyse 15.1.7 Power in der mehrfaktoriellen Varianzanalyse Weitere F-Tests: 3 weitere Anwendungsmöglichkeiten des F-Tests: mehrfaktorielle Varianzanalyse Varianzanalyse für abhängige Stichproben F-Test in der Regressionsanalyse Funktionsprinzip bleibt gleich: Die Variation in den Stichprobendaten wird in verschiedene Komponenten zerlegt. Aus diesen Varianzkomponenten können unabhängige Schätzungen gewonnen werden. Diese ermöglichen die Berechnung eines F-Werts und somit den Hypothesentest. Mehrfaktorielle Varianzanalyse Bisher eine unabhängige Variable – jetzt mehrere UV. Wirkung für jede der beteiligten Variablen lässt sich feststellen, ob also mit ihr ein Haupteffekt verbunden ist. Zusätzlich können Interaktionseffekte (erster Ordnung, zweiter Ordnung etc.) untersucht werden (Wird die Wirkung von einer unabhängigen Variable von einer oder mehreren anderen unabhängigen Variablen beeinflusst). Mehrfaktorielle VA erlaubt verschiedene Effekte, die in einer Studie auftreten können, auf Signifikanz zu testen. Dementsprechend gibt es auch mehrere Null- und Alternativhypothesen. Mehrfaktorielle VA (selbe Logik wie einfaktorielle VA): gesamte Abweichung = systematische Abweichung + Fehler Unterschied zur einfaktoriellen VA: drei mögliche Quellen der systematischen Variation: systematische Variation = Effekt Faktor A + Effekt Faktor B + Interaktionseffekt Zerlegung: gesamte Abweichung = Effekt Faktor A + Effekt Faktor B + Interaktionseffekt + Fehler Zerlegung lässt sich auch für jeden einzelnen Probanden durchführen -> dazu müssen wiederum Quadratsummen gebildet werden. Varianzanalysen mit mehr als zwei Faktoren: Mit zunehmender Variablenanzahl gibt es auch mehr potentielle Effekte, z.B. bei 3 Variablen (dreifaktorielles Design, 7 unabhängige Effekte, 7+1 QS): 3 Haupteffekte (A, B, C), 2 Interaktion erster Ordnung (AxB, AxC, BxC), Interaktion zweiter Ordnung (AxBxC) Voraussetzungen der mehrfaktoriellen Varianzanalyse, wie bei einfaktorieller VA: Gleiche Varianz der Populationen Normalverteilung der abhängigen Variable in allen Populationen Jedoch beziehen sich diese Voraussetzungen auf die einzelnen Gruppen, die sich aus der Kombination der beteiligten Faktoren ergeben. Bei hinreichender Anzahl an Probanden sowie deren gleichmäßiger Verteilung auf alle untersuchten Stichproben, reagiert auch die mehrfaktorielle VA robust auf Voraussetzungsverletzungen. Hier dargestellte Variante ist außerdem auf Untersuchungen mit unabhängigen Stichproben beschränkt. Mehrfaktorielle Varianzanalysen mit ungleichen Stichprobengrößen: Varianzanalyse nach dem Allgemeinen Linearen Modell (K20; beruht auf multipler Regression; häufigste eingesetzte Lösung; Einfluss der verschiedenen Gruppen auf Haupt- und Interaktionseffekte wird ausgeglichen) Effektgrößen in der mehrfaktoriellen Varianzanalyse: Effektgrößen der einzelnen Effekte werden wie bei der einfaktoriellen VA über die Quadratsummen der Effekte berechnen -> wieder Eta-Quadrat (η²). Alternative bei mehrfaktorieller VA: partielles Eta-Quadrat (ηp²). Bei der Berechnung von ηp² wird die auf einen bestimmten Effekt zurückzuführende Variation nicht an der Gesamtvariation relativiert, sondern lediglich an der Variation, die nicht anderweitig (also nicht durch die anderen Effekte) erklärt werden kann. Die Begründung für diese Vorgehensweise besagt, dass ein Effekt (etwa der Effekt eines Schultyps, BSP) nicht für Variation verantwortlich sein kann, die bereits durch andere Effekte (den Effekt der Lernsoftware und den Interaktionseffekt) erklärt wird. Die Variation, die in einem mehrfaktoriellen Design von einem bestimmten Effekt maximal aufgeklärt werden kann, ist demnach nicht die Gesamtvariation, sondern lediglich die Variation, die nicht auf andere Effekte zurückgeht. Um dieser Überlegung Rechnung zu tragen, können bei der Bestimmung einer Effektgröße die übrigen Effekte „herauspartialisiert“ werden. ηp² = QSEffekt  /  QSEffekt + QSinn QSinn = Quadratsumme für die Fehlervarianz ηp² ist mindestens so groß wie η², da im Nenner der Formel nicht mehr die gesamte Variation, sondern nur noch ein Teil der Variation steht. Gleich groß werden ηp² und η² nur dann, wenn die Quadratsummen zu den übrigen Effekten Null betragen. Zur Beurteilung können Cohens Konventionen für η² herangezogen werden (η² = .01 klein; η² = .06 mittel; η² = .14 groß). Nutzung von ηp² oder η² ist letztlich eine inhaltliche Frage, die aufgrund des primären Forschungsinteresses in der jeweiligen Untersuchung beantwortet werden muss. In der Regel wird wohl ηp² relevantere Aussagen liefern. Allerdings können wir uns aufgrund von ηp² keinen Eindruck davon verschaffen, welchen Beitrag zur Gesamtvariation in einem Datensatz ein bestimmter Effekt leistet. Beim Vergleich von zwei Gruppen in der Varianzanalyse liefert r² also die gleiche Information wie ηp². Power in der mehrfaktoriellen Varianzanalyse: Die Wahrscheinlichkeit, einen Populationseffekt einer bestimmten Größe aufzudecken, kann in der mehrfaktoriellen Varianzanalyse nur für partielle Effektgrößen eindeutig bestimmt werden, da die Varianzschätzung im Nenner eines F-Werts auf der Fehlervariation (QSinn) und nicht auf der Gesamtvariation basiert. Die systematische Variation bleibt (wie bei der partiellen Effektgröße ηp² zu diesem Effekt) unberücksichtigt. Teststärke in mehrfaktorieller VA wird vom gesamten Untersuchungsdesign beeinflusst – bspw. wird die Teststärke zum Haupteffekt eines zweistufigen Faktors davon abhängen, ob ein zweiter Faktor in der Untersuchung zwei, drei, vier oder fünf Stufen aufweist.
• Anzeige
• 15 Weitere F-Tests 15.2 Varianzanalyse mit abhängigen Stichproben 15.2.1 Varianzzerlegung in der einfaktoriellen Varianzanalyse mit abhängigen Stichproben 15.2.2 ANOVA-Tabelle 15.2.3 Voraussetzungen der Varianzanalyse mit abhängigen Stichproben 15.2.4 Effektgrößen in der Varianzanalyse mit abhängigen Stichproben 15.2.5 Power in der Varianzanalyse mit abhängigen Stichproben 15.2.6 Erweiterungen zur Varianzanalyse mit abhängigen Stichproben Varianzanalyse mit abhängigen Stichproben Varianzanalyse für abhängige Stichproben bei: Within-Subjects-Design -> bei mehr als 2 Bedingungen (nur 2: t-Test für abhängige Stichproben) Parallelisierte Bedingungen (Bildung von Gruppen mit Teilnehmern die hinsichtlich einer relevanten Störvariable die gleiche oder zumindest ähnliche Ausprägung haben) Power ist bei der VA für abhängige Stichproben in der Regel größer als bei der VA für unabhängige Stichproben -> größere Chance einen vorhandenen  Populationseffekt aufzudecken. Untersuchungen im Within-Subjects-Design oder mit parallelisierten Stichproben bieten die Möglichkeit, die Variation, die auf systematische Unterschiede zwischen den Personen zurückgeht, zu bestimmen und aus der Fehlervariation herauszurechnen (vgl. 5.5.1 und 13.1.2, bei t-Wert wird bei jedem Teilnehmer(-paar) die Differenz zwischen den beiden Messwerten berechnet). Ähnlich bei der VA für abhängige Stichproben. Außerdem: Sofern systematische Unterschiede zwischen den Personen bestehen, wird durch das Herausrechnen des entsprechenden Varianzanteils die Fehlervarianz im Nenner des F-Bruchs kleiner – und der F-Wert somit größer. Es wird also mit größerer Wahrscheinlichkeit ein signifikantes Ergebnis auftreten. Voraussetzungen der Varianzanalyse mit abhängigen Stichproben: Die AV sollte in allen Populationen normalverteilt sein Die Populationsvarianzen sollten gleich sein In der Population müssen die Korrelationen zwischen den Messwerten in allen Paaren von Bedingungen gleich groß sein Verletzungen der Annahme „homogener Korrelationen“ [2] haben ernstzunehmende Konsequenzen: [2] Oft auch „Sphärizität“ als Voraussetzung der VA mit abhängigen Stichproben -> ist weniger strenge Annahme als die Voraussetzung homogener Korrelationen. Aber hinreichend, um zu gewährleisten, dass die VA zu einem korrekten p-Wert führt. Inhaltlich bedeutet Sphärizität, dass die Varianzen der Differenzen aller Messwerte in allen Paaren von Bedingungen gleich groß sind. Homogene Korrelationen sind ein Spezialfall dieser Voraussetzung. VA führt bei heterogenen Korrelationen zu progressiven Entscheidungen. Anhand der F-Verteilung wird ein p-Wert ermittelt, der kleiner ist, als der tatsächliche p-Wert. Wahrscheinlichkeit für α-Fehler entspricht nicht mehr dem von uns festgesetzten α: Wir werden uns bei der Gültigkeit der Nullhypothese mit einer größeren Wahrscheinlichkeit für die Alternativhypothese entscheiden als von uns angenommen. Ob die Voraussetzung homogener Korrelationen in der Population erfüllt ist, ist oftmals schwer zu beurteilen. Hinweise auf die Verletzung können sich aus den Korrelationen zwischen den Messwertreihen in der untersuchten Stichprobe ergeben. Aber Studien im Within-Subjects-Design werden oft mit vglw. kleinen Stichproben durchgeführt. Folge: Korrelationen in der Stichprobe können nennenswert von den „wahren“ Korrelationen in der Population abweichen (also möglicherweise selbst dann ungleiche Stichprobenkorrelationen, wenn Populationskorrelationen gleich sind, und umgekehrt). Mögliche Lösung: Huynh-Feldt-Korrektur: Anhand der Stichprobendaten wird geschätzt, wie stark die Voraussetzung verletzt ist -> Zahl der Zähler- und Nennerfreiheitsgrade wird reduziert. Besteht keine Voraussetzungsverletzung, so ändert sich an den Freiheitsgraden gegenüber der herkömmlichen Vorgehensweise nichts. Je deutlich die Verletzung, desto stärker werden die Zähler- und Nennerfreiheitsgrade abgesenkt. -> höherer p-Wert als mit nicht-reduzierten Freiheitsgraden. Auf diese Weise wirken wir der Erhöhung der Wahrscheinlichkeit eines α-Fehlers entgegen. Die SPSS-Ausgabe enthält zusätzlich die Ergebnisse eines alternativen Korrekturverfahrens, der Greenhouse-Geisser-Korrektur (konservativer und weniger gebräuchlich). Effektgrößen in der Varianzanalyse mit abhängigen Stichproben: Verwendet werden können ηp² und η²; gebräuchlich ist vor allem (wie in der mehrfaktoriellen VA) das partielle Maß. Das Maß  gibt an, welcher Anteil derjenigen Varianz, die nicht auf systematische Unterschiede zwischen den Personen zurückgeht, durch die UV aufgeklärt werden kann. BSP 89% der verbleibenden Variation in den Häufigkeitsschätzungen können auf die Präsentationshäufigkeit zurückgeführt werden -> sehr großer Effekt. Bei der Verwendung von ηp² sollte allerdings beachtet werden, dass diese Effektgröße selbstverständlich nicht mit Effektgrößen aus Untersuchungen mit Between-Subjects-Design verglichen werden kann. Analog zur Situation bei unabhängigen Stichproben gibt es auch mehrfaktorielle Varianzanalysen mit abhängigen Stichproben. Außerdem: Varianten der Varianzanalyse, bei denen gemischte Designs eingesetzt werden können. Gemischte Designs enthalten mindestens einen Faktor (UV), der innerhalb von Personen variiert wird.
• 15 Weitere F-Tests 15.3 Der F-Test in der Regressionsrechnung Der F-Test in der Regressionsrechnung Die Anwendung des F-Tests außerhalb der Varianzanalyse ist bei der Regressionsanalyse möglich. Sie erlaubt es, in einer multiplen Regression die Nullhypothese zu prüfen, dass die Varianzaufklärung R² (bzw. die multiple Korrelation R) in der Population Null beträgt (im Prinzip kann der entsprechende F-Test auch in der einfachen Regression eingesetzt werden, um zu überprüfen, ob die Varianzaufklärung in der Population von Null abweicht. Allerdings führt der F-Test in diesem Fall zu demselben Ergebnis wie der t-Test zum Regressionsgewicht des Prädiktors (13.2.2): Da die gesamte Varianzaufklärung in der einfachen Regression auf einen einzelnen Prädiktor zurückgeht, muss ein Prädiktor, der mit einer Varianzaufklärung verbunden ist, die signifikant von Null abweicht, auch ein Regressionsgewicht aufweisen, das signifikant von Null verschieden ist). Zerlegung der Varianz in Quadratsummen -> analoge Aufteilung der Variation des Kriteriums bei Regressionsrechnung (beruht ebenso auf der Abweichung der einzelnen Messwerte von ihrem Mittelwert). Zerlegung der Abweichung in die Abweichung des vorhergesagten Werts (^yi) vom Mittelwert und die Abweichung des tatsächlichen Werts vom vorhergesagten Wert: Quadrieren wir diese Abweichungen und summieren sie über alle Teilnehmer einer Studie, so erhalten wir drei Quadratsummen,  die ebenfalls in additiver Beziehung zueinander stehen: QSges = QSRegr + QSFehler QSges = Maß für die gesamte beobachtete Variation des Kriteriums. QSRegr = Die Summe der quadrierten Abweichungen der vorhergesagten Werte vom Mittelwert gibt diejenige Variation des Kriteriums an, die durch die Prädiktoren in der Regression aufgeklärt werden kann.  QSFehler = Variation des Kriteriums, die nicht durch Prädiktoren aufgeklärt werden kann. 2 Schätzungen der Populationsvarianz, werden beide für F-Wert verwendet: F-Wert = ^σ²Regr / ^σ²Fehler Berechneter F-Wert ≥ kritischer F-Wert: H0 wird verworfen und wir können folgern, dass die Varianzaufklärung durch die Prädiktoren in der Population größer als Null ist. Alternativ lässt sich der F-Wert auch unmittelbar auf Basis des Determinationskoeffizienten R² (Regressionsrechnung: Maß für die Güte der Vorhersage) bestimmen. Der Determinationskoeffizient ist durch den Anteil der aufgeklärten Variation an der gesamten Variation gegeben, also: R² = QSRegr / QSgesamt Umformung der Formel -> F-Test als Hypothesentest Praktischer Nutzen begrenzt: Regressionsanalysen werden oftmals mit dem Ziel durchgeführt, das Kriterium möglichst gut vorherzusagen und entsprechend möglichst viel Varianz aufzuklären. Mit F-Test ist hierzu nicht viel gewonnen; wir können ein signifikantes Ergebnis erzielen und doch nur eine äußerst schwache Varianzaufklärung erreicht haben (insbesondere bei großer Stichprobe: große Power: entsprechend wird sich auch bei geringer Varianzaufklärung in der Population mit hoher Wahrscheinlichkeit ein signifikantes Ergebnis einstellen). Voraussetzungen für F-Test in der Regressionsrechnung (gleiche wie für VA bei unabhängigen Stichproben; die Abweichung eines Werts von seinem Bedingungsmittelwert kann in der VA aber als Residuum aufgefasst werden [1]; diverse Techniken zur Residuenanalyse): [1] Residuen = Abweichungen der einzelnen Kriteriumswerte von ihrem vorhergesagten Wert Residuen müssen bei jedem vorhergesagten Wert in der Population normalverteilt sein und die gleiche Populationsvarianz aufweisen -> diese 2 Voraussetzungen bezeichnet man als Homoskedastizität. Residuen müssen unabhängig sein
• 15 Weitere F-Tests 15.4 Weitere Varianten der Varianzanalyse Weitere Varianten der Varianzanalyse Zahlreiche Weiterentwicklungen der VA, u.a.: Varianzanalyse mit „zufälligen Effekten“ Werden bei der Festlegung der Stufen eines Faktors gezielt diejenigen Ausprägungen gewählt, über die man Aussagen treffen möchte (Faktorenstufen bisher in BSP gezielt ausgewählt und festgesetzt), so spricht man auch von einem Faktor mit „festen Effekten“. Es gibt aber auch Untersuchungen, in denen sich die erwünschte Aussage nicht auf Unterschiede zwischen bestimmten Faktorstufen bezieht, sondern auf die Wirkung des Faktors im Allgemeinen (ZB Wie Rechtschreibkenntnisse nach dem ersten Schuljahr durch Unterschiede zwischen Lehrern beeinflusst werden) -> Wirkung des Faktors Lehrer (zufällig ausgewählte Lehrer stellen die Stufen diese Faktors dar). -> zufällige Auswahl der Faktorstufen: Faktor mit „zufälligen Effekten“. (K22) Kovarianzanalyse Ermöglicht die statistische Kontrolle von intervallskalierten Störvariablen (genannt Kovariaten; diese müssen bei allen Probanden erfasst werden; z.B. Störfaktor Intelligenz bei Untersuchung von Förderprogrammen). Die grundlegende Idee der Kovarianzanalyse besteht darin, zunächst mithilfe der Regressionsrechnung den Einfluss der Störvariablen (der Kovariaten) aus der abhängigen Variable herauszurechnen. Die anschließend ermittelten Ergebnisse zum Einfluss der UV auf die AV können weitgehend ebenso interpretiert werden wie in der gewöhnlichen Varianzanalyse. Multivariate Varianzanalyse Untersuchung von mehr als einer abhängigen Variablen zugleich -> dazu u.a. die multivariate Varianzanalyse. Hat ein Faktor Einfluss auf mehrere AV? AV = i.d.R. verschiedenen Indikatoren desselben Konstrukts (zB Wirkung verschiedener Psychotherapie-Methoden -> Erfassung des Erfolgs durch mehrere Variablen).
• 16 Kontrastanalyse 16.1 Kontraste vs. „Omnibus-Hypothesen“ 16.1.1 Die Problematik von Omnibus-Hypothesen 16.1.2 Kontraste als präzise Hypothesen Kontrastanalyse Systematischer Nachteil der VA: Hypothesen lassen sich nur grob prüfen –die Kontrastanalyse erlaubt die Prüfung spezifischer Hypothesen, liefert besser interpretierbare Effektgrößenmaße und deckt zudem tatsächlich vorhandene Effekte mit einer größeren Wahrscheinlichkeit auf als dies bei der VA der Fall ist. Hypothesen in Kontrastanalysen = Kontraste Kontraste vs. „Omnibus-Hypothesen“ VA: Nullhypothese: es gibt keine (bedingten – bei einer Interaktion – oder unbedingten) Unterschiede zwischen den Mittelwerten der Population. Alternativhypothese weit weniger spezifisch: Omnibus-Hypothese, weil sie sich gleichermaßen auf alle Mittelwerte bezieht (irgendwelche MW unterscheiden sich). Die Problematik von Omnibus-Hypothesen: BSP Feinmotorik-Test bei Kindern im Alter von 10, 12, 14 und 16 -> Ob sich Kinder kontinuierlich verbessern oder ganz anders -> F-Test sagt darüber nicht aus, nur ob sie sich unterscheiden. Wenn die Gruppenmittelwerte gleich bleiben, aber in anderer Reihenfolge in die Formel eingehen, ändert sich am Ergebnis überhaupt nichts. Solange sich die Summe der Abweichungsquadrate zwischen Gruppenmittelwerten und Gesamtmittelwert nicht verändert, ändert sich auch die Varianzschätzung zwischen den Gruppen nicht. Geht man zusätzlich davon aus, dass sich die Varianzen innerhalb der Gruppen nicht ändern, sind auch die Varianzschätzungen innerhalb der Gruppen gleich. Dann sind die F-Werte identisch für alle möglichen Kombinationen von Altersgruppen und Test-Mittelwerten. Ein signifikanter F-Test sagt nur, dass sich irgendeine Änderung (Verbesserung oder Verschlechterung) gezeigt hat. Hilfe in traditioneller VA: Mittelwerte werden ein zweites Mal mit Post-hoc-Tests analysiert -> umständliche Vorgehensweise, bei der man präzise Hypothesen über die Mittelwertsunterschiede nur indirekt prüfen kann. Kontrastanalyse ist Sonderform der VA: Alternativhypothesen werden präzise spezifiziert Effektgrößen zur Überprüfung der Güte der Übereinstimmung zwischen präzisen Hypothesen (Kontrasten) und Daten können berechnet werden Wie erstellt man solche Kontraste? -> Kontraste als präzise Hypothesen: In der VA betrachtet man die Summe der Abweichungsquadrate der Mittelwerte vom Gesamtmittel: Je unterschiedlicher die Mittelwerte, desto größer sind durchschnittlich die (quadrierten oder absoluten) Abweichungen vom Gesamtmittelwert. Alle diese Abweichungen erhalten bei der Berechnung der QSzw in der VA dasselbe Gewicht von 1 (was nicht gesondert erwähnt wird). Wenn genauere Erwartungen über diese Abweichungen vorliegen, warum drückt man diese Erwartungen nicht zahlenmäßig aus, bspw. in Form von unterschiedlichen Gewichten? QSzw = QS zwischen den Gruppen / systematische Varianz VA: Abweichungen werden quadriert, weil Summe der einfachen Abweichungen der Mittelwerte vom Gesamtmittelwert immer Null ergibt -> sind Abweichungen gewichtet, fällt diese Einschränkung weg und man könnte die einfachen Abweichungen betrachten (passiert bei KA, aber mit anderer Formel). Wäre das Gewicht für einen Mittelwert Lambda λi, dann wäre die Summe der gewichteten Abweichungen der Gruppenmittelwerte vom Gesamtmittelwert: ∑ λi (-x-i – =x=) Wenn man die Einschränkung macht, dass die Summe (und damit der Mittelwert der Lambda-Gewichte) Null sein soll, dann können wir die Summe der gewichteten Abweichungen auch als Kovariation zwischen den Abweichungen der Lambdas von ihrem Mittelwert (0) und den Abweichungen der Gruppenmittel vom Gesamtmittel ausdrücken: [2] [2] Wenn man den Ausdruck durch die Anzahl der Wertpaare teilt, erhält man die Kovarianz von Lambdagewichten und Gruppenmitteln (K6). ∑ (λi – 0) (-x-i – =x=) Der Betrag dieses Ausdrucks ist maximal, wenn die Lambdagewichte maximal mit den Abweichungen der Mittelwerte vom Gesamtmittelwert kovariieren. Das tun sie, wenn das Verhältnis der Lambdagewichte untereinander genau dem Verhältnis der Abweichungen der Mittelwerte vom Gesamtmittelwert entspricht, wenn also bspw. große positive Lambdagewichte mit großen positiven Abweichungen des Mittelwerts vom Gesamtmittelwert korrespondieren und große negative Lambdagewichte mit großen negativen Abweichungen der Mittelwerte  vom Gesamtmittelwert. Weiterer Vorteil der Einschränkung, dass Summe der Lambdagewichte Null sein soll: Gesamtmittelwert selbst spielt keine Rolle mehr und kann vernachlässigt werden: ∑ λi -x-i – =x=)    =    ∑ λi -x-i – ∑ λi =x=    =    ∑ λi -x-i , falls ∑ λi = 0 D.h. es ist egal, ob man die Summe der gewichteten Abweichungen der Mittelwerte vom Gesamtmittelwert berechnet oder nur die Summe der gewichteten Mittelwerte selbst – das Ergebnis ist identisch. Deswegen enthalten die Formeln für die Kontrastanalyse (im Gegensatz zu denen der VA) auch keine Gesamtmittelwerte. Kontraste: Lambdagewichte aus spezifischen Vorhersagen Günstig, wenn Summe der Lambdagewichte Null ist – wie bei Kontrastfestlegung möglich? Berechne den Mittelwert aller Vorhersagen (Gewichte) Ziehe von jeder Vorhersage den Mittelwert ab, das ergibt die Lambdagewichte „Verschönere“ ggf. die Lambdagewichte durch Multiplikation mit einer geeigneten Konstante (ZB bei Lambda von 0.5 -> Multiplikation mit 2 = 1) Das Muster dieser Lambdagewichte ist der Kontrast. Arten von Kontrasten Kontraste nicht nur für Gesamtvorhersage (für ein Muster aller Gruppenmittelwerte) nützlich, sondern auch bei der Vorhersage von „Teilmuster“ – oft als geplante Vergleiche (planned comparisions) bezeichnet. BSP Vier Behandlungsarten bei Angststörung, bspw, Untersuchung der ordinalen Hypothesen: Gruppentherapie (B und D) besser als Einzeltherapie (A und C) sowie stationäre Therapie (C, D) besser als ambulante (A, B). Bpsw. können folgende Kontraste gebildet werden: H1: λA = -1, λB = 1, λC = -1 und λD = 1 H2: λA = -1, λB = -1, λC = 1 und λD = 1 H3: stationäre GT und ambulante ET unterscheiden sich; keine Aussagen über die zwei verbleibenden Therapieverfahren möglich: H3: λA = -1, λB = 0, λC = 0 und λD = 1 Werte für Lambdagewichte sind im Prinzip willkürlich wählbar, solange die Summe 0 ergibt.
• 16 Kontrastanalyse 16.2 Kontrastanalyse für unabhängige Stichproben 16.2.1 FKontrast und tKontrast 16.2.2 Orthogonale Kontraste 16.2.3 Effektgrößen bei der Kontrastanalyse für unabhängige Stichproben 16.2.4 Poweranalyse bei der Kontrastanalyse für unabhängige Stichproben Kontrastanalyse für unabhängige Stichproben Die Kontrastanalyse ist eine spezielle Variante der VA; auch hier werden 2 Varianzen miteinander verglichen. Die Fehlervarianz ist identisch mit der bei der herkömmlichen VA ^σ²inn, aber die Varianz zwischen den Gruppen wird ersetzt durch ^σ²Kontrast, die Varianz für den Kontrast. FKontrast und tKontrast: Zu Bildung der Varianz für den Kontrast wird die quadrierte Summe der mit den Lambdagewichten multiplizierten Mittelwerte benutzt (weil kein Unterschied zu Produkt aus Lambdagewichten und Abweichungen zwischen Mittelwerten und Gesamtmittelwert; es genügt, nur die Mittelwerte selbst zu betrachten). Da absolute Größe der Lambdagewichte nicht eingeschränkt ist (zb -1 1 und -0.5 0.5 möglich), muss die Quadratsumme so standardisiert werden, dass die absolute Größe der Lambdagewichte keinen Einfluss mehr hat und dass bei dieser Gewichtung die jeweilige Gruppengröße ni berücksichtigt wird. Die Quadratsumme für einen Kontrast für k Gruppen mit den Gruppengrößen ni ist dementsprechend:                            (∑ λi -x-i)² QSKontrast = ------------------                             ∑ λi² / ni Da es bei Kontrastanalysen immer nur einen Zählerfreiheitsgrad gibt, kann man die Kontrastanalyse sowohl als F-Test als auch als t-Test berechnen. Die Nenner-Freiheitsgrade sind für F- und t-Test identisch. Eine Kontrastanalyse für zwei unabhängige Stichproben ist damit auch identisch mit einem t-Test für unabhängige Stichproben oder einer entsprechenden VA. Generell (BSP): tKontrast = 2.554 > t(12)krit = 1.782 (bei α von 5%) -> sign. (p = 0.0127) Orthogonale Kontraste: Orthogonale Kontraste in manchen Statistikbüchern als Alternativen zum Omnibus-Test der VA empfohlen. Orthogonale Kontraste sind grob gesagt solche, die nicht teilweise dasselbe überprüfen. BSP. Bei näherer Betrachtung kann man auf Kontrast 2 verzichten, weil er durch Kontrast 1 und 3 mitgetestet wird (Wenn A größer B und B größer C, dann muss A auch größer B sein). Die drei Kontraste sind also nicht orthogonal. Zwei Kontraste A und B sind orthogonal, wenn die Summe der Produkte ihrer Lambdagewichte für die k Mittelwerte Null ergibt: BSP: „Trainings-Kontrast“: λkein Training = -2, λJungentraining = 1, λMädchentraining = 1 „Geschlechts-Kontrast“: λkein Training = 0, λJungentraining = 1, λMädchentraining = -1 -2*0 + 1*1 + 1*(-1) = 0 Die Attraktivität von orthogonalen Kontrasten liegt darin, dass die Quadratsumme aller bei einem vorhandenen Datensatz möglichen orthogonalen Vergleiche gleich der Quadratsumme zwischen den Bedingungen (QSzw) der Varianzanalyse ist. Wenn man also alle orthogonalen Kontraste gerechnet hat, dann ist die ganze Varianz aus den Mittelwertesunterschieden ausgeschöpft. In der Forschung sind orthogonale Kontraste aber selten sinnvoll einsetzbar, da man zwar den ersten Kontrast beliebig wählen kann, aber nicht mehr den oder die weiteren. Die weiteren Kontraste sind aber häufig inhaltlich nicht sinnvoll zu interpretieren. Empfehlung: KA nur für inhaltlich relevante Kontraste durchführen. Effektgrößen bei der Kontrastanalyse für unabhängige Stichproben: Effektgrößen anhand von VA sind aufgrund der unspezifischen Alternativhypothese oft nur schwer zu interpretieren (großer Effekt muss nicht heißen, dass ein Ergebnis konsistent mit der Forschungshypothese ist!). Bei der KA anders: Hier kann man sich eine spezifische Effektgröße reffect size berechnen. Zusätzlich werden aber oft zwei weitere Arten von Effektgrößen benutzt, ralerting und rcontrast. Berechnung von reffect size aus den Rohwerten Analog zur Berechnung einer korrelativen Effektgröße beim Unterschied zweier Mittelwerte aus unabhängigen Stichproben (K9.3). Bei der Kontrastanalyse sind die Werte der unabhängigen Variablen schon vorgegeben: die Lambdagewichte. Daher Effektgröße = Korrelation zwischen Einzelwerten (in der AV) und den Lambdagewichten. Je höher die Korrelation, desto größer die Passung zwischen Kontrast und Ergebnissen. (auch aus FKontrast berechenbar) Berechnung von ralerting Wenn man sich einen ersten Eindruck darüber verschaffen möchte, ob die Ergebnisse der in der Korrelation ausgedrückten Hypothese entsprechen, dann liegt es nahe, nicht die Einzelwerte mit den Lambdagewichten zu korrelieren, sondern die Gruppen-Mittelwerte; das ergibt ralerting. Diese Korrelation soll auf einen Effekt aufmerksam machen (alert). Wenn bereits ralerting klein ist, dann ist auch kein großes reffect size zu erwarten. Es gilt generell: reffect size ≤ ralerting Andere Interpretation: r²alerting kann ähnlich wie der Determinationskoeffizient bei der Regressionsanalyse (K8) als Maß der „aufgeklärten Varianz“ benutzt werden - das Ausmaß, in dem der vorliegende Kontrast die Unterschiede zwischen Mittelwerten aufklärt. r²alerting = QSKontrast / QSzw Effektgrößen aus Signifikanztestergebnissen: Da Kontrastanalysen mit dem t-Test durchgeführt werden können, könnte man erwarten, dass man direkt aus dem t-Test-Ergebnis genau wie im Fall zweier unabhängiger Stichproben wieder eine Effektgröße berechnen kann (K13). Das kann man auch, allerdings entspricht diese Effektgröße nicht genau dem Kontrasteffekt, wird jedoch zur Bestimmung der Power von Kontrastanalysen für unabhängige Stichproben benötigt. Diese Korrelation wird meist als rcontrast bezeichnet: rcontrast   =   √(FKontrast /  FKontrast + dfinn)   =   √(t²Kontraste /  t²Kontrast + df) Die Werte für rcontrast sind zwar durchwegs kleiner als die Werte für ralerting, aber in keinem Fall kleiner als die für reffect size. Die Effektgrößenmaße im Vergleich Wann braucht man welche Effektgröße? reffect size = wichtigste Effektgröße; entspricht der korrelativen Effektgröße im Fall von zwei unabhängigen Stichproben: der Korrelation zwischen Gruppenzugehörigkeit (ausgedrückt in Lambdagewichten) und den Rohwerten; zur Kommunikation gefundener Effekte. ralerting = relativ großes und selten allein verwendetes Maß; es kann immer als obere Grenzen für reffect size betrachtet werden rcontrast = im Fall einer KA zweier unabhängiger Stichproben identisch mit reffect size; ansonsten hängt das Ausmaß in dem rcontrast größer ist als reffect size davon ab, wie viel Varianz aus den Mittelwertsunterschieden durch den Kontrast aufgeklärt werden – dieses Ausmaß der aufgeklärten Varianz korrespondiert mit dem Quadrat von ralerting. Wenn der Kontrast die gesamte Varianz zwischen den Gruppen aufklärt, wenn also ralerting = 1, dann gilt reffect size = rcontrast. Poweranalyse bei der Kontrastanalyse für unabhängige Stichproben: Alternativhypothese bei KA stützt sich auf den Kontrast: Sie besagt, dass die Passung zwischen dem Kontrast und den Populationsmittelwerten eine bestimmte Größe hat. Wie kann man nun diese (Mindest-)Größe festlegen? Rosenthal schlägt vor, für die Poweranalyse bei mehr als zwei Stichproben analog zur Poweranalyse beim t-Test für Korrelationen (K13) vorzugehen. Hier muss als Korrelation rcontrast verwendet werden, da nur diese Effektgröße direkt mit dem Ergebnis des Signifikanztests zusammenhängt (K16.2.3). Problem, weil die interessierte Effektgröße eigentlich reffect size ist. Wenn man eine gute Vorstellung davon hat, wie viel Varianz der jeweilige Kontrast an der Varianz zwischen den Gruppen aufklärt, kann man die entsprechenden Umrechnungsformel aus K16.2.3 verwenden und die Werte aus Tabelle 16.3 verwenden. In der Praxis kann man aber keine fundierten a priori-Schätzungen für ralerting abgeben. Darüber hinaus wird ralerting in den meisten Fällen als hoch vorausgesetzt, insbesondere wenn die theoretische Vorarbeit die Formulierung einer präzisen Hypothese erlaubt. Deswegen schlagen wir vor, generell ralerting = 1 anzunehmen und damit rcontrast so zu benutzen,  als ob es sich um reffect size handeln würde. Was man bei dieser Vorgehensweise bekommt, ist die Untergrenze für die tatsächliche Power. Jedoch kann es sein, dass man diese Effekte (angesichts der höheren Präzision der Hypothesen) für die Ergebnisse von Kontrastanalysen nach oben korrigieren müsste (dazu aber keine empirischen Befunde). Tabelle berücksichtigt aber nur Größe der Gesamtstichprobe und nicht Gruppenanzahl und –größen; Gruppenanzahl spielt aber eine Rolle bei der Bestimmung des erwarteten Populationseffekts und damit auch eine indirekte bei der Powerbestimmung. Generell gilt: Je genauer der Kontrast die tatsächlichen Populationswerte spezifiziert, desto größer der Populationseffekt (die Passung zwischen Kontrast und tatsächlichen Werten). Würde man die Effekte von mehreren Gruppen zusammenfassen, würde dies zu einem geringeren Populationsmittelwert führen. I.d.R. werden also differenziertere Kontraste (mehr Gruppen) zu höheren Effektgrößen führen, falls die in den Kontrasten spezifizierten Mittelwertsunterschiede tatsächlich vorhanden sind. Bezogen auf die Korrelation (reffect size oder der entsprechende Populationswert) würde das bedeuten, dass die Werte, die mit je einem Lambdagewicht gepaart sind, weniger um ihren Mittelwert streuen, und dass so alle Werte ihren Lambdagewichten tendenziell ähnlicher sind. Das wiederum führt zu einer höheren Korrelation zwischen Lambdagewichten und Rohwerten. Das ist ein weiteres Argument dafür, Kontraste so spezifisch und präzise wie möglich zu formulieren.
• 16 Kontrastanalyse 16.3 Kontrastanalyse für unabhängige Stichproben bei komplexen Fragestellungen 16.3.1 "Haupteffekte“ und „Interaktionen“ 16.3.2 Beliebige Fragestellungen Kontrastanalyse für unabhängige Stichproben bei komplexen Fragestellungen Was macht man bei Interaktionseffekten oder anderen komplexen Fragestellungen? Die generelle Vorgehensweise ändert sich nicht und entspricht im Grunde immer noch der bei einer einfaktoriellen Varianzanalyse (auch in Statistikpaketen wie SPSS ist die Kontrastanalyse häufig unter der Rubrik „Einfaktorielle Varianzanalyse“ zu finden) – nur die Bestimmungen der Lambdagewichte ist etwas komplexer; an der Berechnungstechnik ändert sich nichts, weshalb wir uns in diesem Kapitel hauptsächlich mit der Lambdagewicht-Bestimmung befassen. "Haupteffekte“ und „Interaktionen“: Diese Aufteilung ist in der VA eine logische Folge des Verfahrens – sinnvoll, wenn die Hypothesen und Fragestellungen nicht genauer spezifiziert werden können als „Gibt es einen Unterschied?“. Im Grunde hat man es bei der KA immer nur mit einem beliebigen komplexen Faktor zu tun. Der Idealfall hierbei ist, dass man über das „Gesamtmuster“ aller Mittelwerte eine Aussage machen kann, es sind aber auch Überprüfungen von „Teilmustern“ möglich. Beispiel 1: Einfacher „Haupteffekt“ H: Medikation wirkt, über Therapie kann keine Aussage gemacht werden. Für im Folgenden behandelte Kontraste gibt es keine entsprechenden Tests mehr in der VA: Beispiel 2: Komplexer „Haupteffekt“ H: Zuwachs des Therapieeffekts halbiert sich mit linear zunehmender Therapiezeit + Medikation hat keine Auswirkung. Beispiel 3: Additiver Effekt Wenn Effekte von PT und Medikation unabhängig voneinander sind (additiv wirken) und der Effekt der M der Wirkung der PT entspricht. Beispiel 4: Multiplikativer Effekt Multiplikativer Effekt (eine Art von Interaktion zweier Faktoren): Je höher die Ausprägung des einen Faktors, desto stärker wird die Wirkung des anderen Faktors beeinflusst und vice versa. Beispiel 5: Nur Kombination wirkt Nur M und PT gemeinsam wirkt; Intensität der PT hat keine Auswirkung. Beliebige Fragestellungen: Bisher immer noch an der bei der VA benutzten Faktorenstruktur orientiert (bei der VA ist es wichtig, dass die Faktoren „vollständig gekreuzt“ sind, dass also jede Ausprägung eines Faktors mit der eines anderen kombiniert wird) -> ermöglicht es, Haupteffekte sinnvoll zu interpretieren. Eine solche vollständige Kreuzung ist für die KA nicht essenziell.
• 16 Kontrastanalyse 16.4 Kontrastanalyse für abhängige Stichproben 16.4.1 Bestimmen der zusammengefassten Werte 16.4.2 t-Test für die Kontrastanalyse bei abhängigen Stichproben 16.4.3 Effektgrößen bei der Kontrastanalyse für abhängige Stichproben 16.4.4 Poweranalyse bei der Kontrastanalyse für abhängige Stichproben Kontrastanalyse für abhängige Stichproben KA für abhängige Stichproben ist lediglich eine Erweiterung des t-Tests für abhängige Stichproben. Beim t-Test für abhängige Stichproben bringt jede Person oder jeder Merkmalsträger nur immer jeweils einen Wert (Differenzwert zwischen zwei Messungen) in die Analyse ein. Bei der KA für abhängige Stichproben handelt es sich in der Regel nicht mehr um eine einfache Differenz (außer bei zwei Messwerten), sondern um die Zusammenfassung der Unterschiede zwischen den Resultaten in den Bedingungen, die jede Person oder jeder Merkmalsträger durchläuft. Bestimmen der zusammengefassten Werte: BSP. Lesetest mit und ohne Hintergrundmusik mit t-Test für abhängige Stichproben untersucht. […] Der Vorteil des t-Tests für abhängige Stichproben gegenüber dem für unabhängige Stichproben war ja, dass die Fehlervarianz geringer wird, wenn die Unterschiede pro Person (und nicht pro Gruppe) gemessen werden. Gebrauch von Lambdagewichten bei abhängigen Stichproben: Für jede Person oder jeden Merkmalsträger wird ein Maß für die Passung zwischen Vorhersage (Kontrast) und den Ergebnissen berechnet. Das Maß, das im BSP berechnet wurde, ist dabei das gebräuchlichste und wird als L bezeichnet (m ist die Anzahl der Bedingungen): L ∑(xi * λi) t-Test für die Kontrastanalyse bei abhängigen Stichproben: Der Signifikanztest im Fall einer Kontrastanalyse für abhängige Stichproben ist ein t-Test. Effektgrößen bei der Kontrastanalyse für abhängige Stichproben: Analog zu Effektgrößenberechnung bei t-Test für Einstichprobenfall (oder für abhängige Stichproben). Berechnung eines korrelativen Maßes wenig sinnvoll. Ein hoher L-Wert bedeutet eine große Übereinstimmung zwischen gefundenen Ergebnissen und der Vorhersage. Allerdings muss dabei auch die Variation der L-Werte berücksichtigt werden: Hohe Variation = Effekt tritt nicht konsistent über alle Personen oder Objekte hinweg auf. Deswegen bietet sich hier wieder als Effektgrößenmaß ein standardisiertes Abstandsmaß (g oder d) an, welches auch die Variation der Werte mitberücksichtigt und unabhängig von der Skalierung der Werte ist.
• 16 Kontrastanalyse 16.5 Vergleich zweier Hypothesen mithilfe der Kontrastanalyse 16.5.1 Unabhängige Stichproben 16.5.2 Abhängige Stichproben Vergleich zweier Hypothesen mithilfe der Kontrastanalyse Zusätzliche Besonderheit der KA: Man kann die Güte zweier (rivalisierender) Hypothesen miteinander vergleichen, genauer, um wie viel besser eine Hypothese n vorhersagt als eine zweite. Unabhängige Stichproben: Grundidee beim Vergleich zweier als Kontrast ausgedrückter Hypothesen: Differenzwerte der Lambdagewichte als neuen Kontrast nutzen und diesen testen. Wenn Kontrast A eine bessere Vorhersage ist als Kontrast B, sollte die Differenz zu einem positiven t-Wert führen. Die Kontrastanalyse mit den Differenzwerten testet, ob sich zwei Ausgangskontraste signifikant hinsichtlich ihrer Vorhersagegüte unterscheiden, und die entsprechende Effektgröße gibt an, wie groß die Diskrepanz hinsichtlich ihrer Vorhersagekraft ist. Ein potenzielles Problem: Summe der Lambdagewichte muss Null ergeben. Die Summe der Absolutwerte (-1 und 1, oder -2 und 2 -> relative Unterschiede bleiben gleich) kann dagegen frei variieren. Bestimmen der Differenz-L-Werte Bei zwei Kontrasten A und B, die miteinander verglichen werden sollen, erhält man die Differenz-L-Werte, indem man für jede Person oder jedes Objekt die z-transformierten L-Werte aus beiden Kontrasten voneinander subtrahiert: Signifikanztest Der entsprechende t-Test ist identisch zum normalen t-Test bei abhängigen Stichproben. Effektgrößenberechnung und Poweranalyse Für die KA für den Vergleich zweier Hypothesen bei abhängigen Stichproben sind identisch mit der Vorgehensweise für die (einfache) Kontrastanalyse für abhängige Stichproben.
• 17 Verfahren zur Analyse nominalskalierter Daten: Chi-Quadrat (X2-)Tests 17.1 Der X2-Test für eine Variable 17.1.1 Die Gleichverteilungsannahme als Nullhypothese 17.1.2 Der X2-Wert 17.1.3 X2-Verteilung und Freiheitsgrade 17.1.4 Andere Verteilungsannahmen als Nullhypothese 17.1.5 Effektgrößen 17.1.6 Power Verfahren zur Analyse nominalskalierter Daten: Chi-Quadrat (χ²-)Tests: t-Test, Varianzanalyse, Kontrastanalyse -> sinnvolle Berechnung von Mittelwerten (bisher hatte AV immer quantitative Merkmale), da zumindest intervallskalierte Variablen. Was bei nominalskalierten (qualitativen) Daten, wie Herkunftsort, Lieblingsfarbe, Studienrichtung etc.? Berechnung eines Mittelwerts nicht sinnvoll ­­-> einzige sinnvolle Berechnung: Bestimmung der Häufigkeiten, mit denen die verschiedenen Merkmalsausprägungen (Kategorien) aufgetreten sind. Es besteht dasselbe grundsätzliche Problem wie bei der Analyse von Mittelwerten -> Wir untersuchen eine Stichprobe, wollen aber eine Aussage über die Population treffen; dazu gibt es wieder entsprechende Signifikanztest, die bei der Analyse von Häufigkeiten eingesetzt werden können: χ²-Tests (Chi-Quadrat). [1] [1] Auch Binomialtests können für die Analyse von Häufigkeiten verwendet werden; diese beschränken sich allerdings auf Situationen, in denen die Häufigkeiten von zwei Merkmalsausprägungen untersucht werden. χ²-Tests können unabhängig der Anzahl der Ausprägungen eingesetzt werden. χ²-Tests folgen derselben generellen Logik des Hypothesentestens: Es werden eine Null- und eine Alternativhypothese formuliert. Die H0 bezieht sich auf die erwartete Häufigkeitsverteilung (zB gleiche Auftrittswahrscheinlichkeit von Depression bei Frauen und Männern). Mit diesen erwarteten Häufigkeiten werden die in der Stichprobe beobachteten Häufigkeiten verglichen. Die Entscheidung über die Annahme oder Zurückweisung der Hypothese erfolgt anhand des Signifikanzkriteriums α. Hier werden χ²-Tests für die Analyse einer Variable (Auftretenshäufigkeit der verschiedenen Stufen) oder von zwei Variablen (Häufigkeit von Merkmalskombinationen) vorgestellt. Der χ²-Test für eine Variable Mit dem χ²-Test für eine Variable können wir überprüfen, ob die in einer Stichprobe beobachtete Häufigkeitsverteilung der untersuchten Variablen signifikant von einer Häufigkeitsverteilung abweicht, die in der Population angenommen oder vermutet wird.[2] H0 ist meist eine Gleichverteilungsannahme . [2] Der χ²-Test für eine Variable wird gelegentlich als Anpassungstest bezeichnet. Ist die in der Stichprobe beobachtete Verteilung hinreichend angepasst an die in der Population vermutete Verteilung, so erhalten wir ein nicht-signifikantes Ergebnis und weisen die H0 nicht zurück. Die Gleichverteilungsannahme als Nullhypothese: BSP. Vermutung: Depression setzt nicht zu allen Jahreszeiten gleich häufig ein. Der erste Schritt zur Beantwortung dieser Frage besteht darin, diejenigen Häufigkeiten zu bestimmen, die in der Stichprobe zu erwarten sind, wenn die Nullhypothese zutrifft. Leicht, wenn Annahme der Gleichverteilung: Es sollte jeweils ein Viertel aller Probanden in der Stichprobe jeder der vier Merkmalsausprägungen zuzuordnen sein. Die in jeder Merkmalsausprägung erwartete Häufigkeit lässt sich bei der Gleichverteilungsannahme bestimmen, indem man die Anzahl der Untersuchungsteilnehmer (N) durch die Anzahl der Merkmalsausprägungen (k) dividiert. ƒe,i = N/k ƒe,1 = ƒe,2 = ƒe,3 = ƒe,4 = 200/4 = 50 Der Hypothesentest stützt sich nun auf die Abweichungen zwischen den beobachteten und den erwarteten Häufigkeiten. Im χ²-Test wird als Prüfgröße ein Maß für diese Abweichung bestimmt: der χ²-Wert. Anhand dieses Wertes wird ermittelt, mit welcher Wahrscheinlichkeit die gefundenen Abweichungen (oder noch größere) auftreten, wenn die Nullhypothese zutrifft. Die Alternativhypothese ist wie in der VA grundsätzlich eine Omnibus-Hypothese. Eine fokussierte Alternativhypothese – wie etwa die, dass Depressionen im Winter häufiger auftreten als in anderen Jahreszeiten – kann also mit χ²-Tests nicht geprüft werden. [3 Ausnahme: Merkmal mit exakt zwei Ausprägungen] Der χ²-Wert: Formel zur Berechnung des χ²-Werts: Χ² = ∑ (ƒb,i – ƒe,i)²  /  ƒe,i Summe der quadrierten Differenz der beobachteten Häufigkeit der Merkmalsausprägungen (ƒb,i) und der erwarteten Häufigkeit (ƒe,i) der Merkmalsausprägungen dividiert durch die erwartete Häufigkeit der Merkmalsausprägungen (ƒe,i). Quadrierung, weil sich einfache Differenzen in den verschiedenen Merkmalsausprägungen grundsätzlich zu Null addieren -> die Quadrierung verhindert, dass sich negative und positive Abweichungen ausgleichen; man erhält ausschließlich positive Werte. Division erfolgt, weil identische Abweichungen bei großen erwarteten Häufigkeiten weniger bedeutsam sind als bei kleinen erwarteten Häufigkeiten: Nehmen wir an, dass wir zwischen beobachteter und erwarteter Häufigkeit eine Abweichung von 8 finden. Beläuft sich die erwartete Häufigkeit auf 1000, so ist diese Abweichung als wenige bedeutsam einzustufen. Beträgt die erwartete Häufigkeit hingegen 10, so ist eine Abweichung von 8 als ungleich wichtiger zu beurteilen. Die Division der quadrierten Abweichungen durch die erwarteten Häufigkeiten kommen also einer Standardisierung gleich: Durch sie werden die quadrierten Abweichungen entsprechend ihrer Bedeutsamkeit gewichtet und somit so transformiert, dass sie vergleichbar sind. Stimmen beobachtete Häufigkeiten und erwartete Häufigkeiten perfekt überein, wird der χ²-Wert Null betragen. Er wird hingegen umso größere Werte annehmen, je deutlicher die beobachteten von den erwarteten Häufigkeiten abweichen. In BSP. χ² = 9.16 -> zusätzlich wird der p-Wert ermittelt; wir ermitteln also die Wahrscheinlichkeit, mit der der gefundene χ²-Wert (oder ein noch größerer) auftritt, wenn die Nullhypothese zutrifft. Um den mit einem bestimmten χ²-Wert verbundenen p-Wert ermitteln zu können, benötigen wir allerdings noch die Stichprobenverteilung von χ²-Werten. χ²-Verteilung und Freiheitsgrade: χ²-Werte folgen genau wie t- oder F-Werte einer Stichprobenverteilung, die mathematisch hergeleitet werden kann. Die exakte Form dieser χ²-Verteilung hängt von der Anzahl der Freiheitsgrade ab. Die Freiheitsgrade ergeben sich aus der Anzahl der Häufigkeiten, die frei variieren können, wenn die Stichprobenverteilung N gegeben ist. df = k – 1; BSP. df = 3 (weil, wenn wir die Häufigkeiten in drei Merkmalsausprägungen k kennen, dann liegt auch die Häufigkeit der vierten fest) Alle Verteilungen sind rechtsschief; das geht darauf zurück, dass der χ²-Wert einerseits keine Werte kleiner als Null, andererseits aber (zumindest im Prinzip) beliebig große Werte annehmen kann. Das der χ²-Wert niemals negativ wird liegt daran, dass Zähler und Nenner in der Berechnungsformel stets positiv sind. Durch die χ²-Verteilung ist jedem χ²-Wert mit der entsprechenden Anzahl an Freiheitsgraden ein p-Wert zugeordnet; je mehr df desto niedriger wird die Verteilung. Andere Verteilungsannahmen als Nullhypothese: Oft ist eine Gleichverteilungsannahme nicht sinnvoll. Die erwarteten Häufigkeiten erhalten wir, wenn wir die in der Nullhypothese spezifizierten Anteile in den verschiedenen Merkmalsausprägungen auf die Stichprobe beziehen (zB 40% zu 60% statt Gleichverteilung). Effektgrößen: Eine bei einem χ²-Test für eine Variable häufig verwendete Effektgröße ist das Maß w. Die Effektgröße w misst in standardisierter Form die Unterschiede zwischen beobachteten und erwarteten Häufigkeiten. Ist χ²-Wert aber auch; worin besteht also der Unterschied zu w? Der χ²-Wert wird durch die Stichprobengröße beeinflusst und erlaubt es also nicht, Effekte aus Studien mit unterschiedlichen Stichprobengrößen zu vergleichen. Inhaltlich ist w nicht ganz einfach zu interpretieren. Man kann sich aber auch an den Konvention nach Cohen (1988) orientieren: Kleiner Effekt:                w = 0.1 Mittlerer Effekt:              w = 0.3 Großer Effekt:                w = 0.5 Power: Die Power des χ²-Tests hängt – wie die aller Signifikanztests – ab vom: Signifikanzkriterium α der Stichprobengröße der Effektgröße in der Population Für eine a priori-Poweranalyse: Befunde früherer Studien, Konventionen, Berechnen von erwarteter Effektgröße von w anhand der Alternativhypothese.
• 17 Verfahren zur Analyse nominalskalierter Daten: Chi-Quadrat (X2-)Tests 17.2 Der X2-Test für zwei Variablen 17.2.1 Die Unabhängigkeitsannahme als Nullhypothese 17.2.2 Berechnung des X2-Werts 17.2.3 Freiheitsgrade und Signifikanzprüfung 17.2.4 Effektgrößen 17.2.5 Power Der χ²-Test für zwei Variablen Hier lassen sich die Häufungen der Merkmalskombinationen am besten in Kreuztabellen darstellen (auch genannt Kontingenztafeln). Ein Spezialfall der Kreuztabelle ist die Vierfeldertafel (dichotome Ausprägung der zwei Variablen). Im Prinzip kann – wie beim χ²-Test für eine Variable – jede beliebige Annahme über die Häufigkeiten der verschiedenen Merkmalskombinationen als Nullhypothese fungieren. Allerdings wird der χ²-Test für zwei Variablen in der Praxis fast ausschließlich verwendet, um zu prüfen, ob zwischen den beiden untersuchten Merkmalen ein Zusammenhang besteht. Die H0 besagt in diesem Fall, dass die beiden Variablen in der Population nicht zusammenhängen. Diese Variante des χ²-Tests wird auch als „χ²-Test auf Unabhängigkeit“ bezeichnet. BSP. Besteht Zusammenhang zwischen der Teilnahme am Methodenseminar und der Lösung einer bestimmten Denksportaufgabe? Oder sind die Variablen voneinander unabhängig (Gleichverteilung)? Zwischen den beiden Variablen besteht ein Zusammenhang; Maß für dessen Stärke: Phi-Koeffizient (K7.7.1). Dieser kann genauso interpretiert werden wie der gewöhnliche Produkt-Moment-Korrelationskoeffizient. 2 dichotomen Variablen -> Phi-Koeffizient, entspricht rechnerisch dem Produkt-Moment-Koeffizienten. Phi wird daher auch als Vier-Felder-Produkt-Moment-Korrelation bezeichnet. BSP -> Zusammenhang von φ = 0.33 (nach Cohens Konventionen ein Effekt mittlerer Größe). Zufall? -> Maß für Diskrepanz: χ²-Wert. Unterschiede zwischen den beiden Verfahren bestehen lediglich hinsichtlich der Effektgrößen. Hier sind beim χ²-Test auf Unabhängigkeit neben w auch andere Effektmaße gebräuchlich. Die Unabhängigkeitsannahme als Nullhypothese: [...] Sofern wir den Zusammenhang zwischen zwei dichotomen Variablen untersuchen, kann als Maß der Effektgröße natürlich der Phi-Koeffizient verwendet werden, bei dem es sich um eine Spezialform der Produkt-Moment-Korrelation (K7) handelt. Alternativ kann der Phi-Koeffizient auch aus dem χ²-Wert und der Stichprobengröße berechnet werden (φ = √Χ²/N); Cohens Konventionen: 0.1, 0.3, 0.5. Wenn zumindest eines der betrachteten Merkmale mehr als zwei Ausprägungen aufweist, kann der Zusammenhang zwischen den Merkmalen nicht durch den Phi-Koeffizienten ausgedrückt werden. In diesem Fall ist eine Erweiterung des Phi-Koeffizienten das gebräuchlichste Effektmaß: Cramers Phi. Power: Um die Teststärke eines χ²-Tests auf Unabhängigkeit zu bestimmen, können wir wie im χ²-Test für eine Variable vorgehen; Angaben, die in Cramers Phi vorliegen, müssen dazu ggf. zunächst in w-Werte umgerechnet werden.
• 17 Verfahren zur Analyse nominalskalierter Daten: Chi-Quadrat (X2-)Tests 17.3 Voraussetzungen der X2-Tests Voraussetzungen der χ²-Tests χ²-Tests zählen – im Gegensatz zu t-Tests und den verschiedenen Varianten der VA – zu den sogenannten nonparametrischen Testverfahren (weiter in K18). Bezeichnung rührt daher, dass in den entsprechenden Verfahren keine Populationsparameter, wie Populationsmittelwerte und –varianzen, geschätzt werden! Dies führt dazu, dass bestimmte Voraussetzungen, die bei parametrischen Tests notwendig sind, in nonparametrischen Verfahren keine Rolle spielen (zB keine Varianzhomogenität notwendig). Nonparametrische Verfahren sind zudem verteilungsfrei. Damit ist gemeint, dass bei diesen Verfahren keine spezifischen Annahmen über die Form der Populationsverteilung getroffen werden müssen. [1] [1] Allerdings geht in manche Anwendungen nonparametrischer Tests die Annahmen ein, dass die Verteilungen zweier Populationen die gleiche Form haben. Dennoch Bedingungen: Jede Person muss eindeutig einer bestimmten Merkmalsausprägung bzw. Merkmalskombination zugeordnet werden können (evtl. Problem bei zB psychiatrischer Diagnose, falls Patient mehreren Störungsbildern zuzuordnen ist). Die Beobachtungen müssen voneinander unabhängig sein (verletzt, wenn ein Merkmal bei einer Person öfters erfasst wird). Allerdings existieren Varianten des χ²-Tests, mit denen abhängige normalskalierte Daten analysiert werden können; in der BSP-Studie wäre der McNemar-Test das Verfahren der Wahl. Dritte, umstrittene Voraussetzung: Frage, ob in allen Merkmalsausprägungen bzw. Merkmalskombinationen bestimmte minimale erwartete Häufigkeiten gegeben sein müssen, damit der χ²-Test zu einem korrekten Ergebnis führt. Das Problem ist, dass die Stichprobenverteilung des χ²-Werts nur dann exakt einer χ²-Verteilung entspricht, wenn die untersuchte Stichprobe sehr groß (genauer gesagt unendlich groß) ist. Bei kleineren Stichproben kann die tatsächliche Verteilung des χ²-Werts nennenswert von der berechneten χ²-Verteilung abweichen; man würde einen falschen p-Wert ermitteln. Minimal erwartete Häufigkeiten in den Merkmalsausprägungen bzw. Merkmalskombinationen stellen einen Schutz gegen dieses Problem dar. Häufig genannte Richtlinie: Die erwartete Häufigkeit soll in 80% aller Merkmalsausprägungen bzw. Merkmalskombinationen größer als 5 und in keiner Merkmalsausprägung kleiner als 1 sein. Allerdings haben Forschungsarbeiten gezeigt, dass der χ²-Test auch bei deutlich geringeren erwarteten Häufigkeiten zu annähernd korrekten p-Werten führen kann. Demnach ändert sich die Wahrscheinlichkeit für einen α-Fehler im χ²-Test unter Umständen selbst dann nicht nennenswert, wenn erwartete Häufigkeiten kleiner als 1 auftreten. Der χ²-Test scheint also auch bei kleineren erwarteten Häufigkeiten robust zu sein. Trotzdem sollte der χ²-Test nicht bei zu kleinen Stichproben (Empfehlung in VO-Skript: ?) durchgeführt werden, da die Power hier meist gering ist und somit die Wahrscheinlichkeit, einen vorhandenen Effekt zu übersehen, sehr groß wäre.
• 18 Verfahren zur Analyse ordinalskalierter Daten 18.1 Voraussetzungsverletzungen in parametrischen Tests Verfahren zur Analyse ordinalskalierter Daten: Ordinalskalierte Daten informieren lediglich darüber, bei welcher von zwei Personen ein Merkmal stärker ausgeprägt ist. Aussagen über die Größe des Unterschieds zwischen verschiedenen Merkmalsausprägungen ist hingegen nicht möglich. Z.B: alle Arten von Rangreihen (Sport) – in Sozialwissenschaften eher seltener, zB bei Ratingskalen (1 = stimme völlig zu bis 5 = lehne völlig ab). Das vermutlich größte Anwendungsfeld für Rangordnungstests ergibt sich aber aus der Tatsache, dass diese Tests – ebenso wie χ²-Tests – zu den nonparametrischen Verfahren gehören und damit nur an wenige und vergleichsweise schwache Voraussetzungen gebunden sind. Rangordnungstests sind somit eine mögliche Alternative, wenn Voraussetzungen für die Analyse intervallskalierter Daten verletzt sind. Aber mit Preis: den Probanden müssen aufgrund ihrer Messwerte zunächst Rangplätze zugeordnet werden – damit geht die Information über die Größe der Unterschiede zwischen verschiedenen Probanden, die in den ursprünglichen Messwerten enthalten waren, verloren. Ergebnisse von Rangtests sind damit weniger aussagekräftig als die Ergebnisse parametrischer Verfahren. Meist haben sie außerdem eine geringere Power. Exemplarisch werden zwei Rangordnungstests vorgestellt: U-Test von Mann-Whitney (zwei unabhängigen Stichproben) Wilcoxon-Test (zwei abhängige Stichproben). Voraussetzungsverletzungen in parametrischen Tests: Keine Normalverteilung und keine homogenen Varianzen -> verzerrte Ergebnisse (falscher p-Wert + α- und β-Fehler weichen von angenommenen Wahrscheinlichkeiten ab). Diese Voraussetzungen sind zwar robust bei größeren Stichproben -> bei drastischen Verletzungen der Voraussetzungen und zugleich kleine und/oder unterschiedlich große Stichproben -> Rangtests liefern verlässlichere Ergebnisse.
• 18 Verfahren zur Analyse ordinalskalierter Daten 18.2 Der U-Test 18.2.1 Zuordnung der Rangplätze 18.2.2 Null- und Alternativhypothese 18.2.3 Der U-Wert 18.2.4 Signifikanzprüfung in kleinen Stichproben 18.2.5 Signifikanzprüfung in großen Stichproben 18.2.6 Rangbindungen Der U-Test Überprüft, ob zwischen zwei unabhängigen Stichproben hinsichtlich einer abhängigen Variable signifikante Unterschiede bestehen. U-Test geht hierbei (anders als beim t-Test für unabhängige Stichproben) aber nicht auf die ursprünglichen Messwerte ein, sondern die ihnen zugeordneten Rangplätze. BSP. Hat ein bestimmtes Medikament als Nebenwirkung eine Verlangsamung der Reaktionszeit zur Folge? (Back-to-back-)Stamm-Blatt-Diagramm -> Verteilung ist extrem asymmetrisch und ähnelt keiner NV – beide Gruppen ballen sich im niedrigen Wertebereich. Eine solche linkssteile Verteilung der Messwerte ist für Reaktionszeiten auch aus theoretischen Gründen zu erwarten: Eine Reaktionszeit von 0 msec kann natürlich nicht erreicht oder gar unterschritten werden – es gibt eine untere Grenze, eine obere nicht. Sowohl diese theoretischen Überlegungen als auch die Messwerte in unseren Stichproben legen den Schluss nahe, dass die Verteilung der Reaktionszeiten in den betrachteten Populationen deutlich von einer NV abweicht -> eine Voraussetzung für den t-Test ist somit grob verletzt -> U-Test. Zuordnung der Rangplätze: Nächster Schritt: Messwerte der beiden Stichproben in eine gemeinsame Rangreihe bringen und jedem Messwerte einen entsprechenden Rangplatz zuzuordnen. Für den U-Test spielt es keine Rolle, ob wir dem niedrigsten oder dem höchsten Messwert den Rangplatz 1 zuweisen (führt zum gleichen Ergebnis). Null- und Alternativhypothese: Im U-Test soll ähnlich wie im t-Test für unabhängige Stichproben geprüft werden, ob die Werte in den beiden betrachteten Populationen unterschiedliche hoch sind. Da in den U-Tests anstelle der Mittelwerte jedoch Rangplätze eingehen, können sich die statistischen Hypothesen hier nicht auf die Mittelwerte der Messwerte beziehen. Stattdessen behauptet die Nullhypothese des U-Tests, dass die mittleren Ränge in beiden Populationen gleich groß seien (auch mittlere Ränge können nicht wie MW interpretiert werden – enthalten keine Informationen über die Größe des Unterschieds in den ursprünglichen Messwerten). Sofern keine systematischen Unterschiede zwischen den Reaktionszeiten von Personen der VG und der KG bestehen, ist der durchschnittliche Rangplatz (R) in beiden Populationen gleich groß. In BSP jedoch deutlich unterschiedlich: Personen der Medikamenten-Gruppe reagieren tendenziell langsamer – Zufall? Dafür wird noch der p-Wert ermittelt. Der U-Wert: Um die Wahrscheinlichkeit des beobachteten Stichprobenergebnisses zu bestimmen, wird wie in jedem Signifikanztest eine Prüfgröße ermittelt, hier: U-Wert. Bei der Berechnung des U-Werts wird zunächst für jede Person in der Gruppe 1 ausgezählt, wie viele Personen in der Gruppe 2 einen höheren Rangplatz (R) haben. (auch per Formel möglich) BSP Niedrigster Messwert: Rangplatz 7 -> 4 Personen haben einen höheren Messwert usw. Der U-Wert entspricht der Summe dieser „Rangplatzüberschreitungen“ (U). Neben der Summe der Rangplatzüberschreitungen können wir auch die Summe der Rangplatzunterschreitungen (U‘) berechnen. In diesem Fall ermitteln wir für jede Person in der Medikamenten-Gruppe, wie viele Personen in der Placebo-Gruppe einen niedrigeren Wert haben. Wenn die Rangplätze in der Placebo-Gruppe nur selten über den Rangplätzen in der Medikamenten-Gruppe liegen, dann müssen sie die Rangplätze aus der Medikamenten-Gruppe zwangsläufig häufig unterschreiten. Inhaltlich können wir die gleiche Information entnehmen: Die Probanden aus der Placebo-Gruppe überschreiten die Rangplätze aus der Medikamenten-Gruppe nur selten und unterschreiten sie entsprechend häufig. Die Probanden aus der Placebo-Gruppe reagieren demnach tendenziell schneller als die Probanden aus der Medikamenten-Gruppe. Wäre keine Unterschiede in den Populationen vorhanden, müssten hohe und niedrige Rangplätze in beiden Stichproben etwa gleich häufig auftreten. Je deutlicher U und U‘ von μU abweichen, desto unwahrscheinlicher ist das Stichprobenergebnis, wenn die H0 zutrifft. Signifikanzprüfung in kleinen Stichproben: Bei kleinen Stichprobengrößen folgt der U-Wert einer eigenen Stichprobenverteilung. Anhand dieser Stichprobenverteilung kann bestimmt werden, mit welcher Wahrscheinlichkeit der beobachtete U-Wert (oder ein noch extremerer Wert) bei Gültigkeit der H0 auftritt. Dazu Tabelle: es muss der kleinere der beiden Werte U und U‘ herangezogen werden. Das Testergebnis ist signifikant, wenn der beobachtete Wert kleiner oder gleich (!) als der in der Tabelle ausgewiesene kritische U-Wert ist. Signifikanzprüfung in großen Stichproben: In großen Stichproben ist der U-Wert annähernd normalverteilt -> hier kann der U-Wert in einen standardisierten z-Wert umgerechnet werden, der dann für die Signifikanzprüfung verwendet wird. Die Entscheidung über die Signifikanz des z-Werts kann mithilfe der Standardnormalverteilungs-Tabelle entnommen werden. Rangbindungen: Wenn mehrere Probanden die gleichen Messwerte aufweisen, dann liegen Rangbindungen vor. In diesem Fall wird allen Probanden mit den gleichen Messwerten auch der gleiche Rang zugewiesen, nämlich der Mittelwert ihrer Rangplätze (ZB. MW von 11.5 bei Rangplätzen 11 und 12; der nächste Messwert erhält Rangplatz 13). Allerdings stellen Rangbindungen für den U-Test ein Problem dar. Insbesondere wenn die Probanden mit gleichen Messwerten aus unterschiedlichen Gruppen stammen, führt der U-Test nicht zu korrekten Ergebnissen – er liefert einen p-Wert, der größer ist, als der tatsächlich korrekte p-Wert, was wiederum bedeutet, dass ein vorhandener Effekt mit größerer Wahrscheinlichkeit übersehen wird – Rangbindungen erhöhen also die Wahrscheinlichkeit eines β-Fehlers. Dafür gibt es verschiedenen Korrektur-Prozeduren, die jedoch vor allem bei kleinen Stichproben nicht ganz einfach zu handhaben sind.
• 18 Verfahren zur Analyse ordinalskalierter Daten 18.3 Der Wilcoxon-Test 18.3.1 Durchführung des Wilcoxon-Tests 18.3.2 Eine Voraussetzung des Wilcoxon-Tests Der Wilcoxon-Test Für Daten aus zwei abhängigen Stichproben – zB dann, wenn eine AV bei denselben Probanden zu zwei Messzeitpunkten oder in zwei unterschiedlichen Bedingungen eines Experiments erhoben wird. Der Wilcoxon-Test (engl. Wilcoxon Signed-Rank Test) ist damit ein nonparametrischer Ersatz für den t-Test für abhängige Stichproben, wenn dessen Voraussetzungen nicht erfüllt sind. In K12 wurde bereits ein anderer nonparametrischer Test vorgestellt, der bei zwei abhängigen Stichproben eingesetzt werden kann: der Vorzeichentest. Im Vorzeichentest wird für jedes Messwertpaar ermittelt, in welcher der beiden Stichproben der größere Wert aufgetreten ist. Befindet sich der größere Wert in der ersten Stichprobe, wird ein positives Vorzeichen vergeben, andernfalls ein negatives.  Die Signifikanzprüfung stützt sich dann auf die Anzahlen positiver und negativer Vorzeichen (K12.2.1). Die Größe der Differenz zwischen den Messwerten in der ersten und zweiten Stichprobe wird im Vorzeichentest nicht berücksichtigt. Dies ändert sich im Wilcoxon-Test. Hier werden diesen Differenzen aufgrund ihrer Größe Rangplätze zugeordnet, die dann die Grundlage für den Signifikanztest bilden. Der Wilcoxon-Test nutzt also mehr Informationen aus den Daten als der Vorzeichentest und erreicht dadurch eine größere Power. Allerdings setzt er damit im Gegensatz zum Vorzeichentest auch voraus, dass die Differenzen zwischen den Messwerten ordinal interpretiert werden können. Durchführung des Wilcoxon-Tests: BSP 9 Kinder wurden im 1. und 2. Schuljahr gefragt,  wie viele andere Kinder sie als ihre Freunde bezeichnen. Da nicht davon auszugehen ist, dass die Anzahl der Freunde normalverteilt ist [eher asymmetrische linkssteile Verteilung], und die Stichprobengröße zudem gering ist, sind die Voraussetzungen des t-Test für abhängige Stichproben wahrscheinlich verletzt -> Analyse mit Wilcoxon-Test. Zuerst werden die Differenzen zwischen den Werten im ersten und im zweiten Schuljahr bestimmt – dann werden den absoluten Beträgen dieser Differenzen Rangplätze zugeordnet. Dabei werden Differenzen mit der Größe Null nicht berücksichtigt und vor der weiteren Analyse ausgeschlossen. Nächster Schritt: Berechnung von Summe der Rangplätze der negativen Differenzen (T-) und Summe der Rangplätze der positiven Differenzen (T+). Wenn H0 (keine systematischen Unterschiede zwischen den betrachteten Populationen) gilt, dann ist zu erwarten, dass die Rangsummen T- und T+ in etwa gleich groß sind. Im Wilcoxon-Test wird der kleinere der beiden Werte T- und T+ als Prüfgröße T verwendet. Vergleiche Tabelle im Anhang: Das Testergebnis ist signifikant, wenn der beobachtete T-Wert kleiner oder gleich (!) dem in der Tabelle ausgewiesenen kritischen T-Wert ist. Eine Voraussetzung des Wilcoxon-Tests: Differenzen der Messwertpaare weisen Ordinalskalenniveau auf Im Wilcoxon-Test werden den Differenzen gemäß ihrer Größe Rangplätze zugeordnet; dieses Vorgehen ist nur sinnvoll, wenn größere Differenzen auch tatsächlich anzeigen, dass zwischen den entsprechenden Messwerten größere Unterschiede bestehen. Nicht bei allen Messungen Selbstverständlich. BSP 1 bis 5 Skala (stimme völlig zu / überhaupt nicht zu): Wenn wir Zweifel daran haben wäre der Wilcoxon-Test nicht anwendbar; als Alternative verbleibt der Vorzeichentest.
• 18 Verfahren zur Analyse ordinalskalierter Daten 18.4 Powerbestimmung im U-Test und Wilcoxon-Test Powerbestimmung im U-Test und Wilcoxon-Test Keine etabliertes, leichtes Verfahren zur Powerbestimmung, vor allem, weil keine Maße für Effekte verfügbar sind, die in diesem Verfahren auf Signifikanz geprüft werden. Die gebräuchlichen Effektmaße für Untersuchungen mit zwei Gruppen bringen in irgendeiner Form den standardisierten Mittelwertsunterschied zwischen den Messwerten in beiden Gruppen zum Ausdruck. Dieses Vorgehen ist bei Verfahren, die anstelle der Messwerte deren Rangplätze betrachten, offensichtlich unangemessen. Da die Power jedoch eine Funktion der erwarteten Effektgröße ist, ist ohne ein geeignetes Effektmaß natürlich keine Powerbestimmung möglich. Fehlen von Verfahren zur Powerbestimmung schränkt die Interpretationsmöglichkeiten von Ergebnissen aus dem U-Test und dem Wilcoxon-Test drastisch ein. Insbesondere nicht-signifikante Ergebnisse erlauben ohne Poweranalyse keine eindeutige Schlussfolgerung zu: Wir können nicht ausschließen, dass die Wahrscheinlichkeit einen vorhandenen Effekt zu entdecken (ein richtigerweise signifikantes Ergebnis zu erhalten) extrem gering war. Es ließe sich nicht ableiten, dass die Nullhypothese angenommen werden kann. Möglichkeit: Grobe Abschätzung der Power anhand der Verfahren zur Powerbestimmung der entsprechenden parametrischen Tests (t-Tests für unabhängige bzw. abhängige Stichproben). [Bei größeren Stichproben kann eine Abschätzung der Power alternativ auch mithilfe der Standardnormalverteilung vorgenommen werden.] Zwei Dinge sind bei diesem Vorgehen zu beachten: Der erwartete Effekt wird in der „üblichen“ Effektgröße d ausgedrückt. Übertragung dieser Effektgröße auf nonparametrische Verfahren ist nur vertretbar, wenn ursprüngliche Messwerte zumindest Intervallskalenniveau aufweisen (bei ordinalskalierten Daten ist d nicht definiert). Diese Abschätzung der Power des U-Tests kommt nur für Studien in Frage, in denen dieser Test (U-Test) als Ersatz für den t-Test angewandt wird, weil Voraussetzungen der Normalverteilung oder der Varianzhomogenität nicht erfüllt sind. Die Power von parametrischen Verfahren ist unter nahezu allen realistischen Umständen größer als die Power entsprechender nonparametrischer Tests; die Power des U-Tests wird mit der beschriebenen Vorgehensweise also in aller Regel überschätzt. Wie deutlich die Power des U-Tests von der des t-Tests abweicht, hängt unter anderem von der Form der Verteilung der AV in den betrachteten Populationen ab und ist nur schwer genau einzuschätzen. Wir erhalten mit dem beschriebenen Vorgehen lediglich einen Wert, der eine grobe Orientierung bei der Beurteilung der Power nonparametrischer Testverfahren ermöglicht.
• 19 Inferenzstatistik: Erweiterungen und Ergänzungen 19.1 A Inferenzstatistik: Erweiterungen und Ergänzungen Bisher wurden die zwei gebräuchlichsten Verfahren der Inferenzstatistik behandelt: Konfidenzintervall & Signifikanztest. Zu diesen gehören auch noch andere Ansätze, die nicht behandelt wurden, wie die Sequenzanalyse nach Wald (als Grundlage für Entscheidungen bei kostspieligen Stichproben -> keine vorgegebene Stichprobengröße, sondern die Werte werden sequentiell erweitert. Nach jeder wird neu berechnet ein Bereich festgelegt, innerhalb dessen keine Entscheidung möglich ist. Wenn dieser Bereich aber nach oben oder unten überschritten wird, entscheidet man sich für die entsprechende Hypothese. Komplexer als herkömmliche Neyman-Pearson-Vorgehensweise – aber Vorteil, dass man meist mit sehr viel kleineren Stichproben auskommt, denn sobald die Stichprobenstatistik den Indifferenzbereich verlässt, ist die Entscheidung für eine der beiden Hypothesen gefallen.) Viele zusätzliche Verfahren nach R.A. Fisher (die ebenso wie die Sequenzanalyse kaum eine Rolle in Psychologie und Sozialwissenschaften spielen; Datenerhebung kaum je so kostspielig): relativ kompliziert, wenig erprobt, nie für breite Interessensgruppen popularisiert.
• 19 Inferenzstatistik: Erweiterungen und Ergänzungen 19.1 Der Bootstrap: Inferenz nach Münchhausen-Art 19.1.1 Grundlegende Idee und Vorgehensweise 19.1.2 Vorteile des Bootstrap 19.1.3 Anwendungsbeispiele 19.1.4 Praktische Vorgehensweise Der Bootstrap: Inferenz nach Münchhausen-Art Geschichte des Baron von Münchhausen: Er zieht sich samt Pferd, das er zwischen den Knien festhält, am eigenen Haarschopf aus einem Sumpf. Mutierte amerikanische Version der Geschichte: Sumpf = tiefer See, Haarschopf = Stiefelschlaufe -> engl. bootstraps. Beim Bootstrap zieht man wiederholt Stichproben aus einer vorliegenden Stichprobe (häufig als Resampling bezeichnet) und möchte damit Schlussfolgerungen auf die Population treffen. Grundlegende Idee und Vorgehensweise: Gängige Vorgehensweise für zB die Konstruktion eines Konfidenzintervalls: Stichprobenmittelwert als Schätzung für den Populationsmittelwert nehmen und die Stichprobenvarianz als Schätzung für die Populationsvarianz, aus der dann der Standardfehler berechnet wird. Die Form der Stichprobenverteilung ergibt sich hierbei durch eine mathematische Ableitung, die an verschiedene Voraussetzungen der Population gekoppelt ist (etwas NV oder Varianzhomogenität). In der Regel wird die Stichprobenverteilung noch standardisiert und ergibt bspw. im Fall von Mittelwertsvergleichen die t-Verteilung. Andere Vorgehensweise (K10): Erstellen einer (empirischen) Stichprobenverteilung durch wiederholtes Ziehen von Zufallsstichproben aus einer Population und jeweiliges Berechnen der Mittelwerte. Dritte Methode: Bootstrap (von Efron, 1977). [1] Zufallsstichproben sind eine gute Grundlage für die Schätzung von Populationsparametern; je eher, je größer die Stichprobe ist. Wenn die Stichprobe repräsentativ für die Population ist (was bei Zufallsstichproben anzunehmen ist), dann sollte man auch durch wiederholtes Stichprobenziehen aus der repräsentativen Stichprobe eine empirische Stichprobenverteilung erhalten, die der theoretischen (auf die Population bezogen) sehr ähnlich ist. [1] Es gibt mehrere Varianten dieser Methode, die auf dem Stichprobenziehen aus Stichproben (Resampling) beruhen. Der Bootstrap ist die bekannteste dieser Varianten und die Ergebnisse sind in vielen Fällen ähnlich. Man kann also den Bootstrap als Alternative zum Erstellen von Stichprobenverteilungen benutzen und dann einen Großteil der bisher behandelten inferenzstatistischen Verfahren anwenden. Außerdem besitzt der Bootstrap auch einige Vorteile gegenüber dem klassischen Ansatz. Außerdem eine Besonderheit (bis vor kurzem noch großer Nachteil): Sie ist nur mithilfe von groß angelegten Computersimulationen durchzuführen. Deswegen gewinnt dieses Verfahren auch erst langsam an Bedeutung. Vorteile des Bootstrap: Beim klassischen Ansatz zur Inferenzstatistik müssen nahezu immer Vorannahmen der Verfahren erfüllt sein, die nur schwer zu prüfen sind; bei deren Verletzung kann man dem p-Wert nicht mehr trauen. Beim Bootstrap reicht die Annahme, dass die Stichproben repräsentativ für die Population sind. Wie die Populationsverteilung damit auch die Verteilung der Stichprobenwerte genau aussieht, spielt keine Rolle. Auch die Varianzen müssen keinerlei Vorannahmen genügen. Sind also Voraussetzungen für t- und F-Tests verletzt und man möchte nicht auf die Robustheit der entsprechenden Verfahren vertrauen, dann wäre der Bootstrap eine Alternative. Weiterer Vorteil: Schätzung von Populationsparametern ist auch dann kein Problem, wenn man die gängigen Lage- und Streuungsmaße (arithmetisches Mittel, Varianz, Standardabweichung) verlässt: Man kann die Verteilung beliebiger Stichprobenstatistiken, etwa Mediane, Korrelationen und beta-Gewichte beliebiger Größe oder noch komplexere Maße wie Differenzen u.a durch wiederholtes Stichprobenziehen aus der repräsentativen Stichprobe erzeugen. Danach kann man wie gewohnt verfahren und bspw. Konfidenzintervalle konstruieren. Einwand: Wenn die Stichprobe (durch den Stichprobenfehler) verzerrt ist, dann ist auch die mittels Bootstrap bestimmte Stichprobenverteilung verzerrt. Das stimmt zwar, ist aber im Vergleich zum klassischen Ansatz kein Nachteil, weil Verzerrungen dort ebenso problematisch sind. Untergrenzen für die Anzahl der Bootstrap-Stichproben, die für brauchbare Schätzungen notwendig sind, werden von einigen Autoren vorgeschlagen (zB 200 Stichproben für die Bestimmung des Standardfehlers, 1000 für KIs).
• 19 Inferenzstatistik: Erweiterungen und Ergänzungen 19.2 Der Bayesianische Ansatz: Hypothesen erhalten Wahrscheinlichkeiten 19.2.1 Illustration der grundlegenden Idee und Vorgehensweise 19.2.2 Signifikanztesten vs. Bayesianisches Hypothesentesten 19.2.3 Test mehrerer Hypothesen 19.2.4 Auswirkung der Priorverteilung 19.2.5 Wiederholtes Testen: Die Replikation von Studien 19.2.6 Einfluss der Stichprobengröße 19.2.7 Komplexere Verfahren 19.2.8 Bayes-Statistik in der Praxis Der Bayesianische Ansatz: Hypothesen erhalten Wahrscheinlichkeiten Urspung: Veröffentlichung des Pfarrers Thomas Bayes (1763; Namensgeber, aber sicher nicht Urheber). Ansatz erlaubt es, im Gegensatz zum bisher behandelten klassischen Ansatz, die Wahrscheinlichkeit von Hypothesen zu bestimmen. Im klassischen Ansatz kann man nur die Wahrscheinlichkeit eines Stichprobenergebnisses unter der Gültigkeit einer Hypothese – meist der H0 – bestimmen. In diesem Ansatz beschränken wir uns auf die einfache Variante des Bayesianischen Hypothesentestens und illustrieren die wichtigsten Einflussgrößen anhand von Beispielen. [1] [1] Man kann mithilfe der Bayes-Statistik auch sogn. Glaubwürdigkeitsintervalle erstellen – ermöglichen Aussage darüber, mit welcher Glaubwürdigkeit sich der Populationsparameter in dem Intervall befindet (bei klassischen KI bezieht sich dagegen die Schlussfolgerung auf das Intervall, nicht auf den Populationsparameter). Illustration der grundlegenden Idee und Vorgehensweise: Wir suchen nach der bedingten Wahrscheinlichkeit p(Brustkrebs | positiv). Zufallsstichprobe von 1000 Frauen: Das Mammografie-Beispiel illustriert die grundlegende Idee des Bayesianischen Hypothesentestens. Man beginnt schon mit Vorannahmen über die Wahrscheinlichkeiten der Hypothesen. Das sind im einfachsten Fall (wie im BSP) zwei; es können aber viel mehr sein. Die Verteilung der Wahrscheinlichkeiten dieser potenziellen Hypothesen nennt man häufig Priorverteilung oder Priors (lat. a priori, vorn vornherein vorhanden). Der nächste Schritt besteht darin, herauszufinden, wie wahrscheinlich das gefundene Ergebnis bei Gültigkeit der untersuchten Hypothesen ist. BSP: Stichprobe bestand aus einzigem Testwert und Ergebnis war positiv. Man möchte nun herausfinden, wie wahrscheinlich das positive Ergebnis unter Gültigkeit der beiden Hypothesen war. Diese bedingte Wahrscheinlichkeit der Daten (D) für die i Hypothesen p(D | Hi) werden meist als Likelihoods und deren Verteilung als Likelihoodfunktion bezeichnet. (Auch der p-Wert im konventionellen Ansatz ist eine Likelihood). Im letzten Schritt wird die Wahrscheinlichkeit der Hypothesen (der Priors) aufgrund der Likelihoods revidiert und man erhält die Posteriorverteilung oder Posteriors (a posteriori = im Nachhinein). Signifikanztesten vs. Bayesianisches Hypothesentesten: Ausbildung von Partnern unterscheidet sich nicht (πA = 0.5) vs. unterscheidet sich (πB = 0.6). Beim Bayesianischen Hypothesentesten unterscheidet man nicht mehr zwischen Null- und Alternativhypothese, sondern nur zwischen unterschiedlichen Hypothesen, wie den beiden, die wir nun πA und πB genannt haben. Ergebnis ist nicht signifikant, p = 0.172. Wie behandelt man dieses BSP mithilfe eines Bayesianischen Hypothesentests? Priorverteilung Besteht im BSP aus zwei Wahrscheinlichkeiten (πA und πB); man könnte evtl. vorhandenes Vorwissen oder bisherige Erkenntnisse in die Schätzung der Priors einfließen lassen. Hat man keine gezielte Vorstellung –> Annahme gleicher Wahrscheinlichkeiten: Mit der Wahrscheinlichkeitszuweisung haben wir gleichzeitig festgelegt, das alle anderen Hypothesen auszuschließen sind, da p(πA)+ p(πB) = 1; die Reduktion auf zwei Hypothesen (Null- und Alternativhypothese) ist der Normalfall im klassischen Ansatz, im Bayesianischen Ansatz aber eine seltene Ausnahme und zu Vereinfachungszwecken. Likelihoods Die Likelihoods sind die bedingten Wahrscheinlichkeiten für ein Ergebnis, wenn eine bestimmte Hypothese zutrifft. Die Wahrscheinlichkeit dieses Ergebnisses kann mithilfe der Binomialverteilung bestimmt werden (per Hand, Programm). Posteriorverteilung Nun können wir die revidierten Hypothesenwahrscheinlichkeiten mithilfe der Bayes-Formel berechnen. Die Verteilung dieser (hier. zwei) Wahrscheinlichkeiten ist die Posteriorverteilung (D steht wieder für Daten). Nach der Datenerhebung haben sich die (anfangs gleichen) Hypothesenwahrscheinlichkeiten geändert. Nun ist die Unterschiedshypothese nahezu doppelt so wahrscheinlich wie die Gleichheitshypothese. Wenn wir uns für eine Hypothese entscheiden müssten, wäre das eindeutig πB. Man könnte jedoch argumentieren, dass die Beschränkung auf πA und πB die Erkenntnismöglichkeiten einschränkt – es sollten auch weitere Hypothesen berücksichtigt werden. Das ist im Bayesianischen Ansatz möglich und auch eher der Normalfall. Test mehrerer Hypothesen: Im letzten Abschnitt haben wir die Hypothesen πA = π50% und πB = π60% als gleich wahrscheinlich betrachtet. Damit war die Priorverteilung spezifiziert. Wenn wir aber weitere Anteilshypothesen nicht ausschließen möchten, ZB. π40% und π70% oder π30% und π80%: Priorverteilung Die Wahrscheinlichkeiten für diejenigen Hypothesen, die wir in diesem Fall als plausibel betrachten, ergeben die Priorverteilung – deren Aufstellung beinhaltete ein hohes Maß an Subjektivität und sollte immer alles Wissen berücksichtigen, das man a priori über die Hypothesen hat. Auswirkung der Priorverteilung: Was passiert, wenn man die Priorverteilung ändert? Wir z.B. allen Hypothesen die gleiche Priorwahrscheinlichkeit (p = 0.167) zugeordnet hätten? An den Likelihoods ändert sich nichts, aber die veränderte Priorverteilung wirkt sich natürlich auf die Posteriorwahrscheinlichkeit aus; diese wäre für π30% bspw. p = 0.011. Hat sich fast vervierfacht! Eine gleichverteilte Priorverteilung (alle Hypothesen haben dieselbe Wahrscheinlichkeit) vereinfacht zudem die Berechnung der Posteriorwahrscheinlichkeiten ­– man kann diese immer gleiche Wahrscheinlichkeit (p = 0.617) einfach wegkürzen. Nunmehr wäre π70% am wahrscheinlichsten. Wiederholtes Testen: Die Replikation von Studien: Wie würden sich die Hypothesenwahrscheinlichkeiten ändern, wenn wir noch eine weitere Stichprobe von 10 Paaren gezogen hätten? Im Gegensatz zu konventionellen Signifikanztests, bei denen das nicht möglich ist, werden bei wiederholten Bayesianischen Tests die Ergebnisse der vorherigen Tests als Informationen mit in das Verfahren einbezogen. Die Wahrscheinlichkeit der Hypothese π80% hat sich durch diesen erneuten Test auf weniger als die Hälfte des Ausgangswerts (0.064) verkleinert. Die Wahrscheinlichkeit der Hypothese π60% hat weiter zugenommen und die Streuung der Posteriorverteilung hat abgenommen, was angesichts diese zweiten konsistenten Ergebnisses plausibel ist. Was wäre passiert, wenn die Reihenfolge der Ergebnisse umgekehrt gewesen wäre? Es hätte sich nichts geändert! Unabhängig von der Reihenfolge der Ergebnisse ist das Endresultat beim Bayesianischen Hypothesentesten immer dasselbe. Einfluss der Stichprobengröße: Spielt zentrale Rolle beim konventionelle Ansatz. Auch im Bayesianischen Ansatz bedeutsamer Einfluss ­– wenn die Likelihoods, wie in unserem Beispiel, auf der Grundlage frequentistischer Wahrscheinlichkeiten gebildet werden [Im Prinzip können diese auf beliebige Weise, zB durch Expertenurteile bestimmt werden]. Die Likelihoods sind in dem Fall nichts anderes als „Ausschnitte“ aus Stichprobenverteilungen (im BSP aus Binomialverteilungen mit n = 10 und unterschiedlichen p-Werten). K10: Varianz von Stichprobenverteilungen nimmt mit steigender Stichprobengröße ab: Stichprobenkennwerte in der Nähe des Erwartungswerts werden damit wahrscheinlicher und solche weiter davon weg weniger wahrscheinlich. Wenn sich also der jeweilige Ausschnitt der Stichprobenverteilung im Zentrum der Verteilung befindet, dann steigen die Likelihoods mit steigender Stichprobengröße, wenn sich die Ausschnitte am Rand befinden, sinken sie. Bisher waren Ausschnitte immer einzelne Werte (zB. 5 von 50 (50%)), mit steigender Stichprobengröße kann es aber oft praktikabler sein, mehrere Werte zu einem Ausschnitt zusammenzufassen (zB. 10er Intervalle „> 40% bis ≤ 50%“). Im Grunde haben wir das auch bisher schon getan, es befand sich jedoch nur jeweils ein einziger Wert in dem Intervall. Je größer die Stichprobe, je kleiner die Streuung der Likelihoods. Bayes-Statistik in der Praxis: Warum ist der tatsächliche Gebrauch der Bayes-Statistik minimal, obwohl diese Information liefert, die tlw. auch in das Ergebnis des klassischen Ansatzes hineininterpretiert werden, nämlich die Wahrscheinlichkeit von Hypothesen? 2 Gründe: Hohes Maß an Subjektivität, welches in die Berechnungen miteingeht, besonders bei der Bestimmung der Priorverteilung, schreckt Forscher ab. Unterschiedliche Priors führen auch zu unterschiedlichen Posteriors – mögliches Problem, wenn nur eine einzelne Studie durchgeführt wurde. Nach einigen Replikationen wirken sich die anfangs benutzten Priors jedoch kaum mehr auf die revidierten Wahrscheinlichkeiten aus. Aber selbst bei der Verwendung einer einzelnen Studie kann die Verwendung von Priors sehr sinnvoll sein. Wenn man etwa eine Hypothese, die schon sehr häufig bestätigt wurde, mit einer einzelnen oder einer Menge von anderen Hypothesen vergleicht, dann sollte die schon bewährte Hypothese auch mit einem Bonus, d.h. einer höheren Priorwahrscheinlichkeit „ins Rennen gehen“. Kann mathematisch sehr aufwendig werden, wenn man komplexere Fragstellungen betrachtet. Lösung: leistungskräftige und benutzerfreundliche Auswertungssoftware (gibt es noch nicht).
• 19 Inferenzstatistik: Erweiterungen und Ergänzungen 19.3 Inferenzstatistik in Psychologie und Sozialwissenschaften 19.3.1 Klassisch vs. Bayesianisch 19.3.2 Was kann Inferenzstatistik nicht? Inferenzstatistik in Psychologie und Sozialwissenschaften Im Buch hauptsächlich mit dem klassischen Ansatz der Inferenzstatistik beschäftigt – dieser dominiert die psychologische und sozialwissenschaftliche Forschung, meist beinhalten Statistikprogramm ausschließlich Verfahren diesen, und viele Forschungsergebnisse können ohne profunde Kenntnisse dieses Ansatzes nicht richtig interpretiert werden. Die Bootstrap-Methode könnte man als Erweiterung des klassischen Ansatzes sehen, die erst durch die Rechenleistung heutiger Computer sinnvoll anwendbar ist (Potential liegt in der Voraussetzungsfreiheit). Der Bayesianische Ansatz bringt eine wirkliche Neuerung: Anstelle von Wahrscheinlichkeitsurteilen über Daten im klassischen Sinn (z.B. „Kann das Ergebnis noch Zufall sein?“), erhält man Wahrscheinlichkeitsaussagen über Hypothesen. Klassisch vs. Bayesianisch: Nicht notwendigerweise Gegensätze – die beiden Ansätze können sich auch gut ergänzen. Man könnte argumentieren, dass die Entscheidung für die Alternativ- oder Nullhypothese nach dem klassischen Ansatz noch plausibler ist, wenn die entsprechende Hypothese (und nicht eine weitere, im klassischen Ansatz nicht behandelte) im Bayesianischen Ansatz die höchste Posteriorwahrscheinlichkeit erzielt. Eine geringere Posteriorwahrscheinlichkeit könnte die Grundlage dazu sein, die Spezifizierung von Null- und Alternativhypothese noch einmal zu überdenken. Gegner haben hauptsächlich an der Subjektivität der Wahrscheinlichkeitsschätzungen etwas auszusetzen. Diese kann jedoch in vielen Fällen reduziert werden, wenn die Ergebnisse bisheriger Studien in die Konstruktion der Priorverteilung eingehen oder wenn die Likelihoods unter Einbeziehung der Stichprobengröße aus gängigen Stichprobenverteilungen geschätzt werden. Aber auch der klassische Ansatz ist nicht wirklich objektiv: Die Auswahl der Wahrscheinlichkeit für die Fehler 1. und 2. Art ist letztlich immer eine subjektive Entscheidung und ganz ohne subjektives Urteil kommt man auch beim Spezifizieren der Alternativhypothese nicht aus. Klassischer Ansatz als Methode der Wahl, wenn wenig Vorwissen vorhanden ist, nur einmal getestet werden kann und eine wichtige Entscheidung ansteht. Bayesianischer Ansatz, wenn viele vergleichbare Studien durchgeführt werden können und man an der Wahrscheinlichkeit verschiedener Hypothesen interessiert ist. Was kann Inferenzstatistik nicht? Die Inferenzstatistik in der klassischen Prägung ist ein deduktives Verfahren (abgesehen von den Schlüssen, die man aufgrund des p-Werts zieht). Ohne schon vorhandene Hypothesen machen Signifikanztests und Konfidenzintervalle keinen Sinn. Auch der Bayesianische Ansatz hat weitgehend deduktiven Charakter. In der Priorverteilung muss man potenziell sinnvolle Hypothesen festlegen, man ist dabei nur weniger eingeschränkt als im klassischen Ansatz. Damit ist deutlich, dass Inferenzstatistik keine große Rolle bei der Generierung von Theorien und Hypothesen spielt. Die Ergebnisse von Signifikanztests können zwar Denkanstöße liefern, aber solche Denkanstöße kommen häufig eher von einer detaillierten deskriptiven und explorativen Datenanalyse. Aber auch die Überprüfung von Theorien lässt sich nicht auf die Durchführung inferenzstatistischer Verfahren beschränken. Nicht selten treten in Studien unerwartete oder kontraintuitive Ergebnisse auf. Hier hilft die Inferenzstatistik nicht weiter. Wieder liefert eine detaillierte Datenanalyse, vor allem mithilfe geeigneter grafischer Verfahren, den besten Zugang zum Verständnis der Ergebnisse. Meist ist man zudem daran interessiert, wie groß Effekte sind. Die Antwort darauf kann man nicht durch Inferenzstatistik erhalten, sondern durch die Berechnung entsprechender Effektgrößen (K9 und 24). Auch zum Schätzen der Effektgröße in der Population gibt es ein weitaus besseres Verfahren als ein einzelnes Konfidenzintervall: die Metaanalyse. Solchen Verfahren, die zur Theoriegenerierung, zur detaillierten Analyse von Daten, und zur Analyse wiederholt erhobener Effektgrößen dienen, ist Teil V dieses Buchs gewidmet.

zurück  |  weiter 1 / 1