80

Quantitave Forschungsmethoden (Subject) / Mügge (Lesson)

This lesson was created by easyt.

Learn lesson

back  |  next 2 / 2

• Was kritisiert Schimmack (2012) in seinem Artikel? Schimmack kritisiert die gängige Forschungspraxis, da bei multiplen Studien zu viele signifikante Ergebnisse erzielt werden. Dadurch werden die Daten unglaubwürdig und somit die Psychologie als Wissenschaft in Frage gestellt.
• Was versteht man unter multiplen Studien? Ein multiple-study Article beschreibt mehrere Experimente/Studien zu einem Thema mit leicht modifizierten Parametern. Somit sollen die Hypothesen über verschiedene Situationen hinweg bewiesen werden. Ist ein Set von Studien, das in einem Artikel zusammengefasst wird
• Was ist der Unterschied zwischen Power und Total Power? - Die Power ist die Teststärke, Trennschärfe; Power ist die Wahrscheinlichkeit, dass man die Alternativhypothese H1 annimmt, wenn H1 wahr ist.- Die Total Power ist die Wahrscheinlichkeit, dass alle einzelnen Studien einer multiplen Studie ein signifikantes Ergebnis erreichen, d.h. dass 10 von 10 Ergebnissen signifikant sind
• Was bedeutet HARKing und warum wird es in der aktuellen Forschungspraxis verwendet? HARKing ist eine fragwürdige Forschungsmethode, bedeutet „hypothesizing after the results are known“, d.h. man formuliert die Hypothesen erst, nachdem man die Ergebnisse kennt. Auf diese Art & Weise können nur signifikante Ergebnisse erzielt werden
• Warum können Einzelstudien gleich gut wie multiple Studien sein? - Weil es auf die Teststärke innerhalb der Studien ankommt. Eine Einzelstudie mit einer Teststärke von .70 kann besser sein als eine multiple Studie mit einer durchschnittlichen Teststärke von .50, d.h. eine Einzelstudie ist dann besser, wenn sie eine höhere Teststärke besitzt als multiple Studien (siehe S. 554)- Multiple Studien sind nur dann besser als Einzelstudien, wenn sie die gleiche Total Power haben (S. 554)
• Wie kann im Allgemeinen die Qualität von wissenschaftlichen Studien verbessert werden? - Power und Total Power als Beurteilungskriterien von Artikeln- Qualität von Studien belohnen anstatt nach Signifikanzen zu jagen- Nicht signifikante Ergebnisse sind genauso wertvoll wie signifikante Ergebnisse, d.h. Publikation von nicht signifikanten Ergebnissen zulassen
• Warum wird die Power zu wenig beachtet? - Forscher interessieren sich nicht für die Effektgröße und finden es nicht unethisch fragwürdige Forschungsmethoden zu verwenden,- Fehlende Ressourcen- Fehlende Statistikkenntnisse => Forscher bevorzugen kleine Stichproben- Forscher folgen der gängigen Praxis
• Was ist der IC-Index und was besagt er? - Der Incredibility-Index ist das Maß für die Unglaubwürdigkeit von Ergebnissen- Je höher der IC-Index, desto unglaubwürdiger die Ergebnisse- Hoher IC-Index = Mangel an nicht signifikanten Ergebnissen, d.h. zu viele signifikante Ergebnisse vorhanden- Der IC-Index wird in Prozent angegeben- IC-Index berechnet die Wahrscheinlichkeit des berichteten Ergebnisses (10 von 10) mit dem zu erwartenden Ergebnis (6 von 10) bei einer Power von 60 % unter Verwendung der binominalen Wahrscheinlichkeitstheorie
• Welche drei Möglichkeiten gibt es, die Effektstärke zu schätzen? - 1) Apriori Annahme der Effektstärke vom Autor des Artikels- 2) Durchschnittliche Effektstärke ( Mittelwert oder gewichteter Wert abhängig von Stichprobengröße)- 3) Post hoc Poweranalysen für jede Studie
• Worin liegt der praktische Nutzen des IC-Index? - Der IC-Index führt zu einer kritischen Betrachtung von Studien. Dadurch können Forschungs-Resultate auf ihre Glaubwürdigkeit untersucht werden und damit Editors und Journals bewertet werden.
• Advertisement
• Falls die Alternativhypothese mit einem Alpha von .05 abgelehnt wird, ist dann die Nullhypothese automatisch richtig? Begründe deine Antwort. Nein, sie ist nicht automatisch richtig. Ohne Beachtung des Beta-Fehlers bzw. der Teststärke (1-beta) kann und darf man keine Aussage über die Nullhypothese treffen. Hat man beispielsweise einen Beta-Fehler von .30 (Teststärke von .70), bedeutet dies, dass man mit einer Wahrscheinlichkeit von 30% fälschlicherweise die Nullhypothese akzeptiert, obwohl H1 zutrifft.
• Durch welche Faktoren wird die Teststärke determiniert? Erläutere die Wirkungsweisen. 1) Effektgröße: Je höher die Effektgröße, desto höher die Teststärke. 2) Signifikanzniveau: Je kleiner (strenger: z.B. .01 anstatt .05) das Signifikanzniveau, desto kleiner die Teststärke. 3) Stichprobegröße: Je größer die Stichprobe (n), desto größer die Teststärke.
• Warum ist es sinnvoll, die Teststärke vor Beginn der Forschung zu schätzen. Es ist nicht nur sinnvoll, sondern unabdingbar die Teststärke a prioiri zu schätzen. Eine solche Schätzung ermöglicht es im Vorfeld fest zustellen, wie hoch die Wahrscheinlichkeit ist, mit dem vorliegenden Studien-Design ein erwünschtes Ergebnis zu bekommen, dies spart Zeit und Geld. Des Weiteren lässt sich feststellen, wie groß meine benötigte Stichprobe zu sein hat.
• Aus welchen Gründen wird die Teststärke in der psychologischen Forschung vernachlässigt? Aus historischen Gründen, weil Psychologen früher mit Fisher’s Nullhypothesen-Testung vertraut wurden. Aus institutionellen Gründen, weil anstatt beide Theorien – die von Fischer und Neyman-Pearson – alternativ und kritisch zu betrachten, sie zu einer Hybridtheorie zusammengefasst wurden. Zudem verlangen die Herausgeber von Zeitschriften von den Autoren nicht, dass sie die Teststärke schätzen.
• Wie gehst du bei einer Teststärken-Analyse für eine geplante Untersuchung vor? 1. n wird berechnet aus dem üblichen Signifikanzniveau .05, einer geschätzte Effektstärke aus früherer Forschung und einer gewünschten Teststärke 2. alpha wird aus einem gegebenem n und Effektstärke und einer gewünschten Teststärke berechnet.
• Welche Art des Hypothesentestens begründete R.A Fisher und welche Schlussfolgerungen ließen sich daraus ziehen? R.A. Fisher begründete das Nullhypothesentesten. Das bedeutet, er hat eine Hypothese (die H0) aufgestellt und diese überprüft (H1 existierte bei ihm nicht). Gab es nun eine signifikante (Alpha-Fehler)  Abweichung von dieser Nullhypothese, war seine einzige Schlussfolgerung, dass die H0 falsch ist. Er hat weder gesagt, dass die Abweichung (später H1) richtig ist, noch hat er bei einer nicht vorhandenen Abweichung geschlussfolgert, dass die H0 richtig ist.
• Welche Art des Hypothesentestens begründeten Jerzy Neyman und Egon S. Pearson und welche Schlussfolgerungen ließen sich daraus ziehen? Jerzy Neyman und Egon S. Pearson begründeten das Hypothesentesten mit Nullhypothese (Ho) und Alternativhypothese (H1). Durch die zusätzliche Definition der H1 kann nun neben der Wahrscheinlichkeit der richtigen Annahme der Ho (Spezifität), auch die Wahrscheinlichkeit der richtigen Annahme der H1 (Sensitivität, Teststärke) festgelegt werden, sowie die beiden daraus folgenden Fehler, für die jeweils irrige Annahme der Ho (Beta-Fehler) bzw.  H1 (Alpha-Fehler).
• Wie ist die Teststärke definiert und bei welchen Entscheidungen ist sie von Bedeutung? Die Teststärke (1-β) ist definiert als das Akzeptieren der H1, wenn die H1 zutrifft. Sie ist von Bedeutung bei Entscheidungen, die nur aufgrund von Signifikanzen getroffen werden.
• Sedlmeier und Gigerenzer (1989) sprechen von einer Hybrid-Theorie innerhalb der Statistik. Was meinen sie damit? Sie beziehen sich auf die Tatsachen, dass zwischen dem Konzept von Jerzy Neyman und Egon S. Pearson (H1/H0) und dem Konzept von R.A. Fisher (H0) nie ein wissenschaftlicher Diskurs stattfand und diese beiden Konzepte stattdessen in Lehrbüchern zu einer Hybrid-Theorie verschmolzen sind und diese als Statistik per se verkauft wird.
• Was für einen Einfluss hatte Cohens (1962) Analyse der Teststärke auf die wissenschaftliche Forschungspraxis? Vergleiche mit Sedlmeier & Gigerenzer (1984). Cohens Analyse der Teststärke von 1962 hatte kaum einen merklichen Effekt auf die wissenschaftliche Forschungspraxis, wie Sedlmeier und Gigerenzer (1984) feststellten. Diese führten dazu, in Anlehnung an Cohens (1962) Analyse des Journals of Abnormal and Social Psychology von 1960  eine Analyse der Teststärke aller Artikel des Journals of Abnormal Psychology von 1984 durch. Ihre Berechnungen ergaben, dass sich von 1960 bis 1984 kein merklicher Anstieg der Teststärke der Artikel finden lies, ja im Gegenteil, die Teststärke sogar eher (aufgrund der häufig genutzten Alpha-Anpassung) leicht zurückgegangen war.
• Definieren Sie „False-Positives“? Fälschlicherweise Evidenz zu finden, dass ein Effekt existiert. Das bedeutet, dass die Null-Hypothese zu Unrecht verworfen wurde.
• Welche Artikel werden in Journals ungern veröffentlicht? Artikel mit Nullergebnissen Ergebnisse oder exakte Replikationen
• Warum tendieren Wissenschaftler dazu, „False-Positives“ zu produzieren? die Unsicherheit beim Treffen von Entscheidungen (hinsichtlich der Studie) und der Wunsch nach einem signifikanten Ergebnis
• Welche vier Freiheiten haben nach Simmons et al. Wissenschaftler bei der Durchführung einer Studie? Wahl der abhängige Variable, Stichprobengröße, Kovariablen, Experimentalbedingungen
• Inwiefern beeinflussen die von Simmons et al. beschriebenen Freiheiten der Wissenschaftler die Wahrscheinlichkeit von falsch-positiven Ergebnissen? Diese Freiheiten erhöhen die Wahrscheinlichkeit eines falsch-positiven Ergebnisses!Ein Beispiel: Wenn ein Wissenschaftler zwei AVs heranzieht, hat er im Grunde drei Möglichkeiten: er kann AV1 testen, AV2 testen, oder AV1 und AV2. Diese „Freiheit“ erhöht die Wahrscheinlichkeit ein falsch-positives Ergebnis zu bekommen auf fast das Doppelte!Ein anderes Beispiel ist die Wahl der Stichprobengröße: an kann so lange testen, bis man ein signifikantes Ergebnis erhält, wenn diese nicht vorab definiert wurde.
• Simmons et al. stellen sechs Anforderungen an Autoren. Was fordern Sie hinsichtlich der Beendigung der Datensammlung und warum ist diese Forderung sinnvoll und wichtig? Autoren sollen eine Regel aufstellen für die Beendigung der Datensammlung. Diese Regel muss aufgestellt sein, bevor die Datensammlung beginnt und im Artikel veröffentlicht werden.Sinnvoll, weil: es könnten so lange getestet werden, bis man ein signifikantes Ergebnis erhält, wenn die Stichprobengröße nicht vorab definiert wurde.
• Wie soll laut Simmons et al., die insgesamt sechs Anforderungen an Autoren stellen, mit ausgeschlossenen Daten und Kovariablen umgegangen werden? Falls Daten ausgeschlossen wurden, muss auch darüber berichtet werden, wie die statistischen Ergebnisse inklusive dieser Daten ausfallen. Falls Daten ausgeschlossen werden, bedarf es einer Begründung für diesen Schritt. Falls Kovariablen herangezogen wurden, muss auch darüber berichtet werden, wie die statistischen Ergebnisse ohne diese Kovariablen ausfallen.
• Welche Punkte sollten Reviewer beachten, bzw. was sollten sie von den Autoren verlangen? Autoren müssen Anforderungen erfüllen, auch nicht signifikante Ergebnisse müssen toleriert werden, Ergebnisse dürfen nicht von den Entscheidungen der Autoren abhängig sein und Studien, die unschlüssige Daten und/oder Ergebnisse aufweisen, müssen wiederholt werden
• Was passiert allmählich mit Journals oder einem Fachgebiet, welches bekannt ist „False-Positives“ zu publizieren? Sie verlieren ihre Glaubwürdigkeit, verschwenden Ressourcen und FPs sind sehr hartnäckig.
• Erklären Sie den „publication bias“! Forscher reichen ihre nicht signifikanten Ergebnisse erst gar nicht zu Veröffentlichung ein, weil meist nur signifikante Ergebnisse publiziert werden. (wird auch „file-drawer“ Problem genannt: nicht signifikante Ergebnisse bleiben in der „Schublade“)

back  |  next 2 / 2