WiSe16/17

Question 1

VL1: Einführung Versuchsplanung 6 Ziele der Versuchsplanung Haupttypen Versuchspläne (mit unterschiedlicher kausalhypothetischer Relevanz) mit Bsp 3 Gütekriterien Versuchsplan (Tabelle welcher Haupttyp welche erfüllt auf KK)

Accepted Answer

Ziele: Operationalisieren, Hypothesen aufstellen, methodisches Vorgehen bestimmen, Wahl statistischer Auswertungsverfahren je nach Hypothesenart (Zusammenhangsh./Unterschiedsh./Veränderungsh./Einzelfallh.), Art der Stichprobenauswahl, ggf. Pilot-Studie Haupttypen (mit unterschiedlicher kausalhypothetischer Relevanz)strenges Experiment:wichtigster, höchster Standard, wiederhorlbar. -> Design mit Zufallsgruppenbildung (R), Wiederholungsmessung (W), Blockbildung (B(R))Quasiexperiment: exp. Variable variiert, aber nicht alle SV kontrolliert -> Zeitreihenversuchspläne, Einzelfallversuchspläne, Versuchspläne mit AusbalancierungExpostfacto: KEIN Experiment, Ableitung hypothetischer Kausalzusammenhänge an nicht-manipulierbaren UV -> Lungenkrebs bei Rauchern korrelativ: KEIN Experiment, korrelativer Zusammenhang von 2 oder mehr Variablen, keine Manipulation -> Zusammenhang Wollpreis und Aggressionvorexperimentell: "ungültig", methodologisce Negativ-Abgrenzung der experimentellen von der nicht-experimentellen Forschung, eher Alltagslogik3 Gütekriterien:1.) kausaltheoretische Hypothese vor Versuchsbeginn vorhanden2.) exp. Variable manipulierbar3.) alle übrigen Bedingungen kontrollierbar (selten)

Question 2

Woche 3: Korrelative Versuchspläne: Korrelation Gütemerkmale korrelativer Versuchsplan en detail Zusammenfassung Korrelationsstudien

Accepted Answer

Gütemerkmale korrelativer Versuchspläne en detail:1.: kausaltheoretische Hypothese vorher bekannt: nein, hier wird KEINE Kausalität geprüft2: exp. Variable manipulierbar: nein, keine Aufteilung in AV & UV -> alle Variablen AVs ("Faktoren"), Nutzen vorhandener Daten3.: übrige Bedinungen kontrollierbar: nein, SV tw. rausrechenbar aber keine Kontrolle im eigentlichen Sinne Zusammenfassung Korrelationsstudien:- Einfache Korrelationsstudie ohne SV-Kontrolle: falsche Ergebnise möglich! (LSG: partielle korrelation)- Korrelation hilft auch in Experimentalstudien SV zu finden

Question 3

Woche 3: korrelative Versuchspläne: Korrelation Beispiel Baumwolle & Regression - Pearson Korrelationskoeffizient r - Determinationskoeffizient R² - mögliche SV dieser Studie - Korrelation 0ter Ordnung - Partielle Korrelation 1ter Ordnung

Accepted Answer

Baumwolle & Aggression:(14 Städte USA, Daten aus 1882-1930)Korrelationskoeffizient r: beschreibt geteilte Varianz 2er Variablen, standadisiert (vergleichbar zwischen verschiedenen Studien), zwischen -1 & +1. -> negativer Wert: hohes A <-> niedriges B -> Cohens Interpretation: 0.1-0.29 : klein, 0.3-0.49: mittel, 0,5-1: groß Determinatationskoeffizient R²: Anteil geteilte Varianz beider Variablen in % Mögliche SV dieser Studie:1. Güte der Datenquellen2. unabhängige Entwicklung der Variablen über Zeit : Jahr als SV?? -> Datengrundlage erweitern,Jahr als weitere AV -> Korrelation Jahr & Aggresson, Jahr & Preis. Korrelieren diese beide miteinander -> Jahr als SV rausrechnen -> interne Validität steigt Korrelation 0ter Ordnung: ich betrachte Korrelation von x&y obwohl ich weiß, dass x&z auch korrelieren rechne ich z nicht raus. Partielle Korrelation 1. Ordnung: 1 SV rausgerechnet.-> Fazit für Studie: mit Jahr rausgerechnet sind Agression & Preis nicht mehr signifikant korrelierend

Question 4

Woche 4: Ex-post-facto Studien: Regression I Beispielstudie: Lungenkrebs & Rauchen (Hypothese, Kritik) Gütemerkmale - Check einer Expostfacto-Studie

Accepted Answer

Beispielstudie: Lungenkrebs & RauchenHypothese: Rauchen verursacht Lungenkrebs (Rauchen UV, Lungenkrebs AV) -> Manipulation der UV ethisch hier nicht vertretbar, also nehmen wir vorhandene Daten -> Schluss auf einer oder mehr hypothetische Verursachungen Kritik: 1.) Gruppenunterschiede sind vermutlich auch in nicht kontrollierbaren / erkennbaren Merkmalen 2.) Replikation nicht möglich Gütemerkmale einer Expostfacot Studie:1. Kausaltheoretische Hypothese vorher vorhanden: Ja 2. Exp. Variable manipulierbar: Nein3. Übrige Bedingungen kontrollierbar: Nein (zB kein Randomisieren da vorhandene Daten

Question 5

Woche 4: Ex-post-facto Studien: Regression I Beispiel: Baumwollpreis & Aggression - Erinnerung an Statistik: Zusammenhangshypothesen testen - Unterschied einer korrelativen & einer expostfacto Fragestellung an Hand dieser Studie

Accepted Answer

Beispiel : Baumwollpreis & Aggression Erinnerung an Statistik: Zusammenhangshypothesen testen:Zusammenhangshypothesen: H0: kein Zusammenhang (r=O) H1: Zusammenhang (r≠0)1.) statistischen Test wählen: Korrelationsanalyse2.) Teststatistik berechnen: Korrelationskoeffizient3.) p-Wert berechnen (Signifikanz?)4.) p-Wert interpretieren im Vergleich zum Signifikanzniveau p> 0.05 (H0 behalten) p≤0.05 (H0 verwerfen) korrelative Fragestellung: Zusammenhang zwischen Aggression & Ökonomischer Lagerexpostfacto: Kann man mit Preis Agression vorraussagen? (Kausalbeziehung!)

Question 6

Woche 4: Expostfacto Studien: Regression I Einfach lineare Regression am Beispeil Baumwollpreis & Aggression - Datengrundlage - Interpretation der Regressionsanalyse (3 Schritte) - Prognose auf Basis der Regressionsgeraden

Accepted Answer

Datengrundlage: AV und UV (=Faktor, Prädiktor) -> 2 stetige Variablen -> AV: Aggression UV: Preis Interpretation Regressionsanalyse:1.) Regressionsgerade: Ist das gesamt Modell signifikant? -> Regressionsgerade = am besten passendste Gerade. Kann sie die Beziehung der Variablen beschreiben? F-Test! Ist er signifikant: "Preis sagt Aggression signifikant vorraus"2.) Vorraussagekraft: R² = (TSS-RSS) / TSS -> Adjusted R²: R² an Komplexität des Modells angepasst (immer kleiner als das normale R²) -> R²=0,4 -> Preis kann Aggression akurat vorraussagen, weitere Prädiktoren (nicht in unserem Modell aufgenommen) sagen 60% vorraus3.) Sagt jeder Prädiktor die AV vorraus? Welche Richtung und welcher am Besten? -> in unserem Beispiel nur ein AV! Also nur Frage welche Richtung. -> Regressionsgerade: Y = B0 + B1 * X1 (B0=Konstante, B1= Anstieg) -> Beispiel: B1 = -0,047. -> erhöht sich Preis (UV) um 1 Einheit, sinkt Aggression um 0.047. -> B von Einheit der UV abhängig. Sollen verschieden UVS verglichen werden muss B standardisiert werden: Beta = B * (sx / sy)Prognose: "Wie ist der Aggresionswert wenn Preis bei 30 Mio. liegt?" -> 30 für X1 einsetzen: Ergebnis: 101 -> bei 30 Millionen ist der Agressionswet bei 101 Morde / Jahr

Question 7

Woche 4: Expostfact Studie: Regression I Multiple lineare Regression am Beispiel Baumwollpreis, Aggression und Jahr - Neue Fragestellung - Wie sieht jetzt Regressionsgerade aus? - Vorgehen (3 Schritte)

Accepted Answer

Neue Fragestellung: Kann man Aggression mit Preis und Jahr vorraussagen? Neue Regressionsgerade: Y = B0 + B1 * X1 + B2* X2 Vorgehen: 1.) Regressionsgerade: Ist gesamtes Modell signifikant? F Test 2.) Wie gut ist Vorraussagekraft? R², Adj R ²3.) Sagt jede UV die AV vorraus? Welche Richtung? Welche am besten? -> Bei mehreren UVS muss Signifikanz gesichtet werden, um zu wissen welche die AV vorraus sagen. Hier nur Jahr signifikant. Richtung wie üblich mit B / oder standardisiert: Beta

Question 8

Woche 4: Expostfacto Studien: Regresssion I Zusammenhang zwischen Regression, SV, partieller Korrelation Zusammenfassung Regression (Was testet sie? Vorteil der Regression? was wird kontrolliert?)

Accepted Answer

Zusammenhang zwischen Regression, SV, partieller Korrelation: - Prädiktoren auch als SV interpretierbar (wenn Prädiktor nicht signifikant -> nicht wichtig & verringert Vorraussagekraft des Modells)- Interpretation ähnlich wie bei partieller Korrelation ( wenn Jahr korreliert als 2. UV kann Preis Aggresion nicht vorraussagen) Zusammenfassung:Testet: KausalhypothesenVorteil: testet schneller als Korrelation, welche Variablen für Vorraussage wichtig sindWas wird kontrolliert?: Beziehung zwischen AV & UV für 1 oder mehr UV kontrolliert (ähnlich wie bei partieller Korrelation)

Question 9

Woche 5: Nicht-experimentelle Pläne: Faktorenanalyse I Praktische Anwendung Allgemein (Art der Methode, Element von..?) Prozedur (4 Schritte) 2 Arten

Accepted Answer

Praktische Anwendung: Skalenentwicklung & Evaluation (KTT), Unterschung latenter Konzepte, Datenreduktion, Kulturelle Adaption von Skalen (zB sprachlich)Allgemein: multivariate / multidimensionale Methode, Elemente von Korrelation, partieller Korrelation, linearer Regression Prozedur: 1.) Korrelationsmatrix, 2.) Muster / Gruppen mit Korrelation suchen 3.) hochkorrelierende Variablen als Faktoren beschreiben (Faktor = lineare Kombination, soll so viel Varianz wie möglich in usprünglichen Variabeln erklären : Daten- /Dimensionsreduktionsmethode)2 Arten: Exploratorische FA: kein Vorwissen / Hypothesen über zugrunde liegende MusterKonfirmatorische FA: Datenstruktur bekannt, soll geprüft werden (Unterart der Strukturgleichungsmodelle)

Question 10

Woche 5: Nicht eperimentelle Pläne: Faktorenanalyse I Komponentenformel 4 Merkmale Faktoren Rotationsmethoden, Komponentenkorrelationsmatrix, Muster-VS Strukutmatrix

Accepted Answer

Hauptkomponentenformel: Y= B1 * X1 + B2 * X2 + .... + Bn * Xn -> Keine Konstante wie Regressionsgerade, weil Faktoren immer durch Nullpunkt laufen Merkmale Faktoren: So wenig wie möglich, Faktor 1 beschreibt meiste Varianz / Faktor 2 beschreibt weniger als Faktor 1 und so weiter, 1, 2, oder mehr Faktoren möglich, Faktoren KÖNNEN miteinander korrelieren (muss aber nicht) Rotationsmethoden:Varimax: orthogonale: Faktoren stehen im rechten Winkel zueinander (korreliern nicht) -> rotierte Komponentenmatrix zeigt welches Item wird durch welchen Faktor besser erklärt Oblimin Rotation: Wenn Faktoren nicht im rechten Winkel (korrelieren!) -> Komoponentenkorrelationsmatrix hilft bei Entscheidung zur Rotationsmethode: < Betrag 0.3 -> niedrig-> keine Korrelation -> Varimax, bei >Betrag 0.3 -> ObliminMustermatrix: Regressionskoeffizient (Faktor VS Item, alle anderen Items = Kontrollvariablen): gut um Faktoren zu Bennenen, hier list man die Ladungen ab !!Strukturmatrix: Korelationskoeffizient, Dopelladungen möglich, unpraktisch

Question 11

Woche 5: Nicht-experimentelle Pläne: Faktorenanalyse I Beispiel PANAS SCALE (EFA) Eckdaten zur Studie Durchführung (4 Schritte der EFA)

Accepted Answer

Eckdaten: "Positive and negative Affect Scale": Einflüse auf psychisches Anpassungverhalten & Wohlbefinden, 436 VP, Skala mit Adjektiven (jeweils 5 stufige Likertskala)Ziel: Faktorenstruktur erkennen, Hypothese: 2 Faktoren: positive Adjektive/ Affekt, negative Adjektive/Affekt Durchführung:1.) Vorraussetzungen prüfen: Große Datenmenge (n>300): CHECKbedeutungsvolle Korrelation in R Matrix: r > 0.3 Sphärizität: Bartletts Test: prüft Hypothese, dass Daten aus Population stammen, wo alle Korrelationskoeffizienten = 0. H0: r =0, H1: r≠0 -> Signifikanz : H0 verworfen: FA darf fortgeführt werden! Stichprobenneigung: KMO (0-1, am besten >0.6) -> beschreibt Ausmaß an korrelation & part. Korrelation in Daten: wenn hoch -> bivariate korrelation hoch, wenig Beeinflussung durch partielle Korrelation) = Summe Korrelationskoeffizienten / (Summe Korrelationskoeffzienten + partielle Korrelationskoeffizienten) 2): Wie viele Faktoren können extrahiert werden? Kommunalitätstabelle angucken (zeigt nicht wie viele Faktoren extrahiert wurden)Kaisers Eigenwert Kriterium: jeder Faktor hat Eigenwert (=Wie viel er von Gesamtvarianz erklärt), wenn dieser > 1 ist wird der Fakotr berücksichtig. < 1 : WEG damit! Cartells Scree Plot: alle Faktorendie links vom Knick (Ellbogen) liegen werden genommen -> wenn Kaiser & Cartell unterschiedliches sagen: Ladungs/-Komonentenmatrix angucken 3.) Verfeinern:Komponentenmatrix als Diagramm darstellen (=Komponentendiagramm)-> Problem PANAS: fast alle Items laden hoch auch beide Faktoren! Schwer zu intepretieren. ROTATION nötig. 4.) Reliabilitätstest

Question 12

Woche 6: Nicht-experimentelle Pläne: FA II Henson et al: Studie " Wie nutzen Forscher FA in Psychologie?" - Vorgehen, Ziel, auf unser Vorgenen bei Panas bezogen

Accepted Answer

Henson et al:Fragestellung: Fa beinhaltet viele subjektive Entscheidungen -> wie nutzen Forscher FA in Psychologie? Vorgehen: 4 Zeitschriften ausgesucht, aus jeder 15 EFA untersucht (=60)Ziel: aktuel vebreitetes Vorgehen für FA untersuchen & Fehler aufdecken Ergebnis: Regeln aufgestellt: v.a. wichtig: alle nötigen Infos berichteb, die Außenstehende für Evaluation der FA benötigen!auf unser PANAS Vorgehen bezogen: gut: alle Vorraussetzungen beachtet (Daten aus Textbook immer perfekt, bei real Data nicht immer alle Vorraussetzungen erfüllt -> Intepretation oft nicht einfach)

Question 13

Woche 6: Nicht-experimentelle Pläne: FA II Nutzung der FA in Psychologie: Skalenentwicklung - Beispiel Nichols&Nicki: Internet Addic,tion Scale (IAS) - Ziel, Eckdaten, Vorgehen, Kritik Cronbachs Alpha

Accepted Answer

Nichols&nicki: Internet Addiction Scale:Ziel: validen & reliablen Test für Internetsucht erstellen um diese besser einzuschätzenEckdaten: 36 Items, (9 Substanz, 2 Griffith Kriterien)????, jedes Item 5-stufige Likert Skale Vorgehen: mit transformierten Daten, da Rohdaten negatively skewed), 1 Fakotri extrahiert, da jedes Item auf ihn lädtKritik: insgesamt 5 Items entfernt, aber nicht klar welche

Question 14

Woche 6: Nicht-experimentelle Pläne: FA II Datentransformationen bei Schiefe Cronbachs Alpha, SPSS: korrigierte Item Skala Korrelation

Accepted Answer

Datentranfsformation zur Reduktion bei Schiefe:positive Skew log transformation: log (x) square root transformation: Wurzel aus x recprocal transformation 1/xnegative skew reverse score transformation Cronbachs Alpha:Standardmethode zum Schätzen der internen Konsistenz, je näher an 1 desto besser <0,6 -> NICHT reliabel wenn alle Items stark korrellieren misst Skala nur ein Konstrukt (Wert nah an 1) SPSS: korrigierten Item-Skala-Korrelation: Korrelation zwischen Item & Summe aller Items-> misst interne Konsistenz jedes Items, bei schwacher Korrelation (<0.3) wird Item entfernt -> interne Konsistenz steigt

Question 15

Woche 7: Quasiexperimentelle Varianzanalyse: ANOVA Quasi-experiment: Merkmale und Beispiele Gütemerkmale des Quasiexperimentes en detail

Accepted Answer

Definition: geringerer Status als Experiment: keine Randomisierung (oft natürliche Gruppen), Experimentelle Variable varriiert, aber nicht alle SV kontrolliert -> Beispiele: Zeitreihen, Einzelfälle, Versuchsplan mit Ausbalancierung (ist ein unvollständiges Design, Ausbalancierung zB durch Cross-over-Design )Gütemerkmale en detail:1. kausaltheoretische Hypothese vorher bekannt: ja 2. experimentelle Variable manipulierbar: ja 3. übrige Bedinungen kontrollierbar: Nein, Störvariablen vorhanden. ZB Selektion

Question 16

Woche 7 : Quasiexperimentelle Varianzanalyse (ANOVA) Allgemeine Merkmale Univariat, Multivariat Unifaktoriell, Zweifaktoriell, Mehrfaktoriell

Accepted Answer

Allgemein: - mit oder ohne KG möglich - UV manipuliert (daher Rückschluss auf Ursache - Wirkung möglich) - Unterschiedlich viele AVs & UVs möglich: davon abhängig: Wahl des Designs, der Auswertung univariat = 1 AV, multivariat = 2 oder mehr AVUnifaktoriell = 1 UV (Haupteffekt) -> Zweistichproben-versuchspläne: 1UV, 2 Stufen: mit MW: experimentelles Desing, ohne MW: nicht-experimentelles Desing -> Mehr Stichproben-versuchspläbe: 1 UV, 3 oder mehr Stufen Zweifaktoriell: 2 UV (Interaktionseffekt / Wechselwirkungseffekt) Mehrfaktoriell: 3 oder mehr UV

Question 17

Woche 7 : Quasiexperimentelle Desings: ANOVA Ziel univariate Versuchspläne (1AV): Ziel ANOVA, Ziel lineare Regression Wiederholung Fehlerarten bei Signifikanztestung: Typ l Fehler, Typ II Fehler Kummulativer Alpha-Fehler + Lösung (WelcheTestarten?)

Accepted Answer

Ziel ANOVA: Mittelwerte AV zwischen Stufen der UV unterscheiden -> AV intervallskaliert, UV(s) nominal -> ANCOVA: (Kovarianzanalyse): ANOVA mit mind. 1 Kovariaten (intervall- oder norminalskaliert, mindestens 2 Ausprägungen) Ziel lineare Regression: AV mit UV vorhersagen -> AV intervallskaliert, UV(s) intervall- o. nominalskaliert mit 2 AusprägungenTyp Fehler I: falsch positiv ("falsche Sinifikanzannahme" -> H0 verwerfen obwohl richtig) Typ Fehler ll: falsch negativ ("verpasste Signifikanz" -> H0 behalten obwohl falsch) Kummulativer Alphafehler:Wenn man nach ANOVA einfach mehrere t-Test machen würde, um herauszufinden zwischen welcher Gruppe Signifikanz liegt, würde sich der Alpha-Fehler kummulieren:1. Test -> 0,95 -> 1-0,95: 0,05 (5% Wahrscheinlichkeit für Fehler I)2. Test: -> 0,95*0,95= 0,9 -> 1-0,9=0,1 (10% Wahrscheinlichkeit für Fehler I).......LÖSUNG: Post-hoc-Tests: ("Kontraste"/ "Paarweise Vergleiche")wie Test (vergleich 2er Mittelwerte), aber Reduktion kummulierter Alpha-FehlerPaarweise Vergleiche nach Grade der Korrektur:LSD (keine Fehlerkorrektur)Sidak (gute Balance Alpha- & ß- Fehler)Bonferroni: konservativ, starke Korrektur (Problem: Wahrscheinlichkeit ß-Fehler hoch)----> jeder dieser Tests wird bei Unterschied signifikant, Auswahl subjektiv & abhängig von Forschung)

Question 18

Woche 7 : Quasiexperimentelle Versuchspläne: ANOVA Beispiel: life satisfication Ziel Hypothesen ANOVA F-Statistik Effektgröße (n²) Fazit (Beispiel einer Interpretation)

Accepted Answer

Beispiel life satisfication: Ziel: Unterschied der durchschnittlichen Lebenszufriedenheit zwischen Ländern mit niedrigem & hohen HDIHypothesen: H0: Mittewerte Lebenszufriedenheit in eder Gruppe gleich H1: Mittlewerte Lebenszufiredenheit unterscheiden sich zwischen mindestens 2 der 4 HDI Gruppen ANOVA F Statistik: Gesamtvarianz=systematische Varianz (Treatments, also zwischen Gruppen) + Fehlervarianz (innerhalb Gruppe)F = Treatmentvarianz / Fehlervarianz -> signifikant? H0 verwerfen! Effektgröße: partielles Eta-Quadrat (n²) : wie viel der AV-Varianz wird dur UV erklärt?: 0-1 (=0-100%, ähnlich wie R²) -> Interpretationskriterien nach Cohen: 0.01 : kleiner Effekt, 0.06: mittlerer Effekt, 0.14: großer Effekt n²= QSz / (QSz + QSi)Fazit Beispiel: F= 52,8 ;signifikant, n²= 51,9% --> H0 verwerden, da mindestens 2 Gruppen abweichen (bis hierhin noch unklar welche!), signifikanter Haupteffekt HDI Gruppe auf die AV! ANOVA mit großem Effekt!

Question 19

Woche 7: Quasiexperimentel: ANOVA (Varianzanalyse) Beispiel 2 : life satisfication & arbeitende Frauen Fragestellung mögliche Effektarten Beispielberechnung Beispiel Interpretation Unterschied ANOVA, lineare Regression

Accepted Answer

Fragestellung: hängt Lebenszufriedenheit von HDI UND Anteil arbeitender Frauen ab? Mögliche Effektarten: Haupteffekte: von HDI auf Lebenszufriedenheit, von Anteil arbeitender Frauen auf LebenszufriedenheitInteraktionseffekt: von HDI und Anteil arbeitender Frauen auf Lebenzufriedenheit Beispiel Berechnung: Haupteffekt HDI: 1.) F-Statistik: 52,91 ; signifikant, n²= 53% (Power unwichtig, da Haupteffekt signigikant!) Haupteffekt arbeitende Frauen: 1.) F-Statistik: 1,88 ; nicht signifikant, n²=1% , Power: 0,28 (wichtig, da keine signifikante F-Statistik)Interaktionseffekt HDI x Anteil arbeitende Frauen: F-Statistik: 3,13 ; signifikant, n²=10% Paarweiser Vergleich: Unterschiede zwischen low & high HDI signifikant, Unterscheide zwischen Frauen Anteilen nur signifikant, wenn HDI hoch Beispielinterpretation: Effekt 1: Effekt des HDI: hoher HDI -> hohe Zufriedenheit Effekt 2: Kein Effekt des Anteils arbeitender Frauen Effekt 3: hoher HDI -> hohe Zufriedenheit abhängig von Frauenarbeit, also nur wenn Anteil arbeitender Frauen hoch! Regression: Vorhersage (zB Zufriedenheit durch Prädiktor HDI)ANOVA: Gruppenvergleich (hängt Zufriedenheit von HDI Gruppe ab?)

Question 20

Woche 8: experimentelle Designs: ANOVA mit Messwiederholung 3 Beispiel-Versuchspläne (mit Vor- und Nachteil)

Accepted Answer

Versuchsplan mit Randomisierung (R) : "between design": Vergeich experimentel behandelter Gruppen, randomisierte Aufteilung auf Bedingungen -> Vorteil: interne Validität steigt -> Nachteil: Stichprobe muss groß sein, oft hoher Zufallsfehler Versuchsplan mit Wiederholungsmessung (W): "within design": EINE Gruppe zu verschiedenen Zeitpunkten-> Vorteil: interindividuelle Datenvariabilität eliminiert, mit kleinen Stichproben möglich -> Nachteil: Effekte durch Mehrfachmessung -> Konfondierung UV & Abfolge, Lösung: großer Zeitabstand Versuchsplan mit Blockbildung (B(R)): parallelisierte Gruppen, Ziel: zufällige Fehlervarianz sinkt -> Vorgehen: 1. SV erfassen, 2. statistische Zwillingspaare/Blöcke bilden 3. randomisierte Aufteilung der VP-> Vorteil: Vorteile von R & W kombiniert : verschiedene experimentel behandelte Gruppen: weniger Ausgangsdifferenz als bei R, Kontrolle between Varianz wie bei W, kleine Stichprobe möglich-> Nachteil: SV muss gekannt werden, Vortestmerkmal muss mit AV korrelieren -> aufwendig

Question 21

Woche 8: Experimentelle Designs: ANOVA mit MW Gütemerkmale dieses Designs Anwendungsmethoden Wieso ANOVA mit MW? Varianzaufteilung

Accepted Answer

Gütemerkmale: 1. kausaltheoretische Hypothese vorher vorhanden: Ja2. Experimentelle Variable manipulierbar: Ja 3. alle anderen Bedingungen kontrollierbar: Ja (Art und Wiese abh. vom Design)Anwendungsmethoden: je nach Design & Fragestellung, oft ANOVA & ANCOVA, bei Design mit Messwiederholung (W): ANOVA mit MesswiederholungWieso? Bei Messwiederholung sind die Stichproben nicht mehr unabhängig! Deswegen extra Form der ANOVA nötig. (=Verallgemeinerung t-test mit abh. Stichprobe)Varianzaufteilugng: (auf englisch SS statt QS)Gesammtvarianz: QSgZwischen-Gruppen-Varianz: QSzInnerhalb-Gruppen-Varianz: QSi Modellvarianz: QSmFehler- / Residuumvarianz: QSr Einfaktorielle ANOVA: QSg=QSz + QSi Einfaktorielle ANOVA als Modell: QSg = QSm + QSr -> Modellvarianz hier : Varianz EINER UV (einfaktoriell), 1 Haupteffekt möglich Zweifaktorielle ANOVA als Modell: QSg= QS m + QS r -> Modellvarianz = QS1uv1 + QS2uv2 +QS3uv*av , hier verschiedene Haupteffekte möglich, sowie InteraktionseffektEinfaktorielle ANOVA mit MW als Modell: QSg = QSz+ QSi->QSi = QSm+QSr , Haupteffekt der MW auf AV (AV wird wiederholt gemessen, UV nur 1 Gruppe mit 1 Stufe (alle VP) ) Mixed (between & within) ANOVA mit MW als Modell: QSz + QS i -> QSi = QSm (= QSmw + QS mw*uv) + QSr , Haupteffekt der MW auf AV (=2 Gruppen), Haupteffekt der UV auf AV?, Interaktionseffekt von WM * UV auf AV? (wiederholt, UV in 2 Stufen, zb Männer / Frauen) Hier ist glaub ich wichtig sich zu merken, welche Effekte möglich sind!

Question 22

Woche 8: Experimentelle Designs: ANOVA mit MW Beispiel für Versuchsplan mit MW: rTMS & Kognition bei Depression Kriterien für klassisches Experiment Vorteile, Nachteile Praxis-/Lerneffekte: zwangläufig bei MW? wodurch reduzierbar? wodurch überprüfbar? - Beispiel: Kedziorstudie: Praxiseffekte bei MCST (Aufmerksamkeitstest) : Beispiel für "Mixed mit MW "

Accepted Answer

rTMS & Kognition bei Depression: Verbessern sich kognitive Funktionen bei Depressiven nach Hirnstimulation? Kriterien: 1. Systematische Beobachtung: AV= Leistung in Aufmerksamkeitstest UV (manipuliert): rTMS oder inaktive Sham-Stimulation2. randomisierte Aufteilung der VP 3. SV kontorolliert (hier: gleiche demographische Merkmale der Gruppen, keine beeinflussenden Medis)-> Vorteile: Placeboeffekt kontrolliert (interne Validität steigt)-> Nachteile: 1. ist inaktive Stimulation ethisch vertretbar? 2. Praxis- / Lerneffekt: Aufmerksamkeitest (Übung: Dauer nimmt ab & Korrektheit steigt)Praxiseffekte/ Lerneffekte: nicht zwangsläufig bei MW: abh. von Testschwere / Zeitabstand reduzierbar durch alternative Testversionüberprüfbar mit ANOVA mit MW Kedziorstudie: verbessert sich Leistung/Accuracy oder Dauer?? VP an 8 Tagen je 2x getestet, Test: Zahlen- u. BuchstanbenreihenfolgeMW "Trial": Tag 1 VS Tag 8 (ANOVA Korrektheit, ANOVA Dauer)MW "Break": Vor und Nach der Pause an EINEM Tag (ANOVA Korrektheit, ANOVA Dauer) --> AV: Leistung im Test, UV: Studie mit 4 Stufen --> Mixed (between/within) mit MW: AV wiederholt, UV hat 4 Stufen --> mögliche Effekte: UV auf AV? MW auf AV? Interaktionseffekt UV*MW auf AV? Fazit: kein Effekt der MW auf Korrektheit ABER auf Dauer

Question 23

Woche 8: experimentelle Designs: ANOVA mit MW Beispiel für Versuchsplan mit Blockbildung B(R): Habituation Startle Reflex, Kedzior ANOVA mit MW: Beispiel Big Brother (Sphärzitiät)

Accepted Answer

Habituation Startle ReflexMessung Habituation: Vergleich der Reaktion auf Block 1 VS Block 2"Blockeffekt" wird durch ANOVA mit MW getestet UV 2 Stufen: Cannabis VS KG (kein Unterschied zwischen Block 1 u. Block 2)Big Brother: Wie viel Zeit vergeht bis exotisches Essen ausgespuckt wird? UV= 1 Gruppe , AV= Ausspruchzeit, Messwiederholung= jeder isst 4 Dinge Haupteffekt der MW auf AV? -> wie bekannt von normaler ANOVA: F-Statistik, n², Power hier egal da F signifikant, Post-hoc Vergleich Sphärizität: muss als Vorraussetzung bei MW gegeben sein! = Erweiterung der Varianzhomogenitätsannahme: Varianzen der Differenzen bei allen Messpaaren gleich-> Mauchlys W-Test: Sphärizität vorhanden, wenn Test NICHT signifikant! (p>0,05)wenn signifikant: Korrektur nötig! -> Greenhouse-Geister (GG) Epsilon (konservative Anpassung df, AlphaFehler sinktAlles entscheidende Frage: ist Ergebnis nach GG noch signifikant?

Question 24

Woche 9: Sekundärforschung / Meta-Analyse Sekundärstudienarten (Wdh. SoSe) Meta-Analyse (Bsp: Kedzior: Assoziation Ängstlichkeit & Kannabis?) Effektgrößen (Primär- VS Sekundärstudien, Arten)

Accepted Answer

Sekundärstudienarten:Narrative Review: Literatur besprochen & integriert (inkl. subjektive Sicht des Autors)Systematische Review: systematisches Vorgehen: Studien finden, Ergebnisse integrieren (objektive Zusammenfassung)Meta-Analyse: Spezialfall der systematischen Review: Analys quantitativer Daten Meta-Analyse: integriert & analysiert die Ergebnisse der Studien in Form quantitativer Größen (=Effektgrößen?Bsp: Kedzior Studie: Assoziation zwischen Ängstlichkeit & Kannabiskonsum in Population?-> genutzte Datenbank: 2x Handsuche, letzte Suche März 2013, 31 Studien aufgenommen Effektgrößen:Primärstudien: quantitative, standardisierte Angaben zum Ausmaß der Effekte (Einschätzung der praktischen Relevanz), angegebn oder mit Daten berechenbarSekundärstudien: genug quantitative Daten -> system. Review mit Meta-Analyse: Gesamteffekt wird berechnet zu wenig quantitative Daten -> system. Reviwe ohne Meta- Analyse: Ergebnisse qualitativ zusammengestelt Arten: nominal: Odds Ratio (Quotenverhältnis): "Wie hoch ist Chance (=Quotenverhältnis) Angstsymptome zu zeigen, wenn Kannabis konsumiert?" -> Interpreation: <1: Chance sinkt, 1= kein Effekt, >1: Chance steigt Rosenthal: 0,67 schwach, 0,4 mittel, ≤0,25 stark - 1,5 schwach, 2,5 mittel, ≥4 stark korreltativ: Pearson r auf Mittelwert basierend (= Differenzmaß): Cohens d

Question 25

W9: Sekundärforschung / Meta-Analyse Forest Plot Gewichtung in Meta-Analyse Effektgröße für gesamte Meta-Analyse

Accepted Answer

Forest Plot (typische Abbildung bei Meta-Analyse):zeigt Liste aller Studien mit Effektgrößen und Konfidenzintervall (95%)-> KI zeigt wie präzise Effektgröße ist. Je kürzer desto präziser -> Kästchen zeigt Gewichtung: großes Kästchen: hoch gewichtet (präzise, kurzes KI)-> Diamant: länge des Diamant: 95% KI des gesamt gewichteten MittelwertsGewichtung in Meta-Analyse (2 Methoden):1. Anhand inverser Varianz (1/Varianz) der Primärstudie kleines N: hohe Varianz & weniger präzise -> wenig gewichtet großes N: niedrige Varianz & präzise -> hoch gewichtet 2. Anhand der Stichprobengröße der PrimärstudieEffektgröße für gesamte Meta-Analyse: gesamt gewichteter Mittelwert= Mittelwert über Effektgrößen aller Studien (gewichtet)Vorgehen: 1. Effetgöße jeder Studie 2. Effektgröße jeder Studie gewichten 3. gesamt gewichtete Effektgröße berechnen (Random/ Fixed Modell) & interpretieren

Question 26

Woche 9: Sekundärforschung / Meta-Analyse Berechnung des gesamt-gewichteten Mittelwerts: Ziele Random VS Fixed Modell (Vorraussetzungen (Güte der Recherche, Unterschiede Effektgrößen, Generalisierbarkeit), Berechnung) -> Symbole & Abbildung zu beiden Modellen auf KK)

Accepted Answer

Ziele: gesamt beobachteten Effekt beschreiben (LOGISCH), wahren Effekt in Population beschreiben Fixed (fester Effekt) Vorraussetzungen: Güte system. Recherche: alle Studien zum Thema integriertUnterschiede Effektgrößen: keine, da Effektgrößen homogen -> Unterschiede kommen durch Varianz innerhalb der Primärstudien (Stichprobenfehler)Generalisierbarkeit: nur auf Studien in Analyse Random (Zufallseffekt) VorraussetzungenGüte system. Recherche: Zufallsstichprobe aller Studien (alle Studien unmöglich)Unterschiede Effektgröße: Effektgrößen heterogen (oft ähnlich, aber nicht identisch) -> Varianz innerhalb & außerhalb der Studien (Stichprobenfehler und Fehler zwischen Studien)Generalisierbarkeit: auf Population -> realistischer!! Berechnung je nach Effekt-Modell! Formeln auf KK ( Wichtig für Klausur!!)

Question 27

Woche 9: Sekundärfoschung / Meta-Analyse Heterogenitätsanalyse: Wozu? , Q-Statistik, I²-Index Publicationbias

Accepted Answer

Heterogenitätanalyse: Effektgrößen der verschiedenen Studien ähnlich oder nicht? Q-Statistik: nutzt X²-Verteilung zu HypothesentestungH0: Q=0 (homogenität)H1: Q≠0 (heterogenität) Q= ∑ W (Effektgröße - M)²-> wenn wenig Studien in Anyalyse: Power ggf. zu niedrig -> Fehler 2. Art hoch -> beeinflusst möglicherweise Interpretation I²-Index: Wie viel Varianz kommt durch echte Unterschiede zwischen Studien? Unabhängig von statistischer SignifikanzI² =( (Q-df) / Q ) * 100% Interpretation: 25% : wenig heterogen, 50% mittel heterogen, 75% hoch heterogen -> hohe Heteogenität weiter Studien nötig um Ursache zu klären-> I² und Q-Statistik zusammen interpretieren! Publicationbias: durch selektive Auswahl von Studien mit Signifikanz & höheren Effektgrößen) -> Konsequenz Primärstudien: haben zu hohe Effektgrößen -> Konsequenz Meta - Analyse: gewichtete Effektgröße zu hoch -> interne Validität sinkt (SV nicht kontollierbar), externe Validität sinkt ( falsch auf Poupulation übertragen)

Question 28

Woche 9: Sekundärforschung / Meta-Analyse Sensitivitätsanalyse (kumulative Analyse, One Study Removed) Zusammenfassung Meta-analyse (Wozu?, Vorgehensschritte)

Accepted Answer

Sesitivitätsanalyse:wie stabil ist gesamt gewichtete Effektgröße? 1.) Kumulative Analyse: im Laufe der Zeit (Erscheinungsjahr jeder Studie, Jeder Reihe = ges. gew. Mittelwert aller bisherigen Studien MIT dieser) 2.) One-Study-removed: Einfluss jeder einzelnen Studie auf ges. gew. Mittelwert (Jede Reihe = ges.gew. Mittelwer OHNE diese) Zusammenfassung Meta-Analyse:Wozu: Policy-Making, Richtlinien, Medizin/ Pschologie, neue Forschungsfragen, Ergebnisse verstehen & interpretiern Schritte: Integration Effektgrößen -> Heterogenitätsanalyse -> Publicationbias -> Sensitivitäsanalyse

Question 29

Woche 10: Sekundärforschung: Meta- Analyse ll Publicationbias (Mögliche Quellen, 3 Arten ihn zu prüfen)

Accepted Answer

Publicationbias Mögliche Quellen: selektive Publikation, schnelle/ verzögerte Publikation, multiple / mehrfache Publikation, zitieren / nicht zitieren, verschieden Ort (Zeitschriften), verschiedene Sprachen, selektiver Report der ErgebnissePrüfmöglichkeiten:Funnel Plot: Ist die Trichterform der Punktwolke symmetrisch? symmetrisch -> kein Biasasymmetrisch -> Bias (typisch Studien oben (hohes N) symetrisch und unten nicht, da nur publiziert wird wenn Effektgrößen gut sind)Trim & Fill:-> Trim: Studien mit extrem großen / kleinen Effektgrößen gelöscht bis symmetrisch ist. Gesamt gewichteter Mittelwert wird neu berechnet. -> Fill: künstliche Studien (theoretisch existierend aber nicht gefunden) als Spiegelbilder der assymetrischen Studien hinzugefügtInterpretation beider Diamanten (gefüllt und ungefüllt): großer Unterschied : problematisch, da fehlende Studien die Interpretation der Meta-Analyse sehr verändern. -> Problem: basiert auf mathematischen Berechnung von Symmetrie. Realistisch? unklar ob Assymmetrie immer auf Publicationbias hinweist. Rosenthals Safe N: -> File drawer problem: nicht signifikante Studien mit kleinen Effekten bleiben unveröffentlicht.-> Fail safe n: wie viele Studien mit kleinen Effekten fehlen? Wie viele solche Studien nötig um das Ergebnis nicht mehr signifikant zu machen? -> Publication bias, wenn: Fail Safe N < 5*k + 10 (k=Anzahl Primästudien)-> Interpretation: fail safe n klein (zB 5): es braucht nur 5 Studien um Meta Analyse in "nicht signifikante Analyse" zu verwandeln -> großer Einfluss fehlender Studien! Wenn groß (zB 100): es fehlen theoretisch 100 Studien, unwahrscheinlich dass diese existieren -> Limitation: Effektgröße & Stichprobengröße der Primärstudien nicht beachtet, Fokus nur auf Signifikanz, Interpretation unklar: ab wann ist Fail Safe N "klein"?

Question 30

Woche 10: Sekundärforschung, Meta Analyse ll Heterogenitätsanalyse (wann nötig?, Subgroup Analysis, Meta-Regression)

Accepted Answer

Wann? Falls I² Index sagt: hohe Heterogenität-> Problem: Ursache Heterogenität oft systematische Unterschiede (zB Geschlecht) zwischen den einzelnen Studien. Diese Unterschiede erst post-hoc sichtbar, wenn alle Daten der Primärstudien kodiertSubgroup Analysis: -> Ansatz: Gruppen von Studien vergleichen -> Vorgehen: Effektgrößen unabhängiger Gruppen von Studien vergleichen (wie in Primärforschung t-Test, ANOVA) Teststatistik: Q Statistik: H0: gewichtete Effektgröße in 2 Gruppen der Studien gleich H1: gewichtete Effektgrößen in 2 Gruppen der Studien unterschiedlich -> Interpretation: Signifikanz -> H0 verwerfen (Unterschiede in Gruppen der Studien) -> ggf. als Folge von systematischen Unterschieden, die dann auch die Heterogenität der Effektgrößen zwischen den Studien verursacht haben kann Meta-Regression:-> Ansatz: kann Effektgröße durch einen Prädiktor vorrausgesagt werden? (Ist das gleiche wie Regression bei Primärstudien, aber bei Meta-Regression hängt die Steigung der Regressiongerade von Prädiktor UND gewicht der Studien ab )-> Vorgehen: Teststatistik: Q Statistik: H0: gewichtete Effektgröße nicht durch Prädiktor vorraussagbar (Regressionsgerade flach) H1: gewichtete Effektröße durch Prädiktor vorraussagbar (Steigung Regressiongerade signifikant positiv oder negativ)-> Interpretation: nicht signifikant (H0 behalten): Prädiktor verändert die Effektgröße NICHT. Es muss einen anderen Grund für die Heterogenität geben.

Question 31

Woche 10: Sekundärforschung: Meta-Analyse ll Probleme der Meta-Analyse nach Borenstein + Lösung

Accepted Answer

Eine Zahl kann nicht gesamt Forschung wieder geben (zu stark reduziert, Gefahr falsche Interpretation): nicht nur ges. gew. Effekt nennen, sondern einzelen EffektgrößenFiledrawer Problem (Publicationbias)Mixing Apples & Oranges (zu heterogene Studien zusammengefasst): generell nicht falsch, aber kann schnell zu Fehlern führen Garabge in / Garbage out (tw. Primärstudien schlechter Qualität): Inklusionskriterien sollten Qualität beachten wichtige Studien werden ignoriert: Auswahlkriterien müssen mit angegeben werden Meta-Analyse tw. andere Ergebnisse als randomisierte Pläne: randomisierte Pläne Goldstandard, also 30 % der Meta Analysen falsch?! -> Irrtum, auch zwei randomisierte Pläne unterscheiden sich in 30%Meta-Analyse schlecht performt, oft fehlerhaft: Ja, aber Fehler durch falsche Anwendung, nicht falsche Methode Narrative Review besser? Nein, sie hat ähnliche Probleme, nur weniger auffällig

Question 32

Woche 11: Entscheidung- und Bewertungshilfen (v.a. Praxis, aber auch Forschung) Beispiele allgemein (4) Goals-Attainment-Scaling (GAS) (Def, Urspruünglich / Heute, 7 Schritte)

Accepted Answer

Beispiele: monetäre Ansätze (Kosten-Nutzen), Nutzenbestimmung durch Betroffene (GAS), Expertenbewertung (Delphi), Wissenschaftliche Ansätze (MAUT) GASEvaluation in klinischer Psychologie, standardisiertes Verfahren zur gemeinsamenen Zieldefinition & Überprüfung der Zielerreichung, offen konzipiert (unabhängig von Kontext), individuelle Problem- und Zieldefinition (ideographischer Ansatz) -> therapeutisch und evaluativ in einem! Ursprünglich Skalierung von Zielen, Heute: Oberbegriff für Techniken zu Bildung von Zielen & skalierten Teilschritten Ablauf:1.) Goal area selection: Auswahl und beschreibun von 3-5 Zielen durch unabh. !! Person (goal selector), Ziele: SMART (spezifisch, messbar, anspruchsvoll, realistisch, terminiert)2.) Weighting: jedes Ziel gewichtet: 1-93.) Follow-up time selection: für alle Ziele gleich 4.) Statement ecpexted outcome: präzise, objektivierbar (schwierig)5.) completion other scale levels: wahrscheinlichstes Therapieoutcome eines der Ziele = Ankerwert: 0 für dieses Ziel, danach 4 weitere Stufen ergänzt (-2 "unerwünscht" bis +2 "erwünscht")6.) Follow up rating: Follow-up messung durch goals selector7.) GAS - Score: Wert für Zielerreichngsgrad berechnen (mit oder ohne Gewichtung), Interpretation oft hinterfragt (ist es auch klinisch bedeutsam?)-> Kritik: hohe Reaktivität, Konfundierung von Mess- u. Treatmenteffekten (Messinstrument gleichzeitig Teil des Treatments), Ziele beliebig (verfälschbar?), Reliabilität / Validität fraglich, Zeitaufwendig, subj. Zielsetzung d. Patienten (effizient VS effektiv?)

Question 33

Woche 11: Entscheidungs- und Bewertungshilfen (v.a. in Praxis, aber auch in Forschung) Delphi-Technik (Entstehung, Ziel, Hintergrund, Grundidee (Bestimmungsstück I & II), Einsatzgebiete, Ablauf, 5 Abbruchkriterien, Fazit (7Punkte) )

Accepted Answer

Entstehung: Ende der 50erZiel: Abschätzung möglicher sowjetischer Angriffe auf die USAGrundidee: Expertenmeinung in mehrern Wellen anonym einholen -> Bestimmungsstück 1: Befragung großer Expertengruppen valider als Einzelaussage -> Bestimmungsstück 2: soziale Interaktion ausschalten, da dysfunktional Einsatzgebiete: kostenaufwendige Investitionen, schwer einschätzbare Erfolgskriterien (Politik,..)Ablauf (keine feste Arbeitsdefinition, verschiedene Ziele & Abläufe möglich):1. Erstellen wissenschaftlicher Fragebogen (offen/geschlossen, durch unabh. Experten)2. Ausfüllen Fragebogen (mind. 20 anonyme Experten)3. Statistische Auswertung (Gruppenwertserzeugung: Median, Spannweite,..)4. Modifikation Fragebogen (nach Hinweisen der Experten)5. Rückmeldung Ergebnisse 6. Wiederholte Befragungen (3-5 Wellen)7. Ende durch Abbruchkriterium -> unterschiedliche Kriterien wer ein Experte istAbbruchkriterien: Kovergenzmessung (Antwortverteilung sehr ähnlich) , Stabilitätsmessung; Zeit / Kosten / Motivation Fazit (Häder & Häder): Anonymität auch Nachteile (nicht gut durchdachte Antworten?), Wahl der Experten ohne Expertisen-Nachweis, Zahl der Wellen, Zahl der Experten, Panelmortalität (Problem der Motivationssicherung über Zeitraum); Feedback (nicht standardisiert), Bewusste Manipulation möglich , Evaluation: Vergleich von Delphi und realen Ergebnissen: heterogene Befunde /! Vergleich von Deplhi und Gruppendikussionen: widersprüchlich

Question 34

Woche 11: Entscheidungs- und Bewertungskriterien Multi-Attributive Nutzentechnik (MAUT) (Ziele, Vorgehen, Anwendung, Ablauf)

Accepted Answer

Ziel: verschiedene Objekte anhand ihrer wichtigsten Kriterien vergleichen, Werte & Ziele bestimmen, Programmeigeschaften quantifizieren, Programm- /Objektwahl, Berwertungskriterien transparent machen -> Evaluierbarkeit steigernVorgehen: Objekte definieren, Ziele bestimmen, Nutzen des Programms mehrdimensional bestimmen, subjektive Wertedimensionen der Betroffenen einbeziehenAnwendung: persönliche Entscheidungen, Politik, Militär, ÖkonomieAblauf:1. Objekte, Ziel identifizieren2. Interessensgruppen identifizieren3. Festlegen Wertedimensionen & Organisation in Wertebaum (bei Wohnung: Lage, Preis,..)4. Gewichtung der Werte durch Interessensgruppen (von rechts nach links immer =1, Endgewichtung durch Multiplikation von oben nach unten, bei letzter Ebene: Konsens: Mittelwert der Gewichte aller Interessensgruppen) 5. Bestimmung Lokalgewichte (Skala entwickeln um Rohwerte vergleichbar zu machen (= Referenzwerte)6. Gewichtung Lokalgewichte (Referenzwerte * Gewichtung)7. OPTIONAL: Sensitivitäsanalyse (verändert sich Ergebnis stark, wenn zB Gewichtung verändert wird? )

Question 35

Woche 12: Qualitative Evalutationsforschung: Was ist Evaluation? Begriffe: Evaluation, Evaluationsforschung, Programmevaluation Funktionen 4 verschiedene Arten

Accepted Answer

Was ist Evalutation? Beschreiben, Analysieren, Bewerten -> vielschichtiger Bergiff: keine allgemein gültige Definition Begrifflichkeiten (unterschiedlich genutzt):Evalutaion: unabhängiges methodisches Vorgene: Sammeln & Kombinieren von Daten mit gewichteten Skalensatz -> Beurteilung, Rechtfertigen der Instrumente, Gewichte, Kriterien Evalutationsforschung: wissenschaftliche Forschungsmethoden und -techniken um Bewertung durchzufürhenProgrammevalutaion: Beurteilung eines Programmes durch systematische Datenerhebung und -analyse Funktionen: Erkenntnisfuntkion, Kontrollfunktion, Dialog- und Lernfunktion (Stakeholdern Einschätzung liefern), Legitimierungsfunktion -> Stakeholder = Person / Gruppe mit berechtigtem Interesse an Verlauf / Ergebnis Arten: Zielsetzung: formativ VS summativZeitpunkt Datenerhebung: strukturiert nach DurchführungAusrichtung: Praxisorientiert VS TheorieorientiertInvolvment: Fremd - VS Eigenevaluation

Question 36

Woche 10: Qualitative Evalutationsforschung Evaluation Zielsetzung en detail: formativ VS summativ (Ziel, Zielgruppe, Betonung Datensammlung, Analyseart, Rolle Programmbeteiligte, Rolle Evaluator, Methodologie, Häufigkeit, Berichterstattung, Berichthäufigkeit, Berichtschwerpunkt)

Accepted Answer

2 Arten der Zielsetzung formativ summativZiel Entwicklung ErgebnisevaluationZielgruppe Beteiligte am Program Politiker, Geldgeber,..Betonung Datensammlung Klärung Ziel/Prozess/Probleme Dokumentation (Art der Analyse) (Mikroebene) (Makroebene)Rolle Programmbeteiligte Mitarbeiter DatenbeschafferRolle Evauator interaktiv unabhängigMethodologie qualitativ / quantitativ quantitativ, manchmal qualit bereichertHäufigkeit fortlaufend begrenzt Berichterstattung Diskussion/Treffen/Interaktion formalBerichthäufigkeit häufig zum SchlussBerichtschwerpunkt Prozess/Kontext/Implikation Prozess,.. Implikation Politik/ Kontrolle/Management

Question 37

Woche 12: Qualtiative Evalutation Evalutation Zielsetzung en detail: formativ VS summativ

Accepted Answer

formativ summativZielgruppe Beteiligte am Programm Politiker, Geldgeber,..Betonung Datensammlung Klärung Problem/Ziel/Prozess Dokumentation (Art der Analyse) Mirkoebene MakroebeneRolle Programmbeteiligte Mitarbeiter DatenbeschafferRolle Evaluator interaktiv unabhängigHäufigkeit Datensammlung fortlaufend begrenztMethodologie quanitativ & qualitativ quantitativ (tw. auch quali.)Berichtort Diskussion/Treffen/Interaktion formalHäufigkeit Bericht meist die ganze Zeit zum SchlussBerichtschwerpunkt Beziehung der Prozesselemente, Implikation für Kontex, Ergebnisse; Implikationen Politik, Management,..

Question 38

Woche 12: Qualitative Evaluationsforschung Evalutation Involvment en detail: Fremd VS Eigen (mit Vor- und Nachteilen)

Accepted Answer

Fremd= extern & unabhängiger Evalutator, wenn unabh. Sicht erforderlich, Wirkungs- und Effizienzevalutaion-> Vorteile: unabhängig, Hintergrundwissen, Erfahrungen, Separierung Evaluation & Projekt-> Nachteile: teuer, Einarbeitungsaufwand, Akzeptanzproblem (Kontrolle?)Eigen= intern: Evaluator ist auch Teil des Programms (Qualitätssicherung, Routineprüfung, Testen neuer Maßnahmen,..)-> Vorteil: Integration von Routineprozessen, inhaltlich kompetent, Motivation, unmittelbare Umsetzung, günstig-> Nachteil: keine Distanz, subjektiv, fehlende Erfahrung / Kenntnis in Evaluationsvorgang

Question 39

Woche 12: Qualitative Evaluationsforschung Qualitative VS Quantitative Methoden Qualitative Evaluation (Def, Wieso, 4 Kennzeichen, Praktische Umsetzung, Problem)

Accepted Answer

Def: Anwendung qualitativer Methoden bei Evaluation (keine einheiltiche Definition)Wieso?: Kennzeichen qualitativer Forschung gut mit Evalutation vereienbarKennzeichen:Gegenstandsangemessenheit v. Methoden: große Auswahl qualitativer Methoden, flexibel anpassbarBerücksichtigung der Perspektiven aller Beteiligte möglich (zB Gruppendiskussion)Reflexivität der Forschers: v.a. bei formativer Evalutation Reflexion des Evaluators wichtigMethodisches Spektrum/ Triangulation: qualitative Forschung: großes Spektrum, Triangulation verschiedener Methoden möglich Praktische Umsetzung:Erhebung: Interviews, Gruppendisussion, BeobachtungAuswertung: qualitative Inhaltsanalyse, Grounded TheoryProbleme: -mit hohem Grad von Genauigkeit und v.a. Zeitaufwand verbunden- Spannungsfeld zwischen qualitativen Methoden & Bewertung (soll Evaluatorbewertung auf Bewertung der Akteure basieren?)- Existenzberechtigung qualitativer Sozialforschung tw. in Frage gestellt- Frage: welche Methoden sind geeignet?

Question 40

Woche 13: Mixed Methods Was sind Mixed Methods? Ziel? Wozu/ Vorteile? Mixed Methods VS Triangulation

Accepted Answer

Was? (Definition umstritten)spezifische Form von Multi Methodologie: Kombi von quantitativen & qualitativen Elementen, meistens während EINER Stude im Forsjungsverlauf kombinertZiel: breites / tieferes Verständnis / Untermauerung, Integration verschiedener Elemente Wozu? Vorteile?Einzelne Datenquellen sind unzureichend, von Forschungsfrage erzwungen, weitere Erklärung erster Ergebnisse, Umsetzungsforschung / Implementation, verallgemeinerung expolrativer Ergebnisse, höhre Qualität der Studie, theoretischer Standpunkt -> holistischer & pragmatischer Ansatz, erhöht ValiditätTriangluation: nautische Metapher: gegenseitige Validierung von 2 oder mehr Methoden, Erstellung vollständigeres Bild eines Phänomens (verschiedene Perspektiven auf gleichen Forschungsstand)- als Zweck der MM Forschung: Konvergenz, Divergenz - als Art von MM Design: gleichzeitiges Erheben qualitativer & quantitativer Daten- als Gütekriterium in qualitativer Forschun

Question 41

Woche 13: Mixed Methods Aufbaue einer MM Studie: Vielfalt/Orientierung/Fixed MM / Emergent MM 5 Kriterien zur Unterscheidung

Accepted Answer

Aufbau:Vielfalt: von Mixing in einer Phase - alle PhasenOrientierung: bottom-up: Designwahl auf Forschungsfrage basiert top-down: Bekenntnis zu Mulit-Method Forschung Fixed MM: bestimmt bevor Studie beginntEmergent MM: Design während Studie festgelegtKriterien zur Unterscheidung:Anzahl der Stränge (Mono VS Multi), Strang = StudienphaseInteraktion: unabhängig VS interaktivPriorität qualitativ / quantitativ VS GleichstellungDurchführung: parallel, sequentiell, Multilevel, Multiphase, UmwandlungPhase in der Mixing stattfindet (Design / Stichprobe,..)

Question 42

Woche 13: Mixed Methods Forschungsfrage (2 verschiedene Aufbauarten) Verschiedene Designs: was beachten Stichprobe in MM : 2 Arten, was ist wichtig?, Strategien

Accepted Answer

Forschungsfragen:fester Aufbau (fixed): Anfang mit integrierter Forschungsfrage oder getrennten qualitativen & quantitativen Fragen emergenter Aufbau: neue Fragen als Resultat der ForschungsentwicklungVerschiedene Designs: wichtig zu nennen welches genutzt & einzelne Designstufen! Stichproben:2 Arten: unverwandt: 2 getrennte (1 für qualitativ, eine für quantitativ) verwandt: 1 bringt beide Datenarten hervor (oder man nimmt eine Unterstichprobe)wichtig: genaue Beschreibung Strategien: gemischt / nicht gemischt (bei Verwandter: typischerweise Kombi)

Question 43

Woche 13: Mixed Methods: Strategien zur Datensammlung (within-method / between-method) Datenanalyse (hier findet Mixing meistens statt: Side by side Vergleich) Quantifizieren qualitativer Daten Verknüpfung 2er Phasen der Forschung Kritik an MM

Accepted Answer

Strategien:Mixed-method: Auswahl einer Methode, Durchführung auf verschiedene Weisen, typisch bei parallelen & sequentiellen DesignsBetween-method: 2 oder mehr Methoden, typisch für sequentiellDatenanalyse: Sidebyside: Zusammenführung währen Interpretation: Vergleich in gemeinsamer Darstellung (Tabelle, Abbildung), Verdeutlichen der quanitativen Daten durch die qualitativen Quantifizieren qualitativer Daten: dichotome Variable erstellen (Merkmal da oder nicht?)Codes zählenWert durch qualitative Informationen vergebenneue Variable zur Integration qualitativer & quantitativer Daten erstellen Verknüpfung 2er Phasen: 1.) passenden Punkt wählen 2) Anaylse Daten anhand Phasenspezifischer & allgemeiner Forschungsfrage -> Möglichkeiten: Quantitativer Daten zur Auswahl der TN, Qualitative Daten zur Formullierung von Umfragen / einer Intervention Kritik:alter Wein in neuer Flasche (nur neuer Begriff) , Angemessenheit der Ergebnisse?, keine Beachtung epistemiologischer Integrität der Studie

Question 44

Woche 5: Regression II Multikollinearität, wie testen? Hierarchische Regression

Accepted Answer

Multikollineraität:2 oder mehr Faktoren hängen voneinander ab -> erklären gleichen Anteil in AV -> Test: bivariate Korrelation: über 0.8? der weniger reliable & valide wird rausgenommenHierarchische Regression:Block I: Kontrollvariablen (wir wissen schon, dass diese Einfluss haben)Block II: Kontrollvariablen + neue Variablen -> sind Modelle signfikinat und haben gutes R²?-> Änderungsstatistik von R² wichtig: wie viel inkrementelle Varianz wird zusätzlich zu Block I durch neue Variablen aus Block II aufgeklärt?

Methodenlehre II (Fach) / WiSe16/17 (Lektion)