Evaluation und Forschungsmethoden (Fach) / Einführung (Lektion)

1

Diese Lektion wurde von janineschneider erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Gibt es eine ideale Forschungsmethode, die quasi als Omnibusverfahren immer einsetzbar ist? nein
• was versteht man unter wissenschaftlicher Forschung? empirische Forschung sucht nach Erkenntnissen durch systematische Auswertung von Erfahrungen -> geschieht durch das Aufstellen und Prüfen wissenschaftlicher Hypothesen.  
• Wann kann eine Behauptung als wissenschaftliche Hypothese bezeichnet werden? 3 Kriterien 1. allgemeingültige Behauptung aufstellen (All-Satz) muss über Einzelfall hinausgehen 2. in die Form eines Konditionalsatzes transferierbar sein (wenn-dann, je-desto) 3. durch Erfahrungsdaten widerlegbar sein (Falsifizierbarkeit).
• Wie sieht es mit wissenschaftlichen Hypothesen in der Psychologie bzw generell in sozialwissenschaften aus? gehen nicht über einzelfall hinaus noch können hypothesen vollständig geprüft (verifiziert) werden. Daher erfolgt in der Psychologie die empirische Prüfung einer Hypothese nicht an allen möglichen Fällen (Population) sondern nur an einem Ausschnitt (Stichprobe). das heißt wissenschaftliche Hypothesen sind Wahrscheinlichkeitasusagen zu deren Prüfung von der Scientific Community begründete Prüfkriterien festgelegt wurden.
• Anliegen der angewandten Forschung bzw von Evaluationsforschung? Nutzen oder Anwendungsmöglichkeiten der Forschungsergebnisse fragt - in der reinen Grundlagenforschung ist das nämlich nicht so.
• was ist Intention? Nutzbarmachung von Erkenntnissen der Grundlagenforschung und die Umsetzung in effiziente Handlungsanleitungen.
• Was versteht man unter wissenschaftlicher Evaluation? Scriven: versteht sehr allgemein unter Evaluation jegliche Art der Festsetzung des Wertes einer Sache. Im Handbuch der Standards für Evaluation steht im Vergleich dazu etwas präziser: Evaluation is the systemativ investigation of the worth or merit of an object. Mittag und Hager: Evaluationsforschung ist die wissenschaftlich fundierte, empirische und hypothesenorientierte Forschung unter systematischer Anwendung sozialwissenschaftlicher Forschungsmethoden.   Zusammengefasst: Evaluation ist wissenschaftsgestützt unter Berücksichtigung der geltenden Qualitätstandards die Effektivität (Ausmaß der Zielerreichung) und Effizienz (ökonomische Ressourcennutzen; Verhältnis von Kosten und Nutzen) von gesetzten Maßnahmen untersucht.
• Was versteht man unter Qualitätsmanagement? einen Vorgang auf Basis empirisch feststellbarer Sachverhalte zu bewerten und optimaler zu gestalten
• Somit ist wissenschaftliche Evaluation ein Teilgebiet von angewandter Forschung. Zielsetzung erfolgt teilweise selbst, teils von externen Auftraggeber. Was spielt im Falle der Auftraggebung eine rolle? Effizienz Übergänge zwischen Grundlagenforschung, angewandter Forschung und Evaluationsforschung sind fließend. alle 3 verwenden gleichen Kanon.
• evaluationskonzepte in abhängigkeit von zielsetzung und realisierungsmöglichkeiten. Welche werden unterschieden? Unterscheidung zwischen formativer und summativer Evaluation (Scriven)
• Evaluationskonzept, Formativ dient der Begleitung eines Programmes mit Ziel der laufenden Optimierung.
• Evaluationskonzept Summativ bewertet Qualität und Einfluss bereits abgeschlossener Programme.
• Was soll bei umfangreichen Programmen noch durchgeführt werden? Baseline-Erhebung zur Beschreibung prospektive Evaluation zur Bewertung Evaluation der Programmeffizienz
• was ist impact evaluation? untersucht langfristige wirkungen eines programms bzw einer Maßnahme
• Weitere gebräuchliche Einteilungen von Evaluationen erfolgen nach dder Herkunft der Evaluatioren und nach der Bewertungsinstanz Es gibt Selbstevaluation und fremdenevaluation intern konzipierte Evaluation und extern konzipierte Evaluation
• Selbstevaluation vs Fremdenevaluation Selbstevaluation liegt vor, wenn die Mitglieder einer Institution sich selbst bewerten Fremdevaluation wird durch Dritte durchgeführt
• intern konzipierte Evaluation vs extern konzipierte Evaluation bei intern setzt sich die instituition selbst interventionsziele, deren Erreichung sie prüft bei extern wird von einer übergoerdneten institution die evaluation in auftrrag gegeben
• wie wird qualität einer empirischen untersuchung gemessen? ob und in welchem ausmaß diese untersuchung dazu beitragen kann, den bestand an gesichertem wissen zu erweitern  
• Wie wird aus einer Fragestellung ein Forschungsprojekt? im ersten schritt soll daher geprüft werden, ob die vage Forschungsidee allgemein wissenschaftlichen Kriterien genügt und empirisch untersuchbar ist? Ebenfalls zu prüfen ist, ob die Forschungsidee unter ehtschiehn Gesichtspunkten realisiert werden kann. (Schutz der uNtersuchungsteilnehmer, Informationspflicht, Freiwilligkeit, Vermeidung von psychischen und physischen Beeinträchtigungen Im nächsten Schritt ist der Anspruch der empirischen Studie in Abhängigkeit vom Zweck der Untersuchung zu klären. -> ausgiebige Literaturrecherche nach Keywords zB über EndNOte4 und ISI ResearchSoft
• Welche Untersuchungsarten kennen Sie? Wahl der Untersuchungsart hängt vom Stand der Forschung ab. es gibt explanative Untersuchung - ob gut begründete Hypothese formuliert werden kann explorative Untersuchung - wenig Vorkenntnisse vorhanden deskriptive Untersuchung - wenn Populationen beschrieben werden sollen
• Welche Standards sind bei Forschungs- und Evaluationsprojekten zu beachten? gibt keine kataloge von standars Wichtigsten und international anerkanntesten standards wurden vom JCSEE (joint commitee on standards for educational evaluation) formuliert . insgesamt wurden 30 standards formuliert die in 4 gruppen zusammegefasst sind JCSEE verstehen unter einem standard: a principle mutually agreed to by people engaged in a professional practice, that, if met, will enhance the quality and fairness of that professional practice, for example, ecaluation
• die 4 gruppen wo die 30 standards zusammengefasst sind Nutzen-standards (utility): evaluationen sollen bedürfnisse der öffentlichkeit nach praktisch verwertbarer Informationen befriedigen. vor allem STAKEHOLDER = Personen die von evaluation betroffen oder involviert sind Machbarkeits-oder Durchführbarkeits-standards (Feasibility): Evaluationen sollen unter natürlichen Bedingungen unter möglichst ökonomischer Verwendung von Material durchführbar sein. STandards für ethsiches Vorgehen (Propriety): Evaluationen sollen Schutz der individuellen Rechte garantieren. Geschicht durch formale Überienkommen, faire Bewertung, Geheimhaltung bon Befunden Genaugigkeits-Standards (Accuracy): Evaluationen sollen Informationen liefern und bewerten
• Welche Ebenen von Evaluationen werden unterschieden? Kirkpatrick unterscheidet 4 Ebenen. - hierarchisch (Fragen von einer höheren Ebene setzten sinnvollerweise die Beantwortung von Fragen auf darunter liegenden Ebenen voraus. - in der Praxis werden eher unteren Ebenen untersucht- da aufwand mit der höhe der ebene steigt. Ebene 1 -Reaktion - wie teilnehmer auf das programm reagieren. es geht um zufriedenehit Ebene 2- Lernen - Wie ihr Wissen erweiter wird. Einstellung zu verändern Ebene 3 - Verhalten - Verhaltensänderung das im Alltag angewendet werden soll. Transferleistung bildet Kern dieser Ebene. Sich aber nur auf Verhaltensänderung zu konzentriern findet kirkpatrick als fehler. in der reaktions und lernebene können vorraussetzung geschaffen sein Ebene 4 - Ergebnisse - Veränderungen auf einer höheren Ebene. Größte Herausforderung, ist aber ohne Eingehen auf 3 vorherigen Ebenen nicht möglich
• wie wird untersuchungsgegenstand noch bezeichnet? evaluationsobjekt Beispiele für Evaluationsobjekte: -Personen -Umgebungfaktoren -Produkte -Techniken/Mehtoden -Programme/Maßnahmen -Systeme/Strukturen -Zielvorgaben -Forschungsergebnisse
• Für Zielerarbeitung stehen eine Reihe von Techniken zur Verfügung welche zB antizipatorische Ergebnisverwertung, Delphi-Methode
• Aufgabe des Evaluatioorn? Indikatoren (messbare Ereignisse) zu finden
• Was heißt Operationalisierung? messbare Ereignisse oder ein theoretisches Konstrukt (Intelligenz) zu finden;
• Von was hängt Wahl der Indikatoren ab? REssourcen (Zeit, Personal, finahnzielle Ausstattung) Durchführbarkeit Effizienkriterien  
• Welche Überlegungen müssen bei allen Forschungs- und Evaluationsprojekten angestellt werden? - testtheoretische Gütekriterien - Skalenniveaus
• Bei Forschungs- und Evaluationsprojekten sollte nicht nur Indikatoren festgelegt werden sondern auch ab WANN von einer Zielerreichung gesprochen werden kann. zB wenn 150 besucher kommen (Effektivitätskriterien) ist das immer sinvoll? nein, weil oft die vorkenntisse dazu fehlen.
• Wie soll Untersuchung durchgeführt werden? laut Bortz und Döring ist das der wichtigste Abschnitt einer empirischen Forschungsarbeit. Prüfung einer Hypothese erfolgt durch eine Struktur die aus unabhängigen und abhängigen Variablen besteht. Wenn wissenschaftliche Hypothese in Form eines Konditionalsatzes formuliert wird, dann gehört die UnABHÄNGIGE VARIABEL zum wenn teil, die abhängige zum dann- Teil.
• Was wird für Leistungsverhalten als Indikatoren herangezogen? Tests. im opitmalen Fall sollen die Schüler den zwei Abstufungen der UV randomisiert zugeitl werden. Leistungen der Schüler sollten in beiden Gruppen sowohl vor als auch nach zb dem Förderunterricht gemessen werden. Solches Untersuchungsdesign wird als Kontrollgruppenplan mit Pre- und Posttest bezeichnet. Es könnnen aber keine Aussagen über Wirkfaktoren getroffen werden
• One-shot-case-study? es wurden nur einmal Daten erhoben. Gab nur eine Versuchsgruppe
• Wer soll untersucht werden? zuerst wird arbeitsdefinition der Ziepopulation aufgestellt dann Überlegungen zur Auffindbarkeit der Personen angestellt anschließen erfolgt präzise Definition der Zielpopulaiton anhand von Einschluss- und Ausschlusskriterien.
• Vollerhebung vs Stichprobe Volerhebung: alle Elemente werden untersucht Für Stichprobenziehung stehen verschiedene Methoden zur Verfügung.   Welche Methode man wähl hängt von -relevanten Vorkenntnisse hinsichtlich des untersuchenden Merkmals - Vorkenntnissen hinsichtlich der Population ab.
• Stichprobenziehungmethoden :) Echte Zufallsstichprobe: jedes element muss bekannt sein. zB schülerinnen der Klasse 3A Anfallende Stichprobe: Forscher hat Zugang zB er kennt direktor von einer Schule Geschichteten Stichprobe: die Zielpopulation wird augrund von Vorkenntnisse über die Verteilung des interessierdenen Merkmals in Teilpopulationen (sogenannte schichten) unterteil. Aus jeder Teilpopulation werden dann gleich große Stichproben gezogen. Generell ist anzuraten das Schichtungen nur nach leicht zu erfassenden Merkmalen durchzuführen sind (Altern, Geschlecht, Schulabschluss? Klumpenstichproben werden dann gezogen wenn sich population in natürliche gruppen gliedert. Diese Klumpen (zb Schulen) sind innerhalb sehr heterogen (unterschiedlich) jedoch zueinander homogen (unterscheiden sich relativ wenig voneinander) Ziehen von Klumpenstichproben sehr ökonomisch Quotenstichprobe werden entsprechend der prozentualen Verteilung gezogen. (Volkszählungsdaten) Kenngrößen sind zB Alter, Wohnort, ausbildung. Meinungsumfragen werden als quotenstichprobe durchgeführt
• Mit welchen Methoden werden DAten erhoben? quantitativen und qualitativen Methoden der datenerhebung quantitative Erhebungsmethoden sind Leistungstest und standardisierte Fragebögen. - Neben theoretischen inhaltlichen Einbettung und Absicherung kommt auch der Messtheorie (Skalenniveau, testtheoretische Gütekrierien) zentrale Bedeutung zu. qualitative Erhebungsmethoden operiert mit verbalen bzw nichtnumerischen Daten, die primär interpretativ (nicht statistisch) ausgewertet werden. Anligen der forscfher ist es aber auch qualitatives Datenmaterial zu quantifizerien. Wichtigsten Techniken sind: nicht-standardisierte oder teilstandardisierte Befragungen (Interviesw) und Beobachtungen. Auch Texte werden inhaltsanalytisch ausgewertet. arbeiten mit offenen Fragen.  Vorteile: differenzierte Berücksichtigung der Individualität und damit Offenheit für neues: Nachteil: hohe Aufwand, geringere Obejtivität Vor und nachteile bei quantitativer verfahren liegen genau umgekehrt  
• Wahl der Erhebungsmethode hängt vom forschungsstand bzw von zielsetzung der untersuch ung ab. zeitlichen und finanzielle ressourcen (bei angewandten forschung)
• Was sind Rating-Skalen Einschätzsskalen

zurück  |  weiter 1 / 1