121

Forschungskompetenzen (Subject) / 2. Semester (Lesson)

This lesson was created by beateh.

Learn lesson

back  |  next 1 / 3

• Evaluation in der Praxis vs. wissenschaftliche Forschung   Evaluationen in der Praxisdurch die Praxis(Praxisforschung) Wissenschaftliche Forschung Methodik (prinzipiell)Instrumente   Handwerkliche Güte Handwerkliche GüteEvtl. tieferes Repertoire Hypothesenformulierung/Ausgangsfrage   Abhängig vom Feld und vom Auftrag Abhängig vom Auftrag, aber stärkere wissenschaftliche Unabhängigkeit, Mitbestimmung des Auftrags Forschungsziel   Wertbestimmung Wertbestimmung und Erkenntnis Rolle des/der EvaluationIn   Auftragsabhängigkeit stärker ExpertIn Auftragsabhängigkeit geringer.Wahrheitssuchende/r Forscher, Freiheit der Wissenschaft Verankerung   Intern und Extern Extern Wissensorientierung Wissen der Praxis, Erfahrungswissen/eigenes Können Erfahrungswissen/eigenes Können Stand des wissenschaftlichen Wissens
• Was ist das Besondere an Evaluationen in pädagogischen Arbeitsfeldern? Die Wurzeln liegen in der Leistungsfestellung von Lernenden. Evaluation Aufgaben der Lehrkräfte, Vorkenntnisse aber auch Widerstände (Rollenkonflikte). Einbindung der Öffentlichkeit. Schulfragen sind hochpolitische Fragen und für alle Gesellschaftsmitglieder relevant. Somit stehen bildungsbezogene Evaluationen häufig im öffentlichen Fokus 
• Auf was können sich wiss. Evaluationen beziehen? Personen Umweltfaktoren Produkte Techniken/Methoden Zielvorgaben Projekte/Programme Systeme/Strukturen Forschung
• Unterscheidung Evaluation und Evaluationsforschung Evaluation (Bewertung)   Evaluationsforschung "Prozess der Beurteilung des Wertes eine Produktes, Prozesses oder eines Programmes, was nicht notwendigerweise systematische Verfahren oder datengestützte Beweise zur Untermauerung einer Beurteilung erfordert."   "Explizite Verwendung wissenschaftlicher Forschungsmethoden und - Techniken für den Zweck der Durchführung einer Bewertung. Evaluationsforschung betont die Möglichkeit des Beweises anstelle der reinen Behauptung bzgl. des Wertes und Nutzens einer bestimmten sozialen Aktivität."
• Begriffserklärung bildungsbezogene Evaluation keine einheitliche Definition des Terminus "Evaluation"Es geht um Bewerten und BeschreibenRalph Tyler (1950):"The process of determining to what extent educational objectives are actually being realized."
• Herkunft bildungsbezogene Evaluation Entwicklung in USA seit 1930er  insbesondere im Bereich Erziehung, Gesundheit, Soziales im deutschsprachigen Raum ca ab den 1970er/1980er Jahren Leistungsfestellung von Lernenden  ->Curriculum Evaluationen + Evaluationen von Bildungsprogrammen -projekten, sowie ganzer Bildungssysteme
• Nützlichkeitsstandards Evaluation an den Informationsbedürfnissen der vorgesehenen Evaluationsnutzer ausrichtet. N1: Ermittlung der Beteiligten & Betroffenen Beteiligte identifizieren, deren Interessen und Bedürfnisse berücksichtigen N2: Glaubwürdigkeit der EvaluatorIn N3: Umfang und Auswahl der Informationen Umfang und Auswahl Behandlung sachdienlicher Fragen zum Programm ermöglichen Interessen und Bedürfnisse des Auftraggebers eingehen N4: Feststellung von Werten Perspektiven, Verfahren und Gedankengänge sorgfältig beschreiben -> Grundlage der Werturteile klar ersichtlich N5: Klarheit des Berichts evaluiertes Programm + Kontext, Ziele, Verfahren und Befunde beschreiben N6: Rechtzeitigkeit und Verbreitung des Berichts Zwischenergebnisse und Schlussberichte so bekannt geben, dass Nutzer sie rechtzeitig verwenden kann. N7: Wirkung der Evaluation Ev. so geplant, durchgeführt und dargestellt werden, dass Beteiligten & Betroffenen zu ermuntern, dem Ev-prozess zu folgen -> Wahrscheinlichkeit steigt dass Ev genutzt wird
• Korrektheitsstandards Ev rechtlich, ethisch korrekt durchgeführt wird, Wohlergehen der in die Ev einbezogenen und auch der durch die Ergebnisse betroffenen Personen gebührende Aufmerksamkeit widmet. K1 Unterstützung der Dienstleistungsorientierung Organisationen unterstützen, Interessen & Bedürfnisse des ganzen Zielgruppenspektrums berücksichtigen K2 Formale Vereinbarungen Pflichten der Vertragsparteien einer Ev schriftlich festhalten K3 Schutz individueller Menschenrechte Ev so geplant und durchgeführt werden, dass die Rechte und das Wohlergehen der Menschen respektiert und geschützt sind K4 Human gestaltete Interaktionen Kontakt mit Anderen Würde und Werte d. Menschen respektieren, damit diese nicht geschädigt oder gefährdet sind K5 Vollständige und faire Einschätzung Präsentation der Stärken und Schwächen des ev. Programms vollständig und fair sein K6 Offenlegung der Ergebnisse Vertragsparteien sollen sicherstellen, dass Ev-Ergebnisse den durch Ev betroffenen Personen, sowie all jenen die einen ausgewiesenen Anspruch auf die Ergebnisse haben, zugänglich gemacht werden. K7 Deklaration von Interessenskonflikten Interessenkonflikte sollen offen und aufrichtig behandelt werden K8 Finanzielle Verantwortlichkeit Zuweisen und Ausgabe von Ressourcen durch Ev sollte durch eine sorgfältige Rechnungsführung nachgewiesen werden
• Genauigkeitsstandards Ev über die Güte und/oder die Verwendbarkeit des evaluierten Programms fachlich angemessene Informationen hervorbringt und vermittelt G1 Programmdiskussion Programm klar und genau beschrieben und dokumentieren G2 Kontextanalyse Kontext ausreichend detailliert untersuchen -> mögliche Bedürfnisse des Programms identifizieren G3 Beschreibung von Zielen und Vorgehen G4 Verlässliche Informationsquellen Informationsquellen genau beschreiben G5 Valide Informationen Verfahren d Informationsgewinnung sollte so gewählt oder entwickelt und umgesetzt werden, dass Gültigkeit der gewonnenen Interpretationen für gegebenen Zweck sichergestellt ist G6 Reliable Informationen Verfahren d Informationsgewinnung sollte so gewählt oder entwickelt und umgesetzt werden, dass Zuverlässigkeit der gewonnenen Interpretationen für gegebenen Zweck sichergestellt ist G7 Systematische Informationsüberprüfung gesammelten, aufbereiteten und präsentieren Informationen systematisch überprüfen & gefundene Fehler korrigieren G8 Analyse quantitativer Informationen Quantitative Informationen einer Ev sollen angemessen und systematisch analysiert werden -> Fragestellung effektiv beantworten G9 Analyse qualitativer Informationen Qualitative Informationen einer Ev sollen angemessen und systematisch analysiert werden -> Fragestellung effektiv beantworten G10 Begründete Schlussfolgerungen Folgerungen ausdrücklich begründen G11 Unparteiische Berichterstattung Verfahren der Berichterstattung über Vorkehrungen gegen Verzerrungen durch persönliche Gefühle und Vorlieben irgendeiner Ev-partei geschützt werden, so dass Evaluationsberichte die Ergebnisse fair wiedergeben G12 Meta-Evaluation Formativ und summativ in Bezug auf die vorliegenden oder andere wichtige Standards evaluiert werden, so dass die Durchführung entsprechend angeleitet werden kann und damit die Beteiligten & Betroffenen bei Abschluss einer Ev deren Stärken und Schwächen gründlich überprüfen können.
• Durchführbarkeitsstandards Ev realistisch, gut durchdacht, diplomatisch und kostenbewusst ausgeführt wird D1 Praktische Verfahren Ev-Verfahren praktisch -> Störungen minimieren, benötigten Informationen beschaffen D2 Politische Tragfähigkeit Voraussicht auf unterschiedl. Positionen der verschiedenen Interessengruppen geplant und durchgeführt -> Kooperation erreichen, Versuche einer Gruppe vermeiden die Ev-Aktivitäten einzuschränken oder Ergebnisse verzerren D3 Kostenwirksamkeit Ev sollte effizient sein, eingesetzte Mittel rechtfertigt
• Advertisement
• Welche Standards gibt es? Nützlichkeitsstandards Durchführbarkeitsstandards Korrektheitsstandards Genauigkeitsstandards
• H.-G. Soeffner 1938 qualitativer Unterschied zw. Wissenschaft und Alltag (Leben) Der qualitative Unterschied zwischen Wissenschaft und Alltag (Leben) besteht vielmehr in den  Erkenntnishaltungen Erkentnisstilen selbst jeweils zugeordneteten "organisatorischen settings" (Involviertheit vs. Distanz, Handlungsdruck vs. Freisetzung vom Handlungsdruck etc.) --> Ausweis des reflexionssteuernden Paradigmas
• Evaluation als Kunst oder Wissenschaft? Beides, in unterschiedlicher Mischung   "Ich denke, Wissenschaft könnte man die Kenntnis des Allgemeinen nennen, das abgezogene Wissen; Kunst dagegen wäre Wissenschaft, zur Tat verwendet." (Goethe, Wilhelm Meister, aus Makariens Archiv)
• Nutzenprofile von Evaluationen   Konzeptioneller Nutzen Instrumenteller Nutzen Aufklärung Rechtfertigungsnutzen Prozessnutzen  
• summatives Design rücklickend eher standardisiert Distanz zum Untersuchungsfeld
• formatives Design im Prozess flexible Anpassung Einbindung der Beteiligten
• Instrumenteller Nutzen EntscheidungsträgerInnen verändern das Evaluationsobjekt aufgrund der Ergebnisse
• Konzeptioneller Nutzen Die Evaluationsergebnisse helfen den AuftraggeberInnen, das Evaluationsobjekt in einer anderen Weise zu betrachten.
• Aufklärung Evaluationen erweitern das Wissen zu einem Feld. Die Ergebnisse sind auch für nicht direkt beteiligte Personen relevant.
• Prozessnutzen Durch das Engagement der Beteiligten im Evaluationsprozess kommt es zu Lernprozessen auf individueller und kollektiver Ebene; ein Denken in den KAtegorien der Evaluation wird gefördert.
• Rechtferigungsnutzen Bestätigung von Überzeugungen der AuftraggeberInnen, Legitimierung von Entscheidungen.
• Definition Evaluation "Die systematische Untersuchung der Verwendbarkeit oder Güte eines Gegenstandes. (...) Zu den Evalutationsgegenständen, die von den Standards abgedeckt werden, gehören Programme, Projekte und MAterialien aus dem Bereich Erziehung sowie Aus- und Weiterbildung.  Eine Meta-Evalutaion ist die Evaluation einer Evaluation. (Sanders, 1999)
• Definition Programm Kontinuierliche pädagogische Tätigkeit über einen längeren Zeitraum zB.: Master Programm WiPäd
• Definition Projekt (pädagogisch) pädagogische Tätigkeit, die eng auf einen Zeitraum begrenz ist, z.B. dreitägiger Workshop für Führungskräfte, ... Manchmal: Projekte können sich dauerhaft etablieren und hierüber zu einem Programm werden.
• Standards zur Entscheidung über die Durchführung einer Evaluation N1: Ermittlung der Beteiligten & Betroffenen, Interessen und Bedürfnisse abklären D2: Gibt es politische Interessen, die zu berücksichtigen sind? G1: Wie erlangen Sie genaue Kenntnis über das Tutorium? G2: Kontextanalyse: Wie erheben Sie den Kontext des Evaluationsgegenstands?
• Einige Standards zur Definition des Evaluationsproblems N1: Ermittlung der Beteiligten & Betroffenen, Interessen und Bedürfnisse abklären K1: Evaluationen sollen den Teilnehmenden an den Programmen, der Gemeinschaft und der Gesellschaft dienen. G1: genaue Beschreibung des Programms G3: Beschreiben Sie die Ziele und Vorgehensweise genau.
• Einige Standards zur Planung der Evaluation N3: Umfang und Auswahl von Informationen N4: Feststellung von Werten D1: Praktische Verfahren
• Einige Standards der Informationsgewinnung- und auswertung N2: Glaubwürdigkeit der EvaluatorInnen N3: Umfang und Auswahl der Informationen N4: Feststellung von Werten G1: Programmdokumentation K5: Vollständige und faire Einschätzung G8/G9: Analyse der Informationen G10: Begründete Schlussfolgerung
• Einige standards zur Berichterstattung N5: Klarheit des Berichts N6: Rechtzeitigkeit und Verbreitung des Berichts N7: Wirkung der Evaluation K6: Offenlegung der Ergebnisse G10: Begründete Schlussfolgerungen G11: Unparteiische Berichterstattung
• Vier Generationen von Evaluationen nach Guba & Lincoln (1990) I. Measurement II. Description III. Judgement IV. Responsive constructivist evaluation
• Advertisement
• I. Measurement Individuumsbezogene Tests und Kompetenzmessung z.B. bei Schülern
• II. Description (Guba & Lincoln) Stärken- und Schwächenprofile bezüglich bestimmter Ziele werden beschrieben (Programmevaluation)  
• III. Judgement Beurteilung steht im Vordergrund; Standards werden überprüft; Evaluatoren als Beurteiler; entscheidungsorientierter Fokus.  
• IV. responsive constructivist evaluation Zwei Merkmale a) Fragestellung und Evaluationszielen werden nicht von außen gesetzt, sondern emergieren im Prozess, in den die Stakeholder eingebunden sind. b) Einbettung in eine konstruktivistische, interpretative methodologische Perspektive und Konstruktionen über bestimmte Evaluationsgegenstände
• Unterscheidung zu Aktionsforschung (action research) in Zielsetzung und Form (Prozess) Cousins, J.B. &Earl, L.M. Ziel: Action Research: Verbesserung einer Praxis und gleichzeitig Theoriebildung, ggf. starker normativer Hintergrund (emanzipatorisch) Partizipative Evaluation: Problemlösung innerhalb eines spezifischen Kontextes, nicht-ideologisch Form: Action Research: Kontrolle nur durch Forscher oder nur durch Praktikanten. Partizipative Evaluation: Forscher als Koondinator und "facilitator", gemeinsame Kontrolle des Prozesses Ähnlichkeiten zum Stakeholder-basierten Ansatz, aber auch Unterschiede.
• Partizipative Evaluation Angewandte sozialwissenschalftliche Forschung Zusammenarbeit von Evaluator und Entscheidungsträger in der Praxis Gemeinsamer Lernprozess, Prakter als Forschende Rolle der Evaluatioen: Begleitung, Subervision   Evaluation, zu der Stakeholder des zu evaluierenden Programms eingeladen sind, Einfluss zu nehmen auf die Ausgestaltung des Evaluationsplans und dessen Umsetzung. Dies betrifft insbesondere deren Anliegen in Bezug auf Evaluationszwecke und Evaluationsfragestellungen. 
• Responsive Evaluation Informationsbedürfnisse der Akteure im Vordergrund (z.B. Feedback-Schleifen) Flexibles, offenes Design  
• Mögliche Störquellen bei Projekten Änderungen in der Zielsetzung des Projekts, Zielüberlagerungen Unerwartete Nebeneffekte Unerwartete Reaktanz bei Befragten, innerhalb des Projektteams... bis hin zur Sabotage Unerwartete Probleme der Projektdurchführung (z.B. Verlust von Daten)
• Designbezogene Herausforderungen Quantitatives Design / Qualitatives Design Quantitatives Design Qualitatives Design Unsicherheit über Ausfüllende und deren Motivation sampling Rücklaufquote, Nachfasse Problem der Anonymität Störungen im Verlauf qualitativer Befragungen, Beobachtungen Unterschiedliche Codierer von Daten, Fehler bei der Dateneingabe Plausibilitätskontrollen Frage des Endes der Datensammlung Frage des Datenschutzes Fragen des Datenschutzes
• Was sind Daten? Transkribierter Text (z.B. aus Interviews); Dokumente Memos, web pages, E-Mails Audios Photos, Filme, Zeichnungen ...
• Prozesse des Datenmanagements (Organising)   Familarisation Initial thematic framework Index and Sorting Reviewing data extracts Data summary and display  
• Familarisation Eintauchen in das Datenmaterial, Vertrautwerden, Überblick schaffen
• Initial thematic framework unter welchen Überschriften können die Sichtweisen, Erfahrungen, Verhalten, die untersucht wurden, zugeordnet werden?
• Index and Sorting Welche Themen gehören zusammen? (topic coding) Bei semistrukturierten Interviews ist der Leitfaden hier relevant. (möglicherweise entfällt dieser Schritt)
• Reviewing data extracts Welche alternativen Zuordnungsmöglichkeiten der Daten gibt es noch?
• Data summary and display nochmalige Zuordnung nach Personen und Subthemen. Matrix erstellen.
• Prozesse der Abstraktion und Interpretation   Description Explanation  
• Description (Analyseprozess) Wie kann das Phänomen beschrieben werden? (Formen, Arten, typen sozialer Phänomene werden herausgearbeitet)   Kategorienbildung, Typologisierung, Strukturen, Schlüsselkonzepte identifizieren, Vergleiche ziehen, evtl. stärker abstrahieren, Klassifikationen Mapping linkage: Welche Verbindungen gibt es? Komplexere Typenbildung, Clustern  
• Explanation Warum-Fragen.  Erklärungen werden entwickelt. Es geht aber nicht um Hypothesentestung! Unterschiedliche Erklärungsansätze werden gegenübergestellt, diskutiert.  Ggf. Aufdeckung einer verborgenen Logik.  Vergleich mit bestehendem Wissen.
• Führende Auswertungssoftware Atlas.ti MAXQDA Nvivo qcamap (qualt. Inhaltsanalyse nach Mayring, induktive und deduktive Vorgehensweise möglich)

back  |  next 1 / 3