Suchergebnisse

"Die wissenschaftliche Evaluationsforschung gehört als Teilgebiet sozialwissenschaftlicher Forschungen weltweit seit vielen Jahren zu den am stärksten expandierenden Tätigkeitsfeldern von Akademikern. Immer mehr staatliche Institutionen in einer ebenfalls ständig wachsenden Zahl von Ländern greifen zur Vorbereitung, Durchführung und Aufbereitung der Ergebnisse ihrer politischen Programme auf die Unterstützung externer Experten - Evaluatoren - zurück. In einigen Anwendungsbereichen konnten sich Evaluationsroutinen herausbilden, und in manchen Ländern ist teilweise die Durchführung von Wirkungskontrollen sogar gesetzlich vorgeschrieben. Über den gegenwärtigen Stand der Institutionalisierung von Evaluationen sowie den historischen Verlauf dieser Wissenschaftssparte in den westlichen Demokratien möchte dieser Beitrag informieren. Eine kurze Begriffsklärung ist diesen Ausführungen vorangestellt; die schließlich auch eine Beschreibung internationaler Standards und methodische Hinweise zur Durchführung von Evaluationen enthalten. Ziel dieses Beitrags ist es, eine kurze Übersicht über den Stand der internationalen Evaluationsforschung und -praxis zu liefern und gleichzeitig das neue Centrum für Evaluation (CEval) der Universität des Saarlandes und seine Forschungsarbeiten vorzustellen." (Autorenreferat)

Der Verfasser setzt sich mit der Entwicklung deutschsprachiger Standards für Evaluationen auseinander. Er knüpft dabei an die 1981 veröffentlichten Standards des Joint Committee on Standards for Educational Evaluation sowie die Standards der Schweizerischen Evaluationsgesellschaft (SEVAL) an. Vier Gruppen von Einzelstandards werden unterschieden: Nützlichkeit, Durchführbarkeit, Korrektheit, Genauigkeit. Konflikte, so das Fazit des Verfassers, sind zwar der Regelfall der Evaluationspraxis, sie sind jedoch nicht nur Störgrößen, sondern können auch organisatorische Entwicklungs- und Lernprozesse befördern. (ICE)

AbstractThe author develops the basic idea of evaluation policy, describes a practical model for development and revision of evaluation policies (including a taxonomy, structure, and set of principles), and suggests critical challenges and opportunities for the future of evaluation policy. An evaluation policy is any rule or principle that a group or organization uses to guide its decisions and actions when doing evaluation. Every entity that engages in evaluation, including government agencies, private businesses, and nonprofit organizations, has evaluation policies. Sometimes they are explicit and written; more often they are implicit and ad hoc principles or norms that have simply evolved over time. Evaluation policies profoundly affect the day‐to‐day work of all evaluators and ultimately the quality of the programs they evaluate. Many recent and current controversies or conflicts in the field of evaluation can be viewed, at least in part, as a struggle around evaluation policy. Because evaluation policies typically apply across multiple evaluations, influencing policies directly may have systemic and far‐reaching effects for practice. Evaluation practice must play a critical role in informing and shaping the development of evaluation policies. © Wiley Periodicals, Inc.

The use of evaluation results is at the core of evaluation theory and practice. Major debates in the field have emphasized the importance of both the evaluator's role and the evaluation process itself in fostering evaluation use. A recent systematic review of interventions aimed at influencing policy-making or organizational behavior through knowledge exchange offers a new perspective on evaluation use. We propose here a framework for better understanding the embedded relations between evaluation context, choice of an evaluation model and use of results. The article argues that the evaluation context presents conditions that affect both the appropriateness of the evaluation model implemented and the use of results.

Ein erweitertes Konzept zur Evaluation von Gesundheitsförderungsprogrammen wird vorgestellt, das sich nicht nur auf ein quantitatives Vorgehen beschränkt und das ein Plädoyer für die Einbeziehung qualitativer und kulturhistorischer Analysen darstellen soll. An einem konkreten Beispiel werden die Probleme rein quantitativer Evaluationsansätze umrissen. Auf die Geschichte des Forschungszweigs Evaluation wird ebenfalls kursorisch eingegangen.

AbstractResearch was and is central to the colonization and contemporary political realities of Indigenous communities. Because evaluation is a form of research and evaluation researchers are not immune to these oppressive practices, it is essential that evaluators acknowledge and engage with this history. One way to do this is through the use of advisory groups in evaluation research. This chapter will explicate how evaluation advisory groups can help evaluation practi‐tioners decolonize their practice. Decolonized evaluation is centered in Indigenous values and goals. It ensures that evaluation processes and outcomes are appropriate to native communities by centering Indigenous worldviews, actively including Indigenous participation, and focusing on relevance as defined by Indigenous communities. ©Wiley Periodicals, Inc., and the American Evaluation Association.

Evaluation unterstützt nicht einfach nur den Glauben an den Fortschritt, dann wäre sie nur ein technokratisches Instrument, sondern stellt den Fortschritt selbst gleichzeitig in Frage, indem sie auch die Nebenfolgen in den Blick nimmt. Dies bedeutet allerdings, dass sich Evaluation nicht auf simple Soll-Ist-Vergleiche reduzieren lassen darf, bei denen die gewünschten Ziele mit den realisierten Zuständen verglichen werden, sondern dass Evaluation die nicht-intendierten Folgen ins Zentrum ihrer Betrachtungen stellt. Aus diesen Überlegungen wird hier die Schlussfolgerung gezogen und erörtert, dass Evaluation in unserer Gesellschaft noch nie so notwendig war, wie heute. So vertritt der Autor im ersten Schritt die Auffassung, dass Evaluation keinesfalls nur einem Zweck dient, sondern einer Vielfalt von Zielstellungen, die hier unter den drei Aspekten (1) demokratische Aufklärung, (2) Legitimitätsbeschaffung für Politik und (3) Steuerung von Politik (über Programme, Projekte und Maßnahmen) subsummiert werden. Damit Evaluation als Aufklärungs-, Legitimitäts- und Steuerungsinstrument seine Funktionen entfalten kann, sind Evaluationskapazitäten in verschiedenen Bereichen notwendig: (1) Um seiner aufklärerischen Aufgabe gerecht zu werden, müssen Evaluationskapazitäten in der Gesellschaft aufgebaut werden, die möglichst unabhängig von Auftraggebern und Mittel verwaltenden Stellen agieren können. Evaluationskapazitäten sind auch auf der Ebene der politischen Steuerung notwendig, um die Umsetzung der eigenen Strategien und Politiken zu überprüfen und evaluativ zu begleiten. Dabei können Evaluationen sowohl (2) der Steigerung der politischen Legitimität dienen, als auch (3) der Verbesserung des Steuerungspotenzials, um die eigene Arbeit effizienter und effektiver zu gestalten. Dies ist nicht nur eine Herausforderung für den staatlichen Sektor sondern auch für den Nonprofit-Bereich insgesamt. (ICG2)

Auch die Erziehungswissenschaft ist gegenwärtig mit wissenschaftspolitischen Erwartungen an Wettbewerb, Qualitätssicherung und Evaluation konfrontiert. Der Beitrag analysiert Forschungsleistungen der Erziehungswissenschaft und nutzt dazu Daten des vom Centrum für Hochschulentwicklung (CHE) durchgeführten und in der Zeitschrift STERN veröffentlichten fachspezifischen Hochschulrankings. Er befasst sich zunächst knapp mit der Kritik an diesen Hochschulrankings und reanalysiert dann die Daten im Blick auf Publikationen, Projektfinanzierung und Drittmitteleinwerbungen, auch im Vergleich zu anderen Disziplinen. Die Befunde zeigen eine relativ hohe Inklusionsbereitschaft unterschiedlicher Wissensformen, die nicht nur die evaluative, sondern auch die fachlich spezifische Definition und Bewertung von 'Qualität' erziehungswissenschaftlicher Forschung erschwert. Der Beitrag plädiert für eine aktive und konstruktive Beteiligung der Erziehungswissenschaft an der Weiterentwicklung standardisierter, wissenschaftlich begründeter und zugleich auch wissenschaftspolitisch anschlussfähiger Indikatoren.

Politicians are calling for evaluations that measure the effects of development cooperation. However, good development cooperation focuses on long-term processes that cannot be measured in terms of cause and effect. Alternative approaches to evaluation are needed. The evidence-oriented approach is the most dominant in development cooperation evaluation, but it is not necessarily the most illuminating. The realistic approach, meanwhile, is mainly applied in the fields of justice, health and social services in European countries. According to some theorists, however, a shift is occurring away from evidence-oriented to realistic and complexity evaluation. The importance of the social and political contexts in which a policy is employed is increasingly recognized.

Aus der Einleitung: Diese Studie befasst sich mit der Praxis einer angewandten sozialwissenschaftlichen Forschungsrichtung: der Evaluationsforschung. Der Schwerpunkt der Arbeit liegt in den Fragen, wie sich die Qualität von Evaluationen bewerten läßt und welche Folgerungen sich aus einer empirischen Bewertung ziehen lassen.

Der Vortrag gibt einen Überblick zum Stand der Institutionalisierung der Evaluationsforschung im Rahmen der Umweltpolitik und begründet die Notwendigkeit für weitere Maßnahmen zur Unterstützung dieser Institutionalisierung. ; This paper presents a short overview on institutionalisation of evaluation research within environmental policy in Germany and Austria. Some arguments for further developing this institutionalisation process are discussed.

"Im Prozess der Evaluation beobachtet und analysiert die EvaluatorIn ein Setting, das sich bereits in dem Moment verändert hat, in dem die Evaluation beginnt. Die ForscherIn ist eine zusätzliche AkteurIn, die sich ein Bild von der Situation, dem Projekt, der Arbeitsprozesse macht, aber zugleich durch ihre Arbeit Veränderungen in Gang setzt: Allein durch die Tatsache, dass eine Evaluation stattfindet, hat sich das Setting bereits verändert. Besonders deutlich wird dies am Beispiel der Evaluation eines Netzwerkes, das durch die EvaluatorInnen um einen 'Knoten' erweitert wird. Die Interaktionen zwischen den Beteiligten verändern sich quantitativ und qualitativ. Aber auch die EvaluatorIn, das Evaluationskonzept werden durch den Prozess, den Verlauf der Evaluation verändert. Solange sich die Veränderungsprozesse 'blind' abspielen, ist die Evaluation eine Mogelpackung. Das bedeutet, die Rolle der EvaluatorIn, muss vor Beginn der Evaluation mit den handelnden Personen, den zu Evaluierenden, abgesprochen werden. Dazu gehören auch die Befugnisse, die der EvaluatorIn zugesprochen werden. Der Umgang mit der Veränderung ist dadurch offener, aber dennoch kann ein Ungleichgewicht der Rollen nicht ausgeschlossen werden: Die EvaluatorIn tritt als die Person auf, die aufgrund ihrer externen Position die Schwachstellen sieht und Lösungen für Verbesserungen anbietet. Partizipative Evaluation bedeutet auch, dass die Bewertung des Prozesses nicht Herrschaftswissen wird in dem Sinne, dass der Auftraggeber anhand der Evaluationsergebnisse über das Fortbestehen eines Projektes entscheidet. Partizipative Evaluation bedeutet, die Erkenntnisse wieder in den Prozess einzuspeisen und so eine Verbesserung der Qualität zu erreichen. Der Vortrag wird die Thesen zur verändernden Wirkung von Evaluationsprozessen anhand von Beispielen aus der Evaluationspraxis diskutieren." (Autorenreferat)