In: Peace and conflict: journal of peace psychology ; the journal of the Society for the Study of Peace, Conflict, and Violence, Peace Psychology Division of the American Psychological Association, Band 23, Heft 4, S. 383-391
AbstractOne aim of development volunteer services is to foster positive attitudes in participants toward those they encounter in their host countries. However, the psychological mechanisms underlying such attitude change remain underexplored. This is true despite intergroup contact theory proposing that contact between groups causes more positive intergroup attitudes through the mechanism of increased mutual knowledge, improved perspective‐taking, and higher levels of empathy. A theory‐based multi‐method evaluation of the German weltwärts development volunteer service included a quasi‐experimental component to address the question of whether and how development volunteering contributes to such attitude change. Part of this component was the specification of a multiple‐mediator model based on intergroup contact theory to investigate the mechanism that brings about attitude change at a critical juncture of the program theory. The evaluation observed a highly significant small‐to‐medium‐sized effect of development volunteering on intergroup attitudes (β = .19). The analysis revealed that this effect was fully mediated by changes in the mediational pathways of knowledge, perspective‐taking, and empathy. The mediation analysis thereby lent strong support to the validity of causal hypotheses derived from intergroup contact theory in the context of development volunteering. It also substantially increased the explanatory strength, utility, and policy relevance of the evaluation. Based on these evaluation findings, development volunteer services should be designed such that they allow for the identified mechanism to fully unfold in order to increase program effectiveness. The chapter ends with a discussion of limitations and future directions concerning the use of mediation analysis in program evaluation.
In: Voluntaris: Zeitschrift für Freiwilligendienste und zivilgesellschaftliches Engagement : journal of volunteer services and civic engagement, Band 6, Heft 2, S. 264-269
In einer gemeinsamen Studie des DEval und AidData wurde untersucht, wie einflussreich und nützlich Partnerländer die Unterstützungsleistung ihrer Geber allgemein und Deutschlands im Speziellen wahrnehmen. In diesem Policy Brief wurden die Ergebnisse der Studie zusammengefasst.
This policy brief summarises the results and recommendations of a joint study undertaken by DEval and the US research lab AidData, which investigated how influential and helpful partners perceive donors in general and Germany in particular to be. It also explored how donors can become more influential in setting the agenda as well as more helpful in implementing policy initiatives.
The development volunteer service "weltwärts" enables young adults to participate in a volunteer service in countries of the Global South. The weltwärts programme is implemented by over 150 civil society sending organisations and their partner organisations in the host countries. Since the programme was founded in 2007, more than 30,000 young adults have already taken part in weltwärts. Measured in terms of both the number of annual assignments and the volume of funding, weltwärts is the largest international youth volunteer service in Germany and one of the largest development volunteer services for young adults worldwide. The evaluation focuses its analysis on what volunteers learn, how they are changed by participating in weltwärts, and their civic engagement after they return to Germany. Another question pursued is whether diverse population groups take part in weltwärts and benefit from the programme's assumed positive effects. The evaluation follows a programme-theory-based approach and implements a mixed-methods design. The core of the methodology is a quasi-experimental design based on cross-sectional surveys of volunteers and of a representative demographic sample of the weltwärts target group. This procedure enables reliable capture of data on the volunteers' learning and the ways in which they are changed. Group discussions were also held in which volunteers' voices were heard. Furthermore, members of the volunteers' families and friends and representatives of the sending organisations were surveyed by means of online questionnaires. Finally, expert interviews and analyses of secondary data and documents were conducted.
Der entwicklungspolitische Freiwilligendienst weltwärts ermöglicht jungen Erwachsenen die Teilnahme an einem Freiwilligendienst in Ländern des Globalen Südens. Umgesetzt wird weltwärts von über 150 zivilgesellschaftlichen Entsendeorganisationen und ihren Partnerorganisationen in den Einsatzländern. Seit Gründung des Programms 2007 haben bereits mehr als 30.000 junge Erwachsene an weltwärts teilgenommen. Gemessen an der Zahl der jährlichen Entsendungen und am finanziellen Umfang ist weltwärts der größte internationale Jugendfreiwilligendienst in Deutschland und einer der größten entwicklungspolitischen Jugendfreiwilligendienste weltweit.
Die Evaluierung legt Untersuchungsschwerpunkte auf das Lernen und die Veränderungen von Freiwilligen durch die Teilnahme an weltwärts sowie auf ihr ehrenamtliches Engagement nach der Rückkehr. Zudem wird der Frage nachgegangen, ob unterschiedliche Bevölkerungsgruppen an weltwärts und an den angenommenen positiven Effekten des Programms teilnehmen.
Die Evaluierung folgt einem Programmtheorie-basierten Ansatz und implementiert ein Mixed-Methods-Design. Kern der Methodik bildet eine quasi-experimentelle Anordnung, die auf Querschnittsbefragungen von Freiwilligen und einer bevölkerungsrepräsentativen Stichprobe der weltwärts-Zielgruppe basiert. Dieses Vorgehen ermöglicht eine zuverlässige Erfassung des Lernens und der Veränderungen von Freiwilligen. Ergänzend kamen Freiwillige im Rahmen von Gruppendiskussionen zu Wort. Des Weiteren wurden Personen im privaten Umfeld von Freiwilligen sowie Vertreterinnen und Vertreter von Entsendeorganisationen mittels Onlinebefragungen befragt. Schließlich wurden Expertinnen- und Experteninterviews sowie Sekundärdaten- und Dokumentenanalysen durchgeführt.
In der organisationsübergreifenden Meta-Evaluierung werden in Deutschland (mit-)verantwortete und BMZ- (mit-)geförderte Projektevaluierungen von elf staatlichen und nichtstaatlichen Organisationen hinsichtlich ihres Qualitätsverständnisses in Evaluierungen und ihrer Anwendung von international geltenden Qualitätsstandards, insbesondere der OECD-DAC- und der DeGEval-Standards, untersucht. Weiterhin werden Faktoren analysiert, die mit der Anwendung der Qualitätsstandards zusammenhängen. Insgesamt zeigt sich, dass die Anwendung der untersuchten Qualitätsstandards bei den beteiligten Organisationen weitgehend in ihrer Evaluierungspraxis verankert ist. Darüber hinaus werden sie aber noch nicht durchgehend beziehungsweise systematisch in den Organisationsdokumenten und -prozessen sowie auf Ebene der einzelnen Evaluierung verschriftlicht oder nachvollziehbar dokumentiert. Faktoren, die die Anwendung mehrerer Qualitätsstandards bedingen, konnten nicht identifiziert werden. Neben den Empfehlungen an die beteiligten Organisationen, eine systematische Verankerung der Qualitätsstandards sicherzustellen und zukünftig gemeinsames Lernen über einen systematisierten Erfahrungsaustausch zu gewährleisten, wird dem BMZ empfohlen, auf Basis der in Kraft getretenen BMZ-Leitlinien Evaluierung ein Analyseraster für die Anwendung der Qualitätsstandards zu entwickeln und für die Organisationen bereitzustellen.
The cross-organisational meta-evaluation examines project evaluations of eleven governmental and non-governmental organisations in Germany that were (co-)funded by the German Federal Ministry for Economic Cooperation and Development (BMZ). This meta-evaluation analyses their understanding of quality in evaluations and their application of internationally recognised quality standards, especially the OECD-DAC and DeGEval standards. It also analyses factors linked to the application of the quality standards.
Die Anwendung von Qualitätsstandards ist von großer Bedeutung für Evaluierungen in der Entwicklungszusammenarbeit (EZ), damit sie ihren drei Funktionen gerecht werden können: praxisrelevante Erkenntnisse zu generieren, Lernen zu fördern und die Rechenschaftslegung zu stärken. Die Leitlinien des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) zu Evaluierungen betrachten dabei die Qualitätsstandards des Entwicklungsausschusses der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECDDAC) und der Gesellschaft für Evaluation (DeGEval) als wesentlich für die Güte von Evaluierungen in der deutschen Entwicklungszusammenarbeit (BMZ, 2021).
Partner perspectives are of particular relevance for Germany and the international donor community, because partner countries can increasingly select with whom they cooperate. Thus, favourable donor assessments by partners will become important for a donor to stay in the game and to be able to eventually contribute to the achievement of development outcomes in countries of the Global South. In addition, donors should have an interest in knowing how their support for internal policy processes in their partner countries is assessed by those countries' policymakers and practitioners, because these partner-country stakeholders can be expected to be among the best judges of the quality of the support provided. Even as partner countries play an increasingly important role in development cooperation over the last decade, research about partner assessments of donors remains rare. This study fills this research gap by asking how partner-country policymakers and practitioners assess Germany's and other donors' support and what donors can do to improve the quality of their support in the eyes of their partners. It builds on an earlier joint study by AidData and DEval that focused on analysing assessments of Germany's official development cooperation. This study is a collaboration and is based on AidData's 2017 Listening to Leaders Survey, involving nearly 2,400 partner-country policymakers and representatives of civil society and the private sector. We complement the survey with 136 qualitative interviews involving 193 partner-country policymakers and practitioners in four country case studies (Albania, Cambodia, Colombia, and Malawi). Based on a conceptual framework that draws on the policy cycle model, we analyse two measures of partner assessment: donors' perceived influence in agenda setting and perceived helpfulness in policy implementation. The aim of this study is to inform donors about how to improve their support for internal policy processes in the eyes of partners. Results show that action can be taken at three levels: partner-country selection and resource allocation (macro level), adherence to aid effectiveness principles (meso level), and donor–partner interactions (micro level).