10 Jahre DEval-Evaluierungen – ein Blick ins Portfolio

Abstract

Vor zehn Jahren betrat das DEval als neuer „Player“ das Feld der Evaluierung der deutschen Entwicklungszusammenarbeit. Eine 2015 veröffentlichte Ausgangserhebung zum Institut zeigte: Die Erwartungen waren hoch und vielfältig. In diesem Beitrag geben wir einen Einblick in die Evaluierungsarbeit des DEval seit seiner Gründung: Welche Arten von Evaluierungen und Studien führen wir am DEval durch? Mit welchen Gegenständen haben wir uns beschäftigt? In welchen Ländern war das Institut aktiv? Wie viele Publikationen, Veranstaltungsbeiträge und Beratungen durch das DEval gibt es?

Arten von Evaluierungen und Studien

Kernaufgabe des DEval ist es, die Aktivitäten der deutschen Entwicklungszusammenarbeit (EZ) zu analysieren und zu bewerten – unabhängig, praxisorientiert und auf der Grundlage wissenschaftlicher Erkenntnisse. Dafür führen wir am DEval Evaluierungen und Studien durch und fassen Erkenntnisse zu Themenschwerpunktberichten zusammen (siehe Abbildung 1). Studien haben dabei meist einen weniger konkreten Bezug zu spezifischen Maßnahmen, Instrumenten und Ansätzen der EZ als Evaluierungen und enthalten in vielen Fällen keine Empfehlungen an die handelnden Akteure.

Abbildung 1: Veröffentlichte Evaluierungen und Studien des DEval

Evaluierungsgegenstände und -designs

Welche Gegenstände haben wir in unseren Evaluierungen und Studien untersucht? Abbildung 2 bietet einen Überblick: Ein großer Teil der Evaluierungen des DEval sind thematisch, also Evaluierungen von bestimmten Themen der EZ, wie die Evaluierungen zu landwirtschaftlichen Wertschöpfungsketten oder zur Landnutzungsplanung auf den Philippinen. Ebenfalls häufig sind Instrumentenevaluierungen. Dazu gehören unter anderem die Evaluierungen über Entwicklungshelferinnen und Entwicklungshelfer, zu Dreieckskooperationen oder Strukturierten Fonds. Häufig evaluiert das DEval auch Strategien und Konzepte, wie die Evaluierungen des BMZ-Aktionsplans zur Inklusion von Menschen mit Behinderungen, der Förderung der Gleichberechtigung der Geschlechter in Post-Konflikt-Kontexten oder von Menschenrechten in der deutschen Entwicklungspolitik. Der Fokus auf Themen, Instrumente und Strategien beziehungsweise Konzepte bildet die strategische Ausrichtung des DEval ab und unterscheidet das Institut von anderen Akteuren der Evaluierung in der deutschen EZ, die häufig auf der Ebene von Projekten oder Programmen arbeiten.

Abbildung 2: Evaluierungsgegenstände und -designs

In unseren Evaluierungen und Studien kommen unterschiedliche Designs zur Anwendung (siehe Abbildung 2). Neben dem in einer Vielzahl an DEval-Evaluierungen durchgeführten Fallstudiendesign sind dabei Evaluierungssynthesen und Umfragestudien am häufigsten. Die hohe Zahl an Umfragestudien liegt insbesondere im Projekt DEval-Meinungsmonitor Entwicklungspolitik begründet, mit dem aktuelle Informationen zur Einstellung der Bevölkerung zur Entwicklungspolitik bereitgestellt werden. Evaluierungssynthesen, in denen Wissen aus bereits vorliegenden Evaluierungen zusammengebracht und daraus Erkenntnisse abgeleitet werden, führt das DEval entweder als Vorbereitung für Evaluierungen (zum Beispiel Evaluierungssynthese von Nachhaltigkeit in der deutschen Entwicklungszusammenarbeit) oder als eigenständige Projekte (zum Beispiel Evaluierungssynthese zur Zusammenarbeit mit der Privatwirtschaft) durch.

Evaluierungen auf Ebene von Partnerländern wurden bisher zu Irak und Afghanistan (sowie als eine der ersten DEval-Evaluierungen im Sektor Gesundheit auch zu Ruanda) realisiert. In diesem Bereich sieht der Peer-Review des Entwicklungsausschusses der OECD einen verstärkten Bedarf, weswegen Evaluierungen auf Ebene von Ländern in Zukunft einen größeren Anteil des DEval-Portfolios ausmachen sollen (siehe auch Institutsstrategie 2022 – 2026) und eine Pilotierung von Länderportfolioevaluierungen durchgeführt wird. Auch will das DEval darauf hinwirken, ressortübergreifende Evaluierungen und Studien weiter auszubauen, die bisher in drei Projekten zur Anwendung gekommen sind: der ressortübergreifenden Synthesestudie Der deutsche Beitrag zum Wald- und Klimaschutzprogramm REDD+ (abgeschlossen) sowie den Evaluierungen Ressortgemeinsame strategische Evaluierung des AA- und des BMZ-Engagements im Irak (abgeschlossen) und Ressortgemeinsame strategische Evaluierung des zivilen Engagements Deutschlands in Afghanistan (angelaufen).

In der Entwicklungszusammenarbeit gibt es unterschiedliche „Kanäle“, über die die Zusammenarbeit mit dem Partnerland laufen kann. Evaluierungen des DEval untersuchen bislang vor allem die bilaterale staatliche EZ. Dabei werden in gut der Hälfte der Projekte Technische und Finanzielle Zusammenarbeit gemeinsam untersucht. Rein auf Zivilgesellschaft oder Privatwirtschaft fokussierte Projekte bilden die Ausnahme. Da das Mandat des DEval sowohl die staatliche als auch die nichtstaatliche EZ umfasst, zeigt sich in dieser Analyse, dass eine stärkere Berücksichtigung nichtstaatlicher Kanäle im Portfolio des DEval ein weiterzuentwickelndes Handlungsfeld bleibt. In der Institutsstrategie 2022 – 2026 ist zudem vorgesehen, dass das DEval verstärkt joint evaluations durchführt, also gemeinsame Evaluierungen mit anderen Geber- oder Partnerländern, und sich vermehrt mit Evaluierungsgegenständen aus der multilateralen EZ beschäftigt, in Rahmen derer Geberländer Finanzmittel an internationale Institutionen geben, die dann ihrerseits in Partnerländern aktiv werden.

Inhaltlich orientiert sich die deutsche Entwicklungszusammenarbeit an den Zielen für nachhaltige Entwicklung (Sustainable Development Goals, SDGs) der Vereinten Nationen. Mit diesen 17 Zielen wird für alle Länder eine sozial, wirtschaftlich und ökologisch nachhaltige Entwicklung angestrebt. Der Blick in unser Portfolio zeigt, dass in den Projekten des DEval alle 17 Ziele angesprochen werden (siehe Abbildung 3). Dabei liegen Schwerpunkte auf den Zielen 17 Partnerschaften zur Erreichung der Ziele und 16 Frieden, Gerechtigkeit und starke Institutionen sowie 8 Menschenwürdige Arbeit und Wirtschaftswachstum, 12 Nachhaltige/r Konsum und Produktion sowie 15 Leben an Land.

Abbildung 3: SDGs in DEval-Evaluierungen

Output des DEval

Die Evaluierungen des DEval dauern durchschnittlich 26 Monate (Durchschnitt der zwischen 2019 und 2021 abgeschlossenen Evaluierungen) – mit abnehmendem Trend. Ab 2022 pilotieren wir kürzere Evaluierungen mit einer Laufzeit von 15 Monaten. Unsere Ergebnisse werden immer vollständig veröffentlicht: in Form von Evaluierungsberichten und Policy Briefs, aber auch als wissenschaftliche Fachartikel. Daneben präsentieren wir die Erkenntnisse in verschiedenen Veranstaltungsformaten und sie fließen in beratende Aktivitäten des DEval ein.

2021 hat das DEval mit zehn Berichten deutlich mehr publiziert als in den Vorjahren. Die Anzahl der Policy Briefs und Discussion Papers ist bisher nicht im gleichen Maße gestiegen; mit einer gewissen Verzögerung wird sie aber vermutlich ebenfalls zunehmen, weil in diesen Formaten Ergebnisse bereits veröffentlichter Berichte aufgegriffen werden. Die Menge externer Veröffentlichungen von DEval-Mitarbeitenden war 2021 gegenüber den Vorjahren rückläufig.

Abbildung 4: Veröffentlichungen des DEval

Die Veranstaltungen beziehungsweise Veranstaltungsbeiträge und Beratungsleistungen des DEval haben 2021 deutlich zugenommen, nachdem die Beiträge zu Veranstaltungen 2020 gegenüber den Vorjahren zurückgegangen waren, vermutlich bedingt durch die Absage von Veranstaltungen aufgrund der Covid-19-Pandemie (siehe Abbildung 5).

Abbildung 5: Beratungsleistungen und Veranstaltungen bzw. Veranstaltungsbeiträge des DEval

Untersuchte Länder

Für viele unserer Evaluierungen und Studien besuchen unsere Mitarbeitenden EZ-Vorhaben in den Partnerländern. Die Auswahl der untersuchten Vorhaben und Länder erfolgt für jede Evaluierung oder Studie auf Basis von wissenschaftlichen Kriterien. Abbildung 6 zeigt, in welchen Ländern das DEval bisher aktiv war.

Abbildung 6: DEval-Aktivitäten in Partnerländern der deutschen EZ

Betrachtet man die Abdeckung des BMZ-Portfolios aus einer geografischen Perspektive, so zeigt sich, dass das DEval in vielen Partnerländern der deutschen EZ schon aktiv war. Eine Ausnahme bilden einige afrikanische Partnerländer. Zudem ist die Kategorie großer Schwellenländer, mit denen die deutsche EZ im Rahmen von globalen Partnerschaften kooperiert, noch unterrepräsentiert (zum Beispiel China, Mexiko und Peru).

Fazit

Die Analyse des DEval-Portfolios spiegelt die Ausrichtung des Instituts auf unabhängige und wissenschaftsbasierte Evidenz zur Optimierung von Strategien, Instrumenten und Programmen der deutschen EZ wider. Im Abgleich mit sich neu entwickelnden Anforderungen soll das Portfolio in den nächsten Jahren insbesondere durch Evaluierungen auf Länderebene verstärkt werden. Bisher weniger analysierte Bereiche, wie die nichtstaatliche und die multilaterale EZ, sollen verstärkt in den Blick genommen und neben joint evaluations auch ressortübergreifende Evaluierungen ausgebaut werden. Zudem streben wir an, Lern- und Austauschformate mit unseren staatlichen und zivilgesellschaftlichen Stakeholdern sowie der Wissenschaft weiterzuentwickeln, ausgewählte Erkenntnisse in wissenschaftlichen Fachzeitschriften zu publizieren und – aufbauend auf den Erfahrungen aus der Covid-19-Pandemie – unsere Digitalisierung unter anderem in der Verbreitung unserer Evaluierungsergebnisse zu stärken.