Gamechanger Evaluation: wie die AWO Digitalisierung greifbar macht

Lukas Kolig: Warum ist der AWO die Evaluation ihrer eigenen Arbeit eigentlich so wichtig? Vor allem im Rahmen des Projekts „DigiTeilhabe – Inklusives Engagement und digitale Nachbarschaft“? 

Matthias Schug: Die digitale Welt ist unglaublich dynamisch. Schauen wir beispielsweise mal zurück, was wir vor fünf Jahren gemacht haben mit unseren Smartphones. Da hat sich einfach wahnsinnig viel verändert. Hier braucht es ein Instrument, um zu schauen: „Wie erfolgreich sind wir mit dem, was wir tun und wo müssen wir eventuell Stellschrauben verändern? Wo klappen die Dinge, die wir tun, sehr gut?“.

Wir führen mit diesem Projekt ein Modellprojekt durch, das auf einen Zeitraum von fünf Jahren angelegt ist. Über diese fünf Jahre hinweg sind nicht alle Projektschritte bis zum Ende durchgeplant, sondern wir wollen uns die Möglichkeit lassen, auf gewisse Bedarfe der Zielgruppe und auf sich verändernde Rahmenbedingungen zu reagieren. Und genau da kommt zusätzlich noch das fortlaufende Monitoring, als wichtiger Bereich der Evaluation, hinzu.

LK: Was genau soll bei dem Projekt denn eigentlich evaluiert werden? 

MS: Das Projekt ist bis zum Jahr 2026 angesetzt. Wir befinden uns also noch im Entwicklungsprozess. Allerdings haben wir bereits Wirkmodelle für das Gesamtprojekt und die Teilprojekte der sechs Projektstandorte erarbeitet und sind auch dabei, für diese entsprechende Monitoring-Systeme aufzusetzen. Ich kann zumindest schon einmal sagen, was wir evaluieren werden: Das sind bei den Teilprojekten Maßnahmen, die Menschen in die digitale Welt hineinführen sollen.

Da sind viele offene Angebote dabei, wie zum Beispiel Sprechstunden, aber auch Qualifizierungsmaßnahmen wie Workshops, Vorträge oder Medienprojekte für Kinder und Jugendliche. Gerade die intensive gemeinsame Erarbeitung der Modelle hilft uns dabei, langfristige Ziele nicht aus den Augen zu verlieren und diese jetzt schon zu konkretisieren, um so ein Stück wegzukommen von der Orientierung.

• Die Arbeiterwohlfahrt (AWO) gehört zu den sechs Spitzenverbänden der Freien Wohlfahrtspflege in Deutschland, die es sich zum Ziel gemacht hat, die Gesellschaft bei der Bewältigung sozialer Herausforderungen zu unterstützen und so den demokratischen und sozialen Rechtsstaat zu verwirklichen. Mit dem von der Aktion Mensch geförderten Projekt „DigiTeilhabe – Inklusives Engagement und digitale Nachbarschaft“ widmet sich die AWO den Chancen und Herausforderungen von Engagement, Partizipation, Nachbarschaft und Inklusion im digitalen Zeitalter.

Johannes Grünecker: Also das war zwar nicht intendiert, aber ich glaube, was wir in die Evaluation mit aufnehmen können, ist schon mal die Erfahrungen der Standorte. Die Idee von der Evaluation und dem Monitoring, also die Erarbeitung der Wirkmodelle, hat sehr viele Informationen über den Kompetenzstand der Standorte hervorgebracht. Außerdem lässt sich gut beobachten, wie sich das auf die Denkweise der Mitarbeiter*innen und deren Arbeit auswirkt. Vor allem das sind spannende Erkenntnisse.

LK: Mit dem Modellprojekt möchte die AWO die digitale Teilhabe von Menschen mit Behinderung und Armutserfahrung stärken. Was war der Impuls hierfür? Was steckt hinter der Projektidee? 

MS: Digitale Teilhabe ist heutzutage längst eine Grundvoraussetzung für soziale Teilhabe geworden. Wenn Menschen heutzutage an sozialen Angeboten partizipieren wollen, funktioniert das in der Regel nicht mehr, ohne sich auch digital zu engagieren. Und auch gerade Kommunikation verändert sich ja. Also wo man früher die Oma angerufen hat, ist es heute die WhatsApp Nachricht. Da kommt heutzutage niemand mehr drum rum.

Gleichzeitig gibt es aber einen großen Anteil der Bevölkerung, die wir als „digital Abgehängte“ bezeichnen können, also circa ein Viertel der Bevölkerung. Menschen, die eben kaum oder ganz wenig Zugang zu digitalen Technologien und Medien haben und denen dadurch ganz viel Potential verloren geht. Und wir reden ja hier über vulnerable Zielgruppen und Menschen, denen man schon mit sehr wenig Aufwand ganz viel Gewinn für den eigenen Alltag bringen könnte.

„Digitalisierung bietet Chancen für Teilhabe. Aber sie bietet auch Risiken. Es gibt bestimmte Gesellschaftsgruppen, die können von dem einen weniger profitieren und sind von dem anderen stärker bedroht. Wir möchten helfen, da eine Balance herzustellen.“

JG: Um mal ein Beispiel einzubringen: In dem Projekt arbeiten wir mit Menschen mit psychischen Beeinträchtigungen. Da geht es viel um Alltags-Stabilisierung. Schon allein, wenn das Handy als Pillen-Wecker genutzt oder der Terminkalender intensiver gepflegt wird, um Termine nicht aus dem Auge zu verlieren, dann ist das für uns eine Selbstverständlichkeit.

Für Menschen mit einer solchen Beeinträchtigung ist das viel mehr. Denn es bedeutet, sich eben souveräner im Alltag zu bewegen und unabhängiger von Hilfesystem zu werden. Wenn wir auf die Einrichtungen gucken, sehen wir, dass gerade im Sozialwesen lange Zeit an digitalen Technologien gespart wurde.

LK: Neben der inhaltlichen Projektarbeit wird DigiTeilhabe über den gesamten Projektverlauf von Wider Sense bei der Wirkungsmessung begleitet. Warum hat sich die AWO entschieden, das Thema Wirkung zu einem so integralen Bestandteil des Projekts zu machen?   

MS: Wir sehen Wirkung als ein Thema, was im Projektwesen immer wichtiger wird. Wir sehen, dass geeignete Daten im gesamten Sozialwesen zum Teil vorhanden sind, aber dass die Möglichkeiten noch nicht ausgeschöpft werden, diese auch gewinnbringend zu nutzen. Auch da ist Evaluation eben ein wichtiger Teil, in dem wir uns weiterentwickeln wollen und werden. Wir sehen viele Möglichkeiten, an denen wir unsere Standorte voranbringen können. Und letztlich hängt vieles damit zusammen, wie wir diese Evaluation entwickeln.

JG: Eine intrinsische Motivation – because it makes sense! Es geht um die Zielgruppen und daran wollen wir uns orientieren. Und die Wirkungsorientierung setzt das in den Fokus. Aber auch die extrinsische Motivation war da. Die Aktion Mensch-Stiftung ist in diesem Bereich sehr engagiert und hat uns gewissermaßen ein wenig dazu gedrängelt. Und wir sind sehr glücklich darüber, dass sie das getan haben.

LK: Wirkung kann auf unterschiedliche Arten gemonitored und evaluiert werden. Welchen Ansatz verfolgen Sie zusammen mit Wider Sense und welche Arbeitsschritte werden gegangen? 

MS: Das ist einmal natürlich der Kompetenzaufbau. Wir möchten befähigt werden, Wirkungsmessungen durchzuführen, um Modelle und Monitoring-Systeme zu bauen und geeignete Messmethoden anzulegen. Wir möchten tiefer einsteigen in die Denkweise und diese Wirkmodelle für unterschiedliche Zielgruppe entwickeln. Unsere Fachkräfte kennen natürlich ihre „Pappenheimer“ ziemlich gut, aber es braucht externe Beratung für diesen Kompetenzaufbau auf verschiedenen Ebenen.

Wir müssen uns immer wieder von Neuem fragen: „Ist das, was wir da gerade tun, klug? Funktioniert das?“. In Wider Sense haben wir einen Sparringpartner bei der Projektentwicklung für genau diese Fragen und mehr. Zusätzlich unterstützt uns Wider Sense bei der konkreten Gestaltung des Modells und der Auswertung der Daten. Und da sind wir dankbar für den Erfahrungsaustausch.

LK: Wirkungsvolle Digitalisierung, Datenerhebung, Monitoring. Das alles sind Themen, die nicht nur Unternehmen, sondern auch vielen Organisationen aus verschiedenen Branchen noch große Probleme bereiten. Wie erleben Sie dieses Spannungsfeld?  

MS: Spannungsfeld ist ein gutes Stichwort. Wenn ich so mit meinen Fachkräften aus den Standorten im Austausch stehe über diese Frage, dann merke ich, dass es da schon große Unterschiede gibt. Dann gibt es Menschen, die vielleicht über fachliche Evaluationen schon tiefer in der Materie drin sind und andere, die aus der Praxis kommen, die mit dem Fokus auf den Menschen eben Angst haben, dass dadurch Menschen in Modelle und Bewertungsschemata gepresst werden.

„Wir verstehen und auch als eine Art Anwalt für unsere Zielgruppen. Denn beispielsweise Menschen mit Behinderung haben häufig nicht die Stimme in der Öffentlichkeit und Politik.“

Wir sehen auch ein Spannungsfeld an Erwartungen, die von außen kommen. Der Fördergeber möchte gewisse Daten und Zahlen sehen, aber gleichzeitig können wir den Fachkräften eben nicht zu viel Arbeit mit der Evaluation zumuten. Wir möchten ja, dass Sie Zeit für die Menschen haben. Das heißt, es müssen Wirkmodelle sein, die gut funktionieren, aber die trotzdem noch sehr einfach zu handhaben sind. Dinge so zu bauen, dass sie einfach sind, ist immer eine Riesenherausforderung.

LK: Der nachhaltige Umgang mit „Wirkung“ erfordert oft ein organisationsinternes Umdenken auf allen Ebenen – weg von Maßnahmen und hin zu Veränderung. Wie wollen Sie bei der AWO diesen Wandel gemeinsam mit Ihren Mitarbeiter*innen vorantreiben? 

MS: Ich merke, dass diese kooperative Entwicklung unheimlich wichtig ist. Wir können den Fachkräften nicht einfach irgendetwas hinstellen und sagen: „Hier ist euer Modell, ihr müsst jetzt den Fragebogen machen“. Wir müssen die Menschen in die Entwicklung miteinbeziehen, sowohl die Fachkräfte als auch die Zielgruppe! Ich glaube, um das auf den gesamten Verband zu übertragen, braucht es gute Beispiele, wie diese Modelle funktionieren und was sie bringen.

Es ist außerdem entscheidend, die Herangehensweise an diese Modelle nochmal ein Stück weit zu vereinfachen, passgenauer zu machen auf die Bedarfe, die Spitzenverbände in der Wohlfahrtspflege haben. Und da sind griffige Beispiele ein sehr hilfreiches Mittel.

JG: Das „Warum“ spielt eine riesige Rolle. Warum soll ich das überhaupt machen? Und eben genau das muss gut kommunizierbar sein, und zwar nicht auf einer abstrakten Ebene. Es braucht gute Anekdoten, greifbare Geschichten und Beispiele aus den eigenen Reihen. Die zeigen welche Begeisterung die Wirkung dieser Methoden bei den Menschen auslöst – das bringt die größte Motivation.

„Die Digitalisierung darf kein Selbstzweck sein, sondern sie muss dem Menschen etwas nutzen. Wenn es dem Menschen nichts nutzt, kann man auch gleich beim Analogen bleiben.“

MS: Hier muss ich einmal unseren Standort Dillingen erwähnen. Die Kolleg*innen dort haben ihr – wahnsinnig abstraktes – Wirkmodell mit ihrer Zielgruppe, Menschen mit einer psychischen Beeinträchtigung, durchgesprochen. Sie haben festgestellt: „Das sind diejenigen für die wir es machen und genau diese Personen nehmen wir auch in den Prozess mit rein“. Die Überraschung darüber, wie viel das gebracht hat, war riesig.

Denn die Menschen sind dadurch viel reflektierter an die Projektmaßnahmen herangegangen und haben auch die Scheu vor den Messinstrumenten verloren. Das war ein Wandel von „Da kommt irgendwer von außen auf uns zu mit einem Fragebogen“ zu „Wir wissen was da warum und wie passiert – und wir machen mit.“. Eine wahnsinnig irre Entwicklung.

LK: „Wirkung“ ist mittlerweile ein geflügeltes Wort – und doch noch nicht vollumfänglich in der zivilgesellschaftlichen Praxis angekommen. Was streben Sie bei der AWO für die Zukunft in Bezug auf Wirkungsmessung in Ihrer Organisation und Projekten an?  

MS: Das Interesse an Evaluation wächst gerade durch die Projekte, in denen es eben schon Erfolge gibt, wo man wichtige Erfahrungen gesammelt hat. Das wird in Zukunft als Referenz benutzt werden, da bin ich ganz sicher. Ich denke auch, dass wir im Verband ein wachsendes Interesse merken. Andere Projektmanager*innen haben einen Bedarf danach, an diesem Kompetenzaufbau und an den Erfahrungen teilzuhaben. Und da freuen wir uns eben, das alles weitergeben zu können.

JG: Ich glaube, es ist eine Chance, sich in einer immer komplexer werdenden Welt auf die Dinge zu konzentrieren, die wirklich wichtig sind. Die AWO hat ein ganz klares Gesellschaftsmodell und ein Grundsatzprogramm, aus dem sich eigentlich alles ableiten lässt. Das wird auch implizit sehr, sehr oft getan und eben nur nicht mit diesen Instrumenten der Wirkungsorientierung. Und das noch mal bewusster zu machen für den Gesamtverband ist eine ganz große Chance.