KWINK groep: Drie spanningsvelden bij evaluaties uitgelicht
KWINK groep evalueerde de afgelopen 15 jaar ontzettend veel beleid, organisaties, wetten en programma’s. Hierbij komt KWINK groep vaak dezelfde spanningsvelden tegen. In dit artikel licht het adviesbureau drie van deze spanningsvelden uit. Op 9 maart verzorgt KWINK groep hierover ook een webinar.
Het eerste spanningsveld richt zich op de spanning tussen verantwoorden en leren. De tweede spanning gaat over meetbare cijfers en publieke waarden. Het derde en laatste spanningsveld gaat over de betrokkenheid van beleidsmedewerkers en de onafhankelijkheid van de evaluatie.
1. Verantwoorden of leren: Dubbele functie
Evaluaties hebben vaak een dubbele functie. Ten eerste is het doel vaak om de balans op te maken en te verantwoorden over vragen als: Is het beleid goed uitgevoerd? Zijn de doelen van de organisatie behaald? Ten tweede is leren ook bijna altijd een functie van het evaluatieonderzoek: de evaluatie is bruikbaar als deze lessen voor de toekomst oplevert. Daarbij staan vragen centraal als: Wat ging goed en fout? Wat kan er beter? Onze visie is dat juist de mogelijkheid tot leren evaluaties zo belangrijk maakt.
Deze dubbele functie in één evaluatie leidt tot spanningen. Want: gezamenlijk leren vergt een open houding van de betrokkenen. Zij moeten eerlijk (durven te) zijn over wat de afgelopen periode goed is gegaan, maar ook over wat minder goed ging en waar blinde vlekken zitten. Echter, de verantwoordingsfunctie van de evaluatie kan resulteren in het tot de orde roepen van de betrokkenen. Bijvoorbeeld door de Tweede Kamer of gemeenteraden die de evaluatie ontvangen.
Voor een optimaal leereffect dienen betrokkenen dus eerlijk te zijn over wat is misgegaan, maar dit maakt de betrokkenen tegelijkertijd kwetsbaar. We merken in onze evaluaties dan ook dat betrokkenen niet altijd het achterste van hun tong durven te laten zien of dat ze scherp bekijken welke formuleringen we precies kiezen in ons rapport.
De NSOB beschreef eerder ook de consequenties van de dubbele functie van evaluaties, namelijk de kans dat ‘betrokkenen hun strategieën afstemmen bij deelname aan beleidsevaluaties op een zo gunstig mogelijk verantwoordingsresultaat, en pas in tweede instantie op het bereiken van een maximaal leereffect’.
Verantwoorden of leren: Groeiende aandacht voor lerend evalueren
In de evaluaties die wij uitvoeren zien we dat de lerende functie van evalueren steeds meer aandacht krijgt. Eén van de manieren waarop wij leren centraal stellen in evaluaties is door de nadruk te leggen op reflexiviteit.
‘Reflexiviteit is de eigenschap die elk sociaal systeem heeft om zichzelf te veranderen door nieuwe strategiebepaling op grond van de kennis die het systeem zojuist ontvangen heeft’, aldus In ’t Veld. Om nieuwe strategieën te kunnen bepalen op basis van nieuw verkregen informatie, is het essentieel dat binnen een evaluatie sprake is van een ‘modus’ van gezamenlijk leren en creëren.
Ook zien we het belang van leren toenemen door een groeiende aandacht voor publieke waarden. Organisaties en beleid zijn steeds vaker expliciet gericht op het creëren van publieke waarde. Als wij vervolgens een evaluatie van zo’n organisatie of beleid uitvoeren is het passend om veel nadruk op leren te leggen. Want publieke waarden liggen niet vast: wensen en behoeften vanuit de maatschappij zijn diffuus en veranderlijk. Publieke waarden laten zich daarom niet makkelijk vangen in harde en afrekenbare cijfers, indicatoren en doelen.
Publieke waarden nastreven vergt daarom een voortdurend gesprek over waardenafwegingen. Onderdeel daarvan is het telkens bijstellen van deze afwegingen op basis van nieuwe inzichten en behoeften. Het Zijlstra Center van de Vrije Universiteit schrijft over evaluaties gericht op publieke waarde dan ook: ‘Het doel is niet om af te rekenen, maar om te leren door middel van het stellen van de juiste vragen: Wat werkt wel en wat niet, en waarom? Hoe pakken we dit aan? Hoe kunnen we bijsturen? Stellen we goede vragen?’.
2. Meetbare feiten en cijfers of publieke waarden: Harde feiten en cijfers of de publieke waarden
Overheden maken beleid om maatschappelijke doelstellingen na te streven. Ook publieke organisaties bestaan omdat ze een bijdrage leveren aan ‘de maatschappij’. Tegenwoordig wordt dan ook vaak gesproken over de publieke waarden waar beleid of een organisatie aan bijdraagt.
Publieke waarden zijn lastig te meten en misschien nog wel lastiger toe te rekenen aan specifiek beleid of aan één organisatie. Want hoe stel je vast of RVO inderdaad ‘ondernemende Nederlanders vooruit heeft geholpen op het gebied van duurzaamheid’? Of hoe bepaal je de precieze bijdrage van de Nederlandsche Bank aan ‘financiële stabiliteit en duurzame welvaart in Nederland’?
We zien dan ook dat vaak veel aandacht is voor dat wat meetbaar is. Het gaat dan bijvoorbeeld om het aantal activiteiten dat een publieke organisatie per tijdseenheid uitvoert, of de mate van efficiëntie van het uitvoeren van opdrachten.
In evaluaties dient vervolgens zowel aandacht te zijn voor de meetbare feiten en cijfers als voor de bijdrage aan de publieke waarden. Dit levert een spanningsveld op. Daar waar de meetbare feiten en cijfers makkelijk te vangen zijn in een evaluatie, is het vangen van de publieke waarden een stuk complexer.
Het risico bestaat dat de lastig te meten waarden, die even belangrijk zijn als de feiten en cijfers, onderbelicht blijven. Het is dan zoeken naar een manier om ervoor te zorgen dat het gesprek over de harde doelen en indicatoren het gesprek over de publieke waarden niet overstemt.
Meetbare feiten en cijfers of publieke waarden: Hitting the target, missing the point
Verschillende bestuurskundigen beargumenteren dat binnen een evaluatie zowel bij de evaluatoren als bij de opdrachtgevers een perverse prikkel bestaat om te focussen op de meetbare indicatoren in plaats van de (achterliggende) publieke waarden. Voortgang inzichtelijk maken op cijfermatige indicatoren is namelijk eenvoudiger en leidt tot helderdere antwoorden dan de voortgang op het nastreven van publieke waarden.
Wanneer een evaluatie enkel op feiten en cijfers focust, ontstaat daarbij een situatie waarbij bestuurders en ambtenaren verleid worden om voornamelijk de platte prestatie-indicatoren na te jagen waarop de evaluatie toetst. Een situatie kan dan ontstaan die te omschrijven is met: ‘Hitting the target, missing the point’. Wanneer beleid wel rechtmatig en doelmatig wordt uitgevoerd, maar dit niet resulteert in publieke waarden ligt al snel de uitspraak ‘het klopt wel, maar het deugt niet’ op de loer.
3. Rol van betrokkenen en de onafhankelijkheid van de evaluatie: Onafhankelijkheid van een evaluatie
Onze onafhankelijk als evaluator is een van de belangrijkste, zo niet dé belangrijkste pijler van ons werk. Onafhankelijkheid van de evaluator is de toegevoegde waarde ten opzichte van wat betrokkenen (zoals beleidsmedewerkers of medewerkers van de organisatie die we evalueren) zelf al zien en vinden.
Deze onafhankelijkheid houdt in dat we komen tot conclusies zonder dat we ons daarbij laten leiden door opdrachtgevers of stakeholders. Daarbij stellen wij ons onpartijdig op en hebben we van tevoren nooit een bepaalde uitkomst voor ogen: dat wat wij ophalen tijdens ons onderzoek bepaalt de uitkomst.
Tegelijkertijd kan dit streven naar onafhankelijkheid ook doorschieten: een situatie die zich laat omschrijven als ‘splendid isolation’. Dit is een situatie waarbij het evaluatieonderzoek is losgezongen van de praktijk van de beleidmakers en -uitvoerders. Hierbij bestaat het risico dat de evaluatie te weinig aandacht heeft voor neveneffecten en dat (te lang) wordt vastgehouden aan onhaalbaar beleid.
Het betrekken van beleidsmedewerkers en andere stakeholders komt daarbij het draagvlak van de evaluatie ten goede, en vergroot de kans dat dat de bevindingen en aanbevelingen leiden tot verandering. Het is namelijk van belang dat de geëvalueerden en andere betrokkenen zich kunnen herkennen in de uitgevoerde evaluatie en de aanbevelingen die daaruit voorkomen. Juist in het belang van gezamenlijk lessen leren bij een evaluatie (spanningsveld 1). Daarom is het noodzakelijk om stakeholders te betrekken bij de evaluatie.
Rol van betrokkenen en de onafhankelijkheid van de evaluatie: Betrokkenheid bij of beïnvloeding van een evaluatie?
Echter ligt in het betrekken van stakeholders ook beïnvloeding en een aantasting van de onafhankelijkheid op de loer. Een voorbeeld waarbij wij deze spanning tegenkomen is bij het herschrijven van stukken. Vaak leggen we onze (concept)rapporten voor aan de opdrachtgever en de organisatie die we evalueren.
Zij krijgen dan de kans om feitelijke onjuistheden eruit te halen en nuanceringen te plaatsen. Vaak krijgen we dan ook reacties op bijvoorbeeld de aanbevelingen die we doen: ‘als jullie het anders opschrijven kunnen we er meer mee’, of ‘met deze formulering kan dit veel kritiek opleveren’.
Soms komen we tegemoet aan dit soort reacties: hoe bruikbaarder het rapport, des te meer impact het kan genereren. We nemen echter nooit iets klakkeloos over. We blijven bij de bevindingen die uit het onderzoek naar voren kwamen.
Soms vinden we dat de reacties te ver gaan. Het gaat dan bijvoorbeeld over het schrappen van teksten of opmerkingen als ‘dit moet uit het rapport’. Uiteraard geven we dit terug aan de opdrachtgever en nemen we dit soort suggesties niet over. Deze manier van becommentariëren leidt tot het risico op verlies van onafhankelijkheid.
Daarnaast kan het herschrijven van een rapport totdat het aanvaardbaar is voor alle betrokkenen resulteren in dusdanige algemeenheden dat het onduidelijk is of de aangedragen oplossingen wel passen bij de geconstateerde problemen.
Webinar
De drie spanningsvelden in evaluaties komen aan bod tijdens een webinar op 9 maart, verzorgd door KWINK groep.
Volgens het adviesbureau loont het om oog te houden voor deze spanningen binnen evaluatieonderzoeken, en zal dit de kwaliteit van dit type onderzoek vergroten. “We gaan tijdens het webinar graag in gesprek met opdrachtgevers van evaluaties, organisaties die geëvalueerd zijn, andere evaluatoren en overige geïnteresseerden”, schrijft KWINK groep.
