De ex post beleidsevaluatie is per definitie verkeerd

oktober 15, 2014 by  
Filed under artikel

In de jaren 80 kreeg ik met anderen de opdracht voor een omvangrijke beleidsevaluatie. Onderwerp: de bescherming van stads- en dorpsgezichten. Twee departementen en vier directoraten-generaal waren bij het onderzoek betrokken. Er was onvrede over het beleid. Het ging allemaal te langzaam en het was onduidelijk of het centrale beleid wel door gemeenten netjes werd uitgevoerd. Quod non. De vier opdrachtgevers waren vanaf het begin bezig om de vraagstelling zo te richten dat niet zij, maar anderen de schuld zouden krijgen van het weinig geslaagde beleid. Toen uiteindelijk bleek dat de cultuurhistorische ontwikkeling van stads- en dorpsgezichten weinig relatie vertoonde met alle beleidsinspanningen, richtte de onvrede zich op de onderzoekers. Het onderzoek verdween in een diepe la. Naar mijn indruk is weinig van deze evaluatie geleerd.

Maar dat lag niet alleen aan de opdrachtgever, maar minstens zo veel aan de onderzoekers. Het was de tijd waarin je ongestraft heel veel geld kon putten uit de ‘derde geldstroom’: opdrachtonderzoek. Het betreffende onderzoek had een budget van 615.000 gulden. Ik herinner me dat we daarvoor één inleidend gesprek voerden en een offerte indienden van enkele pagina’s. Na zes maanden moest het vooronderzoek zijn afgerond. Alleen was nooit afgesproken wat er moest gebeuren als de opdrachtgever na zes maanden ontevreden zou zijn. De verplichting voor 615.000 gulden was ongeclausuleerd. Ik zag opdrachtonderzoek dan ook als een prachtig alternatief voor NWO, dat ook toen al veel vergde van je uithoudingsvermogen en van je kopieerapparaat.

Dat mijn belangen geheel anders waren dan die van de opdrachtgever bleek toen we een paper over het onderzoek indienden op een wetenschappelijk congres. Het paper ging over wat we tegenwoordig multi-level-governance zouden noemen. Het was wetenschappelijk aan de maat en werd later gepubliceerd in een deftig boek. De opdrachtgever was not amused. Er ontstond veel gedoe. Ik bleek vooral geïnteresseerd in mijn wetenschappelijke carrière en de opdrachtgevers bleken vooral geïnteresseerd in het doorschuiven van de schuld voor het overheidsfalen naar de ander. Achteraf gezien kwam het de opdrachtgevers eigenlijk wel goed uit dat ik blijkbaar mijn eigen agenda had. Het bood een fantastisch alibi om bij het einde van het project, het onderzoek meteen verder te negeren.

Het is een extreem voorbeeld. Overigens niet zo extreem voor die tijd. En helaas is niet alles beter op dit moment. Vanuit de gedachte van een lerende organisatie kunnen bij (ex post) beleidsevaluaties drie dingen fout gaan:

  • We kijken terug en niet vooruit. Bij de bescherming van stads- en dorpsgezichten hadden we nog het geluk dat het om beleid ging dat nog in ontwikkeling was en tussentijds kon worden bijgesteld. Te vaak is het bij beleidsevaluaties vooral terugkijken en is het te weinig gericht op wat we in de toekomst beter zouden kunnen doen. Door de vraag te stellen ‘wat moeten we in de toekomst anders doen?’ voorkom je het zoeken naar ‘schuldigen’. Bovendien voorkom je daarmee dat de beleidsmakers in hun reactie niet verder komen dan: ‘we doen het al allemaal anders’. Hetgeen vaak niet het geval is. En dat betekent weer dat er niet wordt geleerd. Conclusie: richt de evaluatie op de toekomst.
  • De evaluatie is een speeltje van de onderzoekers (om te publiceren) en geen tool van de beleidsmakers (om te leren). Ons onderzoek naar de bescherming van stads- en dorpsgezichten werd intensief begeleid door een viertal beleidsmakers, als een soort vooruitgeschoven posten van de begeleidingscommissie van het onderzoek. Met hen spraken we maandelijks de stand van zaken door. Als het departement iets heeft geleerd van het onderzoek, dan was het in die tussentijdse gesprekken op mijn kamer op de universiteit. En niet uit dat dikke eindrapport. Waarom bestaat de onderzoeksgroep niet voor de helft uit beleidsmakers? Het formele antwoord luidt: dan krijg je geen objectief onderzoek! Dan kunnen ze hun eigen fouten verdoezelen! Het laatste is misschien waar, objectief onderzoek bestaat niet. Maar daar gaat het toch ook niet om? Je wilt toch dat het departement leert van de evaluatie. En een departement leert daarvan het meeste als de betrokkenen hun eigen handelen en de effecten van eigen handelen onder eigen ogen zien. Conclusie: laat buitenstaanders én insiders samen de evaluatie doen.
  • Dat zou ook een derde fout voorkomen: de onderzoekers gebruiken een frame dat zich slecht verhoudt met de praktijk van de beleidswereld. Zo hanteerden wij het frame van de multi-level-governance. De Algemene Rekenkamer gebruikt heel vaak het frame van de beleidstheorie: het geheel van achterliggende assumpties van het beleid moet kloppen. Alleen al het feit dat ik dit als een ‘frame’ betitel, zal op de burelen van de Rekenkamer leiden tot het fronsen van wenkbrauwen. Daar is het idee dat beleid gebaseerd moet zijn op heldere doelen, heilig. En dat het beleid eigenlijk alleen maar succesvol kan zijn als de achterliggende assumpties evidence-based zijn. Volgens mij is dat een perspectief op beleid en niet het enig denkbare. Dat betekent niet dat je bij evaluatie alleen het perspectief van de beleidsmakers hoeft te volgen. Van andere perspectieven kan ook de beleidsmaker veel leren. De cruciale vraag is: bereik je hem met het frame dat je voor je beleidsevaluatie hebt gekozen? Conclusie: sluit in de evaluatie aan bij de belevingswereld van de beleidsmaker.

Deze drie conclusie leiden tot een generieke conclusie: beleidsevaluatie hoort een integraal onderdeel uit te maken van het werk. Ex post evaluatie is daarmee per definitie verkeerd. Leren doe je vaak door te proberen. Leren doe je vooral als je fouten mag maken. Hoe organiseer je een beleidsproces waarbij niet alleen het ontwerpen van beleid maar ook het leren voorop staat? Hoe zorg je ervoor dat je regelmatig het proces even stil zet om te reflecteren op wat je de laatste maanden hebt gedaan? Hoe zorg je ervoor dat beleidsmakers zelf na een project bedenken wat ze van dat project hebben geleerd?

Het doet me denken aan het geweldige systeem dat McKinsey wereldwijd bijhoudt. Daar is het streven dat uit elk project lessen worden getrokken. Bij elk project vraagt men zich achteraf af: wat hebben we uit dit project geleerd? Die kennis wordt opgeslagen op een zodanige manier dat iedereen daarvan profijt kan trekken. Ook iemand die op vrijdag wordt gevraagd om voor maandagmorgen een offerte in te dienen. Waarom doen ze dat op geen enkel departement? Omdat ze geen geld hoeven te verdienen? Ze geven het wel uit.

Comments

2 Comments on "De ex post beleidsevaluatie is per definitie verkeerd"

  1. Hilde van Dijk on wo, 15th okt 2014 15:36 

    De kritiek op de Algemene Rekenkamer is obsoleet. Er is al een aantal jaren een duidelijke verschuiving zichtbaar van ex-post evaluaties waarbij op fouten wordt gewezen, het zogenaamde vinken, naar evaluaties op verschillende momenten in beleidsprocessen. Deze onderzoeken zijn gericht op het leren van beleidsmakers en bestuurders. En natuurlijk wordt er nog gewezen op evidente fouten. In dit proces van verandering is er natuurlijk debat over de positionering van de Rekenkamer. Tenslotte gaat het niet alleen om leren, maar ook nog steeds om de vraag over een effectieve besteding van publieke middelen.

  2. wimderksen on do, 16th okt 2014 08:08 

    Ik weet dat de Rekenkamer nog steeds zoekt naar verbeteringen. Maar de Rekenkamer blijft een extern instituut met eigen verantwoordelijkheid voor onderzoek naar de effectieve besteding van publieke middelen. Dat betekent dat de Rekenkamer nooit een onderzoek zal doen werkelijk samen met beleidsmakers. En nadat ik vorig jaar nog eens een straf college heb gekregen bij de Rekenkamer over het belang van een kloppende beleidstheorie, ben ik ook bang dat de Rekenkamer bij leren eerder aan to teach denkt dan aan to learn. Voor mij gaat het bij leren om beleidsmakers die zich ontwikkelen en niet om externen die op ‘evidente fouten’ komen wijzen.

Tell us what you're thinking...
and oh, if you want a pic to show with your comment, go get a gravatar!