We verbannen het #WODC naar een eiland

januari 24, 2019 by  
Filed under artikel

Het laatste rapport over de WODC-affaire is verschenen, de laatste keer dat ik er iets over schrijf. De affaire begon met een klokkenluidster, die (terecht) gehoor vond bij Nieuwsuur. De klacht luidde dat het WODC, het onderzoeksbureau van het ministerie van Justitie en Veiligheid, te sterk onder invloed stond van het eigen departement. De onafhankelijkheid van het onderzoek zou in het geding zijn. Een belangrijk verwijt. Als een departement zelf de conclusies van onderzoek schrijft, heb je er niks meer aan.

Commotie. Er komen maar liefst drie onderzoekscommissies, met drie rapporten. De eerste commissie zegt dat de melding van de klokkenluidster niet erg handig, oftewel onzorgvuldig, was afgehandeld. Exit de directeur van het WODC. De tweede commissie zegt dat de klacht van de klokkenluidster niettemin nogal overdreven was. Er was weinig aan de hand, zeg maar een storm in een glas water. De zaak lijkt afgedaan. Maar dan komt de derde commissie. Deze commissie zegt dat er bij het WODC “regelmatig” sprake is van ongewenste beïnvloeding door beleidsmedewerkers. Althans zo meldt de voorzitter van de commissie in de pers. Maar het onderzoek waarop hij zich baseert maakt op mij weinig indruk. Ik zal zeggen waarom.

Ten eerste beoordeelt de commissie het WODC met verkeerde maatstaven. De commissie maakt geen helder onderscheid tussen een onderzoeksbureau (van een departement) en een planbureau (van regering en parlement). En legt vervolgens het WODC (en het eigen departement) langs de meetlat van een planbureau. Zie bijvoorbeeld de enthousiaste verwijzing naar Max Weber die schrijft dat onderzoek naar ‘ongemakkelijke feiten’ altijd nodig is. Ik geef graag toe dat de positie van het WODC ook een beetje hybride is, maar het WODC is geen planbureau. Het WODC doet primair onderzoek voor het eigen departement en dan is het logisch dat het eigen departement de onderzoeksvragen stelt. Maar de commissie schrijft daarentegen: “Bewindslieden en beleidsambtenaren wanen zich opdrachtgever.” Ja, natuurlijk, dat zijn ze ook. 

Eigenlijk is het bijna komisch dat 65% van de (geënquêteerde) medewerkers van WODC geen invloed van het beleid heeft ondervonden bij de agendering van het eigen onderzoek. Zitten ze daar bij het WODC alleen maar eigen hobby’s te bevredigen? Hoe gevoelig zijn ze voor de kennisvragen van hun broodheren? De commissie daarentegen windt zich op over de 12% van de geënquêteerden die die beïnvloeding wel heeft ervaren. Dit soort onbevredigende conclusies hadden kunnen voorkomen als de commissie de relatie tussen WODC en departement eerst had geproblematiseerd en vervolgens helder had aangegeven wat wij én wat het department van het WODC mag verwachten. 

Ten tweede is de commissie erg meegegaan in het (al eerder door mij beschreven) frame van de ambtenaren als bedrieglijke paladijnen en de onderzoekers als onafhankelijke helden. In dit rapport konden alleen de ambtenaren iets fout doen. Maar onderzoekers zijn geen helden en moeten ook worden gecorrigeerd. Zo wordt slechts bij toeval geschreven over een onderzoek dat alle deadlines overschreed. Dat lijkt me een hele goede reden voor ingrijpen van een minister die om een onderzoek verlegen zit. En de beleidsmaker die bezwaar maakt tegen aanbevelingen van een onderzoeker wordt ‘ongewenste beïnvloeding’ verweten, terwijl de betreffende onderzoeker daar toch gewoon op de stoel van de beleidsmaker gaat zitten. En nooit wordt de mogelijkheid opengelaten dat concept-teksten slordig zouden kunnen zijn, onjuist zouden kunnen zijn gelet op de achterliggende analyse of zelfs politiek gekleurd. Overal worden tekstsuggesties van de ambtenaren in de begeleidingscommissie als ‘ongewenste beïnvloeding’ gezien. Laten we eerlijk zijn: onderzoekers zijn ook mensen die fouten maken en nog erger: die allerlei politieke opvattingen hebben (zeker als ze zo lang op zo’n instituut hebben gewerkt). 

Ten derde krijg ik (dan ook) het gevoel dat de auteurs van het rapport onvoldoende de ingewikkelde relatie tussen kennis en beleid hebben begrepen. De commissie schrijft dat bij dit soort onderzoek de balans tussen nabijheid en onafhankelijkheid per definitie spannend is. Ik neem aan dat de commissie de balans tussen relevantie en onafhankelijkheid bedoelt. Nabijheid kan de relevantie vergroten en afstand de onafhankelijkheid. Maar nergens wordt over relevantie gesproken. Is het wellicht een freudiaanse verspreking om alleen over (ongewenste) nabijheid en onafhankelijkheid te spreken?

De belastingbetaler heeft er niet alleen recht op dat onderzoekers van het WODC onafhankelijk hun onderzoeksconclusies kunnen trekken. Maar waarom zou het onjuist zijn als  beleidsmakers gedurende het onderzoek vragen om de probleemstelling aan te passen (zoals de commissie suggereert)? Ik weet heel goed dat ambtenaren dat soort vragen kunnen stellen als zichtbaar wordt dat de uitkomsten van het onderzoek heel vervelend kunnen worden voor hun minister. Maar het kan ook zijn dat de onderzoekers de aanvankelijke vraag verkeerd hebben geïnterpreteerd. Het kan ook zijn dat het beleid inmiddels is veranderd (kabinetsformatie!) waardoor de aanvankelijke vraag niet meer relevant is. Een andere vraag: wat is er op tegen om het publiceren van het onderzoeksrapport een maand uit te stellen, zodat het tegelijkertijd met een nieuwe nota de minister naar de Kamer kan worden gestuurd? Die minister heeft dat onderzoek toch gevraagd om die nota te kunnen schrijven? Nee, commissie, beleidsonderzoek heeft niet alleen te maken met onafhankelijkheid, maar evenzeer met relevantie.

Ten vierde: het onderzoek van de commissie is geen goed onderzoek. Ik vind het soms zelfs: knullig onderzoek. Er worden medewerkers van het WODC geïnterviewd en geënqueteerd, alsmede medewerkers van het departement en externe onderzoekers die via bemiddeling van het WODC onderzoek hebben gedaan voor het departement. Er worden vier, ja vier casus nader onderzocht van de 1600 onderzoeken die onderzocht hadden kunnen worden. En bovendien zijn het vier casus die uit de gesprekken naar voren kwamen. Een zeer minimale en zeer selecte steekproef, waaruit overigens ook nog geenszins schokkende resultaten naar voren komen. Bijvoorbeeld: de onderzoekers en de beleidsmakers waren het niet eens over de doeleinden van beleid die in het geding waren. Dat zijn onderzoekers en beleidsmakers nooit. En de beleidsmakers maakten zich boos over de genoemde deadlines die door de onderzoekers niet werden gehaald. 

Ten vijfde: vervelender is dat ik niet weet hoe de commissie tot haar conclusies komt. 3% van de onderzoekers en van de beleidsmedewerkers hebben meegemaakt dat teksten onder druk van het beleid zijn aangepast. In hun hele leven. En zonder dat we weten of dit, ook vanuit het onderzoek zelf gezien, onterecht was. 6 tot 12% van de medewerkers van het WODC klagen over de cultuur van de organisatie. Dat gaat om 3-5 personen van de 80, omdat de respons op de enquête maar matig was. Natuurlijk, er worden meer pogingen gedaan om het proces en de inhoud van het onderzoek te beïnvloeden. Maar de meeste pogingen verdwijnen netjes in de prullenbak. Als je met rijksambtenaren te maken hebt, moet je niet van suiker zijn. En je hebt onder rijksambtenaren nu eenmaal ook bange mensen. De wereld is niet ideaal en zeker niet in Den Haag. De cruciale vraag is: staat die 3% voor gebrekkig onderzoek, voor bange ambtenaren of voor “regelmatige ongewenste beïnvloeding” van het WODC door het ministerie? De commissie kiest voor het laatste. Het doet me denken aan de afdeling communicatie van een ministerie die met liefde bepaalde conclusies uit een onderzoek opblaast en uit hun context haalt. Maakt de commissie zich hier schuldig aan hetgeen ze zelf het departement verwijt?

Tot slot. De commissie stelt voor om het WODC te verhuizen naar een plek buiten het ministerie. De minister heeft meteen gehoor gegeven aan dit verzoek. Intussen stelt de commissie dat ze geen onderzoek heeft gedaan naar de deugdelijkheid van het onderzoek van het WODC. De commissie haalt zelfs de laatste visitatiecommissie aan die die deugdelijkheid nog nadrukkelijk heeft geprezen. De commissie heeft zich bovendien, zoals gezegd, geenszins bekommerd om de relevantie van het onderzoek van het WODC. Iedereen weet dat die relevantie met nabijheid is gediend. Waarom zou je dat WODC dan eigenlijk verhuizen naar een plek waar onderzoekers in stilte hun werk kunnen doen, niet meer gestoord door al die vragen van het departement? 

Over betrouwbare onderzoekers en slinkse ambtenaren

december 12, 2018 by  
Filed under artikel, Geen categorie

Column uitgesproken bij het afscheid van Frans Leeuw als directeur van het WODC, 12 december 2018

Nieuwsuur. Bas Haan. WODC. Een klokkenluidster. En drie onderzoeksrapporten. Het zij zo. Niet de casus is interessant, maar de vraag waarom hij interessant wordt gevonden. Daarvoor moet je het frame analyseren waarin het debat wordt gevoerd. Ik zeg er maar meteen bij: het dubieuze frame waarmee in het publieke debat naar die explosieve combi onderzoek en beleid wordt gekeken. 

Mag ik het frame proberen samen te vatten: (1) het beleid is gebaat bij onderzoek, (2) het beleid is nog meer gebaat bij onafhankelijk onderzoek, (3) ambtenaren doen er alles aan om goed onderzoek te demonteren om hun minister uit de wind te houden, (4) daarmee onthouden ze de samenleving goed beleid. Samengevat: we hebben hier te maken met  een ongelijke strijd tussen betrouwbare onderzoekers en slinkse ambtenaren, die vooral te koste gaat van de samenleving. 

Ik zei al: ik vind het een dubieus frame. En dat blijkt ook wel uit mijn verwoording. Waarom is het frame op minst onjuist? Laat ik proberen het te ontrafelen. En laat ik daarbij wat objectiever te werk gaan en me beperken tot twee premissen: (1) onderzoek is goed voor beleid en (2) met name onafhankelijk onderzoek is goed voor beleid.

Is het waar dat onderzoek goed is voor beleid? Hoe groot is het belang van onderzoek voor beleid? Natuurlijk: groot. Beleidsmakers die zich baseren op een ongefundeerd beeld van de samenleving zullen slechts bij toeval succes hebben. Met fact-free politics kom je uiteindelijk nergens. Maar met alleen onderzoek kom je ook nergens. Aan onderzoek heb je niet genoeg om een land te regeren. Ik ben geen voorstander van een technocratie. Democratisch bestuur vergt altijd een politieke afweging. Onderzoek bewijst namelijk nooit wat we moeten doen. Onderzoek levert feiten op en verbanden, maar daarmee is nog niet gezegd wat we met die nieuwe feiten en verbanden moeten doen. Politici en ambtenaren moeten dus niet op afstand worden gehouden, nee, we hebben hen nodig om de politieke afweging te maken of de nieuwe feiten ook een nieuw beleid rechtvaardigen. Alleen weten + willen geeft nieuw beleid. 

Het is dus een raar idee om de conclusies van het onderzoek voor zich zelf te laten spreken en ambtenaren op afstand te houden. Wie maakt dan de vertaling van onderzoek naar beleid? Of moet die vertaling impliciet (of zelfs expliciet) worden gemaakt door de onderzoekers? Sorry, maar dat vind ik een rare rolverdeling in een democratische rechtsstaat. 

Dat roept de vraag op: wanneer wordt een onderzoek optimaal benut? Als voor iedereen helder is dat onderzoek nooit bewijst wat je moet doen. Laat ik een extreem voorbeeld geven. Stel dat onderzoek aantoont dat het gevoerde drugsbeleid niet effectief is. Zelfs in dat geval is niet wetenschappelijk bewezen dat we behoefte hebben aan een ander drugsbeleid. Of beleid effectief moet zijn, is immers een politieke keuze. Vergeet ook niet dat het drugsbeleid al jaren onbegrijpelijk is. Bovendien kan de minister op goede gronden blijven hopen dat het ooit beter wordt, ook als hij niks doet. Maar het kan ook zijn dat de minister heel weloverwogen besluit om zijn beleid voort te zetten omdat het onderzoek voor hem aantoont dat het drugsbeleid symbolisch beleid is en dat is iets wat de politiek al jaren wil. 

Daarmee kunnen we dus vaststellen dat onderzoek optimaal wordt benut als de beleidsmaker de resultaten van het onderzoek in den brede in zijn overwegingen meeneemt. Op voorwaarde overigens dat de kwaliteit van het onderzoek dat rechtvaardigt. We kunnen het ook anders formuleren: een minister moet achteraf nooit kunnen zeggen dat hij voor een ander beleid had gekozen als hij de uitkomsten van een bepaald onderzoek wel had gekend. Ja, zo groot is het belang van onderzoek. En, ja, meer hoeft het beleid niet te doen. 

Dan de volgende premisse: met name onafhankelijk onderzoek is goed voor beleid. Natuurlijk haast ik mij deze premisse te onderschrijven. Niemand heeft er iets aan als de beleidsmakers de uitkomsten van onderzoek willen voorschrijven. We doen immers onderzoek om te ontdekken hoe dingen werkelijk in elkaar steken. En als we vooraf denken dat al te weten, heeft het doen van onderzoek weinig zin. En toch valt ook op deze brede premisse nog veel af te dingen. 

Ten eerste heb ik het niet op met onafhankelijke wetenschappers die aan hun kennis van de materie het recht ontlenen om beleidsmakers voor te schrijven hoe ze moeten handelen. Natuurlijk, ook onderzoekers hebben als burger het recht om hun mening kenbaar te maken, zoals dat ook geldt voor pomphouders, accountants, drugsdealers en uitsmijters. Maar elke suggestie dat het eigen onderzoek de eigen mening als de juiste heeft bewezen, is onjuist. Hoogstens heeft het eigen onderzoek de onderzoeker verder gesterkt in zijn mening. En dat laatste roept meteen vragen op over de onafhankelijkheid van zijn onderzoek.

Ten tweede heeft onderzoek ‘ten behoeve van beleid’ vooral belang als de vraagstelling goed aansluit bij het werk en het denken van de beleidsmakers. Ik weet dat ambtenaren niet erg vaardig zijn in het formuleren van need-to-know kennisvragen. Maar dat geeft onderzoekers geen vrijbrief om geheel hun eigen nieuwsgierigheid te volgen. Laat duidelijk zijn: ik spreek hier over onderzoekers die met de belastinggeld worden betaald om bij te dragen aan een beter beleid. De vraagstelling van dat soort beleidsonderzoek moet aansluiten bij de behoeften van het beleid. Het woord onafhankelijk is hier dan ook misplaatst. En dan kunnen we daarna nog wel eens bezien hoe we die behoeften van het beleid op het spoor moeten komen.  

Ten derde vraag ik me af waarom de ambtenaren niet een zekere invloed zouden mogen hebben op de voortgang en de ontwikkeling van het onderzoek. Veel onderzoekers overschrijden alle denkbare termijnen en veel onderzoekers blijken achteraf een andere vraag te hebben beantwoord dan de beleidsmakers vooraf hadden geformuleerd. Tast het de fundamentele onafhankelijkheid van de onderzoeker aan als de beleidsmaker daarop mag wijzen? Zo ja, dan lijkt me dat juist. 

Ten vierde mag het, op het eerste gezicht, onwenselijk lijken dat de beleidsmakers zich bezighouden met de formulering van de conclusies van het onderzoek. Zeker. Er mag niets worden bijgekleurd, zeker niet als de minister bang is voor de uitkomsten van onderzoek. Bange ministers moeten overigens sowieso worden opgesloten. Maar de relevantie van een onderzoek kan er wel baat bij hebben als de auteurs voor afronding van het onderzoek een goed gesprek voeren met de beleidsmakers over het belang en de positie van het onderzoek. Enige jaren geleden kwam ik nog in de samenvatting van een SCP-rapport allerlei p-waarden en significatie-niveaus tegen. Wat zou het mooi zijn geweest als een ambtenaar tevoren had gezegd dat die gegevens voor de lezer niet zo relevant zouden zijn. 

Ten slotte: in mijn eerste jaar sociologie leerde ik al dat waardevrij onderzoek niet bestaat. Hoe serieus onderzoekers zich ook houden aan wetenschappelijker criteria of hoeveel protocollen onderzoeksinstituten ook hebben, onafhankelijk onderzoek bestaat niet. Dit simpele gegeven is al in strijd met het frame dat de onderzoekers de goed guys zijn en de ambtenaren, zoals altijd, de bad guys. Niets menselijks is ook onderzoekers vreemd. En waarom zouden beleidsmakers de onderzoekers daarop niet mogen wijzen? 

Op dat hele frame valt dus nog wel iets af te dingen. En dat moet ook, want anders zouden we nog gaan geloven in een strijd tussen onderzoekers en ambtenaren om een beter bestaan. Die strijd moet er niet zijn. Onderzoek kan alleen een belangrijke rol spelen bij de beleidsvorming als de afstand tussen onderzoekers en beleidsmakers kleiner wordt. Als beide partijen nog meer de verbinding gaan zoeken. Die verbinding kan alleen tot stand komen met respect voor elkaars rol én met rolvastheid. Dus onderzoekers moeten zich vrij voelen om hun eigen conclusies te trekken en beleidsmakers moeten zelf kunnen bepalen welke betekenis een onderzoek moet hebben voor het beleid. Maar tegelijkertijd moet niet scheiding van onderzoek en beleid het parool zijn, maar verbinding. Alleen dan vergroten we de kans dat onderzoek echt bijdraagt aan een beter beleid. Aan een helder frame van heilige onderzoekers en slinkse ambtenaren hebben we in ieder geval niets. 

[later opgenomen in: WODC, Beestachtig goed, Den Haag, 2018, pp. 67-70]

Wat valt het #WODC te verwijten

december 12, 2017 by  
Filed under artikel, Geen categorie

Veel gedoe en veel verontwaardiging over het WODC, de afdeling onderzoek van het Ministerie van Justitie en Veiligheid. De directeur past op verzoek van de minister – ja, alweer Opstelten – de conclusies van onderzoek aan. Er kan veel mis zijn bij het WODC, maar voordat we die conclusie trekken, heb ik eerst negen relativeringen.

Ten eerste: het onderwerp laat zich moeilijk verbeelden, maar Nieuwsuur had wel heel veel beelden van verlichte vensters en toetsenborden nodig om het gebrek aan voorbeelden te camoufleren.

Ten tweede: de twee geïnterviewde hoogleraren betoonden zich goede ‘trekpopprofessoren’: als je eraan trekt vertellen ze op verzoek van de journalist dat het een schande is. Ik heb van Van den Heuvel nog nimmer iets anders gehoord. De man lijkt om 3 uur ‘s nachts nog bereid om zijn stopdas om te doen en schande te spreken. Zonder verder onderzoek te doen en zonder enige nadere duiding te geven.

Ten derde: er is maar één klokkeluider. Ik weet het: klokkeluiders zijn vaak eenzaam en daarom is hun mening niet minder waard, maar ik ken de directeur van het WODC een beetje en ik kan me voorstellen dat zijn driftige gedrag mensen gemakkelijk stimuleert om na jaren in opstand te komen. Hetgeen niet het geval is.

Ten vierde: het WODC is geen universiteit. Het heeft in Den Haag ook een andere status dan een planbureau dat formeel onafhankelijker is. Het lijkt me dan ook heel normaal dat het Ministerie als opdrachtgever de onderzoeksvragen van het WODC formuleert. Waarom hebben ze anders een eigen onderzoeksafdeling? We hebben bovendien al genoeg onderzoekers bij de overheid die hun eigen onderzoeksvragen formuleren. Pas als het departement niet in staat zijn eigen kennisbehoefte te verwoorden, is er een probleem. Maar geen probleem van integriteit.

Ten vijfde: het aanpassen van de onderzoeksopdracht (nadat een ander bureau werd ingehuurd dan het Ministerie wenste) kan een probleem zijn, maar hoeft dat geenszins te zijn. Het is goed dat het departement waakt over de relevantie van het onderzoek. Ook kan de kennisbehoefte geleidelijk zijn verschoven, en dan heeft niemand wat aan een onderzoek dat antwoord geeft op een niet meer relevante vraag. Een probleem ontstaat pas als het departement de opdracht verandert om het risico van onwelgevallige conclusies te verkleinen. Het is de vraag of dat verstandig is. Maar wie denkt dat onderzoek geen onderdeel is van de politiek, is wel heel naïef.

Ten zesde: het beïnvloeden van de keuze van het onderzoeksbureau door het WODC roept de vraag op waarom het departement het uitbesteden van onderzoek geheel heeft ondergebracht bij het WODC. Andere departementen doen dit zelf en vragen zich allemaal van te voren af of het denken van de te kiezen onderzoekers een beetje aansluit bij het denken van het departement.

Ten zevende: het Ministerie zette op verzoek van de Minister ‘sturing’ op het onderzoek. Het lijkt me niet zo heel vreemd als de minister invloed probeert te hebben op het moment van publiceren van onderzoek (gebeurt overal), of zich goed wil voorbereiden op onwelgevallige uitkomsten van onderzoek. Beter dan onderzoek dat door niemand is gevraagd en in een diepe la van een onderzoeksinstelling blijft steken.

Ten achtste: onderzoekers hebben soms de neiging om zich met het beleid te gaan bemoeien. Op basis van hun onderzoek, maar onvermijdelijk ook op basis van persoonlijke politieke standpunten. Want onderzoek toont niet aan wat je moet doen. Onderzoek geeft op zijn best een aardig beeld van de werkelijkheid. Als directeur van het Ruimtelijk Planbureau heb ik verschillende keren persoonlijke aanbevelingen van de onderzoekers uit het onderzoeksrapport geschrapt. En als ik minister was, zou ik daarop ook alert zijn.

Ten negende: de verwoording van conclusies van wetenschappelijk onderzoek ligt niet vast, is geen onomstotelijk gegeven. Dus het is geen bezwaar om de relevantie van het onderzoek te vergroten door de conclusies te schrijven in de context van het beleid.

Dit gezegd hebbende kan ik op basis van de uitzending van Nieuwsuur niet bepalen of hier iets fundamenteel fout is gegaan, ondanks de twee ‘schande-roepende’ professoren. Ik zou vooral één ding willen weten: zijn de conclusies van onderzoek in de uiteindelijke rapportage in hun kern aangepast en aangetast? Eigenlijk kan maar één man of vrouw dat vaststellen: degene die het onderzoek heeft uitgevoerd. En tot op heden hebben we maar één onderzoeker gehoord.