Vogelaarwijken: onderschatting van beleid en overschatting van onderzoek #SCP

augustus 14, 2013 by  
Filed under De Stad

 

Ella Vogelaar in de traditie van Den Uyl en Melkert

Ella Vogelaar wist wat haar te doen stond, toen ze in 2007 werd benoemd tot minister voor Wonen, wijken en integratie. In de goede sociaal-democratische traditie van Den Uyl (werkgelegenheidsplan van 1981) en Melkert (Melkertbanen) nam ze de leiding in de bestrijding van de achterstanden in de grote steden. Ze wees 40 wijken aan die binnen 10 jaar ‘een markante verbetering’ te zien zouden moeten geven op het gebied van wonen, werken, leren, integreren en veiligheid. Het woord ‘achterstandswijk’ werd verbannen. Er werd gesproken over ‘aandachtswijken’, ‘krachtwijken’ en zelfs even over ‘prachtwijken’. Eerlijkheidshalve zij vermeld dat Pieter Winsemius als kortstondig minister van VROM de problematiek van de wijken al op de agenda had gezet, nadat het ‘grotestedenbeleid’ gaandeweg, en onder een ander politiek gesternte, was verwaterd.

Hoezeer de PvdA de ‘Vogelaarwijken’ ook als speerpunt van het nieuwe kabinetsbeleid zag, de start was niet erg soepel. Wouter Bos, de nieuwe minister van Financiën, bleek de beloofde 500 miljoen euro voor het wijkenbeleid bij de formatie niet goed te hebben geregeld. Een nieuwe heffing voor alle corporaties zorgde voor een oplossing. Vanzelfsprekend stonden de corporaties niet op voorhand te juichen bij deze oplossing en de valste start van het wijkenbeleid was een feit. Dat daarna de verhouding tussen Wouter Bos en Ella Vogelaar nooit meer echt goed werd, maakte de zaak er niet beter op. De rechtse partijen en de rechtse pers waren er snel bij om het 40-wijkenbeleid als achterhaald geloof in maakbaarheid te ‘framen’.

Met het kabinet Rutte-Wilders verdween het wijkenbeleid geheel van de politieke agenda. Het werd met de cultuur, de publieke omroep en nog een paar van die wezenlijke zaken, verder afgedaan als ‘links hobby’. Opvallend genoeg kwam het wijkenbeleid ook niet terug in het kabinet Rutte-Asscher. Blijkbaar had ook binnen de PvdA de twijfel toegeslagen over het effect van het beleid.

SCP onderzoekt effecten van het beleid

Om die reden is het goed dat het SCP na eerdere deelstudies onlangs een alomvattende poging heeft gedaan om de effecten van het 40-wijkenbeleid vast te stellen. Als onderzoeker weet ik hoe moeilijk het is om onderzoek te doen naar de effectiviteit van beleid. Je moet niet alleen vaststellen of de doelen van het beleid zijn bereikt, maar ook of die ‘doelbereiking’ op het conto van het beleid kan worden geschreven. Laten we eerlijk zijn: dat soort onderzoek is eigenlijk altijd hondsmoeilijk. De tijd staat niet stil, er is altijd ook nog ander beleid en we weten nooit goed waarmee we de resultaten moeten vergelijken. Daarom verdient het SCP bewondering voor zijn rapport Werk aan de wijk, met als ondertitel, en daar begint de ellende al: Een quasi-experimentele evaluatie van het krachtwijkenbeleid.

Wie het rapport goed leest ziet de worsteling van de onderzoekers. Ook wat dat betreft is het rapport heel transparant. Elk effectje van beleid wordt weer genuanceerd en elk ontbrekend effectje van beleid wordt weer goedgepraat. Maar ook genuanceerde onderzoekers ontkomen niet aan het trekken van conclusies, zeker niet als ze een persbericht willen uitbrengen. Dan verdwijnen de meeste nuances en ontstaan er kale conclusies: “Het beleid als geheel heeft geen onderscheidende invloed gehad op sociale stijging, inkomensniveau, veiligheid en leefbaarheid.” Daarna komt de pers en die laat de laatste nuance weg en concludeert dat het beleid van Vogelaar geen enkel effect heeft gehad. Waarmee Ella definitief de geschiedenisboeken in kan.

Persoonlijk gaat me dat veel te snel. Ten eerste omdat de kranten veel te gemakzuchtig het persbericht hebben uitgemolken en hebben ingekleurd. Ten tweede omdat je het onderzoek van het SCP ook op een andere manier kan lezen, vooral als je oog hebt voor de zwakke kanten van hun methodiek. En omdat belangrijke positieve resultaten uit de centrale conclusie zijn verdwenen. Zo is toch nadrukkelijk vastgesteld dat ‘grootschalige, langdurige herstructurering gunstig [is] voor veiligheid en tevredenheid.” En: “de sociaal-economische eenzijdigheid werd minder, de verloedering nam af en de tevredenheid met de woonomgeving nam toe”. Natuurlijk: dat laatste was vooral een kwestie van perceptie: degenen die wisten dat de overheid zich nadrukkelijk voor hun wijk inzette, waren positiever gaan denken over hun wijk. En ik weet ook: de verkoop van sociale huurwoningen had geen gunstig effect. En ook al de sociale initiatieven én de participatie-initiatieven vertaalden zich niet in positieve resultaten. Maar toch blijven die afgenomen sociaal-economische eenzijdigheid, die afgenomen verloedering en die toegenomen tevredenheid met de woonomgeving overeind staan (terwijl ze niet elders door negatieve effecten worden gecompenseerd). Daarom is de algemene conclusie van het SCP naar mijn mening niet voldoende evenwichtig.

Beleidsmakers overschatten soms hun mogelijkheden

Voordat ik nu de indruk wek dat ik de conclusies van het SCP geheel wil omdraaien, past eerst ook een andere relativering. In hun enthousiasme lijken politici, en zeker nieuwe ministers, hun mogelijkheden wel eens te overschatten. In de zijlijn van de officiële stukken werd zelfs gezegd dat de 40 wijken na 10 jaar ‘gemiddelde’ wijken zouden moeten zijn. Men leek even te vergeten dat een stad altijd betere en slechtere wijken heeft. Politici willen soms gewoon te veel. En terwijl blijmoedig over ‘prachtwijken’ werd gedroomd, werd het beleid zelf te weinig doordacht. Allerlei oude en nieuwe instrumenten werden op elkaar gestapeld. En het SCP constateerde dan ook terecht dat het instrumentarium “te diffuus” was. Ten slotte werd vergeten dat het kabinet niet het eeuwige leven zou hebben. Zo werd voor 40 wijken een beleid uitgestippeld voor 10 jaar. Uiteindelijk was het na 4 jaar al geheel uitgedoofd. Hetgeen niet wegneemt dat in korte tijd meer dan € 1 miljard door Rijk en corporaties in de 40 wijken is geïnvesteerd.

Hoe meten we de effectiviteit van beleid

Maar als we constateren dat beleidsmakers in hun enthousiasme wel eens de neiging hebben om de effecten van beleid te overschatten, dan moeten we ook vaststellen dat het SCP in dit onderzoek door de gekozen methodiek de effecten van het beleid systematisch heeft onderschat.

Om de effecten van beleid vast te stellen, moeten we niet alleen ontwikkelingen kunnen vaststellen, maar ook nog eens ‘bewijzen’ dat die ontwikkelingen het gevolg zijn van het gevoerde beleid. Daarvoor dienen zich twee mogelijkheden aan.

Ten eerste kan je de ontwikkelingen in de achterstandswijken in de recente jaren vergelijken met de ontwikkelingen in jaren voorafgaande aan de ‘interventie’ van de overheid. Doet zich na de interventie een ‘knik’ voor in die ontwikkelingen, dan mogen we gaan denken aan ‘effecten van beleid’. In de praktijk is die knik zelden goed te zien, ook als het beleid wel degelijk effect heeft gehad. Dat komt bijvoorbeeld omdat de omstandigheden intussen zijn veranderd. Denk aan de instortende woningmarkt sinds 2008, waardoor – naar we mogen aannemen – minder mensen bereid waren een sociale huurwoning te kopen.

Maar die ‘knik’ doet zich ook zelden voor omdat de overheid voorafgaande aan het 40-wijkenbeleid ook al zeer actief was in de achterstandswijken. Dat stelt het SCP ook vast: het het instrumentarium van het 40-wijkenbeleid was niet nieuw, eerder was sprake van een intensivering van het beleid. Maar tegelijkertijd wijst het SCP elke effectiviteit van het beleid af als zich geen ‘knik’ in de ontwikkelingen uit de cijfers laat aflezen. Laten we wel wezen: de overheid was al twee decennia druk met het ‘grotestedenbeleid’; Melkert presenteerde in 1994 al een plan voor 4000 Melkertbanen, bij voorkeur in de achterstandswijken; al sedert het begin van de jaren ’90 is een omslag gaande bij de bijstand teneinde mensen uit een uitkering te krijgen. Het 40-wijkenbeleid paste in een traditie, kwam niet uit de lucht vallen en het is dan ook onrealistisch om een duidelijke ‘knik’ in de ontwikkelingen te verwachten. Toch concludeert het SCP dat het beleid ‘niet effectief’ is geweest (score = 0) als een knik zich niet heeft voorgedaan. Ook ik vind dat je in onderzoek streng moet zijn en dat de effectiviteit van beleid moet aantonen, zo niet ‘bewijzen’, maar hier gaan de onderzoekers te ver en worden de conclusies over de effectiviteit van het 40-wijkenbeleid negatief bijgekleurd.

Vergelijken met andere wijken

Ten tweede kan je de effectiviteit van beleid vaststellen door ontwikkelingen in de achterstandswijken te vergelijken met ontwikkelingen in andere stadswijken in dezelfde periode. Het lijkt op de methode van het experiment. We geven 100 mensen een nieuw medicijn en geven 100 andere mensen een placebo (om te voorkomen dat alleen al de ‘aandacht’ van het nieuwe medicijn tot vermindering van klachten leidt). Als de experimentele groep het beter doet dan de ‘controlegroep’ stellen we vast dat het medicijn heeft gewerkt. Voorwaarde is wel dat beide groepen zo vergelijkbaar mogelijk zijn. Helaas laat een dergelijk onderzoeksdesign zich in de werkelijkheid niet zo simpel nabootsen. Het SCP spreekt dan ook terecht over een ‘quasi-experiment’.

Zo vergelijkt het SCP de ontwikkelingen op het gebied van leefbaarheid in de Vogelaarwijken met ‘referentiewijken’. Dit zijn wijken die nog enigszins vergelijkbaar zijn met de Vogelaarwijken: sociaal zwakke wijken. Maar minder zwak dan de Vogelaarwijken zelf. Dat was nu juist de reden waarom ze niet vielen onder het 40-wijkenbeleid! In dat opzicht zijn dus niet te vergelijken met de Vogelaarwijken.

Dat heeft een bijzonder effect. Het SCP constateert vaak gunstige ontwikkelingen in Vogelaarwijken op het gebied van leefbaarheid, maar constateert ook dat diezelfde ontwikkelingen zich hebben voorgedaan in de ‘referentiewijken’ die het allemaal zonder ‘Vogelaar’ hebben moeten stellen. Conclusie: ‘Vogelaar’ doet er dus niet toe. Natuurlijk was het mooier geweest als de Vogelaarwijken het beter hadden gedaan dan welke wijk ook. Maar nu doet de vreemde situatie zich voor dat de overheid 40 wijken met grote achterstanden extra aandacht geeft, dat die wijken het vervolgens even goed doen als andere wijken en dat je dan de conclusie om de oren krijgt dat het beleid niet effectief is geweest.

Ik ben ook onderzoeker. Ik geef toe: op grond van de cijfers kan je niet met 100%-zekerheid zeggen dat het beleid op het gebied van leefbaarheid effectief is geweest. Maar je kan wel zeggen dat het opvallend is dat de leefbaarheid van de achterstandswijken sinds het 40-wijkenbeleid een zelfde ontwikkeling doormaakt als de leefbaarheid in andere wijken. Overigens, om het nog ingewikkelder te maken: wie is in die andere wijken verantwoordelijk voor de toegenomen leefbaarheid….?

Meer sociale stijging in achterstandswijken

Hetzelfde probleem doet zich voor bij – naar mijn mening – de kern van het onderzoek: de sociale stijging (en daling) van de bewoners van de achterstandswijken. Gelukkig maakt het SCP hier niet de fout die het CBS in een studie van enkele jaren geleden maakte: in dergelijk onderzoek moet de eenheid van analyse niet alleen de wijk zijn, maar ook de bewoner. De veranderingen in het gemiddelde van de wijk zeggen namelijk onvoldoende. Als de armoe en de werkloosheid in de achterstandswijken gelijk blijft, is het relevant om te weten hoeveel bewoners vanwege inkomensverbetering en vanwege het verlaten van een uitkering de wijk in dezelfde periode hebben verlaten. Vertrekkers verdienen gemiddeld meer dan instromers en zo kan het gemiddelde van een wijk gelijk blijven, terwijl veel van de oorspronkelijke inwoners meer zijn gaan verdienen. Het is daarom goed om zowel het perspectief van de ‘wijk’ als het perspectief van de ‘bewoner’ te blijven hanteren.

Als we naar de wijk kijken valt het op dat mensen met lage inkomens tot 2004 steeds vaker in aandachtswijken woonden; daarna neemt de divergentie juist af. De sociale menging van achterstandswijken is dus de laatste jaren verbeterd. Dat komt onder andere door het beleid om meer koopwoningen te bouwen in achterstandswijken, zodat bewoners binnen hun eigen wijk een ‘wooncarrière’ kunnen maken. Het beleid is hier succesvol.

Als we naar de bewoners kijken, zien we nog interessantere ontwikkelingen. 20% van de bewoners van Vogelaarwijken kende in de periode 2009-2010 een ‘substantiële’ stijging in inkomen. Dat is gemiddeld iets hoger dan in alle andere stadswijken. De verhuismobiliteit is in de Vogelaarwijken ook hoger dan in de andere stadswijken. In Vogelaarwijken en in de andere stadswijken heeft verhuismobiliteit evenveel te maken met inkomensstijging.

En weer volgt het SCP hier de inmiddels bekende redenering. De sociale stijging in de Vogelaarwijken is (ongeveer) even groot als in de rest van de steden, en dus is het beleid niet effectief. Stel dat het SCP de Nederlandse achterstandswijken had vergeleken met de Amerikaanse of met de Keniaanse achterstandswijken. Was het dan wel als een succes van beleid aangemerkt dat de sociale stijging in de Nederlandse achterstandswijken hoger ligt dan de sociale stijging in de rest van de steden? Of is het leven in onze achterstandswijken al zo riant dat die vergelijking niet eerlijk is. En waarom is het leven in onze achterstandswijken dan zo riant? Is dat een natuurlijk proces of heeft dat iets te maken met het jarenlange overheidsbeleid?

En ook hier weer: op basis van de cijfers valt niet vast te stellen dat ‘Vogelaar’ zonder meer effectief is geweest. Maar het is wel zeer opvallend dat de sociale stijging in achterstandswijken in Nederland hoger is dan in de rest van de steden. En het is heel aannemelijk dat het overheidsbeleid daarmee veel van doen heeft.

Conclusie: SCP te negatief

Evaluatieonderzoek laat zich moeilijk waardevrij uitvoeren. Natuurlijk, de doelen van het overheidsbeleid vormen het uitgangspunt van het onderzoek. Maar welk gewicht geven we in het onderzoek aan welk doel? Is de sociale samenstelling van de wijk belangrijker dan de sociale stijging van de inwoners? Iedereen zal aan dit soort cijfers zijn eigen kleuring geven. Maar toch meen ik dat het SCP hier te negatief is geweest.

Op het eerste gezicht lijkt het erop dat het SCP te streng is geweest voor zichzelf (en daarmee voor het beleid). In de algemene conclusies zijn verschillende positieve ontwikkelingen ondergesneeuwd onder die centrale conclusie ‘dat het beleid als geheel geen onderscheidende invloed heeft gehad’.

Maar bij nader inzien meen ik dat het SCP juist strenger had moeten zijn, met name voor zichzelf. De vergelijking met ‘referentiewijken’ (bij leefbaarheid en veiligheid) en met ‘alle andere stadswijken’ (bij sociaal-economische positie) gaat in bepaalde opzichten mank. Omdat die wijken op essentiële punten niet met de achterstandswijken te vergelijken zijn. Wie dat meeweegt, komt tot een positievere toon, en op zijn minst tot interessantere conclusies.

Tot slot een laatste opmerking. Stel dat de conclusies van het SCP wel voor 100% konden worden onderschreven. Stel zelfs dat de negatieve berichtgeving in de kranten helemaal onderbouwd was. Had het beleid dan geen enkele zin gehad? Of moeten we in dit geval ook de symbolische, verborgen betekenis van het beleid meewegen: het signaal dat de overheid achterstanden niet acceptabel vindt, het signaal dat ‘iedereen moet meedoen’. Dat alleen al zou voor mij reden zijn om het beleid nog krachtiger en nog effectiever voort te zetten. 1