Beleidsonderzoek in het sociale domein

‘What counts is what works’, zei Tony Blair vijftien jaar geleden al. Maar in het sociale domein werd deze vraag tot nu toe nauwelijks gesteld. Bestuurlijke overredingskracht, persoonlijke motivatie en enthousiasme van professionals en mogelijkheden voor subsidies hebben geleid tot ware projectencarrousels. Gezien het huidige economische klimaat en de drie grote decentralisaties (langdurige zorg, jeugdzorg en de nieuwe participatiewet), is inzicht in de effectiviteit van beleid en interventies noodzakelijk. Steeds opnieuw moet er kritisch worden gekeken naar de inzet van mensen en middelen. Geen beleidsmaker of professional kan zich meer onttrekken aan de noodzaak van het beantwoorden van de vraag ‘Wat werkt nu echt?’. Maar zijn beleidsevaluaties en effectiviteitsstudies in het sociale domein wel geschikt om deze vraag te beantwoorden?

Dit artikel gaat in op beleidsonderzoek in het sociale domein: welke vormen van beleidsonderzoek worden gebruikt in het sociale domein en welke alternatieven zijn er? Het doel van beleidsonderzoek in het sociale domein is te komen tot effectiever beleid in de zin van passende oplossingen voor maatschappelijke problemen.
Beleidsonderzoek gaat na in hoeverre de uitvoering en de effecten overeenkomen met het plan en de doelstellingen en zoekt verklaringen voor mogelijke afwijkingen. Beleidsonderzoek richt zich op alle fasen van het beleidsproces: van het vaststellen van een maatschappelijk probleem, de mogelijke oorzaken ervan en de vertaling naar een beleidsprobleem tot en met de effectevaluatie.

Dynamisch proces
Het ontwikkelen van beleid in het sociale domein is een dynamisch proces. Bij de uitvoering zullen doelen en plannen regelmatig veranderen als gevolg van de confrontatie met de werkelijkheid. Het is belangrijk dit zichtbaar te maken via beleidsonderzoek. Beleidsprocessen verlopen in de praktijk niet altijd volgens de fasen in de beleidscyclus van Deming (plan-do-check-act), ze beperken zicht veelal tot plan-do-plan-do. Het is evident dat beleidsonderzoek rekening moet houden met deze dynamische werkelijkheid.

Alex Brenninkmeijer, Nationale Ombudsman, maakt zich zorgen

Het kabinet gaat er bij de drie grote decentralisaties (langdurige zorg, jeugdzorg en de nieuwe Participatiewet) van uit dat het goedkoper is om de gemeenten het beleid te laten uitvoeren: 'die veronderstelling ligt ten grondslag aan de keuze, ja. Maar het is helemaal niet zeker dat die aanname klopt. Het is een politiek dictaat: gemeenten, doe hetzelfde voor minder geld. Op de vraag waarom het goedkoper zou zijn om gemeenten deze taken te laten uitvoeren, heb ik nog geen antwoord gehoord.'
(NRC Handelsblad, 5 juni 2013, p.7)

Beleidsevaluaties kunnen bestaan uit procesevaluatie, waarbij onderzocht wordt of de uitvoering van het beleid volgens plan is verlopen en effectevaluatie, waarbij de maatschappelijke effecten worden onderzocht en worden vergeleken met de doelstellingen van het beleid. De positieve effecten, outcome of het succes van het beleid, worden niet alleen bepaald door bewezen effecten (evidence based), maar ook door het maatschappelijk draagvlak voor het beleid (community based).
Monitoren, het voortdurend nagaan van proces en effecten tijdens de uitvoering van het beleid, levert gegevens op voor de uiteindelijke evaluatie.

Ex-ante onderzoek
In het recent verschenen onderzoek Schoon, heel en werkzaam? wordt bij verschillende vormen van beleidsevaluaties, hier ook wel effectstudies genoemd, aangegeven welke bewijskracht voor effectiviteit mogelijk is; causaal, indicatief, theoretisch en descriptief (Lub 2013).
Causaliteit is in het sociale domein nauwelijks aan te tonen. Evaluatieonderzoek
(via bijvoorbeeld effectmeting of klanttevredenheidsonderzoek) gaat vooral om de vraag of gestelde doelen zijn behaald (indicatief). Met methoden als metaanalyses, literatuuronderzoek, descriptief onderzoek en interviews is het mogelijk aan beleid ten grondslag liggende assumpties ex-ante te onderzoeken.
Voorgenomen beleid kan zo vooraf worden getoetst op werkzame ingrediënten en
op de vraag of het beleid het predicaat ‘aantoonbaar veelbelovend’ verdient. Het belang van ex-ante onderzoek van assumpties staat meer en meer in de belangstelling. Juist nu de nadruk steeds meer op evidence based werken komt te

Aan beleid ten grondslag liggende veronderstellingen worden vaak voor zoete koek aangenomen

liggen, valt steeds meer op dat de aan beleid ten grondslag liggende veronderstellingen vaak voor zoete koek worden aangenomen. Steeds vaker, als soms kostbare projecten al in gang zijn gezet, wordt aangetoond dat deze veronderstellingen niet juist zijn (Lub 2013).
 
Voorwaarden voor beleidsonderzoek
Beleidsonderzoek moet als onderdeel van beleid worden opgenomen bij de beleidsformulering. Zo is het mogelijk vooraf rekening te houden met belangrijke voorwaarden voor beleidsonderzoek.

Beleidsonderzoek moet voldoen aan een aantal criteria, zoals:
- aan beleid ten grondslag liggende veronderstellingen zijn helder geformuleerd;
- het beleid wordt zo SMART mogelijk geformuleerd;
- het onderzoek begint op tijd en de resultaten van beleidsonderzoek zijn tijdig beschikbaar zodat bijsturing of stopzetten op tijd plaatsvindt;
- beleidsonderzoek richt zich niet alleen op output maar ook op outcome;
- het onderzoek is onafhankelijk en ‘potentieel ontregelend’ (nog te vaak is er sprake van ‘bevestigend onderzoek’);
- de resultaten van beleidsonderzoek zijn praktisch en bruikbaar voor beleidsmedewerkers en bestuurders;
- uiteraard is ook beleidsonderzoek controleerbaar en valide.

Beleidsonderzoek is onafhankelijk en potentieel ontregelend

Alternatief onderzoek Beleidsonderzoek in het sociale domein is vaak moeilijk en complex. Dit wordt mede veroorzaakt doordat parameters van effectiviteit in het sociale domein lastig te bepalen zijn. Bovendien zijn bepaalde effecten van beleid niet op korte termijn meetbaar; investeren in de ondersteuning van jonge mantelzorgers bijvoorbeeld leidt pas op termijn tot resultaten als minder schooluitval, minder sociale problemen en minder problemen later in relaties en op het werk. Onderzoek naar de effectiviteit van beleid betekent daarom in de praktijk van het sociale domein vaak ‘veranderingsonderzoek’, nulmeting en vervolgmetingen. Bij ‘veranderingsonderzoek’ is vaak aanvullend kwalitatief onderzoek nodig om tot uitspraken over effectiviteit te komen.

Om geld en inspanningen te besparen, zijn er enkele alternatieven om vooraf een inschatting van de effectiviteit te maken:
- ex-ante onderzoek van aan de interventie ten grondslag liggende assumpties;
- aanwezigheid van eerder gevonden werkzame ingrediënten in de voorgenomen interventie;
- aanwezigheid van succesfactoren en randvoorwaarden;
- aansluiting op behoeften van de doelgroep.

Kennisbronnen
In verschillende databases van methodieken en interventies in het sociale domein worden alternatieve parameters gebruikt om de effectiviteit te beoordelen zoals de werkzame ingrediënten: theoretisch goed onderbouwd (in theorie effectief), goed beschreven, waarschijnlijk effectief en kansrijk. Het ontbreekt daarbij overigens nog vaak aan essentieel inzicht in (kosten) effectiviteit, benodigde menskracht en expertise en bruikbaarheid in andere situaties.

Politieproject Rotterdam werkt niet 

In 40 buurten is gestart met een pilot waarin burgers zelf via buurtcomités mogen bepalen waar de politie in hun buurt haar uren aan besteedt. Uit het evaluatierapport blijkt dat er geen aanwijzingen zijn dat het veiligheidsgevoel van bewoners omhoog gaat. Volgens de onderzoekers tekenen de beoogde effecten zich vooral af onder de deelnemers aan het comité zelf, slechts een kleine kring van actieve buurtbewoners.

De veronderstelling die aan het project ten grondslag lag 'Als burgers zelf bepalen waar de politie haar uren aan besteedt in de buurt, gaat het veiligheidsgevoel omhoog', is niet vooraf getoetst. Het project is vooral in gang gezet door een klein aantal professionals en een klein aantal buurtbewoners die hier enthousiast over waren. (NRC Handelsblad, 23 mei 2013, p.8)

Daarnaast is de praktijk weerbarstiger dan de theorie. Ook al zijn professionals op de hoogte van kennisbronnen zoals databases en wetenschappelijke artikelen in vaktijdschriften, zij raadplegen deze bronnen slechts in geringe mate. Veel meer gaan zij uit van hun eigen situatie en gaan daarmee aan de slag. Zo ontwikkelen zij hun eigen projecten met als een van de belangrijke pijlers hun eigen enthousiasme.

De praktijk is weerbarstiger dan de theorie

Des te belangrijker is het daarom om niet zozeer te focussen op effectiviteitsonderzoek als zodanig maar juist op het aantonen van de werkzame ingrediënten en voorwaarden voor succes. Als professionals deze kennis integreren in de ontwikkeling van hun eigen aanpak en interventies, kunnen praktijk en wetenschap elkaar voeden. Op deze manier blijft er enerzijds voldoende ruimte voor inbreng van de eigen professionaliteit terwijl anderzijds het beleid steeds beter onderbouwd  wordt en de effectiviteit van interventies toe zal nemen.

In de praktijk
Nieuw beleid in het kader van de drie decentralisaties biedt de kans om beleidsonderzoek als integraal onderdeel van het beleid op te nemen. Daarbij is het van belang dat effectiviteitsbewustzijn in het sociale domein verder wordt versterkt. Dat betekent dat beleidsmakers al bij het formuleren van beleid rekening houden met en ruimte maken voor beleidsonderzoek. Niet alleen investeren in beleids- en effectiviteitsonderzoek, zowel kwantitatief als kwalitatief, is nodig om met beperkte middelen de grote maatschappelijke veranderingen aan te kunnen. Er zal ook geïnvesteerd moeten worden in bruikbare alternatieven en verspreiding van de resultaten daarvan zodat de professionals in de praktijk er mee aan de slag kunnen.

Marc Chavannes, Opklaringen

'Meer blauw op straat' en 'zero tolerance'; in het regeerakkoord is afgesproken dat de politie grotendeels ontzien wordt bij de bezuinigingen. Maar ondanks stijgende politie-uitgaven de laatste jaren is de pakkans niet vergroot. Dat de criminaliteit wel daalt, zowel in landen met als landen zonder 'zero tolerance-beleid', wordt veroorzaakt door praktische maatregelen als verplichte startonderbrekers in auto's en betere sloten en alarmsystemen in huizen, aldus de criminoloog Jan van Dijk. Actieve preventie blijkt de factor die het verschil maakt. Het justitieel departement heeft volgens Van Dijk een stevige wetenschappelijke traditie die kan helpen veronderstellingen te toetsen en te vergelijken met empirische gegevens. Zo kan de vraag of 'meer blauw op straat' werkelijk ontzien moet worden bij bezuinigen beargumenteerd beantwoord worden.
(NRC Handelsblad, 1 juni 2013, p.5)

Bronnen
Methoden van beleidsonderzoekers: creatief en oplossingsgericht. Onder redactie van Drs. M. Boekenoogen, prof.dr. P. van Hoesel, dr. Y. Prince en dr. C. Verheijen (Lemma, Den Haag 2009)

Schoon, heel en werkzaam? Een wetenschappelijke beoordeling van sociale interventies op het terrein van buurtleefbaarheid. V. Lub (Boom Lemma, Den Haag 2013)

Wat werkt nu werkelijk? Politiek en praktijk van sociale interventies. Onder redactie van J. Uitermark, A. Gielen en M. Ham (Van Gennep, Amsterdam 2012)

Trefwoorden: Tags: Sociaal domein

Uw bijdrage

Log in met om uw bijdrage te plaatsen.