Beleidsonderzoek in het sociale domein

beleidsmaker of professional kan zich meer onttrekken aan de noodzaak van het beantwoorden van de vraag ‘Wat werkt nu echt?’. Maar zijn beleidsevaluaties en effectiviteitsstudies in het sociale domein wel geschikt om deze vraag te beantwoorden?

Dit artikel gaat in op beleidsonderzoek in het sociale domein: welke vormen van beleidsonderzoek worden gebruikt in het sociale domein en welke alternatieven zijn er? Het doel van beleidsonderzoek in het sociale domein is te komen tot effectiever beleid in de zin van passende oplossingen voor maatschappelijke problemen.
Beleidsonderzoek gaat na in hoeverre de uitvoering en de effecten overeenkomen met het plan en de doelstellingen en zoekt verklaringen voor mogelijke afwijkingen. Beleidsonderzoek richt zich op alle fasen van het beleidsproces: van het vaststellen van een maatschappelijk probleem, de mogelijke oorzaken ervan en de vertaling naar een beleidsprobleem tot en met de effectevaluatie.

Dynamisch proces
Het ontwikkelen van beleid in het sociale domein is een dynamisch proces. Bij de uitvoering zullen doelen en plannen regelmatig veranderen als gevolg van de confrontatie met de werkelijkheid. Het is belangrijk dit zichtbaar te maken via beleidsonderzoek. Beleidsprocessen verlopen in de praktijk niet altijd volgens de fasen in de beleidscyclus van Deming (plan-do-check-act), ze beperken zicht veelal tot plan-do-plan-do. Het is evident dat beleidsonderzoek rekening moet houden met deze dynamische werkelijkheid.

Beleidsevaluaties kunnen bestaan uit procesevaluatie, waarbij onderzocht wordt of de uitvoering van het beleid volgens plan is verlopen en effectevaluatie, waarbij de maatschappelijke effecten worden onderzocht en worden vergeleken met de doelstellingen van het beleid. De positieve effecten, outcome of het succes van het beleid, worden niet alleen bepaald door bewezen effecten (evidence based), maar ook door het maatschappelijk draagvlak voor het beleid (community based).
Monitoren, het voortdurend nagaan van proces en effecten tijdens de uitvoering van het beleid, levert gegevens op voor de uiteindelijke evaluatie.

Ex-ante onderzoek
In het recent verschenen onderzoek Schoon, heel en werkzaam? wordt bij verschillende vormen van beleidsevaluaties, hier ook wel effectstudies genoemd, aangegeven welke bewijskracht voor effectiviteit mogelijk is; causaal, indicatief, theoretisch en descriptief (Lub 2013).
Causaliteit is in het sociale domein nauwelijks aan te tonen. Evaluatieonderzoek
(via bijvoorbeeld effectmeting of klanttevredenheidsonderzoek) gaat vooral om de vraag of gestelde doelen zijn behaald (indicatief). Met methoden als metaanalyses, literatuuronderzoek, descriptief onderzoek en interviews is het mogelijk aan beleid ten grondslag liggende assumpties ex-ante te onderzoeken.
Voorgenomen beleid kan zo vooraf worden getoetst op werkzame ingrediënten en
op de vraag of het beleid het predicaat ‘aantoonbaar veelbelovend’ verdient. Het belang van ex-ante onderzoek van assumpties staat meer en meer in de belangstelling. Juist nu de nadruk steeds meer op evidence based werken komt te

liggen, valt steeds meer op dat de aan beleid ten grondslag liggende veronderstellingen vaak voor zoete koek worden aangenomen. Steeds vaker, als soms kostbare projecten al in gang zijn gezet, wordt aangetoond dat deze veronderstellingen niet juist zijn (Lub 2013).
 
Voorwaarden voor beleidsonderzoek
Beleidsonderzoek moet als onderdeel van beleid worden opgenomen bij de beleidsformulering. Zo is het mogelijk vooraf rekening te houden met belangrijke voorwaarden voor beleidsonderzoek.

Beleidsonderzoek moet voldoen aan een aantal criteria, zoals:
- aan beleid ten grondslag liggende veronderstellingen zijn helder geformuleerd;
- het beleid wordt zo SMART mogelijk geformuleerd;
- het onderzoek begint op tijd en de resultaten van beleidsonderzoek zijn tijdig beschikbaar zodat bijsturing of stopzetten op tijd plaatsvindt;
- beleidsonderzoek richt zich niet alleen op output maar ook op outcome;
- het onderzoek is onafhankelijk en ‘potentieel ontregelend’ (nog te vaak is er sprake van ‘bevestigend onderzoek’);
- de resultaten van beleidsonderzoek zijn praktisch en bruikbaar voor beleidsmedewerkers en bestuurders;
- uiteraard is ook beleidsonderzoek controleerbaar en valide.

Alternatief onderzoek Beleidsonderzoek in het sociale domein is vaak moeilijk en complex. Dit wordt mede veroorzaakt doordat parameters van effectiviteit in het sociale domein lastig te bepalen zijn. Bovendien zijn bepaalde effecten van beleid niet op korte termijn meetbaar; investeren in de ondersteuning van jonge mantelzorgers bijvoorbeeld leidt pas op termijn tot resultaten als minder schooluitval, minder sociale problemen en minder problemen later in relaties en op het werk. Onderzoek naar de effectiviteit van beleid betekent daarom in de praktijk van het sociale domein vaak ‘veranderingsonderzoek’, nulmeting en vervolgmetingen. Bij ‘veranderingsonderzoek’ is vaak aanvullend kwalitatief onderzoek nodig om tot uitspraken over effectiviteit te komen.

Om geld en inspanningen te besparen, zijn er enkele alternatieven om vooraf een inschatting van de effectiviteit te maken:
- ex-ante onderzoek van aan de interventie ten grondslag liggende assumpties;
- aanwezigheid van eerder gevonden werkzame ingrediënten in de voorgenomen interventie;
- aanwezigheid van succesfactoren en randvoorwaarden;
- aansluiting op behoeften van de doelgroep.

Kennisbronnen
In verschillende databases van methodieken en interventies in het sociale domein worden alternatieve parameters gebruikt om de effectiviteit te beoordelen zoals de werkzame ingrediënten: theoretisch goed onderbouwd (in theorie effectief), goed beschreven, waarschijnlijk effectief en kansrijk. Het ontbreekt daarbij overigens nog vaak aan essentieel inzicht in (kosten) effectiviteit, benodigde menskracht en expertise en bruikbaarheid in andere situaties.

Daarnaast is de praktijk weerbarstiger dan de theorie. Ook al zijn professionals op de hoogte van kennisbronnen zoals databases en wetenschappelijke artikelen in vaktijdschriften, zij raadplegen deze bronnen slechts in geringe mate. Veel meer gaan zij uit van hun eigen situatie en gaan daarmee aan de slag. Zo ontwikkelen zij hun eigen projecten met als een van de belangrijke pijlers hun eigen enthousiasme.

Des te belangrijker is het daarom om niet zozeer te focussen op effectiviteitsonderzoek als zodanig maar juist op het aantonen van de werkzame ingrediënten en voorwaarden voor succes. Als professionals deze kennis integreren in de ontwikkeling van hun eigen aanpak en interventies, kunnen praktijk en wetenschap elkaar voeden. Op deze manier blijft er enerzijds voldoende ruimte voor inbreng van de eigen professionaliteit terwijl anderzijds het beleid steeds beter onderbouwd  wordt en de effectiviteit van interventies toe zal nemen.

In de praktijk
Nieuw beleid in het kader van de drie decentralisaties biedt de kans om beleidsonderzoek als integraal onderdeel van het beleid op te nemen. Daarbij is het van belang dat effectiviteitsbewustzijn in het sociale domein verder wordt versterkt. Dat betekent dat beleidsmakers al bij het formuleren van beleid rekening houden met en ruimte maken voor beleidsonderzoek. Niet alleen investeren in beleids- en effectiviteitsonderzoek, zowel kwantitatief als kwalitatief, is nodig om met beperkte middelen de grote maatschappelijke veranderingen aan te kunnen. Er zal ook geïnvesteerd moeten worden in bruikbare alternatieven en verspreiding van de resultaten daarvan zodat de professionals in de praktijk er mee aan de slag kunnen.

Bronnen
Methoden van beleidsonderzoekers: creatief en oplossingsgericht. Onder redactie van Drs. M. Boekenoogen, prof.dr. P. van Hoesel, dr. Y. Prince en dr. C. Verheijen (Lemma, Den Haag 2009)

Schoon, heel en werkzaam? Een wetenschappelijke beoordeling van sociale interventies op het terrein van buurtleefbaarheid. V. Lub (Boom Lemma, Den Haag 2013)

Wat werkt nu werkelijk? Politiek en praktijk van sociale interventies. Onder redactie van J. Uitermark, A. Gielen en M. Ham (Van Gennep, Amsterdam 2012)