Doe onafhankelijk en gedegen onderzoek naar de effectiviteit van het huidige cultuurbeleid, bepleit Edwin van Meerkerk. Want daar is nu te weinig over bekend. Terwijl er dit jaar voor miljoenen aan subsidie wordt toegekend aan BIS-instellingen en de overheid stevig investeert in cultuuronderwijs.

Nog even en de geldsluizen van Den Haag gaan weer open. De aanvragen voor de BIS-instellingen werden in januari bezorgd, waarna de minister de miljoenen uit zal strooien over het armlastige culturele veld. In veel, zo niet alle plannen zullen publiek en educatie een centrale rol hebben. En voordat het goudstof is neergedwarreld komt de CMK-karavaan er alweer aan, met opnieuw voor vier jaar vele miljoenen euro’s voor cultuuronderwijs. Het is gemakkelijk om in een periode waarin gul wordt uitgedeeld niet na te denken over de vraag waarvoor dat geld eigenlijk bedoeld is, maar toch zou dat verstandig zijn.

Het ministerie lijkt heel concrete doelen te hebben met de subsidies die het verstrekt. Wie gedetailleerder kijkt vraagt zich echter al snel af wat precies de criteria zijn op grond waarvan de subsidies worden toegekend. Wat bedoelt de Raad voor Cultuur in met ‘kwaliteit’ en ‘bereik’, ‘in relatie tot het profiel van de instelling’?

Binnen het criterium educatie en participatie kijkt de Raad vooral naar de manier waarop instellingen werken, zonder dat de Raad expliciet maakt wat een goede en wat een minder goede manier van werken zou zijn. Cultuurbeleid gaat volgens eerder onderzoek van mij en Teunis IJdens uit 2018 al langer mank aan te vaag omschreven doelen, met als gevolg onduidelijkheid over de effecten van het beleid. We weten niet wat we willen bereiken, en dus ook niet wat het effect is van de inspanningen van de betrokken kunstdocenten, leerkrachten, icc’ers en combinatiefunctionarissen.

Er is een eenvoudige oplossing voor dit probleem. Die oplossing is niet het formuleren van ‘SMART’ doelen – dat gebeurt al. Het gaat erom dat gedegen, onafhankelijk onderzoek in de hele beleidscyclus een rol moet spelen, vanaf de formulering van de doelen tot aan de evaluatie van een subsidieprogramma.

Neem bijvoorbeeld het proefballonnetje dat Lodewijk Asscher onlangs opliet: gratis toegang tot musea. De SP stelde dit in 2006 ook al voor. Het doel is om meer, en vooral ander publiek te trekken. Uit onderzoek is allang duidelijk dat beide doelen niet zullen worden gehaald: gratis openstelling leidt tot herhaalbezoek, maar niet tot andere publieksgroepen. Zelfs de omzet in de museumwinkel stijgt er niet van. Voordat een politiek idee beleid wordt, is het in zo’n geval goed wanneer er een onderzoeker meekijkt.

De afgelopen acht jaar zijn tientallen miljoenen uitgegeven aan het programma Cultuureducatie met Kwaliteit. Ik heb van dichtbij gezien dat er dankzij dat geld prachtige dingen zijn gebeurd in het basisonderwijs en dat er een stevige basis is gelegd voor structurele samenwerking tussen scholen en instellingen.

Maar soms zag ik ook dat het minder soepel verliep, dat de middelen een leuk, tijdelijk extraatje waren voor een school, maar niet tot blijvende verandering leidden. Dat het geld vooral de redding was van een muziekschool of centrum voor de kunsten en dat scholen kozen voor de ‘makkelijke’ weg van CMK om cultuur de school in te krijgen, maar andere instellingen links lieten liggen. Komen deze conclusies in de officiële evaluatie van het programma? Het lijkt mij sterk. Zal het nieuwe, derde, CMK-programma proberen de negatieve effecten teniet te doen? Ik vrees van niet. De oorzaak? Er is onvoldoende onderzoek gedaan.

Hoe moet het dan wel? Toets beleid vooraf aan de bestaande kennis en inzichten en doe een nulmeting. Formuleer beleidsdoelen zo dat de effecten daar worden gemeten waar ze plaats vinden – op het niveau van de uitvoering, niet op het niveau van de beleidsmakers. En ontwerp het onderzoek vervolgens zo dat de resultaten vergelijking mogelijk maken en onderliggende structuren blootleggen.

Want de beleidsmaker heeft vooronderstellingen. Hij gaat uit van een relatie tussen doel en middel (cultuureducatie verbeteren door subsidie voor samenwerking) en tussen oorzaak en gevolg (blijvend betere kwaliteit van cultuuronderwijs door inzet van tijdelijke kunstdocenten) en van waarden (cultuur is belangrijk in de vorming van kinderen). Belangrijk is dat deze vooronderstellingen worden getoetst, enerzijds door de volksvertegenwoordiging, anderzijds door onafhankelijk onderzoek.

Waarom is dit niet allang de praktijk? Een belangrijke verklaring is de schijntegenstelling tussen verschillende soorten onderzoek. Beleids- en evaluatieonderzoek zou iets heel anders zijn dan het praktijkonderzoek van hogescholen of het fundamentele onderzoek in universitaire context.

Het toetsen van de doelmatigheid van uitgaven (er zijn zoveel convenanten gesloten en zoveel gastlessen verzorgd) is daardoor vaak de enige vorm van verantwoording en evaluatie.

Dit onderscheid doet meer kwaad dan goed. Onderzoek kan verschillende doelen hebben, van het evalueren van beleid tot het achterhalen van de grondbeginselen van de werkelijkheid, het kan empirisch of theoretisch zijn, objectief en afstandelijk of participerend en autobiografisch. Dat doet allemaal niets af aan het feit dat goed onderzoek voldoet aan basale eisen van consistentie, onvooringenomenheid, falsifieerbaarheid en herhaalbaarheid. En daarvoor hebben beleidsonderzoek, praktijkonderzoek en fundamenteel onderzoek elkaar nodig.

Goed beleid is gebaat bij een gedegen analyse van het probleem, heldere doelstellingen en een controleerbare vorm van evaluatie, met andere woorden: bij goed onderzoek. Goed onderzoek is gebaat bij een onafhankelijke positie ten opzichte van datgene wat onderzocht wordt: de onderzoeker trekt de conclusies, niet de opdrachtgever.

Goed onderzoek is dus geen bijkomende zaak. Onderzoekers moeten van meet af aan betrokken zijn, zodat waar nodig een nulmeting kan worden gedaan. En als het onderzoek decentraal plaatsvindt, bij gemeenten en provincies, dan moet er één onderzoeksontwerp zijn, zodat de gegevens met elkaar vergeleken kunnen worden. Om dit voor elkaar te krijgen, hebben beleidsonderzoek, praktijkonderzoek en fundamenteel onderzoek elkaar hard nodig.

De subsidies voor de volgende kunstenplanperiode zijn nog niet toegekend, het is nog niet te laat om hiermee te beginnen. In een land waar Cultuur en Wetenschap samen in één ministerie zijn samengebracht zou dat toch niet zo moeilijk moeten zijn.

Op 10 februari is de LKCA-Onderzoeksconferentie en wordt de winnaar bekendgemaakt van de Max van der Kamp Scriptieprijs
Lees meer over onderzoek op deze website