PPMC analyseert cultureel ondernemerschap van BIS aanvragen 2017-2020
Paul Postma Marketing Consultancy heeft in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW) voor de Raad voor Cultuur BIS subsidieaanvragen voor de periode 2017-2020 onder de loep genomen. Hiervoor voerde het bureau een kwantitatieve analyse uit van de financiële huishouding van de aanvrager en een kwalitatieve analyse van het ondernemerschap. Daarnaast werd per cultuurcategorie een meta-analyse uitgevoerd en werden de resultaten hiervan vergeleken met een meta-analyse van de aanvragen van de voorgaande subsidieperiode.
De culturele basisinfrastructuur (BIS) vormt het stelsel van rechtstreeks door het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) gesubsidieerde instellingen. Het totale jaarlijkse bedrag voor de culturele basisinfrastructuur bedraagt bijna €380 miljoen. Voor de periode 2017-2020 waren OCW en de Raad voor Cultuur – het belangrijkste adviesorgaan voor de Nederlandse regering op het gebied van kunst, cultuur en media – op zoek naar een onderzoeksbureau dat in kort tijdsbestek voor aanvragen van maximaal 140 instellingen de analyses van hun businessplan voor het deel ‘cultureel ondernemerschap’ kon uitvoeren. De keuze viel op Paul Postma Marketing Consultancy (PPMC), een organisatieadviesbureau voor commerciële vraagstukken.
PPMC kreeg de opdracht om de BIS-aanvragen voor de periode 2017-2020 onder de loep te nemen en te toetsen op door OCW vastgestelde criteria van ondernemerschap. Het adviesbureau werd geselecteerd vanwege zijn staat van dienst – een van de kerncompetenties van PPMC is het beoordelen van ondernemerschap en verdienvermogen van zowel profit als non-profit organisaties, charitatieve instellingen en maatschappelijke organisaties. Daaronder vallen ook culturele instellingen. Voor een specifiek deel van de opdracht werkte PPMC samen met APE, een dochterbedrijf van Significant.
Om tot zijn beoordeling te komen, begon het projectteam met het toetsen van 126 individuele subsidieaanvragen op cultureel ondernemerschap. Daarbij werden twee analyses gemaakt: ten eerste een kwantitatieve analyse van de financiële huishouding van de aanvrager, en ten tweede een kwalitatieve analyse van het ondernemerschap van de aanvrager. “In overleg met de Raad en het ministerie van OCW zijn voorafgaand aan het onderzoek de formats en variabelen voor beide analyses ontwikkeld”, vertelt PPMC-oprichter Paul Postma. “Daarbij is vastgelegd hoe deze variabelen moeten worden ingeschaald in een 5-punt Likertschaal*, en hoe de samenvattingen in een 3-kleurcodering worden weergegeven. Voor de kwalitatieve analyse is hiertoe in overleg met OCW een nieuwe methodiek bepaald.”
Foutgevoelig proces
Na de vaststelling van de methodiek zijn achtereenvolgens de kwantitatieve en kwalitatieve analyses uitgevoerd. Door de uitkomsten van de kwalitatieve analyse van een individuele aanvraag te confronteren met die van de kwantitatieve analyse is het projectteam per aanvraag gekomen tot een beoordeling van (1) de geloofwaardigheid van bijzondere ambities en krachten en (2) een inschatting van de risico’s en realiteitswaarde van de aangeleverde begroting.
“Een kwalitatieve beoordeling van meer dan 100 aanvragen in een vrij format van verschillende categorieën in een beperkt tijdsbestek is op zich een foutgevoelig proces, met risico’s op subjectieve oordelen”, legt Postma uit. “Om objectiviteit en consistentie maximaal te garanderen is in het beoordelingsproces het ‘vier ogen principe’ gehanteerd: twee collega’s beoordelen onafhankelijk van elkaar elke aanvraag. Verder heeft de onderzoeksleider gedurende het proces steekproeven genomen om de beoordelingen te toetsen op consistentie, en waar nodig een second opinion gevraagd.”
Op deze manier slaagde PPMC erin om in ruim een maand tijd voor 126 subsidieaanvragen de individuele analyse cultureel ondernemerschap uit te voeren. Per subsidie-aanvrager is een separaat rapport aangeleverd. “De voor de analyses ontwikkelde formats zijn gebruiksvriendelijk opgesteld zodat OCW deze indien gewenst kan hergebruiken”, aldus Postma.
In de volgende stap vond een aanvullende toetsing en rapportage plaats naar aanleiding van vragen van deelnemende instellingen over het door de Raad uitgebrachte advies. Daarna volgde de toetsing van acht aanvullende individuele subsidieaanvragen voor twee openstaande plekken en de analyse van 24 herziene aanvragen. De laatste stap in het onderzoek bestond uit het uitvoeren van een meta-analyse. “In deze analyse zijn de uitkomsten van de individuele aanvragen voor de periode 2017-2020 geaggregeerd per categorie, en samengeteld als sectortotaal”, vertelt Postma. “Deze meta-analyse had alleen betrekking op de instellingen met een positief advies van de Raad.”
Vervolgens is een vergelijking gemaakt van de meta-analyse uitkomsten over de periode 2017-2020 met de resultaten van de uitkomsten van een meta-analyse van de BIS-aanvragen op het thema ‘ondernemerschap’ voor de periode 2013-2016. Hierbij zijn zowel vergelijkingen gemaakt tussen de plannen 2013-2016 en 2017-2020, als tussen de gerealiseerde cijfers van 2014 en die van 2013 of eerder.
Culturele basisinfrastructuur
Het 87-pagina tellende onderzoeksrapport werd in april vorig jaar overhandigd aan Raad voor Cultuur, die de bevindingen heeft gebruikt bij de beoordeling van de subsidieaanvragen. Enkele maanden later werd het budget van bijna €380 miljoen toegewezen, waarvan zo’n €175 miljoen ging naar de podiumkunsten, €64 miljoen naar musea, €31 miljoen naar beeldende kunst en €17 miljoen naar de creatieve industrie en amateurkunst/cultuureducatie. De filmwereld kreeg €58 miljoen toegewezen, waarvan €50 miljoen ging naar het Nederlands Filmfonds, terwijl Nederlands Letterfonds €10 miljoen ontving van de in totaal €13 miljoen die gereserveerd was voor instellingen in de letteren.
* Met de likertschaal kunnen respondenten worden ondervraagd over doorgaans moeilijk te kwantificeren gegevens. De methode – vaak gebruikt in de psychologie en sociale wetenschappen – stelt de respondenten in staat aan te geven in hoeverre zet het eens zijn met een bepaalde stelling, waarbij de antwoordmogelijkheden vaak variëren van ‘helemaal mee eens’ aan het ene uiterste, tot ‘helemaal mee oneens’ aan het andere.
