Commotie rond rekenmodel: bedenker Robert Kok blikt terug

De afgelopen tijd was er veel te doen om het CarbonTax-model van adviesbureau Revnext. Het model zou er flink naast hebben gezeten bij het berekenen van het aantal verkochte elektrische auto’s, waardoor de overheid voor een half miljard euro de boot in zou zijn gegaan. Robert Kok, die het model ontwikkelde, kwam zelfs naar Den Haag om tekst en uitleg te geven. Tegelijkertijd werd ook kritiek geuit op de negatieve berichtgeving: Kok zou onterecht zijn gebombardeerd tot zondebok, terwijl de werkelijke verantwoordelijkheid bij de Haagse politici zou liggen. Nu de storm een beetje is gaan liggen, blikt Robert Kok met Consultancy.nl terug op de kwestie: “Dat er kritiek is op beleid of subsidies snap ik. Maar het heeft mij absoluut verbaasd dat de kritiek zich heeft gericht op een rekenmodel dat feitelijk enkel als calculator fungeert.” 

Al jarenlang probeert de Nederlandse overheid zoveel mogelijk mensen in de elektrische auto te krijgen, bijvoorbeeld door kopers belastingvoordelen te bieden. Sinds 2011 wordt het zogeheten CarbonTax-model gebruikt om in te schatten hoeveel deze subsidiemaatregel de schatkist kost. Hiervoor is het natuurlijk nodig een inschatting te maken van het aantal elektrische auto’s dat verkocht gaat worden. Terwijl met behulp van het CarbonTax-model werd becijferd dat dit er naar verwachting zo’n 11.000 zouden zijn, reden er vorig jaar in werkelijkheid maar liefst 26.000 de showrooms uit. Genoeg reden voor gefronste wenkbrauwen zou je zeggen.

De beschuldigingen aan het adres van modelontwikkelaar Robert Kok waren dan ook niet van de lucht. RTL Nieuws en Follow the Money publiceerden vanaf maart verschillende artikelen waarin Kok en adviesbureau Revnext met de grond gelijk werden gemaakt. Niet alleen zou zijn fout de overheid minstens €500 miljoen hebben gekost, dit geld was bovendien en vooral terechtgekomen bij Tesla, nota bene een andere klant van Revnext. En terwijl er door de jaren heen al €900.000 was betaald voor het gebruik van het model, was het nog altijd in private handen en zou de overheid geen idee hebben van de werking ervan.

Ander geluid

Na deze stevige kritiek, en nadat Kok in een rondetafelgesprek aan de tand werd gevoeld door niet minder dan negen Kamerleden, was er echter ook een ander geluid te horen in de media. Half april verschijnt er een opiniestuk in het FD waarin hoogleraren Bert van Wee (tevens promotor Robert Kok) en Henk Meurs zich erover verbazen dat een consultant verantwoordelijk wordt gehouden wanneer de werkelijkheid niet voldoet aan eerdere ramingen: “Wij storen ons aan deze kritiek, die de indruk geeft dat onderzoekers de uitkomsten hebben gemanipuleerd voor politieke doeleinden. Wij vinden die suggestie volstrekt onjuist.”

De twee wijzen er verder op dat de berekeningen over 2018 zijn verricht op basis van data tot en met 2014, terwijl het beleid daarna nog is aangepast. Anders gezegd: als je de verkeerde getallen met elkaar vermenigvuldigt krijg je de verkeerde uitkomst, hoe goed je rekenmachine ook werkt. Bovendien stonden in het rapport talloze waarschuwingen over de vele onzekerheden en de grote invloed hiervan op het werkelijke aantal verkochte auto’s. 

Veel van de punten van Van Wee en Meurs worden onderschreven door Jesse Frederik in zijn uitgebreide artikel voor De Correspondent, dat twee weken later verschijnt. Hij wijst er bovendien op dat juist Robert Kok in het verleden in evaluaties voor de overheid al meermaals had gewezen op het vaak geldverkwistende karakter van subsidiemaatregelen: “Dus ja, het is wel wat curieus om dan te lezen dat redacteur Pieter Klein van RTL Nieuws de modellen van Kok omschrijft als ‘de motor achter een jarenlang volgehouden subsidiebeleid’.” Niet Kok zou verantwoordelijk zijn voor het falende subsidiebeleid, maar de vele Kamerleden die al jarenlang liggen te slapen. 

Precaire balans

Inmiddels zijn we enkele maanden verder en is de grootste commotie voorbij. Hoe kijkt de hoofdrolspeler zelf nu terug op de kwestie?

“Het blijft een lastig vraagstuk”, begint Kok. “Onderzoekers, beleid en politiek zijn altijd in een precaire balans met elkaar. Dat is niets nieuws. Zo zijn onderzoekers er in het verleden eerder van beschuldigd op de stoel van beleidsmakers te gaan zitten, en werden ook politici ervan beticht onderzochte feiten met opinies en meningen te ontkrachten.”

“Ik geloof dat in de discussie rond CarbonTax de politieke gevoeligheid van het huidige klimaatdebat, de complexiteit van het onderwerp en de grote rol van (social) media deze precaire balans nog verder onder druk hebben gezet en dat men uit de bocht is gevlogen. Onderzoek naar de feiten is ondergesneeuwd door meningen over elektrische auto’s, over subsidies en deels ook over mijzelf als professional. Dat er kritiek is op beleid of subsidies snap ik. Maar het heeft mij absoluut verbaasd dat de kritiek zich heeft gericht op een rekenmodel dat feitelijk enkel als calculator fungeert.” 

“Een model is afhankelijk van extern aangeleverde data, een model maakt geen beleid en doet al helemaal geen inhoudelijke uitspraken over subsidies.”

Input en output

Ook verwondert Kok zich over de sleutelrol die aan zijn model is toegedicht, waarbij hij meteen benadrukt dat de berekeningen op zichzelf niet onjuist waren: “Een model is afhankelijk van extern aangeleverde data, een model maakt geen beleid en doet al helemaal geen inhoudelijke uitspraken over subsidies. De rol van een model is zorgen dat de calculaties kloppen. Dat deed en doet het gelukkig. Met de juiste modelinvoer zou de raming heel dicht bij de werkelijkheid liggen.” 

Net als Van Wee en Meurs wijst hij erop dat de afwijkende uitkomsten niet meer dan logisch zijn: “Ten eerste: het beleid werd nog aangepast nadat de doorrekeningen in 2015 waren afgerond en kon daarom nooit teruggevoerd worden op de uitkomsten van de doorrekeningen. Ten tweede: nota bene ging bijna de helft van het rapport in 2015 over onzekere ontwikkelingen zoals batterijprijzen, economische context, het aanbod van nieuwe modellen. We hebben bovendien doorrekeningen gemaakt van deze onzekerheden, zoals een veel snellere daling van batterijprijzen voor elektrische auto’s. Je probeert dit gelezen te krijgen, maar men kijkt vaak alleen naar de puntschatting.”

Twitterpolitiek

Het politieke verlangen naar hapklare brokken lijkt in dit mediatijdperk alleen maar toe te nemen. “Het huidige politiek- en mediadebat lijkt inderdaad weinig ruimte over te laten voor nuances en complexiteiten”, beaamt Kok. “Voor een consultant is het ongelooflijk lastig om informatie hapklaar aan te leveren zonder afbreuk te doen aan de inhoud. Daarbij is het natuurlijk ook nog de vraag of in de huidige mediacultuur extra informatie überhaupt het verschil maakt.”

Ter illustratie van dit laatste punt geeft hij enkele voorbeelden. “Dit vond letterlijk plaats: Als men modeluitkomsten te pessimistisch vindt en we geven uitleg over modelaannames waaruit geen pessimisme blijkt, dan keert de kritiek zich 180 graden om en zijn we weer te optimistisch. Als we kritiek krijgen dat gedragseffecten niet zijn meegerekend en we leggen uit dat die juist wel met het model bepaald zijn, dan komt er weer kritiek of gedragseffecten überhaupt meegenomen hadden moeten worden. Als er kritiek is over transparantie en transparantie is geboden dan schuift de kritiek naar validatie. Als vervolgens de validatie beschreven wordt, dan wordt er gezocht naar wetenschappelijke validatie. En als ook die geboden wordt, dan vraagt men vervolgens om internationale wetenschappelijke validatie.” 

Transparantie

Ook aangaande het punt van transparantie constateert Kok dat extra informatie niets lijkt uit te richten: “Het viel mij op dat politici en media bleven herhalen dat er sprake was van een gebrek aan transparantie. Dit terwijl er in de afgelopen maanden honderden Kamervragen zijn gesteld over het model en deze zijn ook beantwoord. Het PBL [Planbureau voor de Leefomgeving, red.] heeft het model en de doorrekeningen uitvoerig en grondig getoetst en vervolgens beoordeelde het PBL het model als bruikbaar en best beschikbare model in de markt. Daarnaast is er een achtergrondrapport van meer dan 40 pagina’s over het model geschreven en openbaar gemaakt, en is er ten slotte nog een rondetafelgesprek geweest.” 

“Ik geloof niet dat alle informatie die ter beschikking is gesteld heeft geleid tot enige aanpassing in de gekozen berichtgeving over het model – of de beoordeling ervan door enkele Kamerleden.” 

“Ik geloof niet dat alle informatie die ter beschikking is gesteld heeft geleid tot enige aanpassing in de gekozen berichtgeving over het model – of de beoordeling ervan door enkele Kamerleden. Er bleven vragen komen, die reeds in de beschikbare documenten waren beantwoord, aangevuld met de zorg dat het model onvoldoende transparant zou zijn. Ik heb dat structureel willen nuanceren, verwijzend naar achtergrondrapport en beantwoording van alle Kamervragen.” 

(On)zekerheid

Net als naar hapklare brokken, verlangen de politiek en media volgens Kok ook naar zekerheid, terwijl een model daar niet voor bedoeld is: “Een model brengt onzekerheid in kaart – en tracht deze op basis van data en calculaties terug te brengen tot beslisondersteunende informatie. Zodat beleidsmakers beleidskeuzes kunnen maken of voorbereiden. Maar het uitgangspunt is onzekerheid. Als consultant en ook als wetenschapper probeer ik in de rapportages zo goed mogelijk te benoemen wat betrouwbaar en wat minder betrouwbaar kan worden ingeschat.” 

“Zo is in 2015 gewezen op mogelijke risico’s op overstimulering, de mogelijk snellere daling van batterijprijzen voor elektrische auto’s, de invloed van de economische context en de onzekerheid rond aanbodontwikkelingen, zoals de (snellere) introductie van nieuwe modellen en de beschikbaarheid daarvan voor de Nederlandse markt. Wat we hebben gezien is dat zowel politiek als media selectief deelresultaten eruit lichten en daar een eigen framing aan koppelen.”

De illusie van zekerheid leidt er volgens Kok uiteindelijk juist toe dat er alleen maar minder zekerheid wordt geboden: “Dit soort incidenten heeft tot gevolg dat consultants steeds voorzichtiger zullen gaan worden om überhaupt nog inschattingen te maken voor beleidsmakers. Je komt dan in een situatie dat een raming ‘tussen en 0 en 100%’ kan liggen. Dit zijn nietszeggende resultaten en dan schieten we het doel voorbij: namelijk juist houvast bieden aan beleidsmakers door onzekerheidsmarges van ramingen te verkleinen door achterliggende factoren en effecten goed te doorgronden.” 

Trollenbrigade

Naast de mogelijke gevolgen voor de adviesbranche in zijn algemeenheid, had het incident natuurlijk ook zijn impact op Revnext en op Kok persoonlijk. “Wij waren in eerste instantie enorm verbaasd. We krijgen vaker vragen uit de media en werken altijd mee. Nu werd de suggestie gewekt dat Revnext in het kader van het Klimaatakkoord tegelijkertijd voor Tesla werkte, terwijl wij konden uitleggen dat het een eenmalige kleine opdracht in het verleden betrof en geen enkele relatie had met de doorrekening van de huidige klimaatakkoordplannen. In dit geval was er echter sprake van media die media gingen citeren en dus de kritiek klakkeloos overnamen. Er leek geen sprake te zijn van fact-checking.”

“Dit soort incidenten heeft tot gevolg dat consultants steeds voorzichtiger zullen gaan worden om überhaupt nog inschattingen te maken voor beleidsmakers.”

Dit was echter niet alles: “Na de berichtgeving in de media volgde de online trollenbrigade. Anonieme haatmail en online bedreigingen. Het is denk ik inmiddels algemeen bekend dat deze online heksenjachten weinig beschaving kennen, maar ik geloof niet dat je je hier als onderneming of als persoon echt op kunt voorbereiden. Dat was voor mij, mijn kantoorgenoten en mijn persoonlijke omgeving heftig om mee te maken.” Kok benadrukt dat er gelukkig ook veel steunbetuigingen binnenkwamen: “Niet alleen van mensen die ons en onze onderneming kennen, maar ook van mensen uit het consultancyvakgebied en vanuit de wetenschap die de zaak met verbazing hadden gevolgd.”

Aan tafel

Wel begrijpt Kok de maatschappelijke onrust. Hij greep de kans deel te nemen aan het rondetafelgesprek dan ook “met beide handen” aan: “Ik wist dat veel achtergronden bij het rekenmodel tot dan toe achter de schermen uitvoerig besproken waren met ministeries, PBL en maatschappelijke organisaties. Ook was er een openbare achtergrondrapportage beschikbaar. Ik snap echter ook dat deze informatie de gemiddelde burger niet bereikt. Als er daarom vragen over zijn, vind ik ook dat je die moet beantwoorden. Bovendien gaf het mij de kans uitgebreid mijn verhaal te doen bij een breder publiek. Dit onderwerp heeft ook deze tijd nodig. Het bespreken van zaken als prijselasticiteiten leent zich nu eenmaal niet goed voor Twitter.” 

“Terugkijkend op het rondetafelgesprek denk ik dat ik veel vragen heb kunnen beantwoorden. Wel blijft het opvallend dat meerdere politici onvoldoende tot geen besef leken te hebben van wat de rol van een consultant bij beleidsdoorrekeningen nu eigenlijk is. Ik heb meerdere kritische vragen gekregen die ik gezien mijn beperkte rol nooit zou kunnen beantwoorden. En dat deed ik dan ook niet.” 

Vooruit

Vooruitkijkend, biedt de kwestie volgens Kok ook verschillende lessen. “Dat de raming met de juiste invoer heel dicht bij de werkelijkheid zou liggen wijst op het belang van monitoring van cruciale marktontwikkelingen bij innovatieve technologieën in een pril marktstadium. Rekenmodellen moeten onderhouden worden en ramingen moeten periodiek geactualiseerd worden als beleidsmakers niet te veel uit de bocht willen schieten. Dit is afgelopen jaren niet gebeurd, maar inmiddels is er een grote omslag gaande. Komende jaren zal de overheid nauwlettend gaan monitoren en waar nodig tussentijds bijsturen.” 

En terwijl Kok vierkant achter zijn CarbonTax-model blijft staan, erkent hij dat er natuurlijk altijd ruimte is voor verbetering. “Het is voor ons, de overheid en de sector van belang dat het model state-of-the-art blijft, dat het model gevoed wordt met de best mogelijke data en wetenschappelijke onderbouwingen. Dat gebeurt al op veel punten, maar kan met het oog op de toekomst breder geborgd worden. Samen innoveren. Daar wordt een model alleen maar beter van. Daarbij hoort een balans te zijn tussen bescherming van intellectueel eigendom en het deels open sourcen. Het één sluit het ander niet uit. Wij hebben dan ook expliciet de hand uitgestoken om te werken aan co-creatie via een publiek/private samenwerking. Het is aan de overheid te bepalen hoe zij hiermee verder wil.”