Geef voorspelmodellen een periodieke onderhoudsbeurt

Voorspelmodellen helpen organisaties bij het voorspellen van consumentengedrag en het optimaliseren van processen. Maar net als elk ander algoritme dient een voorspelmodel onderhouden te worden. Yvette van Breukelen en Jurriaan Nagelkerke, allebei data scientists bij Cmotions, vertellen over het belang van periodieke controles op modellen en hoe een ‘APK voor voorspelmodellen’ uitkomst kan bieden. 

Voorspelmodellen zijn een krachtige en veelgebruikte manier om meer kennis en waarde uit de data te halen die niet altijd met het blote oog zichtbaar is. Zo kunnen voorspelmodellen ingezet worden om de klanten te selecteren met een grote kans op een (cross sell) verkoop of om de klanten te identificeren met hoge kans om hun abonnement te stoppen en/of weg te gaan.

Je zet campagnes effectiever in en je bespaart geld, wanneer je met een campagne alleen de klanten benadert die een hoge kans hebben om weg te gaan volgens het model. Bovendien overspoel je dezelfde klant niet met campagnes. 

Veel voorspelmodellen zijn maatwerk

Goede voorspelmodellen zijn doorgaans maatwerk. Ze worden gebouwd door kundige analisten of door een externe partij met specialistische kennis op het gebied van voorspeltechnieken. Na een paar weken van verzamelen van data, opschonen, combineren, analyseren en tweaken staat er een goed model wat in gebruik kan worden genomen in selectieprocessen. Afhankelijk van het type campagne zal de klanten- of prospectbase wekelijks, maandelijks, of ieder kwartaal opnieuw worden uitgescoord. Om zo de klanten met de hoogste kans te selecteren en deze klanten een passend aanbod te doen in de campagne.

Langdurig gebruik is niet zonder risico’s

We hebben al veel succesvolle cases van voorspelmodellen meegemaakt bij onze klantrelaties. Door ons gemaakt en overgedragen, of door analisten van de klant zelf ontwikkeld. Vaak zien we bij klanten dat ze deze voorspelmodellen blijven gebruiken volgens het PIEP-systeem. Oftewel: zolang het model output blijft generen die uitgeleverd kan worden voor een campagne. Maar ondertussen zijn er genoeg interne en externe factoren die invloed kunnen hebben op je model, waardoor deze nu niet meer optimaal functioneert en daarmee niet meer de beste klantgroep selecteert. 

Zonde. Door het model aan te passen, opnieuw te trainen, of nieuwe databronnen toe te voegen aan het voorspelmodel, had mogelijk een hoger rendement behaald kunnen worden. Daarnaast is het gebruiken van een verouderd model ook niet zonder risico’s. Zo kan een verouderd voorspelmodel er namelijk ook voor zorgen dat er data worden gebruikt voor klantselecties, die volgens de nieuwe privacywetgeving helemaal niet meer gebruikt mogen worden. Of dat door veranderingen in het datalandschap inmiddels de verkeerde klanten vooraan worden gezet voor een campagne. 

Check het voorspelmodel

De kracht van het voorspelmodel is afhankelijk van de kwaliteit. Check daarom regelmatig of hij nog up-to-date is. Bij het verder professionaliseren en optimaliseren van campagnes hoort dus ook: doorlopende kwaliteitscontrole. Enerzijds door de voorspelkracht van het model te monitoren. En anderzijds door op verschillende domeinen te controleren of het model nog doet waar het voor bedoeld is. 

Doen de analisten die het model hebben gemaakt of het model in beheer hebben dat dan niet? In onze ervaring zijn analisten doorgaans vooral bezig met het ontwikkelen van nieuwe inzichten en modellen. Ze krijgen daar én meer energie van. Bovendien wordt dat ook van ze wordt gevraagd. En als het model bij een andere afdeling in beheer is gegeven, is het voor hen vaak lastig in te schatten of het model nog ‘goed’ is. Het periodiek controleren of wat draait nog optimaal werkt, is (vooral bij gebrek aan PIEP) doorgaans geen prioriteit. En al helemaal niet als de persoon of organisatie die het model ontwikkelde, inmiddels niet meer aanwezig is binnen de organisatie. 

“Het ‘in de lucht houden’ van voorspelmodellen wordt een steeds grotere opgave. De APK helpt om de kwaliteit te bewaken van business processen waarin voorspelmodellen worden gebruikt.” 

Twee voorbeelden…

Een voorbeeld om inzicht te geven in gevolgen bij het langdurig gebruiken van een model. Door met hetzelfde model langere tijd in dezelfde poel van prospects te blijven vissen, zal het model iedere keer dezelfde prospects blijven selecteren. Deze prospects ontvingen naar alle waarschijnlijkheid al meerdere keren het aanbod. Bovendien is het zeer waarschijnlijk dat ze niet nóg een keer op hetzelfde aanbod in zullen gaan. Ze zullen zich eerder uitschrijven voor alle communicatie. 

Een ander voorbeeld van een risico is dat één van de voorspellers in het model inmiddels heel andere waarden bevat dan het creëren van het model. Denk hierbij aan een product dat inmiddels van naam is veranderd. Daar waar het sterk responsverhogend was dat iemand een ‘plusabonnement’ had, is dat niet meer voorspellend als dit abonnement is hernoemd naar ‘premiumabonnement’. Naamsveranderingen of andere veranderingen komen vaker voor dan gedacht en kunnen voorspelmodellen onverwachts overhoop gooien. En niet onbesproken kan blijven: mag je bepaalde voorspellers nog wel gebruiken? Neem het contactgedrag van de klant over langere tijd. Is het wel volgens de interne richtlijnen om deze data voor dit doel te gebruiken? 

De periodieke controle

Om in te schatten hoe groot het risico is dat het model niet meer doet waar het voor bedoeld is, hebben we vanuit Cmotions de APK voor voorspelmodellen ontwikkeld. Net zoals je bij je auto jaarlijks een check uit laat voeren om te zien of deze nog veilig de weg op mag, is het verstandig om ook periodiek een check uit te voeren voor je voorspelmodel. Maakt je voorspelmodel met de huidige beschikbare data en onder de huidige wetgeving de best mogelijke voorspelling? En past deze nog steeds goed bij het doel van de huidige campagne? 

De APK voor voorspelmodellen begint met een online APK check. Aan de hand van 10 vragen wordt gekeken of veranderingen binnen of buiten jouw organisatie mogelijk een risico vormen voor de bruikbaarheid van jouw voorspelmodel. Binnen 5 minuten weet je waar je aan toe bent. 

Er wordt vervolgens gekeken naar risico’s op vier domeinen: Organisatie, Data, Wereld en Tijd. De scores per domein vormen gezamenlijk een eindscore. Wanneer de online APK check een verhoogd risico uitwijst, volgt een uitgebreide scan op domeinen met een risico om het risico nader te onderzoeken. Dit kan je doen, of laten doen, aan de hand van verdiepende vragen van de zogenaamde (zelf)scan. 

De uitkomsten van deze scan (vragenlijst) en eventuele vervolgstappen worden in een expertsessie besproken. Je hebt dan scherp zicht op bestaande en mogelijke risico’s bij het gebruik van je voorspelmodel. Je weet wat te doen en hoe je het model met minimale inzet maximaal kunt blijven inzetten. Ook bespreken we tips vanuit andere organisaties en ervaringen om een voorspelmodel langere tijd zonder risico te kunnen blijven gebruiken.

De online APK voor voorspelmodellen is te vinden op de site van Cmotions.