Bureaus helpen mbo-instellingen met datagedreven onderzoek
Adviesbureaus Hutspot en New Nodes hebben in opdracht van DUO en negen mbo-scholen een onderzoek begeleid naar het gebruik van data binnen onderwijsinstellingen, onder andere om meer zicht te krijgen op de leerloopbaan van studenten.
“Er is enorm veel data beschikbaar over de leerloopbaan van mensen. Die data wordt verzameld door onderwijsinstellingen, maar ook door partijen als DUO, SBB, gemeenten en het CBS”, vertelt Willem-Jan Swiebel, een van de oprichters van adviesbureau New Nodes: “De inzichten uit deze data kunnen op diverse manieren worden benut, bijvoorbeeld om studenten betere begeleiding te kunnen bieden.”
“In een bijzondere samenwerking met meerdere mbo-instellingen, DUO en organisatieadviesbureau Hutspot verkenden wij enige de tijd geleden de mogelijkheden van datagedreven onderzoek om te komen tot meer studiesucces onder studenten. De opbrengst van dit eerste verkennende onderzoek, je zou het een pilot kunnen noemen, smaakte naar meer”, laat Swiebel weten.
Op een later moment werden vanwege het succes enkele mbo-scholen toegevoegd aan het onderzoek. “Vervolgens gingen er negen onderwijsinstellingen aan de slag met een tweede pilot waarmee moest worden vastgesteld of datagedreven onderzoek binnen mbo-scholen zijn vruchten afwerpt en dus of deze aanpak meer zicht geeft op de leerloopbaan van studenten.”
De resultaten die volgden uit de tweede pilot hebben voor de instellingen bevestigd dat datagedreven werken de docent en de beleidsmakers kan helpen in hun dagelijks werk, “soms door nieuwe inzichten te bieden, maar ook door bestaande verwachtingen te toetsen en te onderbouwen”.
Een overzicht van de zes belangrijkste lessen die zijn geleerd tijdens de twee pilots:
1: Instellingoverstijgend onderzoeken loont
“Door meerdere instellingen en perspectieven te betrekken kan iedereen elkaar versterken. Het onderzoek wordt interessanter en het helpt elkaar scherp en kritisch te houden”, legt Swiebel uit. Bijkomend voordeel is dat het ook efficiënter is en dat best practices met elkaar gedeeld kunnen worden.
2: Waarde creëren voor het onderwijsteam
“Uiteindelijk draait het om de waarde die we met de datagedreven aanpak kunnen brengen bij het onderwijsteam”, aldus Swiebel. “In het onderwijs ontstaat de behoefte en dat leidt tot een vraag die het onderzoeken waard is. Door ook de resultaten beschikbaar te maken op het niveau van het onderwijsteam ontstaan inzichten die de student in zijn leerloopbaan kunnen helpen.”
3: Transparantie is essentieel
Naast het formuleren van de onderzoeksvraag is het verstandig om helder te beschrijven welke onderzoeksmethodes worden toegepast: “Op die manier weten professionals van de mbo-instellingen nog voordat de data-analyse is uitgevoerd wat ze mogelijk kunnen verwachten. En dat helpt ze dus om de uiteindelijke resultaten beter te begrijpen.”
Volgens Swiebel is het dus nuttig voor mbo-instellingen om een analyseplan te ontwikkelen: “In dit plan wordt duidelijk welke populatie onderzocht wordt. Hoe de analyse aangepakt wordt: beschrijvend, verklarend of wordt er een model gebouwd? Welke technieken gebruikt worden. Welke conclusies kunnen volgen en welke niet? En waarom? En tot slot: hoe gaat de analyse leiden tot een antwoord? Het is belangrijk dat het analyseplan goed leesbaar is, ook voor mensen zonder statistische kennis of onderzoekservaring.”
“Net als het onderwijs ontwikkelt, ontwikkelt een model zich ook met de jaren. Houd hier rekening mee als je datagedreven onderzoek wilt omarmen.”
4: Blijf nieuwsgierig
Datagedreven onderzoek vraagt om een nieuwsgierige en open mindset, benadrukt Swiebel: “Nieuwe methodes kunnen leiden tot nieuwe vragen en inzichten. Dus wees kritisch naar jezelf en de aanpak, maar laat je ook verrassen door de uitkomsten uit de data-analyse.”
5: Soms is live beter
Net als iedereen hebben ook New Nodes en Hutspot anders moeten werken door de coronacrisis. “De onderzoeksgroepen waren genoodzaakt om de samenwerking vanaf maart dit jaar op afstand te doen. Datagedreven onderzoek leent zich goed voor digitaal samenwerken, maar vraagt een goede voorbereiding en een helder gedeeld beeld over het uit te voeren werk.”
Maar, zo benadrukt Swiebel, soms is het beter om elkaar even in het echt te ontmoeten: “Het bespreken van complexe inhoud – denk aan data-analysemethoden, uitkomsten tabellen, interpreteren van uitkomsten – is met een groep mensen fysiek bij elkaar eenvoudiger dan digitaal op afstand. Dat hebben we de afgelopen tijd zo nu en dan gemerkt.”
6: Een voorspelmodel is nooit af
Omdat de werkelijkheid continu verandert, moet het model meeveranderen. “De populatie van de studenten kan veranderen. Nieuwe data kan beschikbaar worden en nieuwe patronen kunnen worden ontdekt. Zo verandert het voorspelmodel steeds mee met de actualiteit. Houd hier rekening mee als je datagedreven onderzoek wilt omarmen: een model ontwikkelt met de jaren, net als het onderwijs ontwikkelt.”
Blik op de toekomst
De instellingen die meegedaan hebben met het datagedreven onderzoek willen graag verder. Met de mbo-sector wordt bekeken hoe de geleerde lessen en inzichten gedeeld kunnen worden. Swiebel: “Hierna zullen Hutspot en New Nodes met de sector gaan bekijken hoe we datagedreven onderzoek in het mbo-onderwijs nog verder kunnen doorvoeren.”
