Hoe AI het werk in business intelligence-teams gaat veranderen
De opkomst van kunstmatige intelligentie transformeert het vakgebied van business intelligence in hoog tempo. Boudewijn van den Dool, Principal Consultant bij Improven, loopt door de ontwikkelingen die hij in de markt ziet en de kansen die deze met zich meebrengen voor BI-professionals.
Het end-to-endproces van business intelligence is uitgebreid: van ruwe data en het opstellen van user stories tot het modelleren van data, het bouwen van dashboards en het integreren van inzichten in besluitvorming.
Een inventarisatie van de belangrijkste activiteiten binnen business intelligence en de potentiële impact van AI laat zien dat deze technologie een belangrijke disruptor kan zijn voor het vakgebied:
De strategische voorkant
De fases rondom backlogbeheer, stakeholdergesprekken en prioritering lijken op het eerste gezicht het meest menselijk. En dat zijn ze natuurlijk ook, maar toch zijn ze niet volledig immuun voor de impact van AI. AI kan bijvoorbeeld een transcriptie van een stakeholdergesprek omzetten naar een gestructureerde lijst van requirements.
In relatief eenvoudige en goed afgebakende situaties zou een stakeholder mogelijk zelfs zonder tussenkomst van een ander persoon (de businessanalist) in gewone taal kunnen formuleren wat hij of zij nodig heeft. Maar een echt stakeholdergesprek is zelden zo lineair dat dit zonder analist zou kunnen.
Wat er in de praktijk gebeurt: een stakeholder zegt wat hij denkt te willen, de analist herkent dat dit niet het onderliggende probleem oplost, stelt een andere vraag, en het gesprek kantelt naar iets wat niemand van tevoren had bedacht.
AI doorziet niet alles
Het vermogen om structureel de kloof tussen de gevraagde oplossing en het werkelijke probleem betrouwbaar te herkennen heeft AI nog niet. Het volgt de gesprekslogica, maar doorziet de organisatiepolitiek niet, herkent de onuitgesproken agenda niet, en voelt niet aan wanneer iemand iets zegt maar iets anders bedoelt.
Verder kan AI patronen in de backlog signaleren die mensen over het hoofd zien en op basis van historische data een prioriteringsadvies geven. Maar de beslissing zelf blijft een politieke en organisatorische afweging die bij de mens gelaten moet worden (afhankelijk van de strategie en belangen).
Het werk verandert aan de strategische voorkant dus met name in karakter en niet zo zeer in omvang. De businessanalist die vroeger een uur bezig was met het uittypen van gespreksaantekeningen, besteedt die tijd straks aan het valideren en aanscherpen van wat AI al heeft opgesteld. Dat klinkt als winst en dat is het ook, maar het stelt tegelijk hogere eisen aan het kritisch vermogen van diezelfde analist.
Het schrijven van user stories en requirements
Dit is een van de meest directe toepassingen van AI in het BI-proces, en ook een van de meest onderschatte. AI kan op basis van een gespreksopname, een e-mail of een notitie een eerste versie van een user story genereren inclusief acceptatiecriteria, randgevallen en data-afhankelijkheden.
Wat vroeger een iteratief, tijdrovend proces was van schrijven, reviewen, overleggen en herschrijven, comprimeert naar: AI schrijft, de mens valideert en stuurt bij.
Het risico zit in de kwaliteit van het resultaat. Een goed geformuleerde user story die de verkeerde vraag beschrijft, is gevaarlijker dan een rommelig geschreven story die de juiste vraag stelt. De analist die AI inzet, moet de domeinkennis hebben om te herkennen wanneer het resultaat klopt. Dat vraagt in de toekomst niet veel minder capaciteit dan nu.
Data profiling en ontsluiting
Data profiling is het systematisch analyseren van de kwaliteit, volledigheid en structuur van brondata. Hier is AI op zijn sterkst. Dit is precies het soort werk waarbij menselijke aandacht verslapt en AI niet vermoeid raakt. Statistieken berekenen, uitschieters detecteren, ontbrekende waarden in kaart brengen, patronen in datatypes herkennen: de technische kant van data profiling kan grotendeels worden geautomatiseerd, maar interpretatie blijft menselijk werk.
Hetzelfde geldt voor het ontsluiten van data. SQL-generatie op basis van een beschreven behoefte, het voorstellen van mappings tussen bron- en doelsystemen, het schrijven van connectoren: AI kan dit versnellen en ondersteunen, maar dit vereist nog intensieve validatie van de menselijke engineer en het is voorlopig nog foutgevoelig in productiecontexten.
De engineer verschuift van bouwer naar reviewer en dit is een fundamenteel andere rol die ook een ander soort aandacht vraagt.
Opwerken en modelleren
De transformatielaag is het hart van elk datawarehouse. Dit is technisch en repetitief genoeg om grotendeels door AI te worden gegenereerd, maar conceptueel te complex om geen menselijke sturing nodig te hebben. AI kan transformatielogica schrijven, cleansingregels voorstellen en datakwaliteitschecks inbouwen.
Maar de keuze voor bijvoorbeeld een bepaald datamodel (ster- of sneeuwvlokschema), welke granulariteit of hoe dimensies worden gedefinieerd, is een ontwerpbeslissing die domeinkennis vereist die niet in de code zit, maar in het hoofd van de modelleur.
Wanneer het technisch misschien wel mogelijk zou zijn om dit geheel met AI te doen, is het organisatorisch waarschijnlijk onwenselijk. Technische mogelijkheid en organisatorische realiteit lopen niet in dezelfde pas.
Testen
Testen is misschien wel de fase waar AI de meest directe en aantoonbare meerwaarde levert, mits er duidelijke definities en een goede testbasis aanwezig zijn. Data-correctheidstests, zoals of de KPI op het dashboard overeenkomt met de brondata in het DWH, kunnen volledig worden geautomatiseerd.
Regressietesten na modelwijzigingen, het detecteren van onverwachte afwijkingen, het genereren van testcases vanuit acceptatiecriteria: dit is bij uitstek het domein waar menskracht nog wel eens door tijdsgebrek tekortschiet en AI systematisch slaagt.
Dashboardontwikkeling en acceptatie
Het bouwen van dashboards verandert: AI kan een lay-out voorstellen op basis van de requirements, measures suggereren en kleuren en visualisatietypes aanbevelen. Maar het bepalen of een dashboard het juiste verhaal vertelt aan de juiste doelgroep, dat is en blijft een menselijk oordeel.
Acceptatie is bovendien per definitie een menselijk moment: de opdrachtgever moet instemmen, en die instemming is niet overdraagbaar aan een algoritme.
Wat dit betekent voor het BI-team
Hoewel de fasen in het voorbrengingsproces van informatieproducten grotendeels gelijk blijven, verschuift de verhouding tussen uitvoering en oordeelsvorming binnen die fasen. AI neemt een groter deel van de uitvoering voor haar rekening, terwijl het belang van menselijk oordeel toeneemt om AI te controleren.
Rollen zullen dus gaan verschuiven. Een data engineer die vandaag 60% van zijn tijd besteedt aan handmatig SQL schrijven, besteedt die tijd straks aan het reviewen, testen en verbeteren van AI-gegenereerde code.
Een BI-analist wordt steeds meer een probleemeigenaar die AI instrueert en bijstuurt, niet iemand die zelf al het rekenwerk doet. Dat vraagt andere vaardigheden: promptkennis, het kritisch kunnen beoordelen van gegenereerde output en domeinkennis om AI op koers te houden.
