5 stappen om voorbereid te zijn op de nieuwe Europese AI-regulering
In april heeft de Europese commissie het voorstel voor de nieuwe Europese Artificial Intelligence (AI)-regulering gepubliceerd. De verwachting is dat deze regelgeving binnen drie tot vier jaar tot wet wordt verheven. Anja Meerding, Senior Consultant bij Cmotions, legt uit wat de AI-regulering inhoudt en hoe organisaties zich kunnen voorbereiden op deze wetgeving.
De nieuwe AI-regulering (de zogeheten ‘(Artificial Intelligence Act’) maakt onderscheid tussen drie soorten AI-systemen:
Verboden systeem: Wanneer er technieken worden gebruikt waarbij personen onbewust en op een schadelijke manier worden beïnvloed. Of systemen die gebruikmaken van iemands kwetsbaarheid (bijvoorbeeld biometrische identificaties in de publieke ruimte en het sociaal labelen van burgers). Dit vormt een onacceptabel risico.
Hoog risicosysteem: Deze systemen hebben impact op de fundamentele rechten van het individu. Denk aan beoordeling en selectie in het onderwijs of door werkgevers, toegang tot sociale zekerheid of toepassingen binnen het openbaar bestuur.
Laag risicosyteem: Hier vallen alle overige AI-toepassingen onder. Bijvoorbeeld manipulatie van mediadata, deep fakes etc.
Voor de hoog risico- en de overige systemen moet je voortaan als organisatie aan bepaalde regelgeving voldoen. Regels voor zowel ontwikkelaars, providers, distribiteurs als gebruikers.
Vereisten voor AI-systemen
Bij hoog risicosystemen is een keuring (conformiteitsbeoordeling) verplicht voordat deze uitgerold wordt naar de markt. Bij een conformiteitsbeoordeling komen de volgende aspecten aan de orde:
- Risicomanagement
- Beoordeling van kwaliteit van training datasets van het model/algoritme
- Documentatie en verslaglegging van genomen ontwerpbesluiten, keuze van model
- Transparantie en informatie over gebruikte algoritmen naar de gebruikers
- Passend menselijk toezicht
- Robuustheid, accuraatheid en veiligheid van systeem
- Registratie in Europese database
- Distributeurs verantwoordelijk voor voldoen aan Europese AI-regulering
Deze beoordeling moet uitgevoerd worden door een derde partij, provider of de importeur binnen de EU.
Daarnaast hebben de gebruikers van AI-toepassingen ook verplichtingen te weten:
- Verplichting tot het monitoren van het gebruik van het AI-systeem
- Bijhouden welke data hiervoor gebruikt is
- Systemen alleen gebruiken volgens instructies van de provider
- Bij afwijking van instructies wordt de gebruiker als provider behandeld
- Systemen alleen gebruiken voor de doelen waarvoor het systeem ontwikkeld is
- Transparant zijn en informatie verstrekken over algoritmen naar de betrokkenen
- De toepassingen moeten AVG-compliant zijn
De impact van de AI-wetgeving
Door de AI-toepassingen waar sommige instanties de laatste tijd op negatieve wijze mee in het nieuws zijn gekomen (denk aan de toeslagenaffaire) wordt het belangrijk dat het vertrouwen van de burger in de overheid hersteld wordt. Hier geeft de nieuwe AI-regulering organisaties binnen en buiten het domein overheid nou juist handvatten voor.
Het zou logisch zijn om als organisatie alvast vooruit te lopen op deze nieuwe wetgeving. Start hier mee. Zet voor nieuw te ontwikkelen toepassingen een AI-proces op en toets dit. Beginnen nadat de wetgeving aangenomen is, is te laat. Dit kan leiden tot een kostbare inhaalslag en boetes bij ongewenste privacy-impact van een algoritme.
We zagen dat de daadwerkelijk implementatie van een toezichthouder voor de AVG (Autoriteit Persoonsgegevens) een tijd op zich heeft laten wachten, waardoor de handhaving niet meteen op gang kwam. Het is aannemelijk dat de handhaving van de AI-regulering een uitbreiding wordt van het al bestaande pakket van de huidige toezichthouder. In ieder geval de bestaande basis en ervaring zal leiden tot een snelle handhaving.
Eigenlijk verschilt de inrichting van processen voor de Europese AI-regulering niet zoveel van de huidige datamanagement-, datagovernance- en compliance-processen die bij grotere organisaties al opgetuigd zijn. Alleen doe je het nu voor een algoritme in plaats van een datawarehouse.
Ook de bij de data scientist bekende data-analyse-processtappen (denk aan CrispDM) vereisen alleen een wat uitgebreidere gebruiksaanwijzing, documentatieslag en een check op privacy-compliance. Deze privacycheck had al voor huidige AVG-wetgeving gedaan moeten zijn.
5 stappen om te voldoen aan regulering
- Kweek awareness binnen je organisatie voor de Europese AI-regulering.
- Inventariseer welke AI-systemen toegepast worden binnen je organisatie en welke rol je hierin hebt (gebruiker, ontwikkelaar, distributeur, etc.).
- Zet een compliant proces op van aanvraag, validatie, goedkeuring tot aan deployment en monitoring.
Aandachtspunten hierbij zijn:
- Standaard AI-impactanalyse (risicomanagement)
- Een algoritmeregister met links naar bijbehorende documentatie, gebruikte technieken et cetera
- Zorg dat een algoritme uitlegbaar en ethisch verantwoord is. Visualisatie van het algoritme (white boxing) is hierbij belangrijk
- Een terugkerende APK van je modellen, die naast het checken van veranderingen in het model ook kijkt naar de impact van veranderingen in de organisatie, gebruikte data, de wereld buiten je organisatie en de laatste wetgeving of jurisprudentie
- Zorg voor een geautomatiseerd monitoringproces van AI-toepassingen, zoals het genereren van alerts bij afwijkingen van een toepassing van vooraf bepaalde verwachte resultaten
- Zorg voor een transparante organisatie met duidelijke verantwoordelijkheden, rollen en taken van het AI-proces.
- Zorg voor transparantie naar de betrokkenen door in Jip en Janneke-taal uit te leggen wat het algoritme doet en hoe men bezwaar kan maken tegen de uitkomst.
Een randvoorwaarde om dit proces goed te kunnen implementeren is de beschikbaarheid van kundige data scientists en privacy professionals (beide schaars goed). Zij moeten ook nog elkaars taal begrijpen en in staat zijn out-of-the-box te denken om tot een goed resultaat te komen.
