Hoog tijd voor een keurmerk voor AI algoritmes

Weet je wat er nu mist op het gebied van AI? Een algoritmekeurmerk. Op dit moment is er vaak een gebrek aan transparantie als het gaat over de algoritmes die ons zoveel werk uit de handen nemen. 

En gezien de enorme impact die algoritmes op ons leven hebben is het tijd om daar een gestandaardiseerde kwaliteitscontrole op los te laten. Ik stel dit voor te doen aan de hand van 3 stappen die ik hieronder uit de doeken doe. 

Met een algoritmekeurmerk kunnen zowel bedrijven als overheden bewijzen dat ze werken met goed-doordachte en correct-getrainde algoritmes. Op die manier is het voor de buitenwereld duidelijk dat de organisatie in kwestie serieus naar de werking en het effect van haar systemen kijkt. 

Neem nu eens een doorsnee bank 

Die heeft allerlei algoritmes lopen om verdacht betalingsverkeer te spotten of hypotheekaanvragen te beoordelen. Als gebruiker heb je geen zicht op welke punten zo’n aanvraag wordt beoordeeld of waarom je pas ineens geblokkeerd werd tijdens je vakantie. 

Vanuit het perspectief van een bank is het begrijpelijk dat je deze criteria niet wilt delen om bijvoorbeeld fraude te voorkomen. Alleen is het onmogelijk te bewijzen dat de bank niet discrimineert als iemand een hypotheek- of bedrijfslening aan wil vragen of dat een pas sneller geblokkeerd wordt bij gebruik in bepaalde landen. 

De recente toeslagenaffaire is een tergend praktijkvoorbeeld van waar zulke algoritmes toe kunnen leiden. 

Een financiële audit is toch ook normaal?

Natuurlijk is het niet alleen ‘de schuld’ van het algoritme. Je moet hier ook kijken met welke data zo’n model getraind is, welke factoren op wat voor manier meegewogen worden, wat de aannames zijn van de makers en waarom ze bepaalde uitkomsten aan die aannames verbinden. 

Bij zo’n algoritme audit is het dan ook belangrijk om structureel naar een aantal vaste zaken te kijken die als vrijwillige standaard worden aangenomen. Dat kan een nieuwe ISO-norm zijn of een soortgelijk eigen keurmerk wat sneller op te zetten is. Aangezien de Europese Commissie onlangs een voorstel heeft gedaan om tot soortgelijke standaarden te komen is het verstandig om proactief te zijn.

Vergelijk het eens met de financewereld. Er zijn bepaalde standaarden om de boekhouding bij te houden en alles te rapporteren. Door een onafhankelijke financiële audit uit te laten voeren zorg je voor transparantie zonder dat iedereen live met al die gevoelige data mee hoeft te kijken. 

Een algoritmekeurmerk is er niet alleen voor datanerds

Vorig jaar kopte RTL Nieuws dat een krappe meerderheid van de Nederlanders de beslissingen van algoritmes vertrouwt terwijl 58,6% denkt dat ‘computers meer objectieve beslissingen kunnen maken’. Nu kun je je vraagtekens zetten bij het onderzoek van IT-bedrijf TJILP omdat er slechts 1.000 mensen zijn ondervraagd. 

Desalniettemin laat het zien dat we voorzichtig kunnen zeggen dat de gemiddelde Nederlander bekend is met wat er gebeurt op dit vlak. Alleen is het opmerkelijk om te zien dat er blijkbaar gedacht wordt dat er meer objectieve (definieer objectief) beslissingen door een algoritme worden gemaakt.

Die negatieve kanten kwamen naar voren. Zo had 1 op de 4 ondervraagden geen idee hadden dat er algoritmes gebruikt worden om belangrijke beslissingen te nemen. Verder kwam het vaak onbedoelde, discriminerende effect van bestaande data naar voren.

Databewust ondernemen is het nieuwe MVO

Of je het nu maatschappelijk verantwoord of duurzaam ondernemen noemt, het is iets waar je je als organisatie kunt onderscheiden van de rest. Je laat zien dat je concreet iets doet aan bijvoorbeeld het verkleinen van je CO₂-voetafdruk.

Met zo’n keurmerk op het gebied van je algoritmes laat je ook zien dat je het beste met je klanten voor hebt. Vergis je niet, data is heel belangrijk voor ze. De vele datalekken, hacks en ransomware aanvallen worden breed uitgemeten in de reguliere media. Om nog maar te zwijgen van de rol van algoritmes bij het verspreiden van nieuws via social media.

Door de gebruikte algoritmes/software binnen je organisatie door te laten lichten en voorzien van een goed keurmerk, laat je zien dat je databewust onderneemt.  

Een algoritme audit in 3 stappen

Genoeg theorie. Laten we zo’n audit eens praktisch uitwerken.

Stap 1: Onderzoek de datakwaliteit 

Hier kijken we onder meer naar welke data is gebruikt om het model te trainen. Waar hebben de makers het vandaan gehaald? Komt de dataset overeen met de werkelijkheid? Is het divers genoeg om alle mogelijke uitkomsten te genereren?

Stap 2: Onderzoek de algoritmekwaliteit

Hier kijken we naar het algoritme zelf. Welk model is gebruikt? Welke factoren worden wanneer en hoe zwaar meegewogen? En wat is de logica daarachter? Is alles gedaan om het algoritme een correcte uitkomst te laten genereren of heeft iemand er juist alles aan gedaan om tot een bepaalde vooringenomen uitkomst te komen?

Stap 3: Onderzoek de besluitvorming

Welke acties volgen op een gemaakte analyse? Is er een eindverantwoordelijke voor het algoritme en de uitkomsten ervan? Of bouwt het product team iets en moet legal eventuele nare consequenties maar op zien te lossen? Is er gedocumenteerd waarom bepaalde keuzes zijn gemaakt? Hebben interne doelen consequenties gehad voor de kwaliteit van het algoritme? 

Welke acties volgen op een analyse wil ik even uitlichten. Juist daar kun je het verschil maken als organisatie. Ik  haalde eerder al een bank als voorbeeld aan. Stel nu dat laaggeletterden of mensen met een taalachterstand een lening aan willen vragen. Dan moeten ze zich vaak door een enorm complex aanvraagformulier worstelen. Eentje die sowieso al ingewikkeld is voor iemand het Nederlands goed beheerst. 

Stel nu dat de bank aan het verkeerd invullen van zo’n formulier de nogal verregaande conclusie trekt dat het een indicatie is dat de invuller wil frauderen. Vervolgens wordt deze ‘foute invuller’ aangemerkt als fraudeur, gerapporteerd als zodanig bij de Nederlandse Vereniging van Banken en krijgt geen lening, krediet en kan nergens roodstaan. 

Een andere conclusie die je uit het verkeerd invullen van zo’n formulier kunt trekken is dat het gewoon een veel te ingewikkeld formulier is voor laaggeletterden. Die usability kun je tegenwoordig heel makkelijk testen. Daar zijn tal van softwarepakketten en services voor. Ga je daar mee aan de slag dan kun je een beter formulier maken. Dat zorgt vervolgens voor minder fouten in de aanvragen en meer klanten die zich ook nog eens gezien voelen. Win-win-win! 

Op naar meer transparantie

Want transparantie hebben we hard nodig als we dat vertrouwen in algoritmes waar willen maken én vergroten. Wat je ten koste van alles moet voorkomen is dat de samenleving het vertrouwen verliest in de algoritmes die onze maatschappij al grotendeels sturen.

Net zoals de politiek gebaat is bij een onafhankelijke pers, zijn softwarebedrijven gebaat bij onafhankelijke experts die hun algoritmes tegen het licht aan houden.

Interesse in een algoritme audit? Neem dan contact met me op!

Richard van Meurs, Data Creative bij 4orange
E: richard.vanmeurs@4orange.nl | T: 020 – 750 4400