Nederlandse Organisaties Flirten met Risicovolle Algoritmes

Afgelopen week heb ik het nieuws rondom AI gevolgd en het viel me op dat er voortdurend keuzes werden gemaakt – sommige nadelig voor de samenleving en andere positief. Opvallend genoeg nam Google een goed besluit, terwijl een Nederlandse supermarkt en het merendeel van het Nederlandse hoger onderwijs naar mijn inzien een slechte beslissing namen. Daarnaast merkte ik op dat zowel traditionele als nieuwe methoden, gebaseerd op generatieve AI, werden ingezet voor het verspreiden van nepnieuws rond de verkiezingen in de VS.

Een interessante week aan AI nieuws, wat maar weer duidelijk maakt dat we ons middenin de AI Revolutie bevinden.

Bron: DALL-E, prompt: "Widescreen drawing of a supermarket using computer vision to monitor customers "
Bron: DALL-E, prompt: “Widescreen drawing of a supermarket using computer vision to monitor customers”

Google stopt met het toestaan van oplichtingspraktijken

Een goed voorbeeld van een organisatie die ervoor kiest om misbruik tegen te gaan, komt deze week uit onverwachte hoek. Met ingang van 22 februari stopt Google met het tonen van advertenties voor loodgieters. De reden hiervoor is dat er vaak malafide advertenties boven de zoekresultaten verschijnen die mensen in nood duperen en oplichten. De oplichters betalen Google goed voor de positie bovenaan de zoekresultaten. Het compleet verbieden van advertenties voor loodgieters is dus een stap die Google geld kost, maar oplichting voorkomt. Hoewel er veel externe druk nodig was (Radar deed in 2023 al aangifte) en het besluit naar mijn mening enkele jaren te laat komt, is het toch een stap in de goede richting. Als het niet mogelijk is om misbruik te voorkomen, dan is het verstandig om de inzet van technologie te heroverwegen. Het is immers verstandig om niets te gebruiken wat niet beheerst kan worden.

Het hoger onderwijs blijft gebruikmaken van software met risico op discriminatie

Deze week verschenen in eigen land diverse nieuwsberichten over de inzet van AI-vormen die bekendstaan om hun discriminerende eigenschappen. Uit navraag van RTL Nieuws bleek dat het merendeel van het hoger onderwijs blijft vertrouwen op Proctorio, een software waarmee op afstand gecontroleerd kan worden of studenten spieken, onder andere door middel van beeldherkenning. Het College voor de Rechten van de Mens benadrukte in oktober het risico op discriminatie door deze software. Deze zorg kwam aan het licht nadat studente Robin Aisha Pocornie van de Vrije Universiteit (VU), samen met het Racism and Technology Center, haar bezorgdheid uitte bij de toezichthouder. Hoewel volgens de toezichthouder Proctorio in het geval van deze studente geen discriminatie op grond van huidskleur vertoonde, wees de toezichthouder erop dat het risico van discriminatie in andere situaties wel degelijk bestaat.

Bron: RTL – Gezichtsdetectie de Proctorio gebruikt op een academische dataset

De ontwikkeling van beeldherkenning of gezichtdetectiesoftware, gebaseerd op datasets die niet representatief zijn, heeft tot gevolg gehad dat deze technologie in zekere mate geoptimaliseerd is voor een lichte huidskleur. Bovendien speelt het contrast in afbeeldingen een significante rol in de detectie van een gezicht, wat vaak resulteert in een nadelig effect op de effectiviteit van gezichtsdetectie bij mensen met een donkere huidskleur. Ondanks dat Proctorio verbetering belooft, is het onduidelijk hoe deze verbeteringen worden gerealiseerd en gecontroleerd.

In mijn ogen zou dezelfde beslissing moeten worden genomen als die demissionair minister Robert Dijkgraaf maakte toen bleek dat algoritmes bij DUO discriminerende effecten hadden: stoppen met het gebruik ervan. Als het niet mogelijk is om een discriminerend algoritme aan te passen zodat het stopt met discrimineren, dan is het voortzetten van het gebruik ervan in mijn ogen een vorm van discriminatie.

De supermarkt Jumbo experimenteert met risicovolle algoritmes.

Deze week werd bekendgemaakt dat supermarkt Jumbo tests gaat uitvoeren met een algoritme om te bepalen wanneer steekproeven worden uitgevoerd en zal daarnaast beeldherkenning gebruiken om verdacht gedrag te detecteren. Het gebruik van algoritmes voor zowel het uitvoeren van steekproeven als het herkennen van verdacht gedrag op camerabeelden is risicovol. Bij beide typen algoritmen is de trainingsdata vaak niet representatief of gebalanceerd en hierdoor kan bestaande bias versterkt worden wat nadelig kan zijn voor bepaalde bevolkingsgroepen.

Algoritmes die bepalen wanneer een steekproef moet worden gedaan, zijn waarschijnlijk gebaseerd op verouderde data. Dit maakt het waarschijnlijk dat deze aanpak discriminerend kan uitpakken, waardoor een uiterst zorgvuldige benadering vereist is. Er kunnen verschillende fouten optreden: bijvoorbeeld een algoritme dat altijd mensen controleert die halal producten kopen of mensen die opvallend lang in de winkel verblijven. Dit kan ertoe leiden dat moslims en ouderen systematisch worden geselecteerd en hinder ondervinden bij het vervullen van hun basisbehoeften.

Het gebruik van beeldherkenning om verdacht gedrag te identificeren brengt aanzienlijke risico’s met zich mee. Een voorbeeld is het inzetten van gezichtsherkenningssoftware door politie dat een groot risico heeft tot onterechte arrestatie van onschuldige personen. Hoewel de supermarktketen aangeeft geen gezichtsherkenning te gebruiken, kan de toepassing van beeldherkenning voor het signaleren van verdacht gedrag alsnog tot fouten leiden. Stel je een supermarkt voor waar hoofdzakelijk mensen met een lichte huid en een ANWB-kledingstijl winkelen; in zo’n setting zullen algoritmes waarschijnlijk vaker fouten maken bij mensen met een donkere huidskleur of die een andere kledingstijl hebben.

Er bestaan technieken om dergelijke fouten te voorkomen, maar het probleem ligt bij het controleren of deze technieken daadwerkelijk worden ingezet. Gelukkig betreft het hier een tijdelijk experiment, waarbij hopelijk aandacht wordt besteed aan de eerlijkheid van het systeem en of het niet discrimineert of wetten overtreedt. Idealiter wordt dit experiment ook gecontroleerd door een onafhankelijke derde partij, zoals de Autoriteit Persoonsgegevens (Dutch DPA). Immers, er is niets zo blijvend als een tijdelijk experiment zonder vastgestelde einddatum.

Nepnieuws door generatieve modellen en ouderwetse knip- en plakwerk.

In de VS barst de verkiezingsstrijd los, waarbij geen enkele strategie wordt geschuwd en nepnieuws een prominente plek inneemt. Een foto van Trump dook op, waarop te zien leek dat de presidentskandidaat zweren op zijn hand had, iets wat Trump later weet aan AI. Een video van president Biden werd op traditionele wijze bewerkt om het te laten lijken alsof hij zich ongepast gedraagt ten opzichte van zijn kleindochter. Deze incidenten benadrukken hoe eenvoudig het is geworden om nepnieuws te verspreiden, waardoor het van cruciaal belang is dat journalisten hun bronnen grondig verifiëren. Bij het verspreiden van nepnieuws is het lastiger om de besluitvormende partij te herkennen dan bij de keuze om technologie te beginnen of te stoppen, wat het een complex probleem maakt om aan te pakken.

De afbeelding waarop Trump zweren op de hand heeft, gemaakt met AI aldus Trump.
De originele foto waarbij Biden zijn kleindochter een medaille opgespeld.

Helaas zal ook Nederland steeds vaker te maken krijgen met nepnieuws, aangedreven door de uitbreidende set aan mogelijkheden. Ouderwets knip en plakwerk wordt aangevuld met generatieve modellen voor beeld en spraak. Het is eenvoudiger geworden om nepnieuws te produceren en vereist steeds minder specifieke kennis.

Daarnaast moet ik denken aan hoe Wikipedia vroeger op school werd gekenmerkt als een bron van twijfelachtige kwaliteit. Dat terwijl het een van de meest gevalideerde websites op het internet is. Het is interessant hoe de kwaliteit van informatie dusdanig achteruit aan het gaan is, dat wat vroeger werd gezien als een twijfelachtige bron vandaag de dag kan worden gezien als een voorbeeld van geverifieerde informatie.

Meer fraudemeldingen dan ooit

Ook kwam deze week naar buiten dat er meer fraudemeldingen zijn dan ooit tevoren. Deze week werd bekend dat er in 2023 een recordaantal van 16.000 fraudemeldingen zijn geregistreerd, voornamelijk gerelateerd aan WhatsApp- en SMS-fraude. Zoals ik enkele weken geleden al schreef, is het repliceren van iemands stem op een overtuigende manier eenvoudiger dan ooit tevoren. Dit vergroot de kans op een toename van fraudegevallen waarbij generatieve AI wordt ingezet. Een uiterst zorgwekkende ontwikkeling.

We bevinden ons in een boeiend tijdperk waarin de wereld zich in een ongekend tempo ontwikkelt. Toch moeten we niet vergeten dat deze veranderingen niet willekeurig plaatsvinden. Elke week worden er, zowel op grote als kleine schaal, beslissingen genomen die de richting bepalen waarin onze samenleving zich beweegt. Zoals Virginia Dignum vaak zegt: hoewel er regelmatig gesproken wordt over nieuwe toepassingen van AI alsof deze onvermijdelijk zijn, zoals het weer, is het in werkelijkheid een keuze van de samenleving om AI te gebruiken. Er is een overvloed aan nuttige toepassingen van AI, maar we moeten waakzaam blijven voor het klakkeloos beginnen of blijven inzetten van risicovolle algoritmes.


Dit artikel maakt deel uit van een serie over mijn boek “De AI-Revolutie: Hoe kunstmatige intelligentie de maatschappij gaat veranderen (en daar nu al mee bezig is)”, het boek is te koop in de betere boekhandel en online te bestellen. In dit boek duik ik dieper in de invloed van AI op onze toekomst en hoe we als samenleving de juiste koers kunnen bepalen in deze nieuwe, spannende tijd.