Racisme in AI: ‘Kunstmatige intelligentie houdt ons een spiegel voor’
Hoe dragen algoritmen bij aan racisme? En wat zijn de gevolgen? Die vragen kwamen aan bod tijdens een paneldiscussie woensdagmiddag op Science Park. ‘We moeten een “safe space” creëren waarin bedrijven transparant durven te zijn zonder gelijk afgestraft te worden.’
Het overkwam haar meerdere keren tijdens een tentamen dat ze met de surveillancesoftware Proctorial maakte voor de VU, vertelt bioinformaticastudente Robin Pocornie in de hal van gebouw 904 op het Science Park waar zo’n vijftigtal studenten plaats hebben genomen voor de discussie. Ze werd niet toegelaten in het tentamen omdat de software haar gezicht niet herkende.
Toen ze het probleem aankaartte bij de VU weet de universiteit het probleem aan een slechte internetverbinding. Pocornie had het vermoeden dat het door een fout in de software kwam, die haar donkere huidskleur niet herkende omdat het algoritme voornamelijk gevoed was met witte gezichten. Pocornie kreeg pas gelijk toen ze de zaak voor het College voor de Rechten van de Mens bracht. Vermoedelijk is er sprake van discriminatie, oordeelde het college in een tussenuitspraak afgelopen december.
Geen technologisch probleem
‘Waarom werd het technische probleem in de software niet gewoon opgelost?’, vraagt iemand uit de zaal. Daar kan het panel, gemodereerd door Robin Hardy van Bètabreak en Diversity Officer Machiel Keestra, kort over zijn. Panellid Katrin Schulz, onderzoeker naar hoe mensen voorspellingen maken bij het Institute for Logic, Language and Computation (ILLC). ‘Bias in AI wordt vooral geframed als een technologisch probleem. Maar het is juist ook een maatschappelijk probleem omdat het over mensen gaat.’
Pocornie: ‘We doen veel onderzoek naar hoe software inclusiever kan worden. Maar instituties hebben de verantwoordelijkheid om te controleren of de technologie die ze gebruiken ook geschikt is voor de populatie waarop ze deze toepassen. Als je als universiteit zegt, we zijn inclusief en divers, handel daar dan ook naar.’
Democratischer
Een man, die zichzelf voorstelt als een postdoc sociologie uit Miami, vraagt hoe we ervoor kunnen zorgen dat AI democratischer wordt. ‘Hoe gaan we samenwerken met de bedrijven die deze technologieën ontwikkelen zodat we in kunnen grijpen voordat de problemen te groot worden?’
Dat begint ermee door niet alles te ontwikkelen wat we kunnen ontwikkelen, zegt panellid Cynthia Liem, universitair hoofddocent Computer Science aan de TU Delft. ‘Ik sla als onderzoeker wel eens voorstellen af, sommige voorspellende algoritmes wil ik niet ontwikkelen.’
Liem doelt op de ontwikkeling van algoritmes om sollicitanten te screenen. ‘Ik denk niet dat het mogelijk is om zo’n algoritme neutraal te maken. Mensen hebben vooroordelen, daar kunnen we niet omheen. Het gaat erom welke consequenties dat heeft. Systematisch vastleggen hoe je kandidaten selecteert is problematisch omdat daar altijd een vooroordeel in zal zitten.’
Publiek schandaal
Zou het helpen om bedrijven die bedrijven die AI misbruiken te boycotten? Of om ze met slechte publiciteit in toom te houden? Liem: ‘Dat is een dilemma. Aan de ene kant komt de discussie pas op gang wanneer het een publiek schandaal wordt, zoals in het geval van Pocornie. Tegelijkertijd heeft de ontwikkeling van AI te maken met complexe uitdagingen. Zelfs met een enorm uitgebreid protocol gaat het nog wel eens mis. We moeten de balans zien te vinden tussen een “safe space” creëren waarin bedrijven transparant durven te zijn en zich kunnen verontschuldigen wanneer er iets verkeerd gaat, zonder gelijk afgestraft te worden.’
Iemand uit de zaal komt met het voorbeeld van de schietpartij op de universiteitscampus van Michigan, waarbij ChatGTP het persbericht schreef. Zou het niet beter zijn om dat te verbieden? Dat gaat te ver, denkt Liem: ‘Ik zou niet voor zijn om de tool te verbieden. Want denk eens andersom, voor mensen die moeite hebben met schrijven kan ChatGTP juist voor inclusie zorgen.’
Spiegel
We moeten AI juist blijven ontwikkelen, is Liem van mening. ‘Kunstmatige intelligentie houdt ons een spiegel voor. Het kan ons op die manier enorm helpen om discriminatie aantoonbaar te maken. We moeten het inzetten als reflectiemiddel.’
Tot slot geeft het panel nog een aantal tips en adviezen hoe discriminatie in AI beperkt zou kunnen worden. Pocornie: ‘Met de uitspraak van het college in december ligt er een precedent voor toekomstige zaken. Ik hoop dat mensen dat gaan gebruiken.’ Zelf pleit ze voor een voor een opt-out functie. ‘Als student was ik verplicht om de software te gebruiken, anders zou ik mijn tentamen niet kunnen maken. We moeten als mensen de autonomie houden en een optie inbouwen om niet deel te nemen.’
Als je software bouwt, blijf dan in gesprek met de klant, adviseert Liem. Laat ze precies zien wat er mogelijk is en of dat is wat ze willen. Schultz ziet een speelruimte voor zich waar bedrijven hun product kunnen testen op diversiteit en inclusie, voor ze het naar de markt brengen. Daarnaast is het de taak van de universiteit om de mensen op te leiden die in de bedrijven werken. ‘We moeten zorgen dat onze studentenpopulaties divers genoeg zijn, zodat ze goede beslissingen maken bij het ontwikkelen.’ Keestra richt zich tot de zaal: ‘Veel van jullie worden opgeleid om deze technologieën later gaan ontwikkelen. Dus het is aan de jullie generatie om hier iets mee te doen.’
