Karolina Drożdż wint UvA-scriptieprijs met onderzoek naar AI
De Poolse student Karolina Drożdż mag zich dit jaar de gelukkige winnaar van de UvA-scriptieprijs noemen. De jury bekroonde haar onderzoek naar het taalbegrip van AI-modellen met de hoofdprijs, goed voor maar liefst drieduizend euro. ‘Op bepaalde gebieden werden de mensen zwaar door de AI-modellen overtroffen.’
De hoofdprijs van de UvA-scriptieprijs ging dit jaar naar Karolina Drożdż (25). De Poolse student volgde aan de UvA de onderzoeksmaster psychologie: Brain and Cognitive Sciences en deed onderzoek naar de semantische vaardigheden van taalmodellen. Ofwel: hoe goed begrijpt een AI-chatbot de teksten die hij te verwerken krijgt nu echt?
Hoe ben je te werk gegaan om daarachter te komen?
‘Ik heb een serie verhaaltjes voorgelegd aan zowel mensen als AI-taalmodellen. In zo’n verhaal wordt verteld hoe een personage – laten we haar Dora noemen – haar kamer opruimt. Dus eerst pakt Dora een pen, dan stopt ze die in een doos en in diezelfde doos treft ze een portemonnee aan, die ze vervolgens in een mandje legt. Met dit soort verhalen controleren we hoe goed mensen en AI-modellen in staat zijn de verschillende objecten te volgen. Begrijpen ze wat elke handeling betekent en waar de pen of de portemonnee daardoor uiteindelijk terechtkomt, ook als dat niet expliciet benoemd is?’
En hoe presteerde de AI-modellen, vergeleken met de mensen?
‘Wat betreft complexiteit werden de mensen zwaar door de AI-modellen overtroffen. Voor mensen geldt namelijk: hoe ingewikkelder de verhalen worden, hoe slechter ze gaan presteren. Daar hadden de geavanceerdere taalmodellen duidelijk een stuk minder last van. Ook wanneer het maximale aantal verschillende objecten en verplaatsingen in een verhaal voorkwam, konden de AI-modellen daar heel goed mee omgaan.’
‘Maar hier valt wel een kanttekening bij te plaatsen: zolang we de AI-modellen beoordelen op de berekening die ze maken om te achterhalen bij welk antwoord ze waarschijnlijk uit moet komen, presteren ze beter dan mensen. Maar wanneer ze die berekening vervolgens moeten omzetten naar een goed geformuleerd antwoord, waarmee expliciet moet worden benoemd waar het object zich bevindt, presteren ze juist slechter dan mensen. Dat wil zeggen: het model weet eigenlijk wel welk antwoord waarschijnlijker is, en wijst met zijn voorspelling dus de goede kant op, maar heeft er moeite mee om dat vervolgens op de juiste manier te verwoorden. Dat gaat dus vaker fout dan bij mensen.’
Waarom is het belangrijk om dit te weten?
‘Omdat we op dit moment te maken hebben met het zogenaamde black box-probleem: we stoppen input in een AI-model, dan gebeurt er van alles waar we geen zicht op hebben, en uiteindelijk krijgen we de output te zien. Om de controle over deze modellen te behouden moeten we beter begrijpen hoe ze werken. Sommige mensen bespreken de meest persoonlijke problemen met dit soort modellen, daarom moeten we snappen hoe ze tot bepaalde antwoorden komen. Hoe verwerken ze de informatie? En tot welk hoger, intern begrip kunnen ze komen?’
Zouden we op een andere manier met AI moeten omgaan?
‘Ik weet niet of ik met mijn bevindingen zozeer direct iets zou kunnen veranderen aan de manier waarop we met AI omgaan, maar ik hoop er wel mee te kunnen wijzen op een belangrijk aspect van de werking van taalmodellen. Ze lijken zich soms mensachtig te gedragen, omdat ze getraind zijn op menselijke taaluitingen, maar de manier waarop ze taal verwerken is totaal anders dan hoe mensen dat doen.’
Tot slot: hoe was het om deze prijs te winnen?
‘Dat was heel bijzonder. Ik had niet verwacht dat ik zou winnen, maar toen dat toch gebeurde was ik enorm blij dat mijn familie uit Polen was overgekomen. Dit was een ontzettend mooie manier om mijn vijf jaar in Amsterdam af te sluiten. Het is voor mij de bevestiging dat ik met dit onderwerp, waar ik ook mijn PhD-onderzoek aan de universiteit van Warschau naar ga doen, op de goede weg ben.’
