Eredoctor Chris Manning: ‘Taalmodellen schrijven geloofwaardig, maar niet per se de waarheid ’
Ter gelegenheid van de 391e dies natalis van de UvA reikt de UvA vandaag twee eredoctoraten uit, waarvan een aan de Australiër Christopher Manning, hoogleraar Computer Science en Linguïstiek aan Stanford University. Folia sprak met hem over hoe je een computertaal leert en over de gevaren van Artificial Intelligence.
Een gesprek met Christopher Manning (57) lijkt misschien gemakkelijk, maar dat is het allerminst, zegt hij zelf via een videoverbinding vanuit Stanford, vlak voor zijn vlucht naar Amsterdam. Hij doelt op de mogelijkheid van mensen om met taal op een gedetailleerd niveau gedachtes, gevoelens en ervaringen uit te wisselen.
‘Dat lijkt zo makkelijk, maar denk er maar eens over na. Taal gaat heel snel, ik praat en jij begrijpt het. Terwijl de meeste woorden heel ambigue zijn, ze hebben heel veel betekenissen. En vaak verwijzen mensen naar dingen die eerder gebeurd zijn of in de toekomst gaan plaatsvinden. Dat alles gebeurt zo snel. Dat is onvoorstelbaar en nog compleet onbegrepen. Begrijpen hoe mensen taal leren is een van de uitdagingen om de wereld om ons heen beter te begrijpen. Ik geloof sterk dat taal, bij uitstek de menselijke eigenschap is die ons onderscheidt van andere dieren.’
Manning ontvangt zijn eerste eredoctoraat voor zijn sleutelrol op het terrein van natuurlijke taalverwerking door computers, ook wel bekend als Natural Language Processing (NLP). Sinds begin 2010 is zijn onderzoeksgroep aan Stanford wereldleider in de revolutionaire ontwikkelingen van neurale netwerken voor NLP. Zijn boek Foundations of Statistical Natural Language Processing is het standaard werk in het vakgebied en verplichte kost voor vele generaties studenten.
De connectie tussen Manning en het Institute for Logic, Language and Computation (ILLC) aan de UvA voert terug naar Johan van Benthem, emeritus universiteitshoogleraar logica en oprichter van het ILLC-instituut. Van Benthem bracht jaarlijks een kwartaal aan Stanford door. Manning, toen nog in de collegebanken, volgde een aantal vakken bij hem.
Was u verrast door het eredoctoraat van de UvA?
‘Ja, ik was verrast, het kwam onverwacht. Het ILLC-instituut is vooraanstaand in linguïstiek, semantiek en de logica van taal. Er is veel werk dat overlapt met mijn werk. En het Amsterdam Machine Learning Lab (AMLab) is vooraanstaand in Europa in het gebruik van neurale netwerken in machine learning. Daarbij is ook mijn erepromotor, hoogleraar Machine Learning Max Welling, betrokken.’
U doet al meer dan dertig jaar onderzoek naar NLP. Kunt u ons meenemen in de ontwikkelingen van hoe computers taal kunnen begrijpen?
‘In mijn studententijd, eind jaren tachtig, probeerde men taal te leren aan computers door regels, grammatica en logica in te voeren in die computers. Mensen hadden het idee dat hoe meer kennis je invoerde in de computer, hoe slimmer die werd. Dit was dus nog voor de introductie van internet.’
‘Tijdens mijn PhD kwamen digitale teksten beschikbaar, zoals gerechtelijke procedures en krantenarchieven. Toen veranderde de aanpak. In die miljoenen woorden van tekst kon je namelijk patronen vinden met behulp van statistiek. Dat leek me een fascinerende manier om naar taal te kijken. We noemen dat statistische NLP en dat ging toen samen met machine learning, een vorm van kunstmatige intelligentie die zelf patronen kan ontdekken in een enorme hoeveelheid data.’
‘En dan is er nog een begrip, deep learning, een onderdeel van machine learning dat zich baseert op neurale netwerken. Een neuraal netwerk leert zelf aan de hand van voorbeelden. De eerste pogingen om neurale netwerken aan de praat te krijgen vonden al plaats in de jaren vijftig, de tweede ronde kwam in de jaren tachtig. Daarna moest de methode plaatsmaken voor de wiskundig heldere, statische machine learning-technieken. Toch bleven een paar mensen in neurale netwerken geloven en eraan werken. Rond 2010 kwamen er interessante resultaten. Vanaf dat moment ben ik ook ingestapt in het onderzoek, nog voor de echte doorbraak in 2012-2013. Die combinatie van NLP-specialist en onderzoeker in neurale netwerken, zorgde voor de tweede wending in mijn carrière.’
Wat hield de grote doorbraak van neurale netwerken in?
‘In 2016 werkte neurale machine learning zoveel beter dan statische machine learning, dat alle techbedrijven er massaal op overstapten. En dat was nog maar het begin. In 2018 ontdekte men dat als je een enorme hoeveelheid menselijke taal neemt en je een reusachtig neuraal netwerk traint om woorden te voorspellen, dat je dan een model krijgt dat nog veel meer kan. GPT-3 is een AI-model dat met taal is getraind. Het model kan paragrafen schrijven die niet te onderscheiden zijn van het menselijke schrift. Maar het kan bijvoorbeeld ook een nieuwsartikel samenvatten in drie zinnen, of de vouwing van een eiwit voorspellen. It blows my mind, dat dat zo werkt.’
Kan de computer de menselijke taal ooit volledig begrijpen?
‘Daar gaan een aantal diepe filosofische vraagstukken over, maar in principe denk ik dat we uiteindelijk op het punt zullen komen dat computers taal volledig zullen begrijpen. Op dit moment leren computers over taal door een enorme hoeveelheid tekst te lezen en te leren voorspellen wat mensen zeggen of schrijven. Hierdoor krijgt de computer een veel breder tekstbegrip dan sommigen zich kunnen voorstellen. Toch zijn daar beperkingen aan. Voor een volledig begrip van taal zullen computers of robots zich nog veel actiever met de wereld moeten verbinden. Een van de filosofische vragen is of een computer ooit echt geluk of wanhoop kan begrijpen zonder een emotioneel reactiesysteem zoals de mens dat heeft. Ik ben niet zeker van het antwoord op die vraag.’
In een eerder interview in Folia waarschuwt UvA-onderzoeker Jelle Zuidema voor de gevaren van taalmodellen die we nog niet volledig begrijpen. Hoe kijkt u hier tegenaan?
‘Aan de ene kant is het onvermijdelijk dat taalmodellen gebruikt gaat worden, ze worden al gebruikt. Aan de andere kant zijn er terechte redenen voor ongerustheid. Misinformatie en alternatieve feiten kunnen met deze tools toenemen. Taalmodellen verzinnen namelijk ook dingen. Ze schrijven geloofwaardig, maar niet per se de waarheid. Het taalmodel ChatGPT-3 is heel goed in het beantwoorden van korte essayvragen, zoals: schrijf vier paragrafen over het ontstaan van de Eerste Wereldoorlog. Als je dat twintig keer aan het model vraagt, krijg je twintig verschillende verhalen. Dus veel mensen maken zich zorgen als studenten met ChatGPT tentamens gaan maken.’
Maakt u zich daar ook zorgen over?
‘Ja, ik denk dat het heel legitiem is om je zorgen te maken. Mijn collega-Stanford onderzoeker Chris Potts deed al wel een goede suggestie. Hij gaat dit kwartaal zelf vragen stellen aan Chat-GPT-3. Hij selecteert dan de antwoorden met onjuistheden en studenten moeten dan de fouten eruit halen. Dan moeten studenten alsnog de zin van de onzin scheiden.’
Volgens Elon Musk is AI de grootste existentiële bedreiging voor de mensheid, zelfs gevaarlijker dan kernwapens. Wat vindt u daarvan?
‘Daar ben ik niet van overtuigd. Er zijn meerdere vooraanstaande mensen, allemaal witte mannen overigens, die willen praten over de existentiële gevolgen van AI en de kans dat AI onze planeet overneemt. Ik zie geen redenen dat dit gaat gebeuren. Daarnaast denk ik dat de obsessie met de existentiële dreiging van superintelligente AI ook een manier is om je energie te besteden aan abstracte toekomstproblemen, in plaats van de problemen die er in 2023 spelen in onze maatschappij. Daar kunnen we onze tijd beter aan besteden.’
