Pepijn Stoop | Maakt ChatGPT straks onze tentamens?

Oké, klinkt prachtig, maar gaan studenten dit dan niet massaal gebruiken om hun huiswerk maken? En kan ik dat, in mijn rol van teaching assistant, detecteren? Laten we dat eens testen. In september heb ik het vak Inleiding Kunstmatige Intelligentie geassisteerd: een vak waarbij KI-studenten de basis van AI opdoen en fundamentele vragen moeten beantwoorden. Zoals ik eerder zei is ChatGTP erg goed in het beantwoorden van zulke vragen. 

Een recente tentamenvraag van dit vak was: ‘Beschrijf Lady Lovelace’s objection (Turing 1950) in je eigen woorden’. AI-pionier Alan Turing haalde in zijn artikel de mening van Lovelace aan: zij vond dat machines niet intelligent konden zijn omdat ze alleen doen wat is opgedragen en nooit nieuwe ideeën konden genereren. Het nakijkmodel zegt het volgende: 

• Lady Lovelace’s objection is dat een machine alleen datgene kan doen dat is opgedragen (20 punten) 
• Kan een deterministische machine gebruikt worden voor een geconditioneerde reflex, oftewel kan een machine leren? (10 punten) 
• Een Turing machine is afhankelijk van input en het programma. Kan dat injectie van een idee lijden tot een explosie van nieuwe ideeën (supercritical)? (10 punten) 
• Een variant op Lady Lovelace’s objection is dat een machine nooit iets nieuws kan doen (5 punten) 
• Een betere variant is dat een machine ons nooit kan verbazen (5 punten) 

Zou het programma de tentamenvraag juist kunnen beantwoorden?

ChatGPT gaf dit als antwoord: 

Ada Lovelace, also known as Lady Lovelace, was a mathematician and writer who is known for her work on Charles Babbage’s proposed mechanical general-purpose computer, the Analytical Engine. In a footnote to an article by Luigi Menabrea about the Analytical Engine, Lovelace wrote a series of comments that are now knows as ‘Notes on the Analytical Engine’. These notes contain what is considered to be the first published algorithm intended to be processed by a machine. 

In these notes, Lovelace expressed an objection to the idea that a machine could be capable of creating original and creative works, as proposed by Alan Turing in his 1950 paper Computing Machinery and Intelligence. Lovelace argued that a machine could only perform tasks that it had been specifically programmed to do, and could not produce anything original or creative on its own. She wrote: ‘The analytical engine has no pretensions whatever tot originate anything. It can do whatever we know how to order it to perform.’

Lovelace’s objection has been influential in shaping the debate about the capabilities of artificial intelligence and the potential for machines to exhibit creative or original thought. 

Wauw! ChatGPT is erin geslaagd het artikel van Turing te vinden, de mening van Lovelace eruit te halen en in begrijpelijke taal op te schrijven. Als we het naast het antwoordmodel leggen, zien we dat dit antwoord voldoet aan punt 1: ‘Lovelace argued …’ en aan punt 4: ‘… anything original …’. 30 punten levert een 10 op voor deze vraag, dus het programma scoort een 8. Het antwoord heb ik door de bekendste GPT-detector gehaald die beweert te kunnen voorspellen of iets van ChatGPT komt of niet. Die faalde: de tekst was volgens de detector 85 procent authentiek. 

Toch voelt het antwoord kunstmatig. De gemiddelde student zou de eerste alinea over het werk van Lovelace niet kunnen reproduceren, want er worden termen genoemd die niet behandeld worden in het vak. Is dit antwoord ‘in eigen woorden’ te noemen? Of is het plagiaat? De docent van het vak, dr. Arnoud Visser, vindt het laatste: ‘Dit antwoord is frauduleus omdat GPT te beschouwen is als een entiteit, bijna een persoonlijkheid. Entiteiten moet je credits geven als je ze citeert.’

Als teaching assistent vind ik dat ChatGPT goed vragen over de lesstof kan beantwoorden, maar het geheel voelt toch wat artificieel. Dus, lieve studenten die ik in 2023 lesgeef: ik zou toch vooral zelf je huiswerk blijven maken. 

Pepijn Stoop is UvA-student kunstmatige intelligentie.