Vlak voor het nieuwe jaar kwam toch nog even het ‘help! AI gaat ons vervangen!’-sentiment langs: de talige AI-tool ChatGPT riep enthousiasme, maar ook zorgen op. Als student kunstmatige intelligentie was ik meteen verkocht door het potentieel van ChatGPT.
Wat is ChatGPT eigenlijk? Een model dat taal kan begrijpen in de juiste context en hierop kan reageren. Het model is getraind op miljarden stukjes online tekst: van forumreacties tot artikelen. Hierdoor is het meester in het analyseren van de context van een vraag als ‘Wat zal ik eten vanavond?’, maar ook ‘Leg mij uit wat een zwart gat is’. Op die laatste vraag antwoordt het model met een antwoord zoals een student het op zou kunnen schrijven: een sterke opbouw met meerdere alinea’s en duidelijke conclusie.
Oké, klinkt prachtig, maar gaan studenten dit dan niet massaal gebruiken om hun huiswerk maken? En kan ik dat, in mijn rol van teaching assistant, detecteren? Laten we dat eens testen. In september heb ik het vak Inleiding Kunstmatige Intelligentie geassisteerd: een vak waarbij KI-studenten de basis van AI opdoen en fundamentele vragen moeten beantwoorden. Zoals ik eerder zei is ChatGTP erg goed in het beantwoorden van zulke vragen.
Een recente tentamenvraag van dit vak was: ‘Beschrijf Lady Lovelace’s objection (Turing 1950) in je eigen woorden’. AI-pionier Alan Turing haalde in zijn artikel de mening van Lovelace aan: zij vond dat machines niet intelligent konden zijn omdat ze alleen doen wat is opgedragen en nooit nieuwe ideeën konden genereren. Het nakijkmodel zegt het volgende:
Zou het programma de tentamenvraag juist kunnen beantwoorden?
ChatGPT gaf dit als antwoord:
Ada Lovelace, also known as Lady Lovelace, was a mathematician and writer who is known for her work on Charles Babbage’s proposed mechanical general-purpose computer, the Analytical Engine. In a footnote to an article by Luigi Menabrea about the Analytical Engine, Lovelace wrote a series of comments that are now knows as ‘Notes on the Analytical Engine’. These notes contain what is considered to be the first published algorithm intended to be processed by a machine.
In these notes, Lovelace expressed an objection to the idea that a machine could be capable of creating original and creative works, as proposed by Alan Turing in his 1950 paper Computing Machinery and Intelligence. Lovelace argued that a machine could only perform tasks that it had been specifically programmed to do, and could not produce anything original or creative on its own. She wrote: ‘The analytical engine has no pretensions whatever tot originate anything. It can do whatever we know how to order it to perform.’
Lovelace’s objection has been influential in shaping the debate about the capabilities of artificial intelligence and the potential for machines to exhibit creative or original thought.
Wauw! ChatGPT is erin geslaagd het artikel van Turing te vinden, de mening van Lovelace eruit te halen en in begrijpelijke taal op te schrijven. Als we het naast het antwoordmodel leggen, zien we dat dit antwoord voldoet aan punt 1: ‘Lovelace argued …’ en aan punt 4: ‘… anything original …’. 30 punten levert een 10 op voor deze vraag, dus het programma scoort een 8. Het antwoord heb ik door de bekendste GPT-detector gehaald die beweert te kunnen voorspellen of iets van ChatGPT komt of niet. Die faalde: de tekst was volgens de detector 85 procent authentiek.
Toch voelt het antwoord kunstmatig. De gemiddelde student zou de eerste alinea over het werk van Lovelace niet kunnen reproduceren, want er worden termen genoemd die niet behandeld worden in het vak. Is dit antwoord ‘in eigen woorden’ te noemen? Of is het plagiaat? De docent van het vak, dr. Arnoud Visser, vindt het laatste: ‘Dit antwoord is frauduleus omdat GPT te beschouwen is als een entiteit, bijna een persoonlijkheid. Entiteiten moet je credits geven als je ze citeert.’
Als teaching assistent vind ik dat ChatGPT goed vragen over de lesstof kan beantwoorden, maar het geheel voelt toch wat artificieel. Dus, lieve studenten die ik in 2023 lesgeef: ik zou toch vooral zelf je huiswerk blijven maken.
Pepijn Stoop is UvA-student kunstmatige intelligentie.