Generatieve AI betekent niet het einde van het thuisessay
De angst voor generatieve AI is groot in het universitair onderwijs, met name voor schrijfopdrachten, zoals thuisessays. PPLE-docent Pieter Lagerwaard pleit voor het toestaan van generatieve AI bij thuisessays, maar dan met andere leerdoelen.
Er heerst onder docenten in het universitair onderwijs veel angst over studenten die bij het maken van essays gebruik maken van generatieve AI (GenAI). Er zijn zelfs docenten die GenAI van een klif willen gooien omdat het kritisch denken zou ondermijnen. Er wordt zelfs hardop de vraag gesteld of de universiteit nog wel bestaansrecht heeft.
Uitdaging
Die angst is begrijpelijk. Naast ethische vraagstukken rondom klimaatimpact, auteursrecht, en racistische bias, vormt GenAI een enorme uitdaging voor schrijfopdrachten. Waar bij plagiaat een bestaande tekst gekopieerd wordt, formuleert GenAI telkens een uniek antwoord. Onderzoek toont dan ook aan dat het niet mogelijk is om het gebruik van GenAI met zekerheid vast te stellen.
Ik zie om mij heen verschillende strategieën toegepast worden: 1) GenAI wordt (vooralsnog) genegeerd en het gebruik wordt gebagatelliseerd; 2) het essay als toetsvorm wordt afgeschaft; of 3) het essay wordt niet meer thuis, maar op locatie uitgevoerd – zonder toegang tot het internet. Ik stel voor dat er nog een andere benadering mogelijk is: een thuisessay waarbij het gebruik van GenAI is toegestaan, maar dan met andere leerdoelen.
Experiment
Voor een essayopdracht van een groot eerstejaarsvak aan de UvA, dat ik coördineer, hebben we bij wijze van experiment het gebruik van GenAI opengesteld. De praktijk leerde dat vooral de leerdoelen herzien moeten worden: welke vaardigheden willen en kunnen we studenten in het GenAI-tijdperk aanleren? En hoe kunnen we deze vaardigheden toetsen?
De essayopdracht is onderdeel van het vak Rhetoric, van de PPLE-bachelor. Oorspronkelijk moesten studenten een inspirerende toespraak kiezen en deze analyseren, maar al vrij snel na lancering van ChatGPT bleek dat het hier erg goed in is.
Omdat de opdracht voor vijftig procent meetelt, was het onverantwoord om deze in de huidige vorm te behouden. Bepaalde schrijfvaardigheden – zoals structuur, grammatica en spelling – zijn nog steeds belangrijk voor een goed essay maar door het gebruik van GenAI een minder belangrijk leerdoel van deze toetsvorm.
In plaats van een analyse vroegen we studenten een retorisch argument te formuleren over een controversieel onderwerp. Ze konden kiezen uit twee onderwerpen: de samenwerking van de UvA met derden, zoals Shell, Huawei, of Israëlische universiteiten; of UvA’s omgang met de spanning tussen academische vrijheid en sociale veiligheid.
Twee nieuwe criteria werden toegevoegd, waar GenAI moeite mee heeft: directe citaties uit peer reviewed artikelen, en het gebruik van praktijkbronnen, zoals beleidsdocumenten en artikelen in Folia. GenAI kan helpen met beide criteria, maar kan daarbij zeer misleidend zijn, zo bleek.
Identiek
Er was vooraf de angst dat door het gebruik van GenAI de essays identiek zouden worden. Bepaalde argumenten kwamen inderdaad vaker voor – sociale veiligheid en academische vrijheid zijn niet tegenstrijdig –, maar de essays bleken divers genoeg in kwaliteit en inhoud om te kunnen beoordelen. De verdeling van de cijfers toonde een duidelijke zogenoemde Bell curveDit is een grafische weergave van gegevens, waarbij de meeste waarden rondom het gemiddelde liggen, en minder waarden aan de uiterste kanten (hoog of laag) voorkomen. Het vormt een symmetrische, belvormige curve, met de top bij het gemiddelde..
Twee bevindingen van dit experiment zijn opgevallen. Ten eerste: ondanks waarschuwingen van onze kant overschatten veel studenten GenAI tijdens bronnenonderzoek. Er bleken zoveel bronnen niet te bestaan, dat we in overleg met de opleidingsdirecteur een steekproef lieten uitvoeren. Het probleem bleek substantieel – soms meerdere studenten per werkgroep – maar niet dermate dat de opdracht herzien moest worden.
Studenten bleken verschillende fouten te maken: ze verwezen naar een bestaand artikel, maar de zin bestond niet; ze citeerden een bestaande zin, maar verwezen naar een niet-bestaand artikel; of ze citeerden niet-bestaande zinnen uit niet-bestaande artikelen. Deze fouten vonden op verschillende momenten in het schrijfproces plaats, ook bijvoorbeeld tijdens de laatste grammaticale controle.
Deze fouten zijn uniek voor GenAI – zogenoemde hallucinaties – en wetenschappers en journalisten hebben er ook moeite mee. Zo verwees de nieuwe rector van de Universiteit Gent in haar inauguratietoespraak naar de een uitspraak van Einstein die hij nooit heeft gedaan. De voormalig hoofdredacteur van NRC gebruikte in 15 van zijn 53 blogposts citaties die niet bestonden.
Referenties
Het lijkt mij dat vaardigheden waar wetenschappers en journalisten moeite mee hebben, juíst onderwezen moeten worden aan de universiteit – en het thuisessay blijkt een geschikte toetsvorm hiervoor. Om dit leerdoel te toetsen zou er geen minimumaantal referenties moeten zijn, wat nu vaak gangbaar is, maar een maximum aantal, waarbij de docent élke bron controleert.
De tweede bevinding: terwijl GenAI goed algemene voor- en tegenargumenten kan formuleren en een politieke positie kan innemen, blijkt het minder behulpzaam bij een specifiek argument dat verbonden is aan de praktijk – in dit geval de UvA. Net als bij academische bronnen, gaat GenAI hallucineren als het nabij de praktijk komt: studenten citeerden uitspraken van UvA-medewerkers, die niet bleken te bestaan; verwezen en parafraseerden onjuist; of verwezen naar algemeen beleid, terwijl de referentie verwees naar een individuele profielpagina.
Zelfreflecties
Uit de zelfreflecties van studenten bleek dan ook dat het gebruik van GenAI het schrijfproces kon verstoren, extra tijd kon kosten en het argument kon vertroebelen of verdraaien. Veel studenten gaven aan dat ze er uiteindelijk voor kozen om GenAI alleen te gebruiken als bronnenzoeker, sparringpartner of redacteur – en dit in de toekomst te blijven doen.
Goede essays bleven vaak ook dicht bij de UvA-debatten en namen hierin stelling. Studenten die UvA-richtlijnen bekritiseerden of omarmden, of UvA-controverses aanhaalden, waren preciezer en overtuigender dan het vaak generieke GenAI-proza. Een verbinding met de praktijk is zodoende een handige graadmeter om te bepalen of een student zichzelf heeft verdiept in de materie, en verstandig is omgegaan met GenAI.
Herzie de leerdoelen
Een essay op locatie en een thuisessay zijn complementair, mijns inziens. Het is belangrijk dat studenten leren schrijven, maar zonder toegang tot het internet biedt een essay op locatie geen mogelijkheid om ‘in het wild’ te leren omgaan met het vinden, beoordelen, en gebruiken van bronnen – en zo de AI-geletterdheid ontwikkelt die hard nodig is.
Een verbinding met de praktijk is wellicht gangbaarder in de sociale wetenschappen dan bijvoorbeeld de geesteswetenschappen, maar ook historische en filosofische essays zijn te verbinden met de praktijk en maken gebruik van historische, archeologische, of juridische bronnen. Ethische bezwaren omtrent authenticiteit zijn legitiem, maar dat betekent niet dat het thuisessay geen belangrijke vaardigheden meer toetst – misschien júist wel nu.
Pieter Lagerwaard is docent aan de opleiding politics, Psychology, Law and Economics (PPLE) van de UvA.
