Nog steeds online evalueren na de hack bij UvA Q? ‘Studenten kunnen heel hard zijn’
Door een hack bij UvA Q – het systeem dat wordt gebruikt om onderwijs te evalueren – moeten docenten hun vak ‘in eigen beheer met hun studenten’ te evalueren. Hoe gaan ze dat doen? En wat zeggen die evaluaties eigenlijk? ‘Studenten kunnen heel hard zijn, soms op het seksistische en racistische af. Docenten worden uitgescholden.’
Bij politicologie, computerwetenschappen en geneeskunde wordt in ieder geval tijdelijk teruggegrepen naar het oude systeem EvaSys. Hoofddocent en opleidingsdirecteur politicologie Armèn Hakhverdian vertelt dat de vragenlijst in dit systeem uitgekleed is, maar dat dat vindt hij niet erg. ‘We wilden de vragenlijst in UvA Q sowieso aanpassen want studenten gaven aan dat die te lang was.’
Dramatische respons
Dat is volgens Hakhverdian echter niet het grootste euvel van de onderwijsevaluaties. ‘De dramatische respons is het eeuwige probleem,’ vertelt hij. ‘Er hoeft maar één gebrouilleerde student tussen te zitten en je kunt het gemiddelde al weggooien.’ Door de lage respons zijn de evaluaties volgens hem vaak geen dwarsdoorsnede van wat studenten vinden.
Hoogleraar computerwetenschappen Andy Pimentel, die deze weken eveneens EvaSys gaat gebruiken, beaamt dat. ‘Vroeger – ja, ik ben een ouwe lul – werden die formulieren in de les uitgedeeld of na een tentamen. Dan was er groepsdruk om het in te vullen. Nu is alles online, en we mogen niets verplichten, dus er is geen stok achter de deur.’
Anonimiteit
Toch begrijpt Pimentel wel waarom de evaluaties niet meer in de klas uitgedeeld worden. Naast dat het tijd kost, kun je je ook afvragen hoe anoniem een evaluatie is als je die ingevuld vooraan de klas op een stapel moet leggen, vertelt hij. Bij geneeskunde hebben ze daar geen boodschap aan. Evaluaties worden uitgedeeld bij tentamens, en die lever je ingevuld af als je weggaat, vertelt beleidsadviseur kwaliteitszorg onderwijs bij de afdeling geneeskunde Hotze Lont. Het responsgetal is er dan ook naar; met 70 procent zit dat ruim boven de betrouwbaarheidsgrens. Toen alles online werd gedaan, zakte het responsgetal. ‘Daarom willen we UvA Q integreren in de online tentamenomgeving.’
Docent Europese studies Linde Luijnenburg hoopt ook op de werking van groepsdruk. Zij gaat tijdelijk de klassikale evaluaties uitbreiden. ‘Vermoedelijk komt er dan minder kritiek op mij, maar daar krijgen studenten later wel weer de kans voor, als UvA Q weer gebruikt kan worden,’ vertelt ze.
Ze noemt het de silver lining van de hack van UvA Q dat er nu constructief gesproken wordt over het belang en de gebreken van online evalueren. Op advies van een collega gaat ze de evaluatie uitdelen in het college en zelf vijftien minuten de zaal uit, zodat studenten het rustig en anoniem in kunnen vullen. ‘Hopelijk verhoogt dat de respons.’
Geen dwarsdoorsnede
Ook Luijnenburg ziet de gebrekkige respons als groot probleem. ‘Soms ontvang ik alleen evaluaties van twee studenten die extreem kritisch of eigenlijk boos zijn, en twee die lyrisch zijn. Dat zijn allebei excessen, en daar kun je weinig mee.’ Vooral wanneer studenten wel cijfers geven, bijvoorbeeld uitsluitend enen of tienen, maar daar verder geen tekstuele uitleg bij geven, weet Luijnenberg niet wat ze er mee aan moet. ‘Ik heb dan geen idee waardoor dat komt. Studenten kunnen boos zijn door persoonlijke problemen, maar ook door een laag cijfer. En als ze lyrisch zijn, weet je net zo goed niet of en wat ze hebben geleerd.’
Scheldpartijen
Maar de beoogde anonimiteit van evaluaties heeft ook een keerzijde. Hakhverdian vertelt dat docenten soms huiverig staan tegenover evaluaties, omdat respondenten door de bescherming van anonimiteit weleens over de schreef gaan. ‘Studenten kunnen heel hard zijn, soms op het seksistische en racistische af. Docenten worden uitgescholden. Als er één zo’n respons bij zit dan roep ik een docent niet op het matje.’ Dat betekent niet dat je als gebrouilleerde enkeling nergens serieus genomen wordt met je klacht. ‘Je kunt naar de opleidingscommissie, de examencommissie en je studieadviseur. Het is hun taak om vertrouwelijk met jouw gegevens om te gaan,’ aldus Hakhverdian.
De eerste keer dat Luijnenburg heel harde kritiek kreeg, was ze erg geschrokken. Collega’s drukten haar op het hart dat eigenlijk altijd twee studenten boos zijn, en dat je er meestal niet achter komt waarom. ‘Als tien studenten extreem kritisch zijn, moet je natuurlijk bij jezelf te rade gaan. Maar met de excessen kun je vaak weinig.’
Bovendien, zelfs als de respons hoog is en excessen worden platgestreken, is het volgens Hakhverdian de vraag wat online evaluaties nou eigenlijk meten. ‘Meten ze de onderwijskwaliteit? Nee, veel vaker zegt het iets over de tevredenheid van studenten. Studenten zijn tevreden als hoge cijfers worden gegeven, of als het een keuzevak is in plaats van een verplicht statistiekvak, of als de docent vlot en grappig is. Tevredenheid gaat omlaag als het tentamen slecht gemaakt is of als colleges niet meer online worden gezet. Dat zegt allemaal weinig over de kwaliteit van het gegeven onderwijs.’ Hakhverdian vertelt dat bachelorvakken bijna altijd lager scoren dan vakken in de onderzoeksmaster. ‘Daar ga ik een docent van een bachelorvak dan niet op aanspreken.’
Een vertekend beeld
Lont vertelt dat er ook bij geneeskunde vakken zijn die standaard lager worden beoordeeld, zoals het vak professionele ontwikkeling. Studenten vinden dat moeilijker dan wanneer het echt inhoudelijk over ziektes en behandelingen gaat. Over het algemeen worden vakken waarin de nadruk ligt op activerend leren, dus zelf aan de slag gaan en opdrachten doen, minder gewaardeerd. ‘Dan hebben ze het idee dat ze alles helemaal zelf aan het doen zijn, of dat ze samenwerken met anderen die het ook niet weten. Studenten hebben liever een hoorcollege waarin alle informatie wordt voorgekauwd. Terwijl wij weten dat activerend leren wél beter is, ook al zie je dat niet terug in evaluaties.’
Het moge duidelijk zijn dat evaluatiesystemen zoals UvA Q geen heilige graal zijn, maar hoe moet je onderwijs wel evalueren? Hakhverdian vertelt dat je geen enkele vorm van kwantitatieve indicatie klakkeloos kunt overnemen, maar dat je het resultaat altijd moet pellen; welke onderliggende oorzaken zijn er aan te wijzen? Evaluaties zijn vertekenend. Een beter alternatief heeft hij nog niet gevonden, dus ook hij zal weer gebruik maken van UvA Q zodra dat kan. Luijnenburg vindt dat dit soort evaluaties niet als absolute leidraad moeten worden genomen. ‘De beste indicatie van hoe het gaat is de kwaliteit en inhoud van opdrachten die worden ingeleverd en de sfeer tijdens werkgroepen.’
