Foto: mohamed_hassan (cc, via Pixabay)
opinie

‘Rankings bedreigen alles wat goed en mooi is in de academie’

Mark Deuze,
8 maart 2018 - 13:14

Volgens het Britse Quacquarelli Symonds werkt Mark Deuze bij de beste afdeling mediastudies van de wereld. Dat is geen reden tot feest, vindt hij.  ‘Rankings zijn bedreigend voor alles wat goed en mooi is in de wetenschap en het hoger onderwijs.’

Communicatiewetenschap & Mediastudies UvA nummer 1 van de wereld in QS Ranking’ was de kop van het persbericht van de UvA op 28 februari 2018, direct gevolgd door de curieuze kwalificatie dat we nu ‘de beste van de wereld’ zijn in de jaarlijkse World University Rankings van Quacquerelli Symonds. Als medewerker van de afdeling Mediastudies en voormalig promovendus van de afdeling Communicatiewetenschap was mijn eerste gedachte: ‘O nee, we zijn nummer 1.’

 

Rankings zijn een bedreiging voor alles wat goed en mooi is in de creatieve industrie die de wetenschap en het hoger onderwijs zijn.

 

In dit essay komen de problemen van universiteitsrankings op drie niveaus aan de orde: allereerst hoe de eindeloze ranglijsten, meetmethoden en andere prestatie-indicatoren steeds meer de manier waarop universiteiten werken bepalen. Des te meer universiteiten verantwoordelijk worden gehouden voor de prestaties in ranglijsten, des te minder zij zich daadwerkelijk (kunnen) verantwoorden.

‘In plaats van dat medewerkers (in samenspraak met studenten) de missie en de richting van de universiteit bepalen, zijn het meer en meer bestuursleden, managers, ondersteunende staf, database- en ict-specialisten die de belangrijke keuzes maken’

Ten tweede komen de problemen aan de orde met de geschiedenis, organisatie en de methodes die ranglijsten zoals de QS Rankings gebruiken. Wat hierbij vooral belangrijk is, is dat 99 procent van de universiteiten op deze wereld waarschijnlijk nooit in een ranking zal verschijnen – ongeacht wat ze doen. Ten derde moeten we ons rekenschap geven van de gevolgen van een hoge plek in zo’n ranglijst, en daarbij in het bijzonder de gevolgen voor de academische vrijheid.

 

De rekenschapsparadox

In de jaren negentig kreeg het zogenaamde ‘New Public Management’ de universiteiten in zijn greep. Dat leidde ertoe dat het besturen van universiteiten steeds meer ging lijken op dat van bedrijven, met als doel het verhogen van de efficiëntie, productiviteit en controleerbaarheid. Belangrijke aspecten van New Public Management zijn het behandelen van studenten als klanten, het zien van diploma’s als een product, de introductie van een almaar groeiend woud aan evaluaties, audits en het voortdurend meten van (en elkaar afrekenen op) allerlei prestatie-indicatoren om te monitoren hoe docenten en studenten presteren. Hoewel niemand zal ontkennen dat een bepaalde vorm van kwaliteits- en procesbewaking nuttig is, leidt het bedrijfsmatige systeem waarmee universiteiten tegenwoordig worden bestuurd tot een deprofessionalisering van wetenschappers en docenten.

 

(Lees door onder de afbeelding)

Foto: Klaartje Berkelmans

In plaats van dat medewerkers (in samenspraak met studenten) de missie en de richting van de universiteit bepalen, zijn het meer en meer bestuursleden, managers, ondersteunende staf, database- en ict-specialisten die de belangrijke keuzes maken. Deze mensen werken over het algemeen hard en met de beste bedoelingen, maar zij zijn gedwongen het bureaucratische systeem overeind te houden in plaats van onderzoek en onderwijs te dienen. Als opleidingsdirecteur maak ik van dichtbij mee hoe fnuikend en frustrerend deze spagaat voor alle betrokkenen is.

 

Nogal nutteloze cijfers

Universiteitsranglijsten zijn een goed voorbeeld van gemakkelijke kwantificeerbare parameters die direct iets duidelijk maken aan mensen die niet werken als wetenschapper of docent. Ranglijsten zijn onderdeel van een hele set aan prestatie-indicatoren waar universiteiten zichzelf op (laten) beoordelen. Een paar andere zijn bijvoorbeeld: het aantal eerstejaarsstudenten, het aantal uitgereikte diploma’s, het aantal publicaties, het aantal citaties in wetenschappelijke tijdschriften en scores in studenttevredenheidsonderzoeken. De hedendaagse universiteit kan in zoveel cijfers worden uitgedrukt dat het lijkt alsof we gemakkelijk kunnen zien hoe de universiteit het doet. Wetenschappers Bruno Frey en Margit Osterloh schrijven in hun onderzoek naar de valkuilen van rankings echter:

 

‘Instead of improving performance through accountability, too much energy and time is being consumed in reporting, negotiating, reframing, and presenting performance indicators, all of which distracts from the performance that is desired.’

 

Toekomstige studenten (en hun ouders), politici, beleidsmakers, bestuurders, journalisten en anderen hechten steeds meer waarde aan zulke in wezen nogal nutteloze cijfers, waardoor een rekenschapsparadox ontstaat. In plaats van dat een afdeling daadwerkelijk rekenschap geeft door middel van zo’n ranking, leiden dergelijke ongenuanceerde indicatoren ertoe dat afdelingen worden gereduceerd tot een statistiek en daardoor juist minder rekenschap kunnen afleggen. Ranglijsten veronachtzamen immers de enorme diversiteit van wat we doen, de ervaringen die studenten, docenten en wetenschappers hebben en alle verschillende manieren waarop onderwijs en onderzoek plaatsvinden.

 

Een belangrijke kanttekening bij dit alles: niet enkel universiteiten zijn ten prooi gevallen aan de kwantificatie- en controledrift van het New Public Management. Het basisonderwijs, het voortgezet onderwijs, de gezondheidszorg, defensie en de politie; allemaal zijn ze onderworpen aan continu toezicht en prestatiecontrole. Het belangrijkste is niet eens dat de oriëntatie op cijfermatige indicatoren tijdrovend en nietszeggend is – de echte slachtoffers zijn de mensen die de publieke sector dient (maar waarvoor steeds minder tijd beschikbaar is): studenten, patiënten en burgers.

‘Iedereen kan wel ergens een ranglijst vinden die op een of andere manier nuttig is voor een vooraf bepaald pr-doel’

Wij zijn de 1 procent 

Rankings zijn big business. In het laatste decennium hebben talloze bedrijven en een aantal publieke instituten hun eigen systeem van universitaire ranglijsten geïntroduceerd. De QS Ranking is slechts een van de vele ranglijsten, naast onder meer het Russische Academic Excellence Project, de Academic Ranking of World Universities (de Shanghai-ranking), het Indiase BestCollege Hunt, het Saoedische Center for World University Rankings, the Complete University Guide, de CWTS Leiden Ranking, the Global Institutional Profiles Project, the IREG Observatory on Academic Ranking and Excellence, Meta University Ranking, Professional Ranking of World Universities, Webometrics’ Ranking Web of World Universities en de Times Higher Education World University Rankings.

 

In andere woorden: iedereen kan wel ergens een ranglijst vinden die op een of andere manier nuttig is voor een vooraf bepaald pr-doel. Toch komen in al die ranglijsten steeds dezelfde honderd tot tweehonderd zogenaamde ‘topuniversiteiten’ terug. Dat betekent dat minstens 99 procent van de universiteiten – volgens de World Higher Education Database bestaan er meer dan 18.500 universiteiten wereldwijd – nooit in internationale rankings te vinden is of ooit zal zijn.

 

In de top terechtkomen leidt tot een matteüseffect: als een instituut eenmaal gerankt is, is de kans groot dat hetzelfde instituut een jaar later weer terugkomt in de ranglijst. Dit effect maakt een plaats op een ranking als ‘topuniversiteit’ nogal treurig, omdat het betekent dat je deel uitmaakt van een buitengewoon effectief uitsluitingsmechanisme. Al juichend om een topranking worden we zo willoos meegezogen in een systeem dat het rijke, diverse en uitzonderlijke werk van talloze docenten en wetenschappers overal ter wereld onzichtbaar maakt.

‘Over het algemeen worden onze publicaties niet gelezen, gezien of gehoord – niet door onze studenten, laat staan door het grote publiek’

Er zijn ook fundamentele methodologische problemen in de QS Ranking die al door vele anderen zijn aangekaart. Zo is 40 procent van de score van universiteiten gebaseerd op reputatie zoals vastgesteld door wetenschappers onder elkaar, wat een sterk bekritiseerde manier is om kwaliteit te meten. Wat hierbij bovendien van belang is, is dat QS en vele andere ranglijsten hun formules, rekenmodellen en onderzoeksmethodes ieder jaar veranderen. Dit suggereert dat er ieder jaar blijkbaar wezenlijke problemen zijn met de metingen en het betekent dat het vergelijken van scores met vorige jaren onmogelijk wordt. Dit alles maakt een positie in zo’n lijst nogal betekenisloos.

 

Academische vrijheid

Het zorgwekkendste aspect van het vieren van een hoge ranking, tenslotte, is het offeren van academische vrijheid op het altaar van de cijfermatige competitie met andere universiteiten. Een hoge score leidt ertoe dat werkzaamheden steeds meer zo worden georganiseerd dat de volgende keer die score weer gehaald of zelfs overtroffen wordt. Aldus wordt het belangrijk dat een afdeling, faculteit of universiteit het beter gaat doen op parameters die meewegen in de rankings. Niet alleen de docenten worden op deze manier afgerekend, ook de werkzaamheden van studenten worden teruggebracht tot eindeloze reeksen toetsen en cijfers, waardoor de vrijheid om te leren, te studeren, te ontdekken en onderzoek te doen op basis van nieuwsgierigheid en inspiratie teniet wordt gedaan.

‘Ik wil niet dat een of ander bedrijf me gaat vertellen dat mijn collega’s en ik op de UvA briljant, gepassioneerd, hardwerkend, intrinsiek gemotiveerd en toegewijd zijn’

Als wetenschappers wordt van ons verwacht dat we kritiekloos meegaan met een doorgedraaide publicatiecultuur, waarin we non-stop artikelen, hoofdstukken, boeken, presentaties op symposia en allerlei andere publicaties moeten produceren. Over het algemeen wordt dit werk niet gelezen, gezien of gehoord – niet door onze studenten, laat staan door het grote publiek. Daarnaast moeten we onze eigen onderzoekstijd betalen met het binnenhalen van allerlei beurzen en subsidies. Dit alles wordt netjes bijgehouden en geteld en doet het goed in de meeste rankings. Als we niet scoren op dit soort productiviteitsindexen dan verlopen onze contracten, raken onze carrières in het slop en worden onze stemmen niet meer gehoord.

 

Niemand zou hieraan moeten bijdragen, maar toch doen we het: wij zijn de nummer 1 van de wereld. Wat me daarbij beangstigt: wat gebeurt er als we volgend jaar nummer twee zijn? Of tien, of vijftig? Betekent dat dat we opeens lui zijn? Zijn we dan niet meer de ‘beste’ of ‘top’? Rankings (en alle andere prestatie-indicatoren) dienen niet het rijke werk dat wetenschappers doen; hun meester is het bureaucratische systeem dat er primair op uit is om zichzelf in stand te houden. Of we eerste of laatste zijn is betekenisloos voor ons onderzoek en onderwijs, maar het is invloedrijk als onderdeel van een bestuursstrategie die de nadruk legt op productiviteit, efficiëntie en controleerbaarheid.

 

Conclusie

Ik heb geen commercieel Brits bedrijf nodig, sterker nog, ik wil niet dat een of ander bedrijf me gaat vertellen dat mijn collega’s en ik op de UvA briljant, gepassioneerd, hardwerkend, intrinsiek gemotiveerd en toegewijd zijn aan de studenten en het onderzoek. Ik weet het. Ik weet dat dit voor al mijn collega’s geldt, ik weet dat dit voor alle universitaire afdelingen in Nederland geldt, en voor verreweg de meeste afdelingen en departementen in de wereld.

‘Wat wij nodig hebben om optimaal te functioneren is eigenlijk heel simpel: autonomie en erkenning’

Wat ik ook niet nodig heb is het vieren van zulke rankings ten koste van academische vrijheid, ten koste van inclusiviteit, diversiteit en echte rekenschap. Afdelingen kunnen uitstekend verantwoordelijkheid nemen op basis van zorgvuldig beleid - zoals goed georganiseerd mentorschap (vooral voor junior onderzoekers en docenten), collegiale intervisie, periodieke zelfbeoordeling, kwalitatieve in plaats van kwantitatieve studentenevaluaties, en een universele basissubsidie voor elke onderzoeker in plaats van het huidige disfunctionele nationale en internationale beurzencircus.

 

Wetenschappers en docenten zijn zoals alle andere professionals in de creatieve industrie (zoals journalisten, filmmakers, artiesten en muzikanten): mensen die het vak hebben gekozen omdat we er oprecht om geven, niet om wat we er mee verdienen of hoeveel we zo efficiënt mogelijk kunnen produceren. Wat wij nodig hebben om optimaal te functioneren is eigenlijk heel simpel: autonomie en erkenning. Juist deze twee zaken worden weggegooid in het hedendaagse hoger onderwijs met haar fetisj voor cijfers, audits en rankings.

 

Mark Deuze is hoogleraar mediastudies, in het bijzonder journalistiek bij de afdeling Mediastudies van de UvA.