Van ‘--’ tot ‘++’: zo komt de ranglijst in de Keuzegids tot stand
De HvA eindigde onderaan op de jaarlijkse ranglijst van hogeschoolopleidingen in de Keuzegids hbo 2018. Hoe onstaat die lijst? En wat zegt het écht over de kwaliteit van de instellingen? Drie vragen.
Voor het eerst in jaren komt de HvA als slechtste grote hogeschool uit de bus in de Keuzegids hbo. De hogeschool stond al jaren in de onderste regionen, maar wist tot nog toe altijd boven Inholland te blijven. Nu scoort Inholland een half punt beter (53 punten tegenover 52,5 punt). De score van de HvA komt vooral door de economieopleidingen: daar werden de begeleiding en faciliteiten als slecht beoordeeld.
Wat zegt zo’n ranglijst eigenlijk? En hoe komt-ie tot stand? Drie vragen.
Hoe ontstaat de ranglijst in de Keuzegids?
De Keuzegids, een onafhankelijke gids voor studiekiezers die de kwaliteit van mbo-, hbo-, wo- en masteropleidingen bekijkt, presenteert jaarlijks een opleidingsranglijst. De Keuzegids zegt zich te onderscheiden door een bundeling te maken van ‘de meest relevante en actuele informatie […] om per vakgebied een goed overzicht en vergelijking te bieden’.
De bijbehorende ranglijst is gebaseerd op openbare cijfers, zo meldt de methodologische verantwoording op de website. De redactie van de Keuzegids 2018 kijkt voor het grootste deel – 70 procent – naar studentenevaluaties op basis van de drie laatste Nationale StudentenenquêtesDie worden jaarlijks gehouden door Stichting Studiekeuze123: een samenwerkingsverband van het ministerie van Onderwijs, studentenorganisaties en hoger onderwijsinstellingen. (NSE’s). De redactie gebruikt niet alle resultaten van de NSE, maar maakt zelf een selectie van items die het meest relevant worden bevonden voor het vaststellen van de onderwijskwaliteit. In 2017 vulden 280.000 studenten de enquête in.
Voor de overige 30 procent kijkt de redactie onder meer naar resultaten over studiesucces op basis van gegevens van de Vereniging Hogescholen: als veel studenten met de studie zijn gestopt of van studie zijn gewisseld, krijgt de opleiding een lagere score. Ook wordt gekeken naar rapporten van de Nederlands-Vlaamse Accreditatieorganisatie (NVAO), die oordeelt over de kwaliteit van hoger onderwijs.
De precieze berekening is complex. Op basis van de resultaten, verdeeld over tien deelonderwerpen krijgen opleidingen de score --, -, 0, + of ++. Zo krijgt een opleiding met een ‘voldoende’-score van de NVAO een neutrale ‘0’, en een opleiding met meerdere positieve punten krijgt een ‘++’Er worden nog extra correctieberekeningen toegepast: voor een kleine pabo geldt bijvoorbeeld een andere telling dan voor een grote studie bedrijfskunde, omdat de scores van opleidingen worden afgezet tegen de gemiddelde opleidingsscores van soortgelijke studies.. Om de instellingsscore te berekenen, weegt elke opleiding ‘zo zwaar als hij groot is’, stelt de redactie.
Leuk, maar wat zegt die ranglijst nu precies over de kwaliteit van de opleidingen?
Zoals gezegd bestaat de ranglijst voor 70 procent uit studentevaluaties. Studenten die deze invullen beschikken vaak alleen over de ervaring met hun eigen studie, en hebben zodoende geen vergelijkingsmateriaal. Zo zijn de evaluaties over kleine opleidingen doorgaans positiever dan die over grote: de uitschieter naar boven is, met 106 punten, een kleine, intensieve dansopleiding in Amsterdam. Daarbij bestaan diverse onderzoeken die de betrouwbaarheid van studentevaluaties in twijfel trekken. Ook zijn oordelen van accreditatiecommissie NVAO vaak jaren oud, met het risico dat ze gedateerd kunnen zijn. De NVAO beoordeelt een studie immers maar één keer in de zes jaar.
Het is geen toeval dat studentenoordelen uiteindelijk, na veel onderzoek en analyse, zo’n groot aandeel in de beoordeling hebben gekregen, zegt Frank Steenkamp, hoofdredacteur van de Keuzegids en directeur van het Centrum Hoger Onderwijs Informatie. ‘Bij landelijke vergelijking, en vergelijking in de tijd, blijken die veelzeggend.’ Tegelijkertijd bevestigt hij dat het meten van studentenoordelen niet hetzelfde is als het meten van onderwijskwaliteit. ‘Maar probeer zelf eens betere indicatoren te bedenken, die ook nog eens actueel zijn. […] Oordelen van de NVAO gaan ook meer over de papieren kwaliteit van de opleiding. Ze zitten niet dicht op het studieproces.’
De Keuzegids zou meer willen doen met indicatoren over studiesucces en succes op de arbeidsmarkt, stelt Steenkamp. ‘Maar dan moeten daar wel betrouwbare én per opleiding of instelling onderscheidende gegevens van beschikbaar zijn.’
De HvA staat laatste. Wat gaat de instelling daaraan doen?
De HvA neemt de lage score ‘zeer serieus’, meldt de hogeschool op de interne portal mijnhva.nl. ‘[De] positie in de Keuzegids [bevestigt] dat er nog veel zaken zijn die beter kunnen en moeten. De HvA pakt die handschoen op.’
Hoe dat gaat gebeuren is nog niet duidelijk. ‘Binnen faculteiten wordt het probleem onderzocht,’ zegt HvA-woordvoerder Wouter Rutten. ‘Het onderzoek is grotendeels gebaseerd op studentevaluaties, en de HvA heeft 45.000 studenten. Dat lijkt niet op de IVA [een hogeschool, red.] in Driebergen, of andere kleine, niet-Randstedelijke scholen. Er is hier dus sprake van gepercipieerde massaliteit. Maar andere studenten vinden een grote school juist prettig.’
Overigens staat de HvA in de Beste Studies-ranglijst voor hogescholen van opinieblad Elsevier op plek 11. De Hogeschool Utrecht staat daar, met plek 14, op de laatste plek. De ranglijst van Elsevier baseert zich ook op de Nationale Studenten Enquête.
