Han van der Maas | Niet stiekem op Google Scholar kijken!
Tegenwoordig doen we aan Erkennen en Waarderen, dat deden we vroeger niet. We hebben de h-index en andere verfoeide kwantitatieve indicatoren verboden en we gaan weer lezen! Leden van NWO, sollicitatie- en benoemingscommissies bestuderen narratieve cv’s – ‘Als kind las ik elke maand de Kijk!’ – en voeren een kwalitatieve analyse uit van het wetenschappelijk werk.
Dit hele plan berust op een simpele denkfout. Het is niet zo dat als een niet optimale maar minst slechte oplossing (de kwantitatieve indicator) beperkingen heeft, een niet doordacht en niet uitgewerkt alternatief per definitie beter is. Dora (The San Francisco Declaration on Research Assessment) werd door Jan en alleman ondertekend en bestaat nu twaalf jaar, maar enige praktische uitwerking ontbreekt nog steeds. Alles wat ik erover kan vinden zijn platitudes.
Stel nu dat ik nu voorzitter ben van een commissie die een hoogleraar moet aannemen. Stel ook dat er zo’n vijftien brieven de eerste schifting overleven. Het serieus analyseren van deze cv’s kost al gauw vele uren. Heeft de kandidaat nieuwe onderwijsprogramma’s opgezet? Daadwerkelijk leidinggegeven? Als eerste aanvrager beurzen verworven? Past de onderzoeksbelangstelling?
Doorgaans zijn verschillen in onderwijsprestaties en bestuurservaring relatief beperkt. Je moet in mijn vakgebied wel voortdurend heel veel beurzen verkregen hebben om niet ook heel veel onderwijs te hebben gegeven. Vrijwel iedereen heeft goede tot zeer goede evaluaties, onderwijsvernieuwingen geïnitieerd, etc.
De verschillen in onderzoeksprestaties zijn veel groter. Hoe gaan we dat beoordelen? Er staan lange lijsten met publicaties in de cv’s maar daar mag ik niet meer naar kijken, laat staan ze tellen. Nee, die publicaties moet ik lezen en op kwaliteit beoordelen. Hoe dat nou weer moet wordt nergens vermeld. Dat is jammer want kwalitatieve beoordelingen van andermans werk zijn zeer gevoelig voor tientallen cognitieve vertekeningen.
Stel nu dat elke kandidaat vier publicaties mocht voorstellen als kernpublicaties, dat zijn dan 60 artikelen. Mijn vakgebied, zoals zo velen, is supergespecialiseerd, het merendeel kan ik zelf slecht beoordelen. Maar het enthousiaste jongste lid van de commissie heeft een voorstel. Om de vertekeningen te verkleinen zoeken we meerdere onafhankelijke experts om deze artikelen te beoordelen.
Een ander minder enthousiast lid merkt op dat dat dubbel werk is omdat elk artikel al eens uitgebreid kwalitatief beoordeeld is door experts toen het voorlag voor publicatie bij een tijdschrift. Bij goede tijdschriften is die selectie best streng en de impactfactor van het tijdschrift is dus best informatief. Nu grijp ik natuurlijk in. Impact factor, ga je mond spoelen.
Maar nu blijkt ook nog dat het jongste commissielid stiekem toch gekeken heeft naar het aantal citaties van elk artikel. Nu is het aantal publicaties een riskante maat omdat veel publicaties door niemand gelezen worden, en is het aantal citaties riskant omdat een waanzinnig goed geciteerd artikel een uitbijter kan zijn, zo oreert zij. Maar ze heeft een oplossing. We kiezen als maat de maximale waarde h zodat de auteur tenminste h publicaties heeft met tenminste h citaties. Die maat corrigeert voor beide problemen en is zeer robuust. Zo vatten we de omvangrijke en gedegen kwalitatieve analyse door internationale experts van de hele publicatielijst van de sollicitant samen, zo legt ze nog uit. Helaas pindakaas.
Het is een briljant idee van het jongste lid van de commissie en dus als zo vaak al eerder bedacht, namelijk, door meneer Hirsch. Deze fantastische kwalitatieve maat is de h-index! Uit allerlei onderzoek blijkt dat de h-index echt heel goed werkt. Deze index is zeer robuust tegen fouten in tellingen van citaties, correleert hoog met aanverwante maten, lokt in principe gewenst gedrag uit (het schrijven van vele invloedrijke publicaties). Het is belangrijk op leeftijdsverschillen te letten (gebruik eventueel de M-indexDe M-index is kort gezegd de h-index gedeeld door het aantal jaren waarin een auteur heeft gepubliceerd.) en het aantal auteurs per publicaties.
Het voornaamste nadeel is dat door publicatiecultuurverschillen gemiddelde h-indexen tussen disciplines verschillen. Dat is niet alleen cultuur maar heeft ook te maken met progressie in een vakgebied. Als onderzoekers in een specifiek onderzoeksgebied elkaar al niet citeren, wat zijn we dan aan het doen? Maar dat allemaal terzijde, want mijn sollicitanten komen uit hetzelfde vakgebied.
Uiteraard heb ik het jongste lid uit de commissie verwijderd. Er wordt hier niet geteld! Lezen zal je. Zelf zit ik al gauw in zo’n zes commissies per jaar. Een artikel echt goed lezen en beoordelen kost me minimaal vijf uur. Dat is 6 commissies x 5 uur x 60 artikelen is 1800 uur, dat kan er inderdaad nog makkelijk bij. En ik kijk echt niet een keer op Google Scholar.
Han van der Maas is hoogleraar psychologische methodenleer.
