.jpg)
Op z’n Duits | Peerreview beschermt nergens tegen
Onlangs heb ik de wetenschap voor een schande behoed. Ik was gevraagd om een stuk te reviewen dat vol fouten in de statistiek bleek te zitten. Gelukkig was ik er als poortwachter! Alhoewel, niets houdt de auteurs tegen om het artikel in te dienen bij een ander tijdschrift waar de reviewers niets van regressieanalyses weten. Peerreview is zo lek als een mandje.
.jpg)
Het is zogenaamd de gouden standaard in de wetenschap. Als een artikel niet door anderen is beoordeeld, telt het niet als kennis. Dat leren we studenten en dat vertellen we elkaar. Journalisten van wetenschapsredacties schrijven keurige waarschuwingen als ‘preprint, dus nog zonder beoordeling door vakgenoten’: niet te serieus nemen, het is nog niet goedgekeurd! Zo’n voorbehoud doet natuurlijk weinig bij de lezer. Het gaat immers om studies die nieuwswaardig worden gevonden.
Tijdens corona regent het zulke berichten: het virus vraagt om snelle wetenschap en peerreview is een notoire vertrager. Volgens neurowetenschapper Mark Humphries laat de pandemie zien hoe onzinnig zulke berichtgeving én de peerreview zelf is: ‘It doesn’t do the job we think it does, so reporting science differently because it hasn’t been peer reviewed is absurd’.
Humphries betoogt dat peerreview nergens tegen beschermt. Fraude wordt er niet mee opgespoord, want reviewers zijn niet helderziend en kunnen niet weten of data verzonnen zijn. Ook statistische fouten worden niet per se gevonden. Hij voert daarvoor de replicatiecrisis aan als bewijs. Ik zou zelf wijzen op de zin en kunde van de reviewer: alle data nalopen kost inspanning die je niet altijd wilt leveren. Bovendien zijn er vakgebieden als genderstudies waarin niet iedereen statistiekgeletterd is, zoals in mijn voorbeeld.
Beoordelaars zijn het zelden met elkaar eens: auteurs krijgen vaak tegenstrijdige reviews terug, waar je maar wat van moet zien te maken in de herziening. Ieder paper wordt door een klein aantal collega’s bekeken, en de onderlinge consistentie is laag. En, zoals gezegd, mocht een artikel afgewezen worden, dan is er altijd wel een ander journal waar je terecht kan. Het is een kwestie van vaak genoeg schieten en een lange adem hebben.
In een begeleidende brief aan de editor schrijf ik altijd keurig op dat de waardevolle suggesties van de reviewers het manuscript kwalitatief beter hebben gemaakt. Dat is soort van gelogen: het betreft kleine tekstuele aanpassingen en toevoegingen, die zaken verduidelijken of nuanceren maar die niets veranderen aan de aard van het onderzoek en de conclusies. Zulk advies kan je ook van collega’s krijgen, die het dan ook nog eens aardiger brengen (als je dacht dat Twitter een riool was, moet je eens blinde reviews lezen).
Humphries heeft geen oplossing voor het kapotte systeem. Hij is ook zeker niet de eerste die dit probleem aankaart. Het lijkt erop dat niemand verantwoordelijkheid wil nemen. We hebben nu eenmaal dit systeem en het werkt in de zin van: het draait en er wordt zelden naar gekraaid. Soms vist iemand er wat fouten uit, hopelijk waren de onderzoekers uit mijn voorbeeld dermate ontmoedigd dat ze het stuk nergens anders hebben ingediend. Veel schade lijkt het ook niet te doen, naast natuurlijk het enorme beslag op onze tijd. Daarmee is het, zoals wel meer taakjes van academici, zelfverzonnen zinloze bezigheidstherapie.
Linda Duits is een weggelopen wetenschapper, gespecialiseerd in populaire cultuur; in het bijzonder op het gebied van gender en seksualiteit.
