‘We moeten meer waarde hechten aan herhaalonderzoek’
Het systematisch herhalen van onderzoek moet normaler worden, zodat de wetenschap beter wordt, schrijft een KNAW-commissie in een advies aan de Nederlandse universiteiten. UvA-hoogleraar neurocognitief modelleren Eric-Jan Wagenmakers zat in de commissie die het advies opstelde.
Hebben we hier nog te maken met de naweeën van de affaire-Stapel?
‘Nee, dit advies heeft daar niets mee te maken. Toenmalig hoogleraar Diederik Stapel had moedwillig data vervalst. Hij had van meet af aan de intentie te misleiden. Dit advies heeft meer te maken met het verbeteren van onderzoek door het veel systematischer dan nu gebeurt, te laten herhalen waarbij wordt gekeken of de verkregen onderzoeksresultaten bij een nieuwe meting hetzelfde zijn.’
Dat gebeurt nu nog te weinig dus?
‘Het is niet zo normaal als het zou moeten zijn. Het kost natuurlijk tijd, maar het doen van herhaalonderzoek wordt vooral ondergewaardeerd en heeft onterecht niet veel status. Onlangs stelde ik aan een van mijn studenten voor om als these een replicatieonderzoek te doen. De teleurstelling droop van haar gezicht, terwijl het niet alleen belangrijk is, maar ook heel interessant. Stel je voor dat je andermans onderzoek mag herhalen en er komt iets totaal anders uit, door jouw herhaalonderzoek. Ik wist haar te overtuigen en ze begon aan dat herhaalonderzoek. We adviseren instellingen ook bij het beoordelen van personeel meer waarde te hechten aan replicatieonderzoek.’
Nu wordt ‘een paar procent’ van het onderzoek gerepliceerd. Hoeveel procent moet dat worden?
‘Daar hebben we geen generiek target aan willen koppelen. Het zou waarschijnlijk ook verschillen per vakgebied. Het gaat meer om een verandering van manier van denken, dan komt het met dat percentage ook wel goed.’
Momenteel wordt verricht onderzoek alleen ge-peer-reviewed voordat het in een tijdschrift komt, maar het wordt niet herhaald, althans dat is geen vereiste. Moet dat veranderen?
‘Je zou onderzoek inderdaad eerst kunnen herhalen voordat het in een wetenschappelijk tijdschrift wordt gepubliceerd. Maar je zou bijvoorbeeld ook van tevoren bij het tijdschrift je onderzoek- en analyseplan kunnen vastleggen, zodat een tijdschriftredactie kan zien hoe het onderzoek tot stand is gekomen.’
U sprak over ‘een verandering van een manier van denken’ die moet plaatsvinden onder wetenschappers. Kunt u dat toelichten?
‘In het huidige klimaat voelt de wetenschapper vaak de druk om interessante en sexy uitkomsten te presenteren. Zogenoemde nul-effecten zie je zelden terug, terwijl het onderliggende onderzoek misschien best informatief kan zijn.’
Herhaalbaarheid van onderzoek is niet altijd gemakkelijk, bijvoorbeeld als je alleen literatuur- of archiefonderzoek hebt gedaan of een hele grote populatie hebt onderzocht.
‘Dat blijft inderdaad lastig, maar een dataset is eigenlijk altijd wel beschikbaar om ter replicatie aan andere onderzoekers voor te leggen. Bij onderzoek onder een hele grote populatie zou je de dataset bijvoorbeeld in tweeën kunnen hakken: de ene helft voor het onderzoek, de andere helft voor het herhaalonderzoek.’
U roept wetenschappers op het onderzoek van collega-wetenschappers te repliceren. Daar gaan we met de werkdruk.
‘Dat zie ik ook, maar we hopen wel dat wanneer onderzoek meer wordt herhaald, het ook beter wordt en daarmee efficiënter. Zolang onderzoek niet wordt gerepliceerd loop je steeds het risico dat onderzoekers tijd steken in onjuiste data.’
Wie gaat dit betalen?
‘Het gaat misschien geld kosten, maar het is wel geld dat uiteindelijk ook naar de wetenschap terugvloeit. We adviseren trouwens wel dat er meer geld wordt vrijgemaakt voor dergelijk herhaalonderzoek.’
Lees hier het KNAW-rapport Replication studies. Improving reproducibility in the empirical sciences.
