‘Tijdschriften moeten ook replicatiestudies publiceren’
Als je conservatief bent reageer je heftiger op dreigingen in je omgeving dan wanneer je liberaal bent. Een artikel met die strekking stond in 2008 in Science en is inmiddels meer dan 500 keer geciteerd. Twee UvA’ers probeerden het onderzoek na te doen en vonden heel andere resultaten. Science wilde hun artikel niet publiceren. ‘Er wordt nu niet eens serieus naar gekeken.’
Omdat Bakker en zijn collega’s het vervelend vonden dat het artikel al vroeg in het selectieproces werd afgewezen, plaatste hij er een elfdelige thread over op Twitter. ‘Ik had van tevoren niet gedacht dat mijn tweets zoveel aandacht zouden krijgen. Maar uit veel reacties blijkt dat andere wetenschappers ook problemen hebben met het publiceren van replicatiestudies.’
Wat hebben jullie onderzocht?
‘In 2008 werd er belangrijke studie gepubliceerd, die aantoonde dat conservatieve mensen vaak heftiger reageren op angstopwekkende plaatjes dan liberale mensen. Twee jaar geleden besloten wij, omdat we veel soortgelijke data hadden verzameld, om te kijken of wij dit ook konden aantonen. Dat lukte toen niet. Vervolgens zijn we het systematischer gaan aanpakken, hebben we contact opgenomen met de auteurs van de originele studie en hebben we bijna identieke procedures gebruikt. Op die manier hebben we hier weer geen bewijs voor gevonden.’
Op Twitter is er ook veel discussie over of jullie de originele studie wel exact hebben nagedaan. Is deze discussie terecht?
‘Onze studie is niet een één-op-één replicatie van het originele onderzoek, dat zeggen we ook niet. Wel hebben we geprobeerd om de studie zo goed mogelijk na te doen door dezelfde procedures en foto’s te gebruiken. Als we eindeloos veel geld zouden hebben, dan hadden we meer dingen exact hetzelfde kunnen uitvoeren. Bepaalde vragen hebben wij ook bewust aangepast, zoals de originele vragen over de oorlog in Irak, want die zijn nu niet meer actueel. Toch denk ik niet dat het alleen ligt aan deze kleine verschillen, want onze resultaten komen niet eens in de buurt van die van de vorige studie.’
In jullie studie kijken jullie naar politieke kennis en interesse, terwijl de vorige studie heeft gekeken naar politieke overtuigingen. Zou dat het verschil kunnen verklaren?
‘Ja, dat zou mogelijk kunnen zijn, maar in mijn ogen is het niet waarschijnlijk. Ons onderzoek laat ook niet zien dat het vorige onderzoek niet juist kan zijn, maar wel dat de resultaten in ieder geval veel genuanceerder moeten worden geïnterpreteerd. Op basis van de 46 proefpersonen uit het onderzoek van 2008 worden er momenteel wel erg grote en vergaande conclusies getrokken.’
Hoe is indienen van het artikel bij Science verlopen?
‘Voordat we het artikel indienden hadden we al contact gehad met een editor van Science, toen was al wel duidelijk dat ze niet echt zaten te wachten op een replicatiestudie. In de afwijzingsmail die we hebben ontvangen stond dat ze door de onderzoeksvraag en de breedte van het artikel het geschikter vonden voor een ander meer gespecialiseerd tijdschrift. Ik vind het vooral erg jammer dat het artikel al bij de eerste ronde is afgewezen en niet naar peer reviewers is gestuurd. Wie weet hebben we wel belangrijke fouten gemaakt tijdens ons onderzoek, maar dat krijgen we nu niet te horen.’
Hebben jullie al een ander tijdschrift gevonden om het artikel te publiceren?
‘Daar zijn we op dit moment druk mee bezig. We willen proberen om het artikel bij Nature Human Behaviour gepubliceerd te krijgen, want we vinden het belangrijk om het in een breed tijdschrift te publiceren. Hiervoor moet het format van het artikel weer net iets anders zijn, dus dat zijn we nu aan het aanpassen.’
Waarom vinden jullie dat belangrijk?
‘Het originele artikel heeft veel impact gehad binnen ons onderzoeksveld, maar ook daarbuiten. Het wordt bijvoorbeeld vaak aangehaald als er in de media over politieke voorkeuren wordt gesproken. Je ziet altijd dat replicatiestudies minder worden gelezen dan de originele studies, maar omdat het originele artikel zoveel impact heeft gehad, willen we proberen om het artikel onder een zo breed mogelijk publiek verspreiden.’
Het manuscript dat Bakker en zijn collega’s bij Science hebben ingediend is hier al wel online beschikbaar. Het originele artikel uit 2008 kun je hier lezen.
