‘Alle hens aan dek in de sociale psychologie!’
Van glimlachen word je tóch niet gelukkig, van schietspelletjes niet agressief: bij een onderzoek naar bekende experimenten in de sociale psychologie bleek tachtig procent niet te repliceren. Onderzoeksdirecteur sociale psychologie Agneta Fischer en methodoloog Eric-Jan Wagenmakers vertellen wat er nu precies aan de hand is, en wat er moet gebeuren om het tij te keren.
Het lijkt niet op te houden voor de sociale psychologie. Nadat in 2011 de frauduleuze praktijken van Diederik Stapel aan het licht kwamen, werden ook bij de onderzoeksresultaten van toenmalig UvA-hoogleraar Jens Förster vraagtekens gezet. In een reactie op deze en soortgelijke voorvallen werd besloten om bekende experimenten te repliceren (over te doen) om te controleren of de uitkomst dezelfde zou zijn als een aantal jaar geleden.
Bij meer dan 80 procent van de willekeurig geselecteerde experimenten werd een ander resultaat gevonden dan bij het origineel. ‘Alweer zo’n psychologisch lachertje,’ kopte de Volkskrant in de schertsende toon waarmee inmiddels regelmatig over de sociale psychologie wordt gesproken. ‘Het is veel, maar verbaast me niet,’ zegt hoogleraar Eric-Jan Wagenmakers, die zich als methodoloog praktisch elke dag bezighoudt met gedegen onderzoeksmethoden.
Plausibel
Het meest besproken niet-repliceerbare onderzoek is het facial feedback-experiment uit 1988, waarin proefpersonen cartoons beoordeelden door een vragenlijst in te vullen met een pen tussen hun lippen óf hun tanden. De deelnemers werd verteld dat dit iets te maken had met lichamelijk gehandicapten die hun armen niet meer konden gebruiken, terwijl er eigenlijk gekeken werd naar de mate van plezier die iemand ervaart als hij zijn gezicht in een bepaalde uitdrukking geplooid heeft. Zo gaf de pen tussen de tanden een mogelijkheid te lachen, waar de pen tussen de lippen een glimlach onmogelijk maakte. Er werd geconcludeerd dat de stand van het gezicht invloed heeft op de mate van ervaren plezier; mensen die konden lachen beoordeelden de cartoon als leukerLees hier meer informatie over de Facial feedback-hypothesis..
Het experiment groeide uit tot een van de bekendste effecten uit de sociale psychologie en was standaard leerstof voor elke verse eerstejaarsstudent in de collegezaal. ‘Ik snap niet waarom het originele onderzoek dat effect vond,’ zegt onderzoeksdirecteur en UvA-hoogleraar sociale psychologie Agneta Fischer. Zij herhaalde het onderzoek, maar het verwachte resultaat bleef uit. ‘Wij zagen vooral dat deelnemers het ontzettend ongemakkelijk vonden met die pen in de mond de vragenlijst in te vullen. Probeer dat maar eens zonder te kwijlen.’
Toch vinden Fischer en Wagenmakers de onderliggende theorie van het experiment geen gekke gedachtegang. ‘Ik vind de facial feedback-theorie best plausibel. De toetssteen van een theorie is natuurlijk wel het experiment, maar als één experiment niet repliceert, betekent dat niet gelijk dat de theorie onzinnig is,’ zegt Wagenmakers. Fischer vult aan: ‘Eenzelfde effect is vaak genoeg gevonden bij andere experimenten. Zo heb ik zelf ooit experimenten gedaan waar in plaats van een pen gebruik werd gemaakt van een bitje, zoals hockeyspelers tijdens een wedstrijd in moeten.’
Publicatiebias
De onderliggende gedachte van facial feedback mag dan wel plausibel zijn, en misschien is zelfs het merendeel van de andere niet-repliceerbare studies gestoeld op een goede theorie, toch is het opmerkelijk dat bij 80 procent van de herhaalonderzoeken niet hetzelfde effect wordt gevonden, omdat bij de oorspronkelijke onderzoeken mogelijk de kantjes ervan af zijn gelopen. Hoe is het mogelijk dat zoveel experimenten niet te herhalen zijn? Is het onderzoek werkelijk zo slecht?
Wetenschappelijke tijdschriften hebben een groot aandeel in dat probleem, daarover zijn Fischer en Wagenmakers het eens. Momenteel krijgen dergelijke tijdschriften artikelen in complete vorm aangeleverd. Dat houdt in dat vrijwel alles met betrekking tot een experiment al heeft plaatsgevonden; van het bedenken van de uitkomstmaten tot het werven van deelnemers en van het verzamelen van data tot het interpreteren van de resultaten.
Dit heeft tot gevolg dat experimenten vooral beoordeeld worden om wat er geconcludeerd wordt uit de resultaten. Zo kan het bij psychologische onderzoeken gebeuren dat een heel goed onderzoek niet gepubliceerd wordt omdat het een negatieve uitkomst heeft: wat voorspeld was door de onderzoeker gebeurde niet. En zo kan het dus ook gebeuren dat een slecht onderzoek wel gepubliceerd wordt omdat het een opvallend resultaat heeft.
Wagenmakers geeft voorbeelden van zo’n laatste soort onderzoek: ‘Je zou creatiever zijn als je naast een kartonnen doos zit dan wanneer je erin zit, in het kader van thinking outside the box. Als je op een harde stoel zit, onderhandel je feller; because you’re driving a hard bargain. Eenzame mensen nemen warmere douches, omdat ze sociale warmte missen en die op die manier alsnog zouden krijgen. Dan denk je misschien: “Dat zijn toch gewoon woordgrapjes?” Ja, maar wel woordgrapjes die in Science, een van de grootste wetenschappelijke bladen, worden gepubliceerd als een soort waarheid.’
De publicatiebias is een van de grootste problemen voor de wetenschap, zoals ook Stanford-hoogleraar John Ioannidis deze maand in een donderpreek bij de Anatomische Les van het AMC stelde. ‘Daar moeten we vanaf,’ stelt Fischer. Wagenmakers legt uit: ‘Het is door de jaren heen steeds moeilijker geworden om interessante nieuwe dingen te doen. Als er niks meer voorhanden is, ga je op een gegeven moment dingen doen waarvan je niet had verwacht dat je ze zou doen.’
Onderzoekscultuur
Een van die dingen is een flexibele manier van onderzoek doen. Zodra een onderzoeker een negatief resultaat vindt, wordt dat nu bijna altijd beschouwd als een tegenslag, terwijl erachter komen dat een bepaalde gedachtegang niet klopt, zeker in de psychologie, evengoed een vermeerdering van kennis is. Toch worden dergelijke resultaten niet gepubliceerd, en hoe minder publicaties je op je naam hebt staan, des te minder kans je hebt op een beurs. En dus wordt er, al dan niet bewust, steeds lakser omgegaan met de spelregels van gedegen wetenschappelijk onderzoek – een aanpassing hier, een andere manier van analyseren daar – en soms wordt er opzettelijk gefraudeerd, waarbij hele databestanden uit de duim worden gezogen. Zoals Denny Borsboom, UvA-hoogleraar grondslagen van de psychologie en psychometrie, eens zei: ‘Zolang de afbetaling van je hypotheek direct gelinkt is aan het vinden van een positief resultaat bij wetenschappelijk onderzoek zal dit probleem blijven bestaan.’
Wagenmakers: ‘Geef mij maar een editie van de Journal of Personality and Social Psychology en ik wijs je zo op artikelen die totale onzin zijn.’ Ook Fischer is kritisch over sommige ‘effecten’: ‘Ik heb theorieën met bijbehorende artikelen zien langskomen waarvan ik dacht: dit kan niet waar zijn. En daarom is het ook zo goed dat er nu gerepliceerd wordt.’ Fischer wil daar wel aan toevoegen dat het overgrote deel van de sociaalpsychologische theorieën nog steeds staat als een huis. ‘Denk aan de theorie over biases, waar de publicatiebias er een van is. Of alle theorieën over het effect van vooroordelen, stereotypes, groepsdenken, om er maar een paar te noemen. Het zijn vooral de kinky experimenten met sensationele effecten die niet repliceerbaar blijken. Het facial feedback-effect mag dan wel erg bekend zijn, de bijdrage ervan aan het fundament van de sociale psychologie is tamelijk marginaal.’
Om het kaf van het koren te scheiden heeft de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) geld beschikbaar gesteld voor replicatieonderzoek. ‘Het is niet leuk als er onderzoeken sneuvelen in je eigen vakgebied,’ bekent Fischer. ‘Maar het is nodig. Behalve dat moet er iets veranderen aan de onderzoekscultuur.’ Wat dat laatste betreft lijkt er één duidelijke oplossing voorhanden: pre-registratie van onderzoek.
Kip zonder kop
Bij pre-registratie levert een onderzoeker een plan van aanpak in bij een tijdschrift, nog voor het experiment heeft plaatsgevonden. In zo’n onderzoeksvoorstel staat beschreven wat de onderzoeker wil onderzoeken, op basis waarvan en op welke manier hij of zij dit gaat bekijken en analyseren. Vervolgens beoordeelt de redactie het plan van aanpak, dat wordt geaccepteerd of afgewezen, eventueel met op- en aanmerkingen over hoe het wel geaccepteerd zou worden. Zodra het onderzoeksvoorstel is geaccepteerd, mag de onderzoeker het experiment uitvoeren en worden de resultaten sowieso gepubliceerd in het blad, ongeacht de uitkomst. ‘Zo’n gegarandeerde publicatie moedigt aan om goed onderzoek te doen, niet om onderzoek te doen dat een bepaalde uitkomst heeft of zal opleveren,’ zegt Wagenmakers. Daarnaast wordt de onderzoeker zo beschermd tegen zichzelf, om te voorkomen dat hij een wijziging in het analyseplan aanbrengt om een positief resultaat te bewerkstelligen. ‘Je zet er van tevoren een stempel op, dat het goed onderzoek is,’ zegt Fischer. ‘Ik denk dat pre-registratie de toekomst is.’
De toekomst, niet het heden, want het verplicht stellen van pre-registratie gaat niet zo makkelijk. Allereerst staan de grote tijdschriften niet te springen om hun publicatiesysteem aan te passen, want het lezerspubliek is minder geïnteresseerd in ‘saaie’ replicaties. Een veel groter probleem zijn de wetenschappers die hun kop in het zand steken en hopen dat alle kritiek overwaait. Een paar van de invloedrijkste psychologen in de wereld beweren zelfs dat de kritiek op het veld nergens op gebaseerd is. Een dramatische instelling, vindt Wagenmakers: ‘Als je dit vakgebied wilt redden – en daar gaat het op dit moment echt om bij de sociale psychologie, vergis je niet – dan zou de houding moeten zijn: alle hens aan dek! Geen mitsen en maren plaatsen bij alles wat aan het licht gekomen is, zoals sommige sociaalpsychologen zich proberen te verdedigen. Mensen lopen als een kip zonder kop rond, terwijl het tijd is voor noodmaatregelen om slechte onderzoeksmethoden uit te bannen.’
Mensenlevens
Daar wordt hard aan gewerkt. Het onderwijs heeft sinds 2011 al een ommezwaai gemaakt; er ligt veel meer focus op de gevaren van de publicatiebias en het naarstig zoeken naar een positief resultaat. Steeds meer nieuwe tijdschriften publiceren ook negatieve resultaten. De systematische problemen bij het doen van empirisch wetenschappelijk onderzoek, zoals bij psychologie, worden breder erkend. Maar Fischer en Wagenmakers benadrukken dat het niet alleen de psychologie is die dergelijke problemen kent. Fischer: ‘Sociale psychologie is de zondebok, dat is zeker. Maar wat bij ons gebeurd is, had in elk vakgebied kunnen gebeuren.’ Wagenmakers is het daar deels mee eens: ‘Het is wel zo dat de sociaalpsychologen erg hoog van de toren hebben geblazen over hun bevindingen. Dat maakt dit vakgebied bij uitstek de kandidaat waar de systematische problemen opvallen. Toch zijn er andere vakgebieden waarvan ik sterk vermoed dat ze problemen hebben die minstens zo groot zijn als de sociale psychologie. Die bom ontploft later wel.’
Wagenmakers’ favoriete voorbeeld zijn de neurowetenschappen, waar sprake is van dure experimenten met weinig proefpersonen en analysemethoden die bekendstaan als vrij flexibel. ‘Dat is een recept voor het kiezen van de krenten uit de pap,’ zegt hij. ‘En ook nog eens een onaantrekkelijk onderzoek om te repliceren, omdat het zo duur is. Het lijkt mij sterk dat deze experimenten uitstekend repliceren.’ En dat is niet het enige vakgebied dat op scherp zou moeten staan. In het wetenschapsblad Nature, de concurrent van Science, verscheen recentelijk een rapport waarin stond dat maar een schamele 11 procent van de onderzoeken uit de kankerbiologie gerepliceerd kon worden. ‘En daar gaat het om mensenlevens,’ merkt Wagenmakers op.
Wat betreft de signalering van systematische fouten in onderzoek loopt de sociale psychologie vooruit op de andere empirische wetenschapsgebieden. De tijdsgeest en de overmoed bij het presenteren van resultaten hebben dit vakgebied in een unieke situatie gebracht – het balletje is eindelijk gaan rollen. ‘Wij moeten nu het goede voorbeeld geven. En de nodige aanpassingen maken om te zorgen dat we een sterker vakgebied worden dan ooit tevoren,’ zegt Fischer. ‘Het is een cultuuromslag, een revolutie.’
