In de helft van de gepubliceerde artikelen uit de experimentele psychologie staat een statistische fout. Bij zo’n vijftien procent van die artikelen ondermijnt de fout een (deel)conclusie. Dat ontdekte psychologe Marjan Bakker, nadat ze 281 gepubliceerde artikelen tegen het licht hield. 24 april promoveert Bakker op het onderzoek.
De gevonden fouten komen de wetenschapper doorgaans goed uit. Ze zorgen voor significante resultaten en die significantie maakt het een stuk makkelijker de bevindingen te
publiceren. Bakker: ‘In eerder onderzoek gaf tweeëntwintig procent van de wetenschappers ook aan hun gegevens wel eens aan te passen ten faveure van een significante uitkomst. Dat duidt erop dat de fouten er niet per ongeluk insluipen, maar ook bewust worden gemaakt.’
Bakker rekende niet alleen de statistiek in gepubliceerde artikelen na, ze deed ook een simulatiestudie waaruit blijkt dat het wetenschappelijk en persoonlijk belang tegenover elkaar staan in het huidig wetenschapssysteem. Uit de simulatie bleek dat het doen van veel kleine studies met betwistbare analysemethoden het effectiefst is om veel te publiceren. Dat leidt alleen tot minder robuuste bevindingen en een overschatting van de effectgrootte. ‘Voor de wetenschap als geheel is deze strategie dus funest,’ aldus Bakker in haar proefschrift.
Voorbeelden van dubieuze onderzoekspraktijken die Bakker onderzocht zijn het opkrikken van de significantie door de p-waarde verkeerd af te ronden, uitbijters uit de steekproef verwijderen, zonder dat daar een overtuigende reden toe is, of onderzoek doen met een kleine groep proefpersonen.
Bakker vindt ook een lichtpuntje in haar onderzoek, wetenschappers die hun data delen blijken minder fouten maken in de analyse. Bakker: ‘Zeker nu er veel aandacht is voor wetenschappelijke integriteit zou ik dat als aanbeveling aan alle experimentele wetenschappers willen doen.'
De gevonden fouten komen de wetenschapper doorgaans goed uit. Ze zorgen voor significante resultaten en die significantie maakt het een stuk makkelijker de bevindingen te
publiceren. Bakker: ‘In eerder onderzoek gaf tweeëntwintig procent van de wetenschappers ook aan hun gegevens wel eens aan te passen ten faveure van een significante uitkomst. Dat duidt erop dat de fouten er niet per ongeluk insluipen, maar ook bewust worden gemaakt.’
Bakker rekende niet alleen de statistiek in gepubliceerde artikelen na, ze deed ook een simulatiestudie waaruit blijkt dat het wetenschappelijk en persoonlijk belang tegenover elkaar staan in het huidig wetenschapssysteem. Uit de simulatie bleek dat het doen van veel kleine studies met betwistbare analysemethoden het effectiefst is om veel te publiceren. Dat leidt alleen tot minder robuuste bevindingen en een overschatting van de effectgrootte. ‘Voor de wetenschap als geheel is deze strategie dus funest,’ aldus Bakker in haar proefschrift.
Voorbeelden van dubieuze onderzoekspraktijken die Bakker onderzocht zijn het opkrikken van de significantie door de p-waarde verkeerd af te ronden, uitbijters uit de steekproef verwijderen, zonder dat daar een overtuigende reden toe is, of onderzoek doen met een kleine groep proefpersonen.
Bakker vindt ook een lichtpuntje in haar onderzoek, wetenschappers die hun data delen blijken minder fouten maken in de analyse. Bakker: ‘Zeker nu er veel aandacht is voor wetenschappelijke integriteit zou ik dat als aanbeveling aan alle experimentele wetenschappers willen doen.'
