UvA-student ontdekt fout in psychedelisch onderzoek
Niet elke student neemt de moeite om de resultaten van een onderzoeksartikel zelf te reproduceren. Student kunstmatige intelligentie Paul LodderYou can find an English version of this article here. (25) deed het wel, en toen hij een fout ontdekte, leverde hem dat een co-auteurschap op. ‘De auteurs reageerden ontzettend academisch integer.’
Ter voorbereiding van het vak Neural Dynamics and Deep Learning grasduinde student Paul Lodder wat door de literatuur. Hij wilde weten wat er al gedaan was en waar hij misschien op voort kon bouwen. Hij had het vak niet nodig om zijn master af te ronden, maar hoopte er de richting te vinden waarin hij zijn thesis wilde schrijven.
LSD als therapie
Tijdens zijn zoektocht stuitte hij op een paper van de University of Valparaíso in Chili onder leiding van onderzoeker Rubén Herzog. Het artikel ging over wat er in de hersenen gebeurt bij het gebruik van de psychedelische drug LSD.
De paper claimde op basis van een computermodel dat LSD de hoeveelheid chaos – ook wel entropie genoemd – in de hersenen verhoogt. Dat resultaat was in overeenstemming met studies die in menselijke hersenen waren uitgevoerd. LSD zou dus, mits gecombineerd met therapie, kunnen helpen om vastgeroeste gedachtenpatronen te doorbreken.
Lodder wilde allereerst de resultaten van de paper kunnen reproduceren. ‘Omdat ik dan zeker wist dat ik aan het voortbouwen was op iets en niet op een eilandje zat te werken.’ De studie gebruikte namelijk een computermodel om de hersenen te simuleren die hij – door zijn bovengemiddelde enthousiasme voor programmeren – zelf aan de praat kon krijgen op zijn computer.
Instructies uit Chili
Er ontbraken wat gegevens in de paper en dus wendde Paul zich tot de Chileense auteur Rubén Herzog. ‘Rubén reageerde gelijk heel behulpzaam en voorzag me van instructies over hoe ik de simulaties moest runnen.’
Lodder kreeg het model aan de praat met zijn eigen programmeercode. En moest vervolgens met de data uit het model de entropie berekenen. Alleen, hij berekende een compleet andere entropie. ‘Uit mijn resultaten bleek dat LSD minder entropie veroorzaakte in de hersenen. Precies het tegenovergestelde van wat de paper claimde.’
Hij mailde de Chileen opnieuw. Op dat moment dacht Lodder dat hij een parameter verkeerd had, iets dat bij het programmeren vrij gemakkelijk kan gebeuren. Na een paar suggesties van Rubén Herzog kreeg hij alsnog niet dezelfde resultaten als in de paper. ‘Ik schreef: je bent vast druk, maar ik kom helaas nog niet op dezelfde resultaten.’
In plaats van het erbij te laten zitten, stuurde Herzog zijn eigen analysecode deze kant op om de entropie mee te berekenen. Met die analysecode kon Lodder wél dezelfde resultaten als in de paper reproduceren. Daarom zocht hij verder in de analysecode van Herzog. Wat was er anders dan zijn eigen code? Lodder: ‘Toen zag ik dat er een typefout stond in de formule die de entropie moest berekenen. Daardoor klopte de formule niet meer. Toen ik dat aanpaste kreeg ik met de code van Rubén hetzelfde resultaat als met mijn eigen analysecode. En dat betekende dus dat de resultaten in de paper niet juist waren.’
In lichte verwarring stuurde hij zijn resultaten naar Valparaíso. Al vrij snel kreeg hij reactie. De Chileen beaamde dat er een fout in de code zat. Ook schreef hij dat hij ontzettend dankbaar was voor het werk van de Nederlandse student en benadrukte hoe belangrijk het is om resultaten te reproduceren. Ook werd Lodder in de e-mail uitgenodigd om co-auteur te worden van de vervolgpaper die Herzog wilde schrijven zodra de fout verbeterd was.
Teleurgesteld
Hoewel Lodder de reactie van de Chileense onderzoeker ‘ontzettend academisch integer’ noemt en uitsluitend lovend is over hun samenwerking, was hij in eerste instantie teleurgesteld. ‘Als ik deze fout nu toevallig vind,’ beredeneerde hij, ‘hoeveel meer onderzoek is er dan waarvan de resultaten niet kunnen worden gereproduceerd?’
Lodder noemt het schrijnend dat dit juist in de computerwetenschappen voorkomt. In dat veld kun je beter dan in welk ander veld dan ook, de resultaten reproduceren door de code bij het artikel aan te leveren. ‘Het script met code kan de complete analyse doen en elke figuur en tabel in de paper namaken.’
In de praktijk is dat nu vaak niet het geval, zegt hij. En als er al een code is bijgeleverd, dan is deze vaak niet volledig. ‘Dat maakt het onnodig lastig om voort te bouwen op wetenschap die al heeft plaatsgevonden.’
Daar kan volgens Lodder op de UvA ook meer aan worden gedaan. ‘Informaticastudenten zouden ingezet kunnen worden om papers te controleren en te voorzien van goed gedocumenteerde, reproduceerbare code met instructies om deze aan de praat te krijgen. Ze zouden dit kunnen doen in ruil voor een mogelijk co-auteurschap.’
Teruggetrokken
Ook Nature, de uitgever van de paper, is inmiddels op de hoogte van de fout en trok het artikel op 15 september 2022 terug. Boven het online artikel staat sindsdien in hoofdletters ‘retracted article’.
Paul Lodder is contact blijven houden met Rubén Herzog en ontmoette hem deze zomer op een conferentie in Amsterdam. Ook introduceerde Herzog hem aan andere wetenschappers in het vakgebied en schijft hij zijn masterthesis nu bij een groep onderzoekers uit Argentinië en Mexico.
De vervolgpaper met Paul Lodders naam erop moet nog verschijnen. ‘Het is een hele grote eer dat ik tussen de grote namen uit het veld op de paper mag staan.’ Overigens wordt in de vervolgpaper een model voor de hersenen gebruikt dat dichter bij de biologie ligt. En in dat model verhoogt LSD de entropie in de hersenen weer wél.
