Frauduleuze Farma
door Jan Willem Nienhuys – Skepter 25.2 (2012)
De bekende psychiater Ben Goldacre richt zijn meest recente pijlen op de farmaceutische industrie. Ondanks de geweldige prestaties van deze bedrijfstak is er ook heel veel mis.
Goldacre noemt zijn weblog Bad Science, en zo heet ook zijn boek uit 2008, vertaald als Wetenschap of Kwakzalverij? (De Geus, 2009). Dat boek bevat een hoofdstuk over de praktijken van farmaceutische bedrijven. Bad Pharma: How drug companies mislead doctors and harm patients (2012) is een uitwerking van dat hoofdstuk. Het is een onthutsend boek. Ben Goldacre voert in hoog tempo de ene na de andere bedenkelijke truc van de farmaceutische bedrijven op. De eerste woorden van zijn boek ‘Medicine is broken’ geven al aan waar het om gaat.
Goldacre vertelt eerst wat over zijn ervaringen met reboxetine, een middel tegen depressie. Hij had zorgvuldig in de beschikbare literatuur gezocht en geconcludeerd dat het een goed middel was, en het vervolgens voorgeschreven. Uiteraard was het middel ook goedgekeurd. In 2010 bleek dat het enige artikel in de literatuur over reboxetine versus placebo ook het enige onderzoek was dat een positieve uitkomst had. Er waren nog zes ongepubliceerde onderzoeken waaruit bleek dat het niet beter werkte dan een placebo.
Het is bijna onmogelijk om in het kort na te vertellen wat Goldacre allemaal boven water heeft gehaald in zijn boek. Maar laat ik toch een poging doen. Voor de goede orde: Goldacre onderbouwt al zijn aantijgingen met overzichtsartikelen en met concrete voorbeelden van dozijnen zeer uiteenlopende middelen en groepen van middelen.
Fraude
Goldacre is nog eigenlijk veel te lief. In hoofdstuk 4, ‘Bad Trials’, zet hij uiteen wat er allemaal verkeerd kan gaan bij onderzoeken van geneeskunde. Hij begint met ‘outright fraud’: gegevens die voor de volle honderd percent bedacht zijn. Dat komt niet zo vaak voor. Maar vrijwel alle andere typen van slecht onderzoek moeten toch ook als gewoon bedrog worden aangemerkt, zeker wanneer ze door een farmaceutisch bedrijf worden gepleegd. Ik kom op ongeveer 20 vormen van fraude.
Dit bedrog heeft een aantal oorzaken. Eén oorzaak is natuurlijk de vanzelfsprekendheid waarmee in statistisch gericht onderzoek uit een gegevensbrij nepresultaten tevoorschijn worden getoverd. Dat gebeurt niet alleen in medisch onderzoek, maar in vele gammawetenschappen. Een tweede oorzaak is het belang dat de onderzoekers bij de uitkomst hebben. Bij de doorsneewetenschapper is ‘weer een publicatie’ natuurlijk belangrijk, maar in de farmaceutische industrie gaat heel veel geld om. Goldacre schat: 600 miljard dollar wereldwijd, waarvan 150 miljard voor reclame en 75 miljard voor onderzoek (p.310). De druk op de onderzoekers om te zorgen dat een nieuw ontwikkeld middel mooi voor de dag komt als er al 0,1 miljard aan het onderzoek besteed is, moet enorm zijn.
Wetenschappelijk onderzoek is moeilijk. Het is zelfs moeilijk om het verschil te zien tussen pseudowetenschap en serieuze wetenschap. De onderzoeker is voortdurend gegevens aan het verzamelen en een belangrijke activiteit is proberen een lijn in die gegevens te vinden. Als je denkt dat je iets op het spoor bent, hoeven de redenen daar niet zo sterk voor te zijn: een piekje in de metingen hier, een ‘significante’ uitschieter daar, een opvallende opeenvolging van gebeurtenissen, het geeft niet wat. De filosoof Paul Feyerabend heeft in jolige bui ‘Anything goes’ als enige zinvolle samenvatting gegeven van alle onderzoeksmethoden. Maar op een gegeven ogenblik is het exploreren afgelopen, en moet er een sluitend bewijs geleverd worden. Dat is wat in veel onderzoek van het statistische type ontbreekt. Lief gezegd, men doet dan nog wat bij het exploreren usance is, maar absoluut taboe als men een bewijs moet leveren. Ik wil echter niet zo lief zijn, want grote farmaceutische bedrijven hebben gekwalificeerde statistici in dienst, die precies weten hoe het hoort. Het is bewust, opzettelijk, weloverwogen en grootschalig bedrog.
De basistechniek van statistische fraude is dat men een arsenaal aan technieken gebruikt om de hoofdprijs, statistische significantie geheten, binnen te halen. Dat lukt lang niet altijd, en daarom is een essentieel onderdeel van alle statistisch bedrog dat men de mislukte proeven gewoon verdonkeremaant. Goldacre behandelt het probleem van ‘Missing Data’ in hoofdstuk 1, maar volgens mij zijn die inherent aan de doelbewuste fraude die hij in hoofdstuk 4 bespreekt.
Overigens benadrukt Goldacre wel dat de farmaceutische industrie ook heel veel goede dingen produceert (p. xi-xii), en men moet vrezen dat homeopaten en ander volk zijn boek zullen gebruiken om Big Pharma nog eens extra te verketteren. Alle onderzoek dat voorgeeft de waarde van homeopathie te bewijzen is echter vrijwel zeker slecht uitgevoerd of frauduleus op de hierna te schetsen manieren. Homeopathie werkt sowieso niet.
Er is natuurlijk wat aan te doen. Trials die als bewijs worden aangevoerd, moeten eerst geregistreerd worden, met protocol en al, en de regulators mogen geen goedkeuring geven tenzij de data van alle geregistreerde trials worden overhandigd, en het duidelijk is dat bij elk daarvan het protocol tot in elk detail gevolgd is, op straffe van alles over doen. Zover is het nog lang niet. Goldacre pleit voor openbaar maken van alle trials, maar het zou beter zijn als alle wetenschappers gewoon stopten met het produceren van frauduleuze bewijzen.
Handboek voor fraude
Bij een ideale opzet verzamelt men een van tevoren afgesproken aantal proefpersonen, die worden volgens het lot verdeeld in bijvoorbeeld twee groepen die een verschillend middel krijgen, en er wordt gezorgd dat alle betrokkenen (patiënten en therapeuten) niet weten wie er in welke groep zit. Hier kan al wat misgaan. Het is lang niet altijd eerlijk om met placebo te vergelijken als er al goede middelen zijn.
Als de proef onderweg is, is het schering en inslag dat men tijdens het onderzoek al gaat kijken hoe ver men al is. Dat is fout. Als men bezorgd is (bij een definitieve proef op de som?) dat er veel bijwerkingen zijn, mag men best vaker kijken, maar dan moet dat in het protocol staan, en de berekening moet worden aangepast. Pas je de berekening niet aan, dan heb je met deze vorm van fraude een kans van 10 tot 20 procent op een ‘significant’ resultaat dat nergens op slaat. Je hebt natuurlijk ook een kans dat je proef faliekant mislukt en dat je dat al halverwege kunt zien. Dus dit bedrog werkt pas al je een manier hebt om tegenvallende resultaten weg te werken.
Dit type oplichterij kun je altijd vermoeden als je trials ziet met opvallend weinig deelnemers of van korte duur. Maar korte duur kan ook op ander type bedrog wijzen. Als je weet dat vervelende bijwerkingen vooral op de lange (korte) duur optreden, zorg je dat de trial kort (lang) is. Dan vallen ze minder op. Proefpersonen die vanwege de bijwerkingen of het gebrek aan werking stoppen, zijn een aanwijzing dat er iets aan de hand is en de ervaren bedrieger werkt de dropouts dus zoveel mogelijk weg.
Bij een onderzoek is er altijd een uitkomst waar op gelet wordt. Op dit gebied wordt veel gemanipuleerd. Je kunt bijvoorbeeld naar 25 verschillende dingen kijken, en daarin na afloop gaan selecteren en combineren (zoiets is echt gebeurd bij het middel paroxetine = Seroxat). Dan zijn miljoenen combinaties mogelijk en het moet al gek lopen als er daar niet een paar ‘significante’ bij zijn. In de meerderheid van de onderzoeken blijken de gemelde uitkomstmaten anders te zijn dan de geplande. Vaak zijn noch de geplande, noch de gerapporteerde uitkomsten klinisch relevant, bijvoorbeeld bloeddruk terwijl het om voortijdig overlijden gaat.
Ditzelfde achterafgeknutsel in een iets andere vorm is dat je deelgroepen gaat analyseren, of dat je bij zogeheten meta-analyses een rare selectie van artikelen maakt. Eén manier van achteraf knutselen is een handige keuze van de base-line. Je uitkomst is een verbetering ten opzichte van het begin. Moet je nu corrigeren als de twee groepen aan het begin niet gelijk waren? Die beslissing stel je uit tot je (achteraf) weet wat het beste uitkomt.
In Bad Science noemt Goldacre nog een vorm van achteraf knutselen: probeer elke knop op je computer. Met andere woorden probeer elke statistische test tot er eentje lukt. En als dat allemaal niet lukt, dan verduister je het onderzoek. Men mag vermoeden dat al die methoden tevergeefs zijn uitgeprobeerd op de verdonkeremaande onderzoeken.
Dan heb je bij het opschrijven van de resultaten nog meer mogelijkheden. Je kunt bijvoorbeeld de ongewenste uitkomsten wegmoffelen of gewoon niet in de samenvatting vermelden.
Goldacre bespreekt nog veel meer, ook alle reclameactiviteiten nadat middelen zijn goedgekeurd, zoals het organiseren van nascholing voor artsen, het omkopen van wetenschappelijke bladen, het ‘helpen’ van auteurs bij het schrijven van artikelen, het subsidiëren van patiëntenorganisaties en nog veel meer. Het is teveel om te detailleren en allemaal schokkend.
Ik wil besluiten met het noemen van een artikel van Simmons, Nelson en Simonson getiteld ‘False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant’ (Psychological Science, 2011). Het staat op internet en het geeft inzicht in hoe makkelijk bovenvermelde fraude is.