Falske funn som omformet vitenskap: Skandalene som endret alt

Når vitenskap bloffer: En utsatt troverdighet

Sommeren 2020 fikk verden vite at en av de mest høyprofilerte vaksinestudierne for COVID-19 inneholdt påfunne data. Forsker Didier Raoult ved Institut Méditerranée Infection i Marseille hadde publisert resultater som senere viste seg å være fremstilt. Karrieren hans ble ødelagt, tjenester ble trukket tilbake, og millioner av mennesker som hadde stolid på hans arbeid ble dypt skuffet. Dette er bare en av hundrevis av vitenskapelige bløffer som kommer til lys hvert år, og som påvirker alt fra medisinsk praksis til miljøpolitikk. Når forskere fabrikerer eller manipulerer data, skadet de ikke bare sitt eget rykte—de eroderer tillit til hele vitenskapssamfunnet.

Vitenskapelige bløffer er ikke unikt for dagens digitale tidsalder. Siden 1970-tallet har tilfeller av påfunne laboratorieresultater, manipulerte statistikker og oppfunne eksperimenter vært en del av forskningen. Imidlertid har digitalisering og trykket på akademikere til å publisere raskt gjort problemet mer utbredt. Et retraheert papir—en vitenskapelig artikkel som trekkes tilbake fra et tidsskrift fordi den inneholder feil eller bedrag—tar i gjennomsnitt fire til fem år å avsløre. I mellemtiden kan tusenvis av forskere ha bygget sitt arbeid på de falske funnene, og pasienter kan ha mottatt behandlinger basert på løgnaktig forskning.

Når bløffer blir til skandale

Historien med vitenskapelig bedrag rekker langt tilbake. Et klassisk eksempel er cybernetikeren John Darsee, som i 1981 ble avslørt for å ha fabrikert hjerteligningsdata ved Duke University. Hans arbeidsdag var så full av publikasjoner—han skrev hele syv artikler på én dag—at kollegaer begynte å stille spørsmål. En kollega som satt i samme laboratorium en dag oppdaget at Darsee ikke fylte ut eksperimentelle noter riktig, og at hans resultater var matematisk umulige. Skandalen førte til at hele hans vitenskapelige karriere ble invalidert, og det startet debatten om hvordan institusjonene kunne tillate slike feil. Darsees tilfelle viste at selv høyt ansatte forskere ved prestisjetunge universiteter kunne manipulere sitt arbeid, og at systemet for kvalitetskontroll var svakere enn man trodde.

Et annet eksempel er Hwang Woo-suk, den sørkoreanske stamcelleforskereren som i 2005 gjorde internasjonal sensasjon da han annonserte at han hadde klont mennesker. Hele verden hylet av begeistring, og hans laboratorium ved Seoul National University ble betraktet som et revolusjonært senter. Men snart begynte detaljene ikke å stemme. Kollegaer kunne ikke gjenskape hans resultater, bildene hans var blitt manipulert digitalt, og til slutt innrømmet Hwang at han hadde oppfunnet nesten alt. Skandalen påvirket hele stamcelleforskningen negativt og gjorde det langt vanskeligere for legitim forskning å få finansiering i årene som fulgte. Milliarder av kroner var blitt brukt på å forfølge en løgn som kunne vært oppdaget tidligere hvis ikke prestisje og ambisjon hadde gjort både forskere og journalister så lettkjøpte.

Omfanget av problemet

Retraction Watch dokumenterer presist hvor mange vitenskapelige arbeider som blir trukket tilbake hvert år. Tallene viser en bekymringsfull trend.

Hvordan skappes en vitenskapelig løgn

Når en forsker bestemmer seg for å fabrikere eller manipulere data, er prosessen sjelden tilfeldig. Presset på akademikere til å publisere raskt og ofte for å få midler, få ansettelsespunkter og bygge rykte, skaper en farlig situasjon. Et papir i et høyt rankert tidsskrift kan endre en karriere. En enkelt gjennombrudd kan få en forsker oppmerksom fra hele verden. Men når resultatene ikke kommer naturlig—når eksperimentet feiler, eller dataene viser det motsatte av hva man håpet—møter noen forskere fristelsen til å justere tallene litt, eller å samle data fra kilder som ikke reelt har blitt testet. Denne skråningen begynner ofte smålig, men blir til en større løgn.

De fleste vitenskapelige bløffer er ikke planlagte fra dag en. En forsker ønsker ikke å være en bedrar—hun ønsker å løse et problem, å finne en kur, å dekke et spørsmål om verden. Når virkeligheten ikke leverer det resultatet, oppstår kognitiv dissonans. Forsker vet hva resultatet skulle være, så hvorfor ville datene ikke vise det? På et kritisk punkt kapitulerer den etiske barrikaden, og forskeren begynner å manipulere. Det kan være så enkelt som å fjerne data som ikke passer mønsteret, eller så komplisert som å skaffe statistikk som aldri ble oppsamlet. Det er et gradvis fall, og få forskere våkner opp en morgen og mener: jeg skal lage en vitenskapelig løgn. Presset, ambisjonene og det ubegrensede behovet for papirer beveger grensen gradvis.

Moderne teknologi har gjort manipulasjonen både enklere og vanskeligere. Enklere fordi digitale bilder kan redigeres på sekunder, og statistikk kan genereres med falske datasett. Vanskeligere fordi digitale fotavtrykk kan etterforskes, og replikasjonsstudier kan kjøres av forskere på den andre siden av verden. En forsker som fabrikerer et resultat for eksperiment i mikrosopi kan nå bli avslørt fordi noen på et universitet i Japan kjører det samme forsøket og får helt andre resultater. Globaliseringen av vitenskap betyr også at det er vanskeligere å skjule dårlig forskning, selv om mange fortsatt klarer det—ofte i flere år.

Detektivarbeidet: Hvordan avsløring skjer

Avsløring av vitenskapelige bløffer begynte opprinnelig når kollegaer som jobbet i samme laboratorium eller på samme prosjekt opplevde at de ikke kunne gjenskape resultatene. En forsker ville prøve å replikere funnene, og ville finne at tallene ikke stemte, eller at prosedyrene som var beskrevet ikke ga samme resultat. I dag er peer review—prosessen der andre forskere vurderer og kritiserer et manuskript før det publiseres—den første linjen av forsvar. Minst to eller tre uavhengige eksperter leser gjennom paperet, sjekker metodologien, og verifiserer at konklusjonene stemmer med dataene. Et godt peer review kan fange mange feil, men det kan også falle igjennom hvis anmelderne er for trette, for stolte av autoriteten, eller hvis de selv jobber for tett på forfatteren.

En annen kritisk fase er når andre forsker forsøker å replikere eller bygge videre på det arbeidet som er publisert. Replikasjonskriser har blitt allestedsnærværende i psykologi, medisin og biologi de siste femten årene—hvor forskere oppdager at de ikke kan gjenskape resultatene fra høyt siterte papirer. Når et papir ikke kan repliseres, sendes det inn igjen til tidsskriftet med dokumentasjon av at originalen ikke stemmer. Hvis beviset er sterkt nok, kan tidsskriftet beslute å trekke paperet tilbake. Retraction Watch har blitt en verdifull ressurs, der journalister og forskere kan se hvilke artikler som har blitt trukket tilbake og hvorfor. Ofte er årsaken ikke engang ren bedrag—mange papirer trekkes tilbake fordi det ble gjort feil i analysen, eller fordi data ikke ble godt nok dokumentert.

Statistisk analyse har også blitt et kraftig detektiv-verktøy. Forskere som Joshua Bloom og andre har laget verktøy som kan analysere millioner av papirer og finne dem som bruker statistikk på måter som er statistisk umulige. For eksempel, hvis et resultat ser ut til å ha blitt oppnådd ved prøving av et ubegrenset antall tester til én som passerer, kan algoritmene avdekke det. En annen teknikk kalt p-hacking—hvor forsker tester så mange hypoteser at de til slutt finner én som virker signifikant—kan avdekkes ved hjelp av statistiske mønstre. Selv om disse verktøyene ikke beviser bedrag direkte, kan de flagge papirer som er verdt å undersøke nærmere.

Vitenskapens moralske kodeks

Dårlig forskning påvirker ikke bare individuelle karrierer. Den skader hele feltet og folk som tror på resultatene.

Berømte skandaler som endret vitenskap

Audrey Hui-Jun Kuo var en forsker som publiserte omkring hundre artikler om nanokjemi i løpet av få år. En annen forsker prøvde å replikere hennes resultater og klarte det ikke. Etter denne begynnelsen til tvil, fant etterforsker fra National Institute of Health at Kuo hadde fabrikert bildene sine. Hennes avhandlinger ble trukket tilbake i batch, og hele hennes karriere kollapsede. Institusjonene som hadde hyret henne trodde hennes papirer var sanne når de intervjuet henne. Hun hadde faktisk rømt med sine papirer intakt. Skandalen ga opphav til mer streng bildebehandling og revisjon av prosedyrer for verifikasjon av resultater.

Et annet høyt profilert tilfelle er Paolo Macchiarini, en italiensk thoraxkirurg som arbeidet i Sverige. Han hadde annonsert kunstige luftrør laget ved å kombinere cadaver-vev med stamceller fra pasienten. Hans resultater ble publisert i Lancet og vakte internasjonal begeistring. Senere viste det seg at hans pasienters luftrør ikke fungerte, og flere døde. En langvarig etterforskning avsløret at hans resultater hadde blitt manipulert, og at han hadde rapportert til leger om resultater som ikke stemte. Hans tilfelle viste hvor kritisk det er at etikk og transparans må passe sammen med ambisjon i medisinsk forskning. Skandalen førte til strengere revisjon av operasjonelle prosedyrer ved svenske sykehus.

Når løgnen spreader seg: Konsekvensene for vitenskap og industri

Når et vitenskapelig papir publiseres i en respektert journal som Nature eller Science, blir det straks sitert av tusenvis av forskere. Hvis paperet inneholder feil eller bedrag, spreader disse feilene som ringvirkninger. En forsker i Sverige bygger sitt arbeid på det falske papiret. En forsker i Brasil gjør det samme. En legemiddelprodusent investerer millioner i å utvikle et stoff basert på påstander fra det falske papiret. En politiker bruker funnene til å begrunne ny lovgivning. I en slik situasjon kan bedraget påvirke tusenvis av mennesker. Noen ganger tar det år å oppdage at det originale papir var en løgn, og i mellemtiden har alle disse andre aktivitetene blitt bygget på påfunne grunnlag. Et enkelt bedrag fra en forsker kan således føre til massive og kostbare feilslutninger i hele systemet.

For industrien er påvirkningen veldig klar. En farmasøytisk bedrift som investerer fire milliarder kroner i å utvikle et legemiddel basert på påfunne vitenskapelige funn, mister både tid og penger når bedraget blir avslørt. De må stoppe kliniske forsøk med pasienter, gjøre nye analyser, og oppstarte helt nye prosjekter. Hele tidsplanen for produktutvikling blir forsinket. Karrierer i bedriften går tapt. Aksjonærer mister penger. Nye investeringer i forskning blir mer forsiktige fordi tilliten til vitenskapelig data er blitt svekket. Det er ikke uvanlig at en større skandal kan koste en bedrift milliarder av kroner, og det er grunnen til at industrien har blitt mer åpen om behovet for bedre kvalitetskontroll og transparans i vitenskap.

Helserisikoen er kanskje enda verre enn de økonomiske konsekvensene. En pasient diagnostisert med kreft basert på en falsk biomarker-studie kan få behandling som ikke fungerer, eller som faktisk skader henne. Hun bruker tid og ressurser på et medisin som ikke virker, mens hun potensielt kunne ha fått bedre behandling. Hvis en vitenskapelig skandal påvirker retningslinjer for diagnostikk eller behandling, kan det påvirke millioner av pasienter. En feil i retningslinjer for brystkreft-screening som var basert på påfunne data, kunne ha påvirket millioner av kvinner over hele verden. Når vitenskap er løgnaktig, har det ikke bare akademiske eller økonomiske konsekvenser—det har menneskelige konsekvenser.

Peer review: Det beste systemet vi har, men ikke tilstrekkelig

Peer review er fundamentet for vitenskapelig kredibilitet, men systemet har betydelige huller. En anmeldelse av noen få hundre vitenskapelige artikler publisert i toppidsskriftene mellom 2000 og 2015 viste at rundt fem prosent av papirene inneholdt tegn på fabrikerte eller sterkt manipulerte data. Selv med peer review godkjent disse papirene! Problemet er at peer reviewers er frivillige, overarbeidete forskere som gjennomsnittlig bruker bare to til tre timer på å vurdere et papir som kan ha tatt måneder å skrive. De har ikke tid til å verifisere alle funnene eller å kontrollere alle tallene manuelt. De må stole på forfatteren. Når en forfatter lyver så glatt at resultatene virker plausible, og når metodologien som er beskrevet virker rimelig, kan selv en dyktig peer reviewer bli helt villledet.

Flere forslag til reformer av peer review systemet har kommet frem de siste årene. Ett forslag er at alle rådata skal publiseres sammen med papiret, slik at andre forskere kan inspisere dataene direkte. Dette ville gjøre det mye vanskeligere å fabrikere resultater. Et annet forslag er å ha mindre fokus på hvor mange papirer som blir publisert, og i stedet belønne gode replikasjoner og reproduksjon av eksisterende arbeid. Nå blir replikasjons-papirer sjelden publisert fordi de ikke er nye nok. Men de kan være kritisk viktige for å sikre at det grunnlaget som hele feltet bygger på, faktisk er solid. Et tredje forslag er å forbedre anonymiteten i peer review, slik at anmelderne ikke vet hvem forfatteren er, og forfatteren ikke vet hvem anmelderne er.

Sektorer som er hardest rammet

Noen fagfelt har høyere forekomst av bløffer enn andre. Her er tallene fra forskning på retraksjoner.

Rød-flagg: Hvordan gjenkjenner du usikker forskning

Ikke alle bløffer kan avsløres umiddelbart, men noen tegn kan gjøre deg skeptisk. Her er røde flagg som forskere og lesere bør være oppmerksomme på:

• Urealistisk perfekte resultater: Hvis dataene virker for gode til å være sann, var de det kanskje. Statistikk bør vise naturlig variasjon.
• Samme forfatter, mange banebrytende studier: En enkelt forsker som gjennombryter kan være inspirerende, men det kan også indikere fabrikasjon.
• Bilder som ser redigert ut: Digitale bilder i vitenskapelige papirer som virker forenklede eller mangler detaljene som du forventer i ett mikroskop-bilde.
• Mangel på transparans om data: Når forfatterne ikke vil dele rådata eller metodologiske detaljer, kan det være et tegn på dårlig forskning eller manipulasjon.
• Veldig rask publiseringsfrekvens: En forsker som publiserer fem papirer per måned er trolig ikke så nøye med kvalitetskontroll som en som publiserer ett til to per år.
• Statistisk umulighet: Resultater som er statistisk høyst usannsynlige, som å få nøyaktig samme p-verdi på tvers av mange uavhengige eksperimenter.
• Ingen gjenskaping av resultater: Når andre forskere ikke kan gjenskape resultatene, er det et kritisk rødt flagg som krever videre undersøkelse.

Ansvarlig forskning krever ansvarlige forskere

Virksomheter og akademiske institusjoner har et ansvar for å påse at deres forskere oppfører seg etisk og ærlig.

Hvordan bygger du tillit til vitenskapelige resultater

Hvis du er en gründer som leser forskningsartikler for å basere forretningsbeslutninger på, eller en investor som skal vurdere om en investering i biotek-startup er solid, trenger du ikke å bli en ekspert på vitenskapelig integritet. Men du bør vite noen grunnleggende ting. Først: sjekk hvem som har publisert resultatet. Er det fra et høyt respektert laboratorium ved en kjent universitet eller et mindre kjent laboratorium som ikke tidligere har publisert på det samme feltet? Hvis det er fra et mindre kjent sted, er det ikke nødvendigvis dårlig—det kan være pionerarbeid—men det er grunn til å være ekstra skeptisk. Ta tiden til å sjekk hvis andre har replikert resultatet. Har disse funnene blitt gjentatt av uavhengige grupper? Hvis ja, er det et veldig godt tegn. Hvis nei, eller hvis du ikke finner noen replikasjonsstudier, bør du være mer skeptisk.

Kontroller også forfatterens publikasjonshistorie. Hvis denne personen tidligere har hatt papirer som ble trukket tilbake, eller hvis hennes tidligere resultater har blitt kritisert, bør du være meget forsiktig. Du kan søke på Retraction Watch eller på PubMed for å se papirer som har blitt trukket tilbake. Sjekk også hvor paperet ble publisert. Et papir i Nature, Science, eller PNAS har gjennomgått strengere peer review enn ett papir i ett mindre kjent tidsskrift. Imidlertid kan selv de beste tidsskriftene publisere bløffer—som vi har sett. Så publikasjonssted alene er ikke en sikker indikator. Ett tredje tips er å se på hvor mange ganger papiret har blitt sitert, og hva andre forskere sier om det. Hvis det bare er blitt sitert i sitater fra samme forfatter, er det ett rødt flagg. Hvis det har blitt sitert mye og kritisert eller utfordret av andre, kan du lese kritikken for å se om bedraget allerede har blitt avslørt.

Hva må gjøres—og hva kan du gjøre

For industrien og akademia er behovet for endring økende. Vi trenger en kultur hvor integritet blir premiert høyere enn antall publikasjoner. Vi trenger større åpenhet rundt rådata. Vi trenger systemer som oppmuntrer til å rapportere dårlige resultater uten at det blir oppfattet som fiasko. Vi trenger at akademiske institusjoner gir gode etikk-kurs, at de opprett whistleblower-systemer, og at de straffer bedrag alvorlig i stedet for å håpe at problemet forsvinner. Omfanget av vitenskapelig integritet må bli en del av hvordan forskere vurderes, ikke bare antall papirer de publiserer. Det er tegn på at dette begynner å skje. Flere tidsskrifter krever nå at forfattere skal dele rådata. Flere institusjoner har opprettet stillinger for Research Integrity Officers som etterforsker bedrag og manipulasjon. Og debatten om vitenskapelig integritet har blitt langt mer synlig.

Som enkeltperson kan du bidra ved å være kritisk til forskning du leser. Ikke aksepter påstander blindt bare fordi de kommer fra en høyt respektert kilde. Stil spørsmål, sjekk kilder, og se etter tegn på usikker metodologi. Hvis du jobber i akademia eller industri, kan du være en stemme for at integritet skal premieres. Støtt kollegaer som rapporterer problemer, og reagér alvorlig når du oppdager bedrag. For gründere og investorer: investér tiden i å forstå grunnlaget for teknologiene du vurderer. En liten time brukt på å verifisere at den vitenskapelige basisen er solid kan spare deg for milliarder senere. Tilliten til vitenskap er bygget på en grunnlegge av integritet. Når vi alle bidrar til å holde standarden høy, beskytter vi både vitenskapen selv og folk som avhenger av den.