Lurmærket forskning er smækfyldt med fejl

Artikler i anerkendte videnskabelige tidsskrifter bliver tillagt ekstra stor sandhedsværdi. De har nemlig været udsat for peer review, eller fagfællebedømmelse, og har dermed fået et kvalitetsstempel, der garanterer, at der ikke er fiflet med data, metoder og konklusioner i forskningen.

Men virkeligheden er, at forskningsartikler bliver spyttet ud i et hurtigere og hurtigere tempo, hvilket får eksperter til at advare om, at kontrollen med forskningen risikerer at bryde sammen.

1,4 millioner forskningspublikationer bliver det til årligt, og det er umuligt at bedømme alle lige grundigt.

Marco van de Weert, lektor i farmaci ved Københavns Universitet (KU), opdagede eksempelvis i 2010 sammen med en italiensk forskerkollega, Dr. Lorenzo Stella, at det var blevet normen blandt en stor gruppe forskere at begå en bestemt metodisk fejl.

»Der var tale om en basal, men alvorlig fejl, der betyder at man ikke kan stole på resultaterne i over 200 artikler, der er publiceret i mere end 30 forskellige tidsskrifter. Jeg ville ikke engang forvente, at en af vores studerende ville begå den, da det viser, at du ikke forstår teknikken, som du benytter,« siger Marco van de Weert.

Han tilføjer, at han stadig sammen med den italienske kollega kæmper for at skabe opmærksomhed om problemet. Mange tidsskrifter vil slet ikke modtage deres kommentarer, og trykt bliver de kun sjældent. Selv i de tidsskrifter, som har publiceret deres kritik, kan de konstatere, at fejlbehæftede artikler fortsat slipper igennem.

Snyd et stigende problem

Selvom sagen er speciel, er den langt fra enestående, viser statistikken.

Mere end 400 artikler måtte trækkes tilbage på verdensplan sidste år. I halvdelen af tilfældene var årsagen videnskabelig uredelighed, plagiering, manipulering af billeder eller forfalskning af data. I den anden halvdel af sagerne var der tale om pinlige fejl, der sandsynligvis ikke er sket i ond vilje. Til sammenligning blev der i gennemsnit kun tilbagekaldt omkring 30 videnskabelige artikler årligt i 00´erne.

Yderligere måtte mere end 10.000 publikationer i 2011 lide den tort at få tilføjet en note om, at indholdet er ændret, da fejl er blevet opdaget, efter de blev publiceret.

Sagerne, der kommer frem i lyset, er sandsynligvis kun toppen af isbjerget. Mange tilfælde af fejl og decideret snyd bliver nemlig aldrig opdaget og artikler får lov til fortsat at ligge på nettet, selvom andre forskere har gjort opmærksom på, at de indeholder alvorlige fejl.

Det er nemlig dårlig reklame og skadeligt for et tidsskrifts anseelse at måtte fjerne eller rette i allerede publicerede resultater.

Marco van de Weert mener, at den store stigning i antallet af artikler, der udgives, er den væsentligste årsag, da det gør det vanskeligere at opdage fejl i strømmen af ny videnskabelig viden.

Forskningsstrømmen vokser

Hver eneste uge bliver cirka 27.000 nyudgivne forskningsartikler tilføjet Thomson Reuters’ online database over videnskabelige publikationer. Det svarer til 1,4 millioner nye videnskabelige artikler og papers om året. En stigning på 44 procent over det sidste årti (jf. grafisk illustration fra Nature).

Marco van de Weert vurderer, at antallet af fejlbehæftede artikler højst sandsynligt ville eksplodere uden fagfællebedømmelse, så peer review er et nødvendigt onde, men der er brug for at forbedre systemet.

Det burde for eksempel være muligt at kommentere alle artikler online, og forskningstidsskrifters redaktører og redaktionsassistenter bør være professionelle og ikke have deres daglige forsknings- og undervisningsforpligtelser ved siden af, som det ofte er tilfældet i dag.

Desuden må forskerne, der bedømmer artikler, have bedre vilkår, så arbejdet får højere status.

»Jeg får absolut intet ud af det, om jeg så bedømmer en eller 15 artikler. Det tæller ikke på mit cv, det giver ikke point, når jeg skal søge om forskningsmidler, og det tager tid fra min egen forskning, så jeg ender ofte med at gøre det i fritiden,« siger van de Weert.

»For nogen er det rent venstrehåndsarbejde, mens andre bruger lang tid på det. Jeg har lige brugt en dag på at bedømme en artikel, fordi den var fyldt af fejl.«

»Men hvorfor gør jeg det så? Det er nok et spørgsmål om at jeg har en pligtfølelse overfor mit fag, og jeg vil jo også gerne have bedømt min egen forskning, så hvis alle siger nej, bryder det hele sammen,« siger lektoren.

Erfarne forskere takker nej

Professor og overlæge Bente Klarlund Pedersen, der er ekspert i menneskets muskler, har selv været fagredaktør på flere tidsskrifter, blandt andet Journal of Physiology and Experimental Physiology, og bliver ofte spurgt, om hun vil bedømme artikler.

Hun bekræfter, at det bliver vanskeligere og vanskeligere at finde gode bedømmere, fordi der bliver sendt flere artikler til peer review, og de færreste forskere har tid til at påtage sig opgaven.

»Jeg bliver personligt selv spurgt en, to, tre gange dagligt året rundt, om jeg vil reviewe en artikel, men jeg siger stort set altid høfligt nej, med mindre det er et tidsskrift, der giver mange publikationspoint, eller det er et område, hvor jeg har den specifikke ekspertise. Jeg forestiller mig, at de fleste erfarne forskere har det ligesådan. Enten siger de høfligt nej tak, eller, hvis de er flinke, foreslår de en yngre forsker fra deres egen forskningsgruppe som reviewer. Det er mit indtryk, at bedømmerne er mindre erfarne i dag, med mindre der er tale om et magasin med høj status,« siger Bente Klarlund Pedersen.

Hun mener, at peer review oftest er med til at kvalificere et manuskript, men at processen ikke er egnet til at opdage decideret snyd.

Undervisningen taber

Jørgen Olsen, professor ved Institut for Cellulær og Molekylær Medicin og formand for studienævnet for medicin på KU, mener, at problemet er, at den stigende konkurrence om at skaffe forskningsmidler får forskerne til kun at have øje for publicering.

»Forskningsrådenes fokus på videnskabelige meritter, når de skal fordele pengene, får forskningslederne til at piske deres ph.d.er og postdoc’er til at gå efter at publicere mere og i de mest prestigefyldte tidsskrifter. Det giver en tendens til at vride fortolkningen af resultaterne i en for positiv retning. I værste fald kan den yngre forsker føle sig presset til at begå videnskabeligt bedrageri,« siger han og udpeger undervisningen til den store taber i spillet.

»Selv ikke den bedste undervisningsindsats vil kunne overtrumfe en artikel i Nature eller Science, så mit problem som studieleder er, hvordan jeg motiverer de unge forskere til også at interessere sig for at undervise,« siger han.

Jørgen Olsen tilføjer, at den akademiske verden foregøgler offentligheden, at peer review er et kvalitetsstempel.

»Reviewerne skal oftest vurdere et omfattende datamateriale på kort tid, så det er umuligt at nå til bunds. Data bliver generelt ikke gennemregnet af bedømmeren, så en egentlig kvalitetssikring eksisterer ikke,« siger han og påpeger, at bedømmelsen af videnskabelige manuskripter tilmed ikke afgøres af faglige argumenter alene.

De mest prestigiøse tidsskrifter anlægger en redaktionel linje, der er baseret på, hvad der er populært og oppe i tiden.

Nye teorier censureres

Ifølge Jesper Wiborg Schneider, der forsker i bibliometri og forskningsevaluering ved Dansk Center for Forskningsanalyse på Aarhus Universitet, er det en stor udfordring at sikre objektiviteten på fagområder, hvor der er interne stridigheder mellem forskergrupper, som det for eksempel er tilfældet inden for klimaforskningen.

Hæderlige artikler, der præsenterer banebrydende nye teorier har således generelt svært ved at få bedømmernes accept.

»Peer review-processen er ikke særligt fleksibel i forhold til radikale innovationer og paradigmeskift. En nyere undersøgelse viser, at bedømmere finder metodiske mangler i 70 procent af de manuskripter, der går imod mainstream, sammenlignet med kun 25 procent af dem, der bekræfter gamle teorier,« siger Jesper Wiborg Schneider til videnskab.dk.

De højtprofilerede tidsskrifter har en tendens til at afvise manuskripter der er lidt skæve, men de dukker ofte senere op i lavere rangerende tidsskrifter, som er mere åbne og tolerante.

Lektor i videnskabsteori Claus Emmeche, der er leder af Center for Naturfilosofi og Videnskabsstudier på KU mener derfor også, at det er uheldigt, at peer review præsenteres som en ’blåstempling’ af et videnskabeligt fund.

»Når noget først er publiceret i ’videnskabens annaler’, så bliver det stående der til evig tid, for det er jo kvalitetskontrolleret. Det giver et statisk billede af videnskab, men virkeligheden er, at forskerne står over for en sandhed, som de ikke ved hvad er, og som hele tiden forandrer sig,« siger Claus Emmeche.

clba@adm.ku.dk

”En nyere undersøgelse viser, at bedømmere finder metodiske mangler
i 70 procent af de manuskripter, der går imod mainstream, sammenlignet med
kun 25 procent af dem, der bekræfter gamle teorier.”

– Jesper Wiborg Schneider, Center for Forskningsanalyse, til Videnskab.dk.