10 grunde til, at videnskabelige undersøgelser kan være overraskende unøjagtige

Vores samfund fejrer videnskaben for dets nøjagtighed og objektivitet, og offentligheden mener normalt, at bevis offentliggjort i videnskabelige tidsskrifter er utvivlsomt sandt. Der har imidlertid været en række alarmerende undersøgelser, især med fokus på biovidenskabelig forskning, hvilket tyder på, at videnskabelig udgivelse måske ikke er så pålidelig, som vi gerne vil tænke.

10 mange prækliniske undersøgelser kan ikke reproduceres

Der er i øjeblikket en stor mængde forskning i kræftmekanismerne. Uheldigvis har oversættelsen af ​​denne forskning til at finde mål for behandling vist sig svært, idet fejlfrekvensen af ​​kliniske forsøg på onkologi er højere end de fleste andre områder. Og det lader til, at mange af disse fejl kan skyldes problemer med den prækliniske forskning, som de var baseret på.

En undersøgelse fandt ud af, at kun seks ud af 53 milepæl prækliniske kræftpapirer kunne reproduceres. Mange af de undersøgelser, der ikke kunne reproduceres, brugte ikke blindprøvning - hvilket betyder, at testerne var opmærksomme på, om de havde at gøre med kontrolgruppen eller forsøgsgruppen, hvilket potentielt kunne føre til forskerforstyrrelser. Andre undersøgelser viste sig kun at have fremlagt resultaterne, som støttede deres hypotese, selvom de ikke var en god repræsentation af datasættet som helhed. Det er forbavsende, at der ikke findes nogen specifik regel, der forhindrer dette, og papirer accepteres regelmæssigt til offentliggørelse uden at præsentere hele det indsamlede datasæt.

En anden undersøgelse undersøgte 67 undersøgelser, hovedsagelig inden for onkologi, og fandt, at mindre end 25 procent af offentliggjorte data kunne gengives i laboratoriet uden større uoverensstemmelser. Dette er nu et så almindeligt problem, at venturekapitalvirksomheder tilsyneladende har en uudtalt regel, at omkring 50 procent af akademiske studier vil være umulige at reproducere i deres industrielle laboratorier.

9Negative resultater er ofte ikke offentliggjort

Et negativt resultat opstår, når forskere antager, at der vil ske noget, men så finder man, at de ikke kan få det resultat. En undersøgelse betragtede over 4.600 papirer fra alle discipliner mellem 1990 og 2007 og fandt ud af, at offentliggørelsen af ​​positive resultater var steget med 22 procent i den periode. I 2007 rapporterede en forbløffende 85,9 procent af papirerne positive resultater. Dette understøttes af undersøgelser, der viser, at negative sætninger som "ingen signifikante forskelle" er faldet i brug, mens betydelige resultater er meget mere tilbøjelige til at blive fuldt rapporteret. Hvis de offentliggøres, vil negative resultater sandsynligvis kun blive vist i lavtryksjournaler.

Denne publikation bias skaber faktisk et par problemer. For en gang er forskerne ofte ikke i stand til at se om en undersøgelse allerede er gjort, hvilket betyder unødvendig gentagelse. Det kan også påvirke resultaterne af meta-analysestudier, som sammenligner al litteraturen med et bestemt problem. Offentliggørende bias resulterer også i stort pres for at opnå positive resultater, hvilket kan føre til oppustede resultater, forskningsmæssige fejl eller færre risici, som forskere tager. Hvis din fremtidige karriere primært er baseret på, om du kan få positive resultater til at offentliggøre, ville det sikkert have nogen indvirkning på måden du designer din forskning på og fortolker dine resultater.

8Peer Review Undlad at opdage store fejl

At gennemgå peer review processen er i øjeblikket guldstandarden for forskningsdokumenter. Men da forskere med vilje gav fejlfylde biomedicinske papirer til peer-korrekturlæsere hos en stor akademisk udgiver, fandt de, at korrekturlæserne kun opdagede et gennemsnit på 2,58 ud af ni store fejl. Endnu mere bekymrende, gjorde træning for at forbedre deres præstation kun en mindre forskel. Faktisk opdagede et helt kvartal af de 607 korrekturlæsere, der var gennemsnittet af en eller flere af fejlene. (I retfærdighed afviste nogle korrekturlæsere faktisk papiret uden at afslutte gennemgangen af ​​det, hvilket betyder, at de måske har fundet flere fejl, hvis de var ved med at gå til slutningen.)

Reviewers var særligt dårlige til at opdage fejl relateret til "analyse af data og inkonsekvenser i rapportering af resultater." Dette kan være forbundet med den dårlige forståelse af statistikker blandt biologer. Det område, der er mindst berørt af træningen, var "at sætte studiet i kontekst, både hvad angår den eksisterende litteratur og hvad angår konsekvenserne af resultaterne for politik eller praksis." Det er fornuftigt at mastere litteraturen om et bestemt emne tager lang tid at nå.

Andre undersøgelser nåede tilsvarende konklusioner. En præsenterede 221 korrekturlæsere med et tidligere offentliggjort papir, der var blevet ændret til at omfatte otte fejl. I gennemsnit har anmeldere kun opdaget to af de nye fejl. En anden fandt ud af, at korrekturlæsere ikke kunne opdage mindst 60 procent af de store fejl i et papir om migræne (selv om de fleste korrekturlæsere stadig ikke anbefalede at acceptere studiet til offentliggørelse). Samlet set tyder sådanne papirer på, at peer review processen i de biomedicinske videnskaber har rigeligt plads til forbedring.

7Peer Reviewers bliver værre over tid

I 2009 fremhævede en 14-årig undersøgelse yderligere problemer med peer review processen. Undersøgelsen, der så journal redaktører vurderer kvaliteten af ​​hver anmeldelse, de modtog, foreslog, at peer reviewer præstation faldt med gennemsnitligt omkring 0,8 procent hvert år. Disse resultater støttes af et 2007-papir i PLOS Medicin, som fandt ud af, at ingen form for uddannelse eller erfaring var en signifikant indikator for korrekturkvaliteten, men at yngre videnskabsmænd generelt leverede anmeldelser af høj kvalitet. En undersøgelse fra 1998 viste også, at yngre forskere udførte sig bedre som peer reviewers, mens de på redaktionen blev værre.

Årsagerne til denne tendens er ikke klare, selvom forslag er kognitive tilbagegang, konkurrerende interesser, der overtages eller øgede forventninger til at gennemgå jobbet hårdere over tid. Der er også nogle tegn på, at ældre korrekturlæsere er mere tilbøjelige til at træffe beslutninger tidligt, ikke overholder kravene til strukturering af en anmeldelse og kan have en formindsket videnbase, da deres træning bliver forældet. Dette er bekymrende, da øget alder ofte kommer med øget autoritet.

6Mest afviste papirer er til sidst udgivet andetsteds

Efter peer review processen vil journaler enten afvise et papir eller acceptere det til offentliggørelse. Men hvad sker der med de afviste papirer? En undersøgelse fulgte papirer afvist af Erhvervs- og Miljømedicinat 54 procent af dem endte med at blive offentliggjort andetsteds. Interessant nok blev mere end halvdelen offentliggjort af en gruppe på syv andre store tidsskrifter i samme felt.

En lignende undersøgelse viste, at 69 procent af papirer afvist af et almindeligt lægeligt tidsskrift blev offentliggjort andetsteds inden for 552 dage, mens en anden fandt, at mindst halvdelen af ​​undersøgelserne faldt af Kardiovaskulær forskning til sidst endte i en anden journal. En fjerde undersøgelse viste, at 56 procent af papirerne afvist af American Journal of Neuroradiology til sidst fundet et andet hjem.

Før du får panik, kan det simpelthen betyde, at afviste papirer forbedres, før de sendes til andre tidsskrifter. Desuden afvises ikke alle papirer for dårlig metode. Populære tidsskrifter er ofte vanskelige at komme ind på grund af pladsbegrænsninger, mens mange papirer afvises, simpelthen fordi emnet måske ikke har ret ret for det pågældende tidsskrift. (Det Kardiovaskulær forskning undersøgelse tegnede sig for denne sidste mulighed, idet man fandt, at de fleste af de papirer, der senere blev offentliggjort andetsteds, ikke blev afvist på grund af et uegnet tema.)

Som undersøgelser har vist, er de mest prestigefyldte tidsskrifter underlagt en meget højere grad af kontrol. Faktisk plejer velkendte tidsskrifter at trække flere papirer ud end deres mindre prestigefyldte kolleger, simpelthen fordi de får meget mere kontrol efter offentliggørelsen. Så problemet er, at et fejlagtigt papir kan handles rundt til forskellige tidsskrifter, indtil man er enig i at offentliggøre det, så det kan komme ind i den videnskabelige rekord. Derfor tyder disse undersøgelser på en afvigelse mellem papirkvaliteten i forskellige videnskabelige tidsskrifter.

5Synpect Practices

Med det konstante pres på forskere til at offentliggøre positive resultater er der tegn på, at forfalskning og andre mistænkte praksis er en almindelig begivenhed. En meta-analyse af 18 undersøgelser viste, at 1,97 procent af forskerne indrømmede at forfalske deres eget arbejde, 33 procent indrømmede andre mistænkte praksis, 14,1 procent sagde, at de var opmærksomme på kolleger, der forfalskede deres arbejde, og 72 procent sagde, at de vidste om andre mistænkte handlinger af kolleger . De sande tal kan være endnu højere undersøgelser af forskere og praktikantforskere fandt større procentdele, ville være villige til at deltage i en sådan praksis, selvom de ikke indrømmede at faktisk gøre dem allerede.

Nogle af de tvivlsomme metoder, der blev nævnt, omfattede "droppe datapunkter baseret på en tarmfølelse", "manglende offentliggørelse af data, der modsiger sin tidligere forskning" og "ændring af design, metodologi eller resultater af en undersøgelse som reaktion på pres fra en finansiering kilde. "Disse handlinger kan være meget vanskelige at bevise, og det vil sandsynligvis være umuligt at forhindre dem helt uden at skifte væk fra et system besat med at offentliggøre positive resultater.

4Scientists Del ikke nok information

Under uddannelse lærer forskere, at eksperimenter skal skrives op på en måde, der gør det muligt for dem at blive fuldstændig genskabt af de inkluderede oplysninger. En 2013-undersøgelse med uddeling af ressourcer i biomedicinsk forskning viste imidlertid, at 54 procent af forskningsressourcerne (såsom typen af ​​antistoffer eller organismer, der blev anvendt i forsøg) ikke blev beskrevet i tilstrækkelig detaljer for at gøre det muligt at identificere dem. En anden undersøgelse af forskning ved hjælp af dyr viste, at kun 59 procent af papirerne omfattede antallet og karakteren af ​​de anvendte dyr. Uden sådanne oplysninger er det meget svært at reproducere eksperimenter nøjagtigt og derfor kontrollere resultaterne. Det skaber også en barriere for at opdage metodologiske problemer med en bestemt ressource.

Der har været nogle forsøg på at løse problemet, herunder ARRIVE-retningslinjerne, der søger at maksimere rapporteringen af ​​dyremodeller. Neuroscience Information Framework har også skabt antistofregistre, mens den prestigefyldte journal Natur har opfordret til øget rapportering af ressourcer.

Forfatterne af 2013-undersøgelsen bemærkede dog, at kun fem ud af 83 biomedicinske tidsskrifter havde streng rapportering. En bekymrende undersøgelse af biomedicinsk forskning tilføjer til dette bevis, der viser, at villigheden til at dele alle ressourcer med andre forskere faldt 20 procent mellem 2008 og 2012. Nogle af de undersøgte forskere sagde, at de gerne ville dele data på personlig anmodning, men var mindre tilfredse med sætte dataene i en online database.

3Hoax-papirer

I 1994 forelagde fysikeren Alan Sokal en artikel til kulturtidsskriftet Social tekst som han målbevidst fyldte med ubegrundet "tåget", samtidig med at han sørgede for at "smigre redaktørernes ideologiske forudsigelser." Sokals papirbundne kvantefeltteori til psykoanalyse og hævdede, at kvante tyngdekraft havde alvorlige politiske konsekvenser.Sokal ønskede at bevise, at postmodernistisk teori var blevet skilt fra virkeligheden: "Uforståelighed bliver en dyd; allusioner, metaforer og puns erstatter beviser og logik. Min egen artikel er, hvis noget, et ekstremt beskedent eksempel på denne veletablerede genre. "

Mens Sokal satte sig målrettet på kulturstudier, har der også forekommet hoaxpapirer inden for datalogi. I 2014 blev en forbløffende 120 papirer fjernet fra publikationer ejet af Springer og Institut for Elektriske og Elektroniske Ingeniører, efter at det blev opdaget, at de var computergenererede gibberish. Papirerne blev lavet ved hjælp af et softwareprogram, kaldet SCIgen, som oprindeligt blev udviklet hos MIT i 2005 som led i et forsøg på at bevise, at konferencer ikke var korrekt vetting papirer.

SCIgen kombinerer tilfældige strenge af ord til at skabe hoax papirer, herunder en lovende at "koncentrere vores indsats på at modvirke, at regneark kan gøres videnbaseret, empatisk og kompakt." Programmet viste sig tilsyneladende mere populært end dets skabere havde beregnet fjernede papirer var alle blevet succesfuldt forelagt for kinesiske konferencer og senere offentliggjort. Springer bemærkede, at de gør peer review før offentliggørelse, hvilket gør det endnu fremmed, at de offentliggjorde 16 af de falske papirer.

Et andet hoaxpapir, skabt af John Bohannon og hævder at se på en type lavs anti-kræftegenskaber, blev accepteret af 157 tidsskrifter (98 afviste det). Dette var på trods af at "enhver anmelder med mere end en high school kendskab til kemi og evnen til at forstå et grundlæggende dataplot burde have set papirets mangler med det samme." Bohannon ønskede at fremhæve det faktum, at mange open-access-tidsskrifter fokuserer for tungt på at tjene penge gennem forfatterpublikationsgebyrer, selv på bekostning af at offentliggøre unøjagtig forskning.

2psykologi som et eksempel på problemerne

Psykologi er hårdt ramt af mange af problemerne på denne liste. Forskning har antydet, at omkring 97 procent af de offentliggjorte studier er positive, og problemet har været ved siden af ​​mindst 1959. Desuden viste en undersøgelse, at over 50 procent af psykologerne sagde, at de ville vente, indtil de fik positive resultater, før de besluttede at offentliggøre. Mere end 40 procent indrømmede, at de kun rapporterede undersøgelser, der opnåede et positivt resultat. Det er blevet antydet, at dette skyldes, at psykologi-tidsskrifter har tendens til at gå til nye resultater over strenge. Uanset årsagen er psykologi placeret sammen med psykiatri og økonomi, da videnskabens grene sandsynligvis vil lide af offentliggørelsesforstyrrelser.

Et yderligere problem er, at psykologi studier sjældent replikeres - da mange tidsskrifter ikke vil offentliggøre lige replikationer, er der ikke meget incitament for forskere at sætte indsatsen. En mulig løsning er Psychfiledrawer, som udgiver replikationsforsøg. Der er dog stadig lidt professionel fordel for at indsende, og nogle forskere er blevet afskåret af risikoen for kritik fra kolleger.

Mere positivt har der været en nylig push for studiereplikation og en lovende undersøgelse, der fandt 10 ud af de 13 undersøgelser, som forsøgte at replikere, producerede de samme resultater. Selvom dette ikke løser manglen på offentliggjorte negative resultater eller de almindeligt nævnte problemer med statistisk analyse, er det et skridt i den rigtige retning.

1studier udført på mus ofte kan ikke ekstrapoleres til mennesker

Mange studier inden for biomedicinsk videnskab udføres på dyremodeller, især mus. Dette skyldes, at mus faktisk har mange ligheder med mennesker, herunder lignende biokemiske veje. Omkring 99 procent af humane gener har en mus homolog (gen med en fælles forfader).

Men mens forskning på mus har ført til nogle bemærkelsesværdige succeser, har der været problemer med at oversætte det til mennesker på områder som kræft, neurologiske sygdomme og inflammatoriske sygdomme. Nylig forskning tyder på, at gensekvenser, der koder for specifikke reguleringsproteiner, er meget forskellige mellem mennesker og mus på trods af de ovennævnte genetiske ligheder.

Forskellene er særligt vigtige i nervesystemet, hvor der er mange forskelle i hjernens udvikling. Mus-neocortex-som er stærkt forbundet med opfattelsen-er meget mindre udviklet end den menneskelige ækvivalent. Desuden har symptomerne på neurologiske sygdomme ofte en kognitiv komponent, og forskellene i kognition mellem mus og mennesker er klart store.

Så næste gang du ser et forbavsende medicinsk gennembrud annonceret på nyheden, skal du sørge for at kontrollere, om forskningen blev udført på mus eller mennesker.