Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Forskningsleder Signe Flottorp Nasjonalt kunnskapssenter for helsetjenesten Publiseringsskjevhet – en utfordring for å kunne gi riktig bilde av kunnskapsstatus.

Liknende presentasjoner


Presentasjon om: "Forskningsleder Signe Flottorp Nasjonalt kunnskapssenter for helsetjenesten Publiseringsskjevhet – en utfordring for å kunne gi riktig bilde av kunnskapsstatus."— Utskrift av presentasjonen:

1 Forskningsleder Signe Flottorp Nasjonalt kunnskapssenter for helsetjenesten Publiseringsskjevhet – en utfordring for å kunne gi riktig bilde av kunnskapsstatus Regional komité for medisinsk forskningsetikk, Sør-Norge Medisinsk forskningsetikkseminar 2. juni 2005

2 The right to search for truth implies also a duty; one must not conceal any part of what one has recognized to be true. (A. Einstein)

3 Informasjonsflom  > medisinske tidsskrift  >2 mill. biomed./helse artikler per år  > helse-relaterte web-sites  > biotek./helserel. selskaper  >15 nye produkter/metoder hver dag  Publiserte RCTs –1960ies: 100 per år –1990ies: per år Støtte til enhver beslutning

4 Tradisjonelle oversikter Metaanalyser Systematiske oversikter Hjelp til å mestre informasjonsflommen - oppsummeringer av primærstudier

5 Systematisk oversikt vs. tradisjonell oversikt lKlar tittel og formål lOmfattende referert søkestrategi lKlare kriterier for inklusjon og eksklusjon lVurdering av kvalitet på inkluderte studier lProtokollføring av karakteristiske trekk for inkluderte studier lSammenstilling av resultatene fra inkluderte studier (kvalitativ eller meta-analyse) lStrukturert rapport over: formål, metoder, materiale, resultater og konklusjon (Cochrane Collaboration Handbook)

6 Systematiske oversikter er nyttige fordi Systematiske oversikter nyttige fordi: l”summerer” noe av litteraturflommen lklargjør hva vi vet og ikke vet lavdekker kunnskapshull - vise vei for videre forskning len syntese av data fra flere studier, kan bidra til nok statistisk styrke for å avsløre om et tiltak er effektivt eller ei, og dermed gi “ny” kunnskap Forutsetter at inkluderte studier gir et riktig bilde av resultatene av gjennomførte studier. Publikasjonsskjevhet kan skape problemer

7 Publikasjonsskjevhet - historikk  Sterling TD. Publication decisions and their possible effects on inferences drawn from tests of significance – or vice versa. Am Stat Ass J –97% av studier publisert i fire psykologiske tidsskrift hadde statistisk signifikante funn – studier med ikke-signifikante funn underrapportert?  Chalmers TC og Grade GF. A note on fatality in serum hepatitis. Gastroenterology –Lettere å publisere uvanlige funn?  1979 –begrepet ”publication bias” finnes første gang i medisinsk litteratur (søk i Medline)  Sterling et al. Publication decisions revisited – the effect of the outcome of statistical tests on the decisions to publish or vice versa. Am Stat 1995.

8 A sizable proportion of trial results remain unpublished % PopulationIdentificationFollowup Published JHU-MED JHU-PH NIH trials Oxford Sydney NIH AIDS trials Barcelona trials Kay Dickersin

9 Stated main reason for not publishing JHU-MED JHU-PH NIH Studies not published Not finished22% 16% 21% Results uninteresting30% 18% 36% Publication not aim11% 13% 0% Sample size too small11% 2% 0% Design, logistical problems17% 36% 21% Rejected2% 5% 0% Other8% 10% 21% Total100% 100% 100% Kay Dickersin

10 Publikasjonsskjevhet-definisjon  The tendency for investigators to submit manuscripts and of editors and reviewers to accept them, based on the strength and direction of the research findings (Kay Dickersin)

11 Song F, Eastwood AJ, Gilbody S, Duley L, Sutton AJ. Publication and related biases. Health Technology Assessment 2000

12 ”Dissemination bias” – ”formidlingsskjevhet”  Tid til publisering  Grå litteratur  Språk  Multiple publikasjoner  Skjev rapportering av utfall  Selektiv sitering av referanser  Selektiv rapportering i andre media

13 Song et al Mulige følger av formidlingsskjevhet

14 Scherer et al. Full publication of results initially presented in abstracts. Cochrane Library Half of all studies reported in abstracts at scientific meetings reach full publication N= 8,832 abstracts

15 Time to publication  Trials with positive results (i.e. those with statistically significant results (p<0.05) in favour the experimental arm of the trial) tended to be published in approximately 4 to 5 years.  Those with null or negative results (i.e. those with results that were not statistically significant (p=>0.05) or statistically significant (p<0.05) in favour of the control arm of the trial) had a time to publication of around 6 to 8 years. Hopewell S, Clarke M, Stewart L, Tierney J. Time to publication for results of clinical trials. The Cochrane Database of Methodology Reviews 2001, Issue 3

16 Meta-analysis of association of various factors with publication Studies: JHU-MED, JHU-PH, NIH, Oxford,and Sydney Significant Results (yes vs no) Clinical trial (yes vs no) No. study groups (>1 vs 1) External funding (yes vs no) Sample size (>100 vs <100) Sites (>1 vs 1) 10 OR.11.0 Kay Dickersin

17 Selective publication of outcomes Comparison of protocols and published articles Discrepancy between protocols and articles Primary outcome specified in protocols (n=76 trials) Trials with discrepancies No. (%) Any change to protocol-defined primary outcome  Reported as nonprimary in article  Omitted from article 40 (53) 26 (34) 20 (26) Primary outcome specified in articles (n= 63 trials) Any new primary outcome reported in article  Changed from non-primary in protocol to primary in article  Not mentioned in protocol Any discrepancy in primary outcome (n=82 trials) 21 (33) 12 (19) 11 (17) 51 (62) Source: Chan et al. JAMA 2004; 291:2457

18 Is publication bias associated with sponsor?  Systematic review of 30 studies of publication and industry support  Research funded by industry –Less likely to be published than other research –More likely to have results favoring sponsor (OR= 4.05 [95% CI = ]). Lexchin et al. BMJ 2003

19

20 Assymetriske funnel plots Begg’s funnel plot Measure of variance Measure of effect (RR, OR) Begg CB, Mazumdar M. Operating characteristics of a rank correlation test for publication bias. Biometrics. 1994

21 Tiltak for å sikre at studier blir publisert  Prospektiv registrering av kliniske studier  Metaregistre  Krav om registrering (sponsor, etisk komité, tidsskrift)  Krav om publisering av alle eksperimentelle studier (= alle intervensjonsstudier)  Elektroniske fritt tilgjengelige tidsskrifter  Kulturendring hos forskerne

22 Trial Registration: Where are we now worldwide?  UK, Netherlands– All publicly funded trials registered in metaRegister  Spain - Registration of clinical trials, and publication of drug company trials, legally mandated  WHO initiating unified trials registration  Unique IDs are available via ClinicalTrials.gov and Current Controlled Trials Kay Dickersin

23 Trial registration: Where are we now in the US?  1997 FDAMA legislation mandates registration of trials for serious and life threatening diseases –( <50% of industry cancer trials listed (Manheimer 2002)  Proliferation of registers, yet none “comprehensive” –In US alone, we have counted >350 registers online as of August 2004 (www.TrialsCentral.org)  Proliferation of pipeline sources –>300 pipeline sources but only ~70 overlap with registers Kay Dickersin

24

25

26

27 Tiltak for å redusere effekt av publikasjonsskjevhet i systematiske oversikter  Søke i databaser over prospektivt registrerte kliniske forsøk  Lete etter holdepunkter for publikasjonsskjevhet (søke etter upubliserte studier)  Oppdatere oversikten når nye studier blir tilgjengelige, eller gjennomføre storskala forsøk

28 Vår visjon God kunnskap former helsetjenesten


Laste ned ppt "Forskningsleder Signe Flottorp Nasjonalt kunnskapssenter for helsetjenesten Publiseringsskjevhet – en utfordring for å kunne gi riktig bilde av kunnskapsstatus."

Liknende presentasjoner


Annonser fra Google