Kritisk gjennomgang av vitenskapelige studier.

Presentasjon om: "Kritisk gjennomgang av vitenskapelige studier."— Utskrift av presentasjonen:

1 Kritisk gjennomgang av vitenskapelige studier.
Thore Egeland Biostatistikk, Rikshospitalet

2 Innhold Typiske innvendinger og mangler som kan reises mot artikler og studier Noen sentrale statistiske begreper

3 1. “...just regression to the mean..”
Bra Dårlig Tid Oppsøker lege

4

5 Parallellstudie eller overkrysning?
• parallellstudier: To grupper følges parallelt, en får behandling A, den andre B. • overkrysningsstudier (“cross-over”): Alle deltagere får begge behandlinger i randomisert rekkefølge. Eksempel. Parvis sammenligning:

6 ‘The Cartoon Guide to Statistics’, Gonick og Smith

7 Randomisering Variasjon som kunne gitt systematiske skjevheter gjøres om til tilfeldig variasjon. - Parallellstudier: Variasjon mellom individer. - Overkrysningsstudier: Variasjon innen individer. Variasjonens effekt kan dermed beregnes. Omfatter tilfeldige utvalg.

8 2. “...not sufficient power...”
Betyr: For få pasienter eller overdreven tiltro til behandlingseffekt.

9 Tre begreper p-verdi sannsynlighet for å konkludere galt, vanligvis kreves under 5% for signifikans. effekt “andel anfallsfrie fordoblet med nytt medikament” power sannsynlighet for å avsløre en effekt

10 Overkrysningsstudier. En gang til
Brukes ved sykdom som varer over tid og er relativt stabil. Krever et mindre antall pasienter. Sårbar mot -overføringseffekt (“carry-over”), -periodeeffekter, -frafall. Insulin B Insulin A

11 P-verdier. Generelt først og så i overkrysningsstudien
Medisinsk forskning fokuserer sterkt på p-verdier: p< Tolkes som en interessant forskjell mellom to behandlinger. p> Ingen signifikant forskjell; vi har ikke dermed vist at behandlingene er like. P-verdien er sannsynligheten for å observere et så rart resultat som studien viste (eller enda rarere) pga tilfeldighet.

12 Regneeksempel Klinisk utprøving av nytt medikament mot gammelt. Åtte pasienter prøver begge medikamenter i randomisert rekkefølge. Nullhypotese: Ho “Behandlingene like gode” Alternativ: H1 “Nytt medikament bedre”

13 Beregning av p-verdi P-verdi= sannsynligheten for å påstå H1 (“bedre”) når sannheten er Ho (“likhet”). Hvis alle får best resultat med nytt medikament blir p-verdien = 0.5*0.5* 0.5*0.5* 0.5*0.5* 0.5*0.5=0.004. Påstår at nytt medikament er bedre ettersom 0.004<0.05.

14 Effektmål og hypoteser
Det må være ett hovedeffektmål: - Nødvendig for å planlegge studiens størrelse. - Forutsetning for at p-verdier etc. skal være direkte tolkbare. Det kan være sekundære effektmål, men begrenset antall. Evt. justering av p-verdier.

15 Eksempel på flere effektmål
Reflux øsofagitt (aktiv vs placebo) Endepunkt Total bedring p=0.04 Endring i grad ns Ant. sure oppstøt: subjektivt n.s pH måling 24h n.s Ant. oppvåkninger p=0.03 Antacida forbruk n.s. Global smerte n.s. Ingen pre-spesifisert prioritering av endepunkter. Konklusjon?

16 Effektmål. Relative, absolutte og NNT(Number Neaded to Treat)
Andel Relativ Risiko Abs diff NNT p-verdi 20% 10% % 2% % % 0.2% 0.1% % 1000 NNT=100*1/abs diff

17 Hvor stor skal studien være?
Generelt: Effekt av tilfeldig variasjon neddempes når studiens størrelse øker. Studien må være så stor at det blir statistisk signifikante utslag når det er en klinisk viktig forskjell mellom behandlingene. Beregning av størrelse essensiell del av protokoll. En stor studie er også interessant om resultatet er ikke-signifikant.

18 Hannah et al. s 1378: “The required sample size was calculated to be This sample size had 80% power to find a reduction in risk of perinatal or neonatal mortality or serious neonatal morbidity from 0,8% with planned vaginal birth to 0,1% with planned caesarean section (one-sided type I error of 0,05)”. Beregninger i programmet nQuery:

19 “...not sufficient power...” Tilfelle 1
Signifikante resultater: - Urimelig innvending? - Publikasjonsskjevhet mulig problem:

20 Publikasjonsskjevhet
Størst sjanse for å få publisert signifikante resultater. Behandlingsverdi overdrives. Kan motvirkes ved registrering av igangsatte studier (Cochrane).

21 “...not sufficient power...”. Tilfelle 2
Ikke-signifikante resultater: - Reformulere: “...no difference” til “no significant difference” “need to be confirmed in later studies” - Gjøre mer: “pool studies”:

22 Eksempel “Data from treatment centers should be pooled to achieve statistical power sufficient to test the efficacy of treatment...” Fra: SURGERY FOR EPILEPSY From: NIH Consensus Development Conference on Surgery for Epilepsy

23 3. “...problems with confounding”
Utdanning Fødselsvekt Røyking Røyking confounder; ‘tredjevariabel’, passasjereffekt.

24 Bivirkning Pille Confounder

25 Confounding. Mulige løsninger...
Nytt design? Mer avansert statistisk analyse mulig hvis confoundervariabelen er kjent på individnivå.

26 4. “...should have been analysed by intention to treat..”

27 Intention to treat “A strategy for analyzing data in which all participants are included in the group to which they were assigned, whether or not they completed the intervention given to the group. Intention-to-treat analysis prevents bias caused by the loss of participants, which may disrupt the baseline equivalence established by random assignment and which may reflect non-adherence to the protocol”.

28 5. “...simply a chance finding...no bonferroni correction”
Betyr: Hver ny test øker faren for feilaktig funn (“chance finding”): Med 20 tester på 5% signifikansnivå kan vi forvente et signifikant funn dersom ingen reelle effekter fins.

29 Bonferroni Svar: 1) Færre tester 2) Redusere signifikansnivået, % i stedet for 5%. 3) Bonferroni: Gange p-verdien med antall tester

30 Gjentatt signifikanstesting. Interimsanalyser
Max antall tester på 5% signifikansnivå Totalt sign. nivå % % % % %

31 6. “...should have used non-parametric methods..”
Problem: Antall anfall, tid til anfall, andel anfallsfrie... er typisk ikke normalfordelte størrelser Svar: “non-parametric methods” eller andre statistiske grep ...

32 “...no protocol..”

33 Protokoll Innledning Hensikt Forsøksplan Pasienter (inklusjo./eksklu.)
Beskrivelse av behandling Oppfølging av pasienter Trekke seg Effektmål Randomisering/blinding Antall pasienter Statistisk analyse Godkjenning SLK, etisk kom., samtykke Reg./rapp. av bivirkninger Datahåndtering (QC) Publisering Adminstrativt

34 Oppsummering: Syv innvendinger
“...just regression to the mean..” “...not sufficient power...” “...problems with confounding...” “... intention to treat...” “... no bonferroni correction...” “... use non-parametric methods...” “...no protocol...”