Meta-analyse Frode Svartdal UiTø Okt © Frode Svartdal

Meta-analyse  Statistisk prosedyre for å oppsummere funn fra flere undersøkelser  Viktig redskap for å trekke konklusjoner der enkeltundersøkelser ikke tillater en entydig konklusjon For eksempel: noen studier viser forventet effekt noen studier viser motsatt effekt noen viser 0 effekt

Meta-analyse Områder der meta-analyser anvendes:  Virker en bestemt terapi-metode? Virker kognitiv atferdsterapi?  Virker en bestemt klinisk behandlingsteknikk? Jfr. evidensbasert medisin  Hva sier egentlig forskning om en bestemt problemstilling som har vært mye studert? Er effekten av belønning positiv (jfr. undermining)?

Meta-analyse: Eksempel  The “scared straight” programs (USA)  In these programs adolescents at high risk for becoming felons are sent to prison for a day, where they are given a tour by an inmate, in the hope that they will be “scared” out of committing crimes  The meta analysis of eight studies showed that the intervention actually had the reverse effect, and increased the likelihood that the juvenile would end up in jail  One explanation is that for many of these juveniles the inmate who serves as a guide in prison is the first role model they have ever had.

Meta-analyse Informasjon som inngår i analysen:  Effektstørrelse  Antall deltakere i undersøkelsen I tillegg: Nøye sjekk for hvilke studier som inngår

Effektstørrelse I  Effekt viser til ”the degree to which a phenomenon exists” (Cohen, 1977) Hvor stor er en gruppeforskjell? Hvor sterkt samvarierer to variabler? Hvor mange av de som får behandling blir friske, sammenlignet med en kontrollgruppe som ikke får behandling?

Effektstørrelse II  Effektstørrelse i en undersøkelse angis ved et mål som gjør sammenligning med andre undersøkelser mulig  Typiske mål: Forskjeller mellom grupper Gjennomsnitt ART-gruppe vs. gjennomsnitt kontrollgruppe Samvariasjon mellom variabler For 30 ungdommer: Skåre på CADBI og faktiske atferdsproblemer

Effektstørrelse III: Eksempel For to gruppegjennomsnitt:  ART: 10Kontroll: 16  Standardavviket (variasjon i skårene rundt gjennomsnittet) = 8 i kontrollgruppen  Effektstørrelse (ES): (10 – 16) / 8 = 0,75  Dvs. Målt i forhold til standardavviket, skårer ART 0,75 høyere enn kontroll  Viktig: Jo mer variabilitet i skårene (=høyere standardavvik), desto mindre effektstørrelse

Effektstørrelse IV  Flere måter å beregne effektstørrelse på Rate differences, odds ratios, relative risks, mean differences, correlations  Flere betegelser på effektstørrelse ES, d, r  Vanlig fortolkning av d Liten = 0,20 Medium = 0,50 Stor = 0,80  Fortolkningen kan variere noe fra område til område

n (antall deltakere)  Undersøkelse 1: n = 16 ART: 8 Kontroll: 8  Undersøkelse 2: n = 50 ART: 25 Kontroll: 25 Konklusjon fra undersøkelse 1 er sannsynligvis sikrere enn fra undersøkelse 2; hvorfor?

n  Power: Er undersøkelsen vår slik at den kan oppdage en effekt hvis den faktisk er der?  n er viktig: Få deltakere reduserer power, mange deltakere øker power  Hvor mange? Hvis små gruppeforskjeller  øk n Hvis stor variasjon innen gruppene  øk n

Meta-analyse  I meta-analysen inngår undersøkelser med (omtrent) samme metode  og man registrerer n (antall deltakere) effektstørrelse

Meta-analyse: Eksempel  Hjelper tiltak X mot hjerteinfarkt?  Effektstørrelse her: Odds ratio Study 1: Treatment 26 / 264 Control: 32 / 253 Study 2: Treatment xx / xxControl: xx / XX  Odds ratio: Lett å regne ut vhja statistikkprogram  Betydning i følgende eksempel: 1.0 indicates no effect, values less than 1.0 reflect a better outcome for the treated group (mindre sjans for hjerteinfarkt) values over 1.0 reflect a better outcome for the control group

høy n lav n Effekt Kombinert datasett

Meta-analyse: Generelt  Hjelpemiddel til å oppsummere data fra mange enkeltstudier  Tar hensyn til antall deltakere effektstørrelse  Viktig, siden enkeltstudier ofte gir sprikende svar

Meta-analyse: Generelt  Gitt at man finner en overall effekt av flere studier, kan man beregne hvor mange studier med 0-funn som må til for å rokke ved konklusjonen  Se boka!

Meta-analyse: Noen lenker  Diskusjon av teknikken  Eksempel Artikkel som bruker meta-analyse l l Kritisk kommentar til denne artikkelen l l  Programvare