Hvordan undersøke? Trond Hatling Sintef Unimed Helsetjenesteforskning 4/2/2017 Hvordan undersøke? Trond Hatling Sintef Unimed Helsetjenesteforskning Avdeling for Psykisk helsearbeid

Foredragets innhold Hva ønsker vi å få svar på? Den enkle modellen Før-situasjonen Intervensjonen Etter-situasjonen Om å studere prosessen Hvorfor bør vi ha en kontroll? Fra de svake til de sterkere design

Fra det enkle til det kompliserte En ettermåling - uten kontroll RCT Lett å gjennomføre Vanskelig å tolke Vanskelig å gjennomføre Lettere å tolke Med andre ord - her får en ikke noe gratis! Nødvendig med et tradeoff. Og kanskje skal en begynne i det små - med de begrensninger det gir?

En gjennomgående problemstilling Går det an å redusere presset i en akuttavdeling ved å etablere et ambulant team?

Hva ønsker vi å få svar på (mer generelt)? Om det problemet en lokalt (eventuelt andre) har identifisert kan reduseres eller løses gjennom en eller annen spesifikk intervensjon Intervensjon her tenkt som alt fra mindre organisatoriske endringer i en avdeling til store systemendringer som involverer mange aktørgrupper på flere forvaltningsnivå Og slik at svaret kan benyttes både lokalt i framtidig endringsarbeid - og for andre som har liknende problem

Hva ønsker vi å få svar på - forts. Har vår intervensjon hatt effekt? ja - nei (og alt for ofte det unødvendige - kanskje) Hvorfor har den (ikke) hatt effekt? Hva gjorde at vi (ikke ) fikk det til? Vi ønsker med andre ord å etablere en generaliserbar årsakssammenheng En ambisiøs forventning!!!!! Og mens en for å besvare det første som regel anvender kvantitative data, er kvalitative best egnet til det andre

Forskjellige metoders fokus

Den enkle modellen Intervensjon Ambulant team Ettersituasjon - det er blitt bedre 90% belegg på akuttavdelingen Før-situasjon - noe er for dårlig Overbelegg på akuttavdelingen

Hvorfor den enkle modellen er så vanskelig å gjennomføre Hovedutfordringen Har vi dekning for å påstå at det har skjedd en endring - og at denne endringen skyldes vårt tiltak? Delutfordringer Hvordan etablere før-situasjonen? Hva var den faktiske intervensjonen? Hvordan måle ettersituasjonen

Den enkle modellen Før-situasjon - noe er for dårlig Intervensjon Ambulant team Ettersituasjon - det er blitt bedre 90% belegg på akuttavdelingen Før-situasjon - noe er for dårlig Overbelegg på akuttavdelingen

Hva er før-situasjonen? Over hvor lang tid må vi måle for å fastslå at det ikke er et kortvarig fenomen for da er det jo ikke noe vits i å gjøre noe? Hva var trenden var belegget på vei ned likevel - slik at mye av endringen ville skjedd i alle fall og intervensjonen har liten eller ingen effekt - og dermed ikke noe andre kan lære av?

Hva er før-situasjonen - forts.? Hvilke områder skal vi måle? Det forholdet hvor vi ønsker endring beleggsprosent (bør være få slike) Forhold som vi antar har innvirkning på området liggetid (her kan det være mange) Forhold hvor vi tror - men ikke ønsker - det skal skje endring (ikke-intenderte konsekvenser) misnøye fra førstelinjetjenesten (her er det bare å bruke fantasien - vil være mange, og bare de antatt viktigste bør inngå)

Hva er før-situasjonen - forts.? Hvordan skal vi måle? Bruk etablerte instrument (her syndes det mye) Utvikling av gode måleinstrument er tid- og ressurskrevende og vanskelig Kvantitative vs kvalitative data Egnet til ulike forhold - best i kombinasjon

Mål - en diffus greie Er målene klarlagt? Er målene entydige eller er det egentlig ikke et forsøk på å skape endring, men heller å si at man ønsker å gjøre noe (finne de manifeste og latente målene) Er målene entydige eller er det mange parallelle mål (både med prosjektet man skal evaluere og med evalueringen) - fra ulike aktørgrupper? Skill her mellom offentlige og private mål Mål på ulike nivå (umiddelbare, mellomliggende og overgripende mål) - å svare på alle disse har konsekvenser på lengden av evalueringen.

Den enkle modellen Intervensjon Ambulant team Ettersituasjon - det er blitt bedre 90% belegg på akuttavdelingen Før-situasjon - noe er for dårlig Overbelegg på akuttavdelingen

Intervensjonen Beskrive innholdet i den - ”Protokoll” Hvilke tiltak skal gjennomføres? Hvordan? Når? Av hvem etc.? Beskrive ”compliance” Ble det vi hadde bestemt oss for å gjøre gjennomført etter ”protokollen” eller gjorde vi endringer underveis (bevisst eller ubevisst)

Intervensjonen - forts. Skjedde det andre ting som hadde innvirkning på det forholdet vi skulle endre? I egen institusjon f.eks. stort sykefravær i en annen avdeling som reduserte deres kapasitet til å ta ”våre” pasienter Utenfor kraftig oppbygging av det psykiatriske tilbudet i viktige kommuner - de håndterte flere pas. der

Intervensjonen - forts. Skal det være en eller annen form for utvalgskriterier for de som skal inngå i studien? Randomisering i en eller annen form? Seleksjon bare de og de pasientgruppene skal få tilbud? Matching mellom de som får og ikke får tilbudet? NB - Tradeoff mellom intern og ekstern validitet

Den enkle modellen Etter-situasjon - det er blitt bedre Intervensjon Ambulant team Etter-situasjon - det er blitt bedre 90% belegg på akuttavdelingen Før-situasjon - noe er for dårlig Overbelegg på akuttavdelingen

Etter-situasjonen Har vi fått en effekt? Prøv å få høyt nok antall målinger til at de faktiske effektene er målbare Unngå falsk negative resultater De måleinstrumentene vi anvender må bl.a være sensitive for endring (jfr. WAS)

Prosessen - hvorfor fikk vi dette resultatet? Ulike metoder intervju (enkeltintervju/fokusgruppeintervju) Observasjon (f eks. av møter) Hvilke situasjoner/personer er det viktig å få informasjon fra? ledere, pleiepersonale, pasienter, fastleger etc etc Hvem skal skaffe denne informasjonen? Så få bånd som mulig mellom ”intervjuer” og den som blir spurt - for å redusere føringer

Kontrollens betydning Kontrollen gir en baseline en kan måle intervensjonens effekt i forhold til - fordi en antar at kontrollen har den utviklingen intervensjonenheten også ville hatt uten intervensjon hvis en ikke har en kontroll får man en masse problemer med på lasset kan den effekten en (eventuelt) får skyldes helt andre faktorer enn intervensjonen (ikke alle løses automatisk ved en kontroll)? Historie, modning, testeffekt, instrumenteffekt, statistisk regresjon, seleksjon - eller en kombinasjon av to eller flere av disse

Kontrollen – intet venstrehåndsarbeid Har det skjedd noe i kontrollen – har det også her vært en de facto intervensjon? Kravet til opplysninger er egentlig like stort som for intervensjonen Bl.a for å kontrollere for instrumenteffekter Prøve å skille klart mellom intervensjon og kontroll Redusere smitteeffekt

Noen vanlige - og svake - design En gruppe - kun ettermåling X O To grupper - kun ettermåling O En gruppe - Før - ettermåling O1 X O2

Hvorfor er de svake? Den første og den andre mangler før-opplysninger kan dermed ikke svare på om det faktisk har skjedd en endring Den første og den tredje mangler en kontrollgruppe kan derfor ikke svare på om endringen skyldes intervensjonen - eller helt andre faktorer som virker på ”alle”

Det gode kontrolldesign Før og ettermåling - den mest utbredte? O1 X O2 O1 O2 Kan med fordel utvides med Før og/eller ettermålinger mer enn en gang reduserer muligheten for feilkilder betydelig (f.eks. at endringen skyldes sesongvariasjon - færre innleggelser på våren)

Oppsummering Det å få svar på om våre tiltak har hatt effekt - som kan overføres til andre - er et meget krevende spørsmål En stor fordel med en god porsjon fandenivoldsk innstilling En grundig gjennomtenkning av design - inkludert realistiske ambisjoner - viktig før en starter Bruk eksterne kompetansemiljøer som kvalitetssikrere Mye morsom metodelitteratur kan med fordel leses mange ganger