Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Hvordan undersøke? Trond Hatling Sintef Unimed Helsetjenesteforskning Avdeling for Psykisk helsearbeid.

Liknende presentasjoner


Presentasjon om: "Hvordan undersøke? Trond Hatling Sintef Unimed Helsetjenesteforskning Avdeling for Psykisk helsearbeid."— Utskrift av presentasjonen:

1 Hvordan undersøke? Trond Hatling Sintef Unimed Helsetjenesteforskning Avdeling for Psykisk helsearbeid

2 Foredragets innhold n Hva ønsker vi å få svar på? n Den enkle modellen n Før-situasjonen n Intervensjonen n Etter-situasjonen n Om å studere prosessen n Hvorfor bør vi ha en kontroll? n Fra de svake til de sterkere design

3 Fra det enkle til det kompliserte En ettermåling - uten kontroll RCT • Lett å gjennomføre • Vanskelig å tolke • Vanskelig å gjennomføre • Lettere å tolke Med andre ord - her får en ikke noe gratis! Nødvendig med et tradeoff. Og kanskje skal en begynne i det små - med de begrensninger det gir?

4 En gjennomgående problemstilling n Går det an å redusere presset i en akuttavdeling ved å etablere et ambulant team?

5 Hva ønsker vi å få svar på (mer generelt)? n Om det problemet en lokalt (eventuelt andre) har identifisert kan reduseres eller løses gjennom en eller annen spesifikk intervensjon u Intervensjon her tenkt som alt fra mindre organisatoriske endringer i en avdeling til store systemendringer som involverer mange aktørgrupper på flere forvaltningsnivå n Og slik at svaret kan benyttes både lokalt i framtidig endringsarbeid - og for andre som har liknende problem

6 Hva ønsker vi å få svar på - forts. n Har vår intervensjon hatt effekt? u ja - nei (og alt for ofte det unødvendige - kanskje) n Hvorfor har den (ikke) hatt effekt? u Hva gjorde at vi (ikke ) fikk det til? Vi ønsker med andre ord å etablere en generaliserbar årsakssammenheng n En ambisiøs forventning!!!!! u Og mens en for å besvare det første som regel anvender kvantitative data, er kvalitative best egnet til det andre

7 Forskjellige metoders fokus

8 Den enkle modellen Før-situasjon - noe er for dårlig • Overbelegg på akuttavdelingen Intervensjon • Ambulant team Ettersituasjon - det er blitt bedre • 90% belegg på akuttavdelingen

9 Hvorfor den enkle modellen er så vanskelig å gjennomføre n Hovedutfordringen u Har vi dekning for å påstå at det har skjedd en endring - og at denne endringen skyldes vårt tiltak? n Delutfordringer u Hvordan etablere før-situasjonen? u Hva var den faktiske intervensjonen? u Hvordan måle ettersituasjonen

10 Den enkle modellen Før-situasjon - noe er for dårlig • Overbelegg på akuttavdelingen Intervensjon • Ambulant team Ettersituasjon - det er blitt bedre • 90% belegg på akuttavdelingen

11 Hva er før-situasjonen? n Over hvor lang tid må vi måle u for å fastslå at det ikke er et kortvarig fenomen F for da er det jo ikke noe vits i å gjøre noe? n Hva var trenden u var belegget på vei ned likevel - slik at mye av endringen ville skjedd i alle fall F og intervensjonen har liten eller ingen effekt - og dermed ikke noe andre kan lære av?

12 Hva er før-situasjonen - forts.? n Hvilke områder skal vi måle? u Det forholdet hvor vi ønsker endring F beleggsprosent (bør være få slike) u Forhold som vi antar har innvirkning på området F liggetid (her kan det være mange) u Forhold hvor vi tror - men ikke ønsker - det skal skje endring (ikke-intenderte konsekvenser) F misnøye fra førstelinjetjenesten (her er det bare å bruke fantasien - vil være mange, og bare de antatt viktigste bør inngå)

13 Hva er før-situasjonen - forts.? n Hvordan skal vi måle? u Bruk etablerte instrument (her syndes det mye) F Utvikling av gode måleinstrument er tid- og ressurskrevende og vanskelig u Kvantitative vs kvalitative data F Egnet til ulike forhold - best i kombinasjon

14 Mål - en diffus greie n Er målene klarlagt? u eller er det egentlig ikke et forsøk på å skape endring, men heller å si at man ønsker å gjøre noe (finne de manifeste og latente målene) n Er målene entydige u eller er det mange parallelle mål (både med prosjektet man skal evaluere og med evalueringen) - fra ulike aktørgrupper? Skill her mellom offentlige og private mål n Mål på ulike nivå (umiddelbare, mellomliggende og overgripende mål) - u å svare på alle disse har konsekvenser på lengden av evalueringen.

15 Den enkle modellen Før-situasjon - noe er for dårlig • Overbelegg på akuttavdelingen Intervensjon • Ambulant team Ettersituasjon - det er blitt bedre • 90% belegg på akuttavdelingen

16 Intervensjonen n Beskrive innholdet i den - ”Protokoll” u Hvilke tiltak skal gjennomføres? u Hvordan? u Når? u Av hvem etc.? n Beskrive ”compliance” u Ble det vi hadde bestemt oss for å gjøre gjennomført etter ”protokollen” F eller gjorde vi endringer underveis (bevisst eller ubevisst)

17 Intervensjonen - forts. n Skjedde det andre ting som hadde innvirkning på det forholdet vi skulle endre? u I egen institusjon F f.eks. stort sykefravær i en annen avdeling som reduserte deres kapasitet til å ta ”våre” pasienter u Utenfor F kraftig oppbygging av det psykiatriske tilbudet i viktige kommuner - de håndterte flere pas. der

18 Intervensjonen - forts. n Skal det være en eller annen form for utvalgskriterier for de som skal inngå i studien? u Randomisering F i en eller annen form? u Seleksjon F bare de og de pasientgruppene skal få tilbud? u Matching F mellom de som får og ikke får tilbudet? n NB - Tradeoff mellom intern og ekstern validitet

19 Den enkle modellen Før-situasjon - noe er for dårlig • Overbelegg på akuttavdelingen Intervensjon • Ambulant team Etter-situasjon - det er blitt bedre • 90% belegg på akuttavdelingen

20 Etter-situasjonen n Har vi fått en effekt? u Prøv å få høyt nok antall målinger til at de faktiske effektene er målbare F Unngå falsk negative resultater u De måleinstrumentene vi anvender må bl.a være sensitive for endring (jfr. WAS)

21 Prosessen - hvorfor fikk vi dette resultatet? n Ulike metoder u intervju (enkeltintervju/fokusgruppeintervju) u Observasjon (f eks. av møter) n Hvilke situasjoner/personer er det viktig å få informasjon fra? u ledere, pleiepersonale, pasienter, fastleger etc etc n Hvem skal skaffe denne informasjonen? u Så få bånd som mulig mellom ”intervjuer” og den som blir spurt - for å redusere føringer

22 Kontrollens betydning n Kontrollen gir en baseline en kan måle intervensjonens effekt i forhold til - fordi en antar at kontrollen har den utviklingen intervensjonenheten også ville hatt uten intervensjon u hvis en ikke har en kontroll får man en masse problemer med på lasset F kan den effekten en (eventuelt) får skyldes helt andre faktorer enn intervensjonen (ikke alle løses automatisk ved en kontroll)? •Historie, modning, testeffekt, instrumenteffekt, statistisk regresjon, seleksjon - eller en kombinasjon av to eller flere av disse

23 Kontrollen – intet venstrehåndsarbeid n Har det skjedd noe i kontrollen – har det også her vært en de facto intervensjon? u Kravet til opplysninger er egentlig like stort som for intervensjonen F Bl.a for å kontrollere for instrumenteffekter n Prøve å skille klart mellom intervensjon og kontroll u Redusere smitteeffekt

24 Noen vanlige - og svake - design n En gruppe - kun ettermåling XO n To grupper - kun ettermåling XO O n En gruppe - Før - ettermåling O 1 XO 2

25 Hvorfor er de svake? n Den første og den andre mangler før- opplysninger u kan dermed ikke svare på om det faktisk har skjedd en endring n Den første og den tredje mangler en kontrollgruppe u kan derfor ikke svare på om endringen skyldes intervensjonen - eller helt andre faktorer som virker på ”alle”

26 Det gode kontrolldesign n Før og ettermåling - den mest utbredte? O 1 XO 2 O 1 O 2 n Kan med fordel utvides med u Før og/eller ettermålinger mer enn en gang F reduserer muligheten for feilkilder betydelig •(f.eks. at endringen skyldes sesongvariasjon - færre innleggelser på våren)

27 Oppsummering n Det å få svar på om våre tiltak har hatt effekt - som kan overføres til andre - er et meget krevende spørsmål u En stor fordel med en god porsjon fandenivoldsk innstilling n En grundig gjennomtenkning av design - inkludert realistiske ambisjoner - viktig før en starter u Bruk eksterne kompetansemiljøer som kvalitetssikrere n Mye morsom metodelitteratur u kan med fordel leses mange ganger


Laste ned ppt "Hvordan undersøke? Trond Hatling Sintef Unimed Helsetjenesteforskning Avdeling for Psykisk helsearbeid."

Liknende presentasjoner


Annonser fra Google