Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Evalueringsmetoder Kirsti Sarheim Anthun

Liknende presentasjoner


Presentasjon om: "Evalueringsmetoder Kirsti Sarheim Anthun"— Utskrift av presentasjonen:

1 Evalueringsmetoder Kirsti Sarheim Anthun

2 Hva er evaluering? Hvorfor evaluere? Hvordan evaluere? –3-nivå modell Metoder

3 Evaluere: «Å finne verdien av»

4 1)‘Verdi’ – hva ønsker vi å måle? 2)‘Finne’ – hvordan måler vi? Hva er målbart? Å finne verdien av

5 Undersøke måloppnåelse Undersøke kvalitet Betydning for brukere/samfunn Beslutningsgrunnlag for senere tiltak Læring –hva har vi fått til og ikke? Justering Generaliserbarhet Hvorfor evaluere?

6 Måloppnåelse: Har den planlagte forbedringen skjedd? Bidragsanalyse: Er det sannsynlig at tiltaket har bidratt til forbedringen? Attribusjon: Kan det slås fast med stor grad av sikkerhet hvor mye tiltaket har bidratt til forbedringen? Kontrafaktisk analyse: Hva ville skjedd uten tiltaket? Spørsmål om resultater kan besvares på flere måter, innledningsvis kan man spørre seg:

7 To typer evalueringer: Effekt Prosess Effekt kan måles på mange måter Prosessevaluering handler om å evaluere hele implementeringsprosessen.

8 Lang tid før helseeffekt/helsegevinst kan observeres Kompleksitet – vanskelig å avgjøre kausalitet Ren tallmessig effektevaluering sier ikke noe om: hvorfor ting fungerte eller ikke, evt fungerte for noen, men ikke andre. hvilke intervensjonseffekter som skyldes variasjoner i selve intervensjonsprosessen. Vi har noen utfordringer:

9 Effekt Prosess

10 Hva har vi oppnådd? (+ hvorfor) Viktigste driverne for endring? Nøkkelspørsmål:

11 OBSERVERT ENDRING (tallfeste?) SPØRREUNDERSØKELSE DOKUMENTANALYSE -møtereferat, memos, kommunikasjons- og informasjonsmateriell UTSAGN – intervjuer med ulik grad av fast struktur, enkelt-intervju el. grupper, (pr telefon eller ansikt til ansikt), epost, «folkestemmen» OBSERVASJON Metoder

12

13 Initiering Kunnskaps- grunnlag Valg Planlegging Tiltak Evaluering

14 Kunnskapsgrunnlag og valg av tiltak Hva bestod kunnskapsgrunnlaget av? Hvordan ble valg av tiltak gjort? Sammenheng kunnskapsgrunnlag og tiltak iverksatt? I hvilken grad ble tiltak skreddersydd til kommunens behov (målgruppa) Medvirkning fra representanter fra målgrupper Initiering Kunnskaps -grunnlag Valg Planlegging Tiltak Evaluering

15 Initiering Kunnskaps -grunnlag Valg Planlegging Tiltak Evaluering Planlegging Handlingsplaner og grad av detaljer her (tid, ansvarsfordeling, konkretisering) Deltakelse fra målgruppa i planlegging? Hvem deltok i planlegging? På hvilken måte? Hvilken rolle spilte ulike interessenter i planlegging? Målsetn for evaluering Informasjon – til hvem, hvordan og når? Materiale Dokument (feks møtereferat, memos, korrespondanse) Utsagn

16 Implementering tiltak Nådde tiltaket frem til målgruppa? Respons fra målgruppa? Avvik fra plan? Og hvorfor Barrierer, hindringer? Hva bestod tiltaket i? Observert endring? Driverne bak endringen (utslagsgivende?) Ulike interessenters roller i implementeringen Bieffekter? Informasjon underveis? Initiering Kunnskaps -grunnlag Valg Planlegging Tiltak Evaluering Materiale Dokument (feks møtereferat, memos, korrespondanse) Utsagn Observasjon

17 KONTEKST INTERVENSJON/TILTAK MENTALE MODELLER Hindringer Barrierer Fasiliterende faktorer Initiering Kunnskapsgrunnlag og oversikt Planlegging Drivere for endring Kommunikasjon og informasjon Rede for endring Respons på intervensjonsaktiviteter Endringer i mentale modeller? EN 3-NIVÅS MODELL (Nielsen & Randall 2013) Initi erin g Kun nska ps- grun nlag Val g Plan leggi ng Tiltak Eval uerin g

18 Oppsummering Å evaluere: finne verdien av noe Det kan evalueres på mange måter. Effekt og prosess Prosessevaluering handler om å se på hele implementeringsprosessen Samle inn informasjon via dokumenter, observasjoner, utsagn. Bruke alle faser i prosessen for å strukturere evalueringsarbeidet. Tenke mer helhetlig om evalueringa: bruke 3-nivås modell: evaluere hvordan kontekstuelle forhold og mentale modeller har virket inn på implementering og resultat.

19 Foto: Roland Smith


Laste ned ppt "Evalueringsmetoder Kirsti Sarheim Anthun"

Liknende presentasjoner


Annonser fra Google