Kirsti Sarheim Anthun Kirsti.sarheim@svt.ntnu.no Evalueringsmetoder Kirsti Sarheim Anthun Kirsti.sarheim@svt.ntnu.no.

Presentasjon om: "Kirsti Sarheim Anthun Kirsti.sarheim@svt.ntnu.no Evalueringsmetoder Kirsti Sarheim Anthun Kirsti.sarheim@svt.ntnu.no."— Utskrift av presentasjonen:

1 Kirsti Sarheim Anthun Kirsti.sarheim@svt.ntnu.no
Evalueringsmetoder Kirsti Sarheim Anthun

2 Hva er evaluering? Hvorfor evaluere? Hvordan evaluere? Metoder
3-nivå modell Metoder

3 Evaluere: «Å finne verdien av»

4 ‘Verdi’ – hva ønsker vi å måle?
Å finne verdien av ‘Verdi’ – hva ønsker vi å måle? ‘Finne’ – hvordan måler vi? Hva er målbart?

5 Hvorfor evaluere? Undersøke måloppnåelse Undersøke kvalitet
Betydning for brukere/samfunn Beslutningsgrunnlag for senere tiltak Læring –hva har vi fått til og ikke? Justering Generaliserbarhet

6 Spørsmål om resultater kan besvares på flere måter, innledningsvis kan man spørre seg:
Måloppnåelse: Har den planlagte forbedringen skjedd? Bidragsanalyse: Er det sannsynlig at tiltaket har bidratt til forbedringen? Attribusjon: Kan det slås fast med stor grad av sikkerhet hvor mye tiltaket har bidratt til forbedringen? Kontrafaktisk analyse: Hva ville skjedd uten tiltaket?

7 To typer evalueringer: Effekt Prosess
Effekt kan måles på mange måter Prosessevaluering handler om å evaluere hele implementeringsprosessen.

8 Vi har noen utfordringer:
Lang tid før helseeffekt/helsegevinst kan observeres Kompleksitet – vanskelig å avgjøre kausalitet Ren tallmessig effektevaluering sier ikke noe om: hvorfor ting fungerte eller ikke, evt fungerte for noen, men ikke andre. hvilke intervensjonseffekter som skyldes variasjoner i selve intervensjonsprosessen.

9 Effekt Prosess

10 Nøkkelspørsmål: Hva har vi oppnådd? (+ hvorfor)
Viktigste driverne for endring?

11 Metoder OBSERVERT ENDRING (tallfeste?) SPØRREUNDERSØKELSE
DOKUMENTANALYSE -møtereferat, memos, kommunikasjons- og informasjonsmateriell UTSAGN – intervjuer med ulik grad av fast struktur, enkelt-intervju el. grupper, (pr telefon eller ansikt til ansikt), epost, «folkestemmen» OBSERVASJON

12

13 Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering

14 Kunnskapsgrunnlag og valg av tiltak
Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering Kunnskapsgrunnlag og valg av tiltak Hva bestod kunnskapsgrunnlaget av? Hvordan ble valg av tiltak gjort? Sammenheng kunnskapsgrunnlag og tiltak iverksatt? I hvilken grad ble tiltak skreddersydd til kommunens behov (målgruppa) Medvirkning fra representanter fra målgrupper

15 Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering Planlegging Handlingsplaner og grad av detaljer her (tid, ansvarsfordeling, konkretisering) Deltakelse fra målgruppa i planlegging? Hvem deltok i planlegging? På hvilken måte? Hvilken rolle spilte ulike interessenter i planlegging? Målsetn for evaluering Informasjon – til hvem, hvordan og når? Materiale Dokument (feks møtereferat, memos, korrespondanse) Utsagn

16 Implementering tiltak
Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering Implementering tiltak Nådde tiltaket frem til målgruppa? Respons fra målgruppa? Avvik fra plan? Og hvorfor Barrierer, hindringer? Hva bestod tiltaket i? Observert endring? Driverne bak endringen (utslagsgivende?) Ulike interessenters roller i implementeringen Bieffekter? Informasjon underveis? Materiale Dokument (feks møtereferat, memos, korrespondanse) Utsagn Observasjon

17 EN 3-NIVÅS MODELL (Nielsen & Randall 2013) KONTEKST
Hindringer Barrierer Fasiliterende faktorer INTERVENSJON/TILTAK Initiering Kunnskapsgrunnlag og oversikt Planlegging Drivere for endring Kommunikasjon og informasjon MENTALE MODELLER Rede for endring Respons på intervensjonsaktiviteter Endringer i mentale modeller? Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering

18 Oppsummering Å evaluere: finne verdien av noe
Det kan evalueres på mange måter. Effekt og prosess Prosessevaluering handler om å se på hele implementeringsprosessen Samle inn informasjon via dokumenter, observasjoner, utsagn. Bruke alle faser i prosessen for å strukturere evalueringsarbeidet. Tenke mer helhetlig om evalueringa: bruke 3-nivås modell: evaluere hvordan kontekstuelle forhold og mentale modeller har virket inn på implementering og resultat.

19 Foto: Roland Smith