Kirsti Sarheim Anthun Kirsti.sarheim@svt.ntnu.no Evalueringsmetoder Kirsti Sarheim Anthun Kirsti.sarheim@svt.ntnu.no

Hva er evaluering? Hvorfor evaluere? Hvordan evaluere? Metoder 3-nivå modell Metoder

Evaluere: «Å finne verdien av»

‘Verdi’ – hva ønsker vi å måle? Å finne verdien av ‘Verdi’ – hva ønsker vi å måle? ‘Finne’ – hvordan måler vi? Hva er målbart?

Hvorfor evaluere? Undersøke måloppnåelse Undersøke kvalitet Betydning for brukere/samfunn Beslutningsgrunnlag for senere tiltak Læring –hva har vi fått til og ikke? Justering Generaliserbarhet

Spørsmål om resultater kan besvares på flere måter, innledningsvis kan man spørre seg: Måloppnåelse: Har den planlagte forbedringen skjedd? Bidragsanalyse: Er det sannsynlig at tiltaket har bidratt til forbedringen? Attribusjon: Kan det slås fast med stor grad av sikkerhet hvor mye tiltaket har bidratt til forbedringen? Kontrafaktisk analyse: Hva ville skjedd uten tiltaket?

To typer evalueringer: Effekt Prosess Effekt kan måles på mange måter Prosessevaluering handler om å evaluere hele implementeringsprosessen.

Vi har noen utfordringer: Lang tid før helseeffekt/helsegevinst kan observeres Kompleksitet – vanskelig å avgjøre kausalitet Ren tallmessig effektevaluering sier ikke noe om: hvorfor ting fungerte eller ikke, evt fungerte for noen, men ikke andre. hvilke intervensjonseffekter som skyldes variasjoner i selve intervensjonsprosessen.

Effekt Prosess

Nøkkelspørsmål: Hva har vi oppnådd? (+ hvorfor) Viktigste driverne for endring?

Metoder OBSERVERT ENDRING (tallfeste?) SPØRREUNDERSØKELSE DOKUMENTANALYSE -møtereferat, memos, kommunikasjons- og informasjonsmateriell UTSAGN – intervjuer med ulik grad av fast struktur, enkelt-intervju el. grupper, (pr telefon eller ansikt til ansikt), epost, «folkestemmen» OBSERVASJON

Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering

Kunnskapsgrunnlag og valg av tiltak Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering Kunnskapsgrunnlag og valg av tiltak Hva bestod kunnskapsgrunnlaget av? Hvordan ble valg av tiltak gjort? Sammenheng kunnskapsgrunnlag og tiltak iverksatt? I hvilken grad ble tiltak skreddersydd til kommunens behov (målgruppa) Medvirkning fra representanter fra målgrupper

Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering Planlegging Handlingsplaner og grad av detaljer her (tid, ansvarsfordeling, konkretisering) Deltakelse fra målgruppa i planlegging? Hvem deltok i planlegging? På hvilken måte? Hvilken rolle spilte ulike interessenter i planlegging? Målsetn for evaluering Informasjon – til hvem, hvordan og når? Materiale Dokument (feks møtereferat, memos, korrespondanse) Utsagn

Implementering tiltak Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering Implementering tiltak Nådde tiltaket frem til målgruppa? Respons fra målgruppa? Avvik fra plan? Og hvorfor Barrierer, hindringer? Hva bestod tiltaket i? Observert endring? Driverne bak endringen (utslagsgivende?) Ulike interessenters roller i implementeringen Bieffekter? Informasjon underveis? Materiale Dokument (feks møtereferat, memos, korrespondanse) Utsagn Observasjon

EN 3-NIVÅS MODELL (Nielsen & Randall 2013) KONTEKST Hindringer Barrierer Fasiliterende faktorer INTERVENSJON/TILTAK Initiering Kunnskapsgrunnlag og oversikt Planlegging Drivere for endring Kommunikasjon og informasjon MENTALE MODELLER Rede for endring Respons på intervensjonsaktiviteter Endringer i mentale modeller? Initiering Kunnskaps-grunnlag Valg Planlegging Tiltak Evaluering

Oppsummering Å evaluere: finne verdien av noe Det kan evalueres på mange måter. Effekt og prosess Prosessevaluering handler om å se på hele implementeringsprosessen Samle inn informasjon via dokumenter, observasjoner, utsagn. Bruke alle faser i prosessen for å strukturere evalueringsarbeidet. Tenke mer helhetlig om evalueringa: bruke 3-nivås modell: evaluere hvordan kontekstuelle forhold og mentale modeller har virket inn på implementering og resultat.

Foto: Roland Smith