Planlegging og evaluering

Presentasjon om: "Planlegging og evaluering"— Utskrift av presentasjonen:

1 Planlegging og evaluering
Kunnskap til hjelp for alle typer tiltak eller kampanjer Erik Larsen, Rena 2008

2 En strategi for å overleve
Vi må bruke kommunikasjonsteori og praksis for å nå mål – vise at det er et fag med nyttige effekter Press for å bevise PRs eksistensgrunnlag Må dokumentere effekter for ikke å bli utradert Vise PR som viktig strategisk redskap Samle inn og analysere informasjon fra aktører Holde organisasjonens fokus på aktørers behov PR må være organisasjonens radar – som tar opp signaler som gjør at ledelsen styrer unna problemer.

3 Men hva skjer i praksis? De færreste PR-folk handler med bakgrunn i undersøkelser. Hvorfor er det slik? Hva kan følgene være av å ikke prioritere undersøkelser? Kan det gi negative følger å legge betydelig vekt på undersøkelser og evalueringer?

4 Evaluering før og nå Evalueringsforskning slo gjennom i Norden i 1980 og 1990-åra. Gjort mye som er evalueringer, men som har andre navn (analyser) Fikk status i USA på 1960-tallet. Noen mener at Gud startet med den syvende dagen… På 1950 – 60-tallet ble det innført mål som utgangspunkt for en evaluering Fra målfokusering til prosessfokusering, en tilnærming til aksjonsrettet forskning

5 Evaluering vokser… 1962: De første sosiale reformprogrammene i USA blir evaluert 1967: Den første læreboka i evalueringsforskning kommer 1970-åra: Flere disipliner samarbeider og konkurrerer om oppdrag De siste tiåra har evaluering utviklet seg fra hypotetisk-deduktiv retning til induktiv retning, som dialogforskning, følgeforskning, m.m. (24)

6 Hva er evaluering? Evaluering er en eller annen form for verdifastsettelse av en eller annen form for virksomhet (Sverdrup) Hensikten med evalueringsforskning er å måle virkningen av et program opp imot de målene man ønsket å oppnå (Weiss) Evalueringer må forstås som et bidrag i rasjonell beslutningsfatting, og bør ha nytteverdi (Weiss) Politiske aktører bruker evaluering som 1) advarsel, ) rettledning, 3) ledd i fornyet begrepsdannelse og 4) mobilisering av støtte (Weiss)

7 Hva er evaluering? Evaluering er når man undersøker og vurderer hva som er oppnådd gjennom et tiltak, og den effektivitet et tiltak har hatt (Patton). Brukerorientert evaluering. Evaluator som praktiker mer enn som forsker. (Patton) Scriven: Evaluering refererer til den beslutningsprosess som anslår gevinsten og verdien på noe, enten det er et produkt eller en prosess. Almås: Evaluering er en systematisk innsamling av data for å skille og analysere virkningen av et forsøk på å skape endring på et område. Vedung: Evaluering er nøye etterhåndsvurdering av gjennomføring, prestasjoner og utfall i offentlig politikk som anses å spille en rolle i praktiske handlingssituasjoner.

8 Oppsummert evaluering
Sentrale kjennetegn ved evalueringer: Den uavhengige variabelen (f.eks tiltaket) er en bevisst og planlagt innblanding i virkeligheten Tiltaket har ofte en mer eller mindre presis målsetting Klart formulerte mål inngår ofte som ledd i målevalueringer, men ikke nødvendigvis i prosessevalueringer eller målfrie evalueringer. Evalueringer søker gjerne å fastslå grad av måloppnåelse, men kan også bidra til at mål oppnås og prosesser påvirkes (f.eks ved prosessevalueringer, dialogbaserte evalueringer eller følgeforskning).

9 Sentrale retninger Fire retninger
Den beslutningsorienterte – hensikten er å øke effektiviteten av en innsats, et tiltak, program eller en handlingsplan gjennom systematisk empirisk datainnsamling med påfølgende analyse. Mål-middel-tankegangen. Den brukerorienterte – brukernes behov legger sterke føringer for evalueringen – gjerne gjennom dialog og prosess Den prosessorienterte – vektlegger lærings-, innsikts-, forståelses- og kunnskapsaspektene Den målfrie – er opptatt av hva som pågår i et tiltak, og forsøker å forstå og beskrive dette uten å kjenne til målene

10 Sentrale retninger Summative evalueringer er ofte en evalueringsstrategi basert på målevalueringer, og blir ofte utført etter at tiltaket er sluttført. Formative evalueringer utføres for å forbedre et program eller tiltak, og pågår samtidig med det aktuelle prosjektet. Her er det lagt vekt på prosessen.

11 Virkemidler Fem grunnleggende virkemidler:
Reguleringer eller juridiske Økonomiske Fysiske Organisatoriske Informasjon Virkemidlene blir ofte kombinert

12 ”Virkemiddelpakker” Programmer – er en sammensetning av folk, organisasjoner, arbeid og penger som samlet skal bidra til å oppnå bestemte mål innenfor et tjenesteområde. Handlingsplaner – den innsatsen som utføres av ansatte og prosjektansvarlige for å oppnå definerte og begrunnede mål på et bestemt innsatsområde. (Let etter x på odin.dep.no) Informasjon er ofte benyttet som virkemiddel i handlings- og strategiplaner Lover og forskrifter – innebærer at borgerne er nødt til å gjøre som myndighetene sier. Økonomiske virkemidler – skille linje mellom monetære (skatt, avgift..) og ikkemonetær tiltak (subsidier, støtte- og tilskuddsordninger).

13 Undersøkelser i fire steg
Planlegging og mål-setting Implementering og overvåking Evaluering Forbedring Se Cutlip, Center og Broom-hjulet

14 Steg 1: Planlegging Undersøkelser:
Utformer saker Identifiserer interessenter og aktører Fastsette mål som PR-virksomheten kan måles mot Ikke bare planlegge PR-virksomheten, men alle aktiviteter i virksomheten. Brukes til å redefinere den strategiske retningen Endre forhold i omgivelsene Sikre sammenheng i strategiske planer for virksomhet og PR

15 Planlegging SWOT og våre viktigste saker
Identifisere interessenter og aktører og definere de som til enhver tid er viktige å kommunisere med Definere de viktigste behovene for hver interessent Finne fram til konkrete handlings- og kommunikasjonsmål Utvikle medieplan for hver gruppe.

16 Nye arbeidsformer ”Inside-Out” versus ”Outside-In” planlegging IO:
virksomhetens mål kognitive mål holdningsmål handlingsmål tenk - føl - gjør-modell informasjon - kunnskap/holdning - handling undersøkelser de siste 50 åra tilsier at modellen er FEIL

17 Mange kilder til kunnskap
Interne kilder salgstall besøkstall oppringninger treff på hjemmesiden Eksterne kilder Nærings- og ukepresse Tidsskrifter WWW analyse av disse kildene fører til hva vi trenger av ny kunnskap

18 Metoder Kvantitative Kvalitative fokusgrupper dybdeintervjuer
observasjoner Hjelper oss til å bestemme målgrupper, utforme temaet og utvikle (hoved)budskap. Dybdekunnskap Ikke representativt, men...

19 Metoder Kvantitative telefonintervjuer omnibus
faks og e-post-undersøkelser undersøkelser på gater, kjøpesentre, m.m. postal intervjuer tilfeldig utvalg (ca 1000) gir representative svar lav feilprosen (+/- 3%) mange ”gifter” seg med en undersøkelsesmetode

20 Implementering og overvåking
Når strategien er utviklet og PR-planen er implementert spiller undersøkelser en viktig rolle i å overvåke effektiviteten av tiltakene. Telefonundersøkelser Medieanalyse kjappe måter for å se om vi er på rett vei eller om vi må foreta justeringer Evaluere effekter Kvantitative metoder er mest brukt (gjenta spørsmål) Har vi fått til endringer i handlinger/atferd? Hvor gode er resultatene våre sammenliknet med andres?

21 Forbedringer Viktig å gjøre undersøkelser som Hvordan:
gir handlingsmuligheter og som deles i virksomheten mye penger kastes bort på undersøkelser og planlegging (planlaging) Hvordan: historiefortelling rollespill intervjuer på videotape og litt godt lederskap og egenerfaringer...

22 Valg av byråer De fleste undersøkelser gjort av eksterne byråer
Et godt resultat avhenger både av byrå og bestiller I stedet for å gå etter laveste anbud/tilbud er det viktig å vurdere byråets egnethet i forhold til å være en god partner som gir tilleggsverdier til prosessen Ulike byråer Full-service? Standard metoder eller skreddersøm? Erfaringer med ditt felt/område eller dine interessenter? Hvilke erfaringer har tidligere kunder?

23 Integrert kommunikasjon
Integrert kommunikasjons revisjon Er laget for å fokusere på prosesser som fører til resultater Eks: 1. Intervju med ledere for å undersøke om det er enighet om mål og hovedbudskap 2. Tekstanalyse/undersøkelse på informasjonsmateriellet for å se om budskapene er integrert 3. Utprøving av eksisterende undersøkelser ved at forskerne går inn i ulike kunderoller Kan være viktig med intern forankring av revideringen

24 Integrert kommunikasjon
Læringssystemer Definere et enkelt overordnet kommunikasjonsmål for hele virksomheten og identifisere de viktigste interessentene Identifisere kommunikasjonstiltakene som har størst innflytelse på målene små prosesser kan føre til store endringer, viser teori Etablere en allsidig/omfattende og vedvarende undersøkelse som får fram interessentenes vurderinger av kommunikasjonsmål og hovedbudskap. Målingene vil vise utvikling på de ulike områdene proaktiv måte å fokusere på relasjoner og fremtid...

25 Undersøkelser i framtida
Lederne er ensomme på toppen: Trolig fordi de har mistet kontakten med de viktigst interessentene. PR holder ledelsen i kontakt med interne og eksterne omgivelser blant annet gjennom undersøkelser PR er øyne og ører for ledelsen PR er et varselsystem for kriser og muligheter Viktig å ha systemer for å fange opp følger av virksomheten Gjennom PR-undersøkelsesprosessen bygger vi opp en lærende organisasjon, virksomhetens hukommelse og kontinuerlige forbedringer. (Siste av Caywood)

26 Spesielt fokus på kampanjer
Plan og evaluering Spesielt fokus på kampanjer

27 Det strategiske hjulet
1. Situasjonsbeskrivelse 2. Strategi 3. Gjennomføring 4. Vurdering

28 De ti delene av hjulet Situasjonsbeskrivelse
Overordnet mål- og brukergruppevurdering Datainnsamling og -vurdering Mål- og målgruppevalg Strategivalg Plan for informasjonstiltakene Pretesting og utprøving Planlegging av evaluering Iverksetting Evaluering

29 1.Situasjonsanalysen Sjekk bestillingen. Hva er mandatet?
Hva er det egentlige problemet? Hva er problemstillingen beskrevet i mandatet? Virker det umiddelbart faglig forsvarlig å løse de beskrevne problemene med informasjon (i form av et opplysningstiltak)? Er målgruppene definert allerede i bestillingen? Er oppfatningen av målgruppene fastlåst hos bestilleren? Er tiltakene antydet eller definert i bestillingen? Hvor mye ressurser stilles til rådighet? Er det tenkt på evaluering?

30 Situasjonen nå: Hva er problemet? Hva er EGENTLIG problemet?
Er det virkelig et problem vi behøver å hanskes med? Hvor er det et problem? Når er det et problem? Hvem er eller blir involvert eller berørt av problemet? Hvem er interessentene og hvem vil bli interessenter? Er dette et informasjonsproblem?

31 Virkemidler Juridiske Teknisk/fysiske Økonomiske Organisatoriske
Informasjon/opplæring

32 Forutsetningsanalyse
Interne forutsetninger Hvilke interne ressurser har vi tilgang til? Hva har vi av penger, økonomi, folk, kompetanse og tid? Er de ulike faktorene en styrke eller en svakhet? Hvordan kan vi bruke ressursene best mulig? Eksterne forutsetninger Kan arbeidet samordnes med andre? Er tidspunktet (-ene) for satsingen/tiltakene gode? Endringer og trender i tiden som virker inn i perioden?

33 2.Overordnet mål- og brukergruppevurdering
Hva vil vi oppnå? Hvilke resultater ønsker vi å sitte igjen med etter at tiltaket er gjennomført? Hvilke effekter vil vi at tiltaket skal ha på målgruppene? Oppmerksomhet, kunnskap, endrede holdninger og nye handlinger? Viktig å sjekke ut målet i forhold til mål for virksomheten og eventuelle egne mål. ØR-øvelse. Ligger opplysningsmålet innen VP-mål, strategien, visjonen eller misjonen til virksomheten?

34 To målnivåer Overordnet målnivå Resultatmål
Høynet kunnskap om barnevernet i befolkningen Resultatmål Mest mulig konkrete, observerbare og målbare – helst i forhold til de enkelte målgruppene

35 En målmodell Hvordan vi mener at problemet best mulig kan løses?
I forhold til visse grupper i samfunnet Innenfor de rammene vi har til rådighet Det realistiske målet

36 Hva slags effekter? Noen generaliseringer:
Massemediebasert informasjon er best egnet til å gi effekter som økt oppmerksomhet og mer kunnskap, men kan også påvirke holdninger og atferd, spesielt forsterke dem. Massemediebasert informasjon som blir kombinert med personlig kommunikasjon og et visst sosialt press, har større sjanser for å føre til holdnings- og handlingsendringer. Men også dette er vanskelig, og det er alltid en fare for at visse grupper forsterker de holdningene eller handlingene vi ønsker å endre. Informasjon egner seg best som virkemiddel når målgruppen selv oppfatter at den ønskede atferden er i deres egen interesse.

37 Gruppedefinisjoner Brukergrupper Berørte grupper Målgrupper
Interessenter Aktører Medinformatører

38 Kommunikasjonskartet
(legg inn fra side 26)

39 En nyttig teori, men bare en…
Uberørte grupper Latent berørte grupper Bevisst berørte grupper Aktivt berørte grupper Hvem er det viktigst at vi når nå – og om en stund? Hvem kan vi nå dem via?

40 3. Datainnsamling og -vurdering
Hva trenger vi å vite? Skal vi teste ut noe vi vet Skaffe til veie ny kunnskap Kunnskap om målgruppene Hvem er de? Hva vet de? Hvor er de? Hva mener de? Hvorfor mener de det de mener? Hvor gjør de og hvorfor? Hvilke behov har de og hva etterspør de?

41 Kriterier for systematisering
Vanlige kriterier Kjønn, alder, utdanning, bosted, etnisk tilhørighet, livsstil og personlighet og kunnskap Psykologiske kriterier: Grad av oppmerksomhet, forståelse, aksept, hukommelse og handling Situasjonsbeskrivelse: Grad av berørthet, grad av involvering, grad av engasjement og grad av følelse av å kunne gjøre noe med den aktuelle situasjonen eller problemet

42 Typer data Primærdata Sekundærdata Egne undersøkelser
Informasjon fra fagbøker, andre undersøkelser, statistikk og andre kilder Vevsøk.

43 Egne undersøkelser Hva er formålet med undersøkelsen?
Hva vil vi egentlig vite? Kvalitative data Gir et grunnlag for å analysere hvorfor de vi spør, gjør, vet eller mener det de gjør. Kvantitative data F.eks type data som forteller noe om hvor mange som gjør, vet eller mener noe om det vi spør om.

44 Andre arbeidsformer Samtalegrupper Idedugnader
Kommunikasjonsråd Brukerpanel Idedugnader Opptur – startkonferanser Framtidsverksteder Læringstorg

45 4. Mål- og målgruppevalg På bakgrunn av datainnsamlingen kan vi utforme konkrete, observerbare og målbare mål Ikke skriv: En større del av forvaltningen skal ha kjennskap til informasjonspolitikken Men heller (dersom vi har grunnlag for det): 80 prosent av lederne i statlige virksomheter skal kjenne til hovedmålene og prinsippene i statens informasjonspolitikk innen år 2002 Og velge ut målgrupper og IKKE-målgrupper fra kommunikasjonskartet

46 5. Strategivalg Ulike strategier Aktiv direkte informasjon
Annonsering i massemedier Brev, brosjyrer og andre publikasjoner sendt direkte til målgruppene Oppsøkende informasjon, virksomheten møter brukerne direkte (førstelinje) Aktiv indirekte informasjon Redaksjonell dekning i medier etter vår henvendelse Bruk av sosiale nettverk Møteplasser hvor informasjon og erfaringer utveksles

47 Hva skal vi si (budskap)?
Henger sammen med hvem vi er og hvordan virksomheten ønsker å framstå Hva som vil fungere best overfor mottakerne Hvem som vil kommunisere best med mottakerne Budskapet består gjerne av argumentasjon knyttet til spørsmålene hva, hvem, når, hvorfor og hvordan.

48 Annonsering Egenskaper ved mediene deles gjerne i tre grupper:
Egenskaper ved distribusjon Egenskaper ved presentasjon Egenskaper ved bruk

49 Distribusjonsegenskaper
Hvilke muligheter gir mediet for å nå hele eller deler av målgruppen? Hva er mediets dekning i målgruppen? Er mediet egnet for å oppnå ønsket frekvens på eksponering av budskapet? Hva er mediets kontaktpris? Hvilke muligheter gir mediet for geografisk avgrensing av budskapet? Hvilke kostnader må du regne med for å produsere annonsemateriellet for mediet? Hvor lang tid tar produksjonen? Hvilke muligheter har du for å få plassert annonsen der du ønsker?

50 Presentasjonsegenskaper
Hvilke muligheter for effekt av kreative virkemidler gir mediet? Egner mediet seg for budskap som skal vekke oppmerksomhet? Egner mediet seg for detaljerte budskap? Egner mediet seg for å demonstrere eller illustrere? Egner mediet seg for å dramatisere budskapet? Egner mediet seg for emosjonelle budskap, og humor? Er mediet følsomt for ”støy” fra andre annonser, andre medier eller omgivelsene? Brukes mediet av avsendere med et konkurrerende eller motstridende budskap som er i konflikt med vårt? Egner mediet seg for denne typen budskap? Er mediet egnet for å påvirke holdninger og handlinger?

51 Reaksjonsegenskaper Benyttes mediet regelmessig av samme gruppe brukere? Er mottakerne irritert over reklamemengden eller måten reklamen presenteres på i mediet? Hvor engasjerte er brukerne i mediet når de benytter det? Oppfattes mediet som troverdig? Har mediet lang brukstid og levetid?

52 Brosjyrer Folk flest ønsker å få offentlig informasjon i form av brev, brosjyrer og lignende sendt hjem til egen postkasse Eks 1: Landsomfattende brosjyre om 2000-problemet. 44 prosent hadde sett brosjyren. Av disse var det 54 prosent som mente at brosjyren var informativ i noen eller stor grad (Norsk Gallup). Eks 2: Sør-Østerdal Interkommunale Avfallsselskap (SØIR) har jobbet systematisk med å informere brukerne av ordningen. Informative brosjyrer, en enkel ordning og økonomisk stimulans for de som har lite restavfall, har ført til gode resultater. 90 prosent (MMI-undersøkelse) sier seg fornøyd med den informasjonen de har fått.

53 Andre muligheter Direkte møte med brukerne Redaksjonell dekning
Det sosiale nettverket Møteplasser Kombinasjoner

54 6. Plan for informasjonstiltakene
Tiltaksplanen Målgruppe, resultatmål, budskap, informasjonskanal, tid, ansvar og kostnad/budsjett Ressursplanen Tidsplanen Ulike diagrammer finnes og benyttes.

55 7. Pretesting og utprøving
Kvalitetssikring handler om å avdekke ting som kan gå galt FØR tiltakene gjennomføres 24 av 25 produkter blir aldri lanser på markedet. De er testet og forkastet. Kutte unødige ord Sjekke budskapet Intern informasjon andre ansatte må vite om hva som skjer gjøre folk til entusiastiske medspillere i stedet for lunke tilskuere

56 8. Planlegging av evalueringen
Målanalyse samsvarer resultatene med de målene vi satte oss? Prosessanalyse på hvilke måter førte tiltakene til resultater? Hvordan var planleggingen, organiseringen, samspillet mellom ulike aktører, kommunikasjonsprosessen og sammenhengen med effekten av tiltakene? Når skal vi evaluere? Underveis Umiddelbart etter eller lenge etter Hvem skal evaluere?

57 9. Planen iverksettes Avspark Koordinatoren Tilbakemeldingene
Avslutningen mental beredskap krisehåndtering back-up

58 10. Evaluering Hvordan gikk det, hva lærte vi? En kilde til kunnskap
Hvordan bruke resultatene? Tør vi lære? Er problemet løst? Gikk tiltakene som planlagt? Hva gikk bra og hva kunne gått bedre? Ulike former for konferanser

59 Kampanjer -Pfau og Parrot
Tre faser Planlegging Implementering Evaluering gjelder å jobbe systematisk med alle tre fasene lite systematisk arbeid preger PR-feltet i dag jobbes for lite med å integrere mål, strategier og vurderinger

60 Planlegging Behovsvurdering og spesifisering av emne
Valg av målgrupper kriterier for utvelgelse kriterier for adgang kriterier for utgang Kampanjemål Holdningsdannende mål Endringsmål Intensiveringsmål

61 Planlegging Rekkefølge og prioritet Operasjonalisering av mål
Beredskap for spesielle situasjoner Når og hvor - hva skjer?

62 Fase 2: Implementering Rekruttering, trening og retrening av personellet Budskapsutforming Valg av kilde (avsender) Valg av kanal Framdrift og rapportering

63 Fase 3: Evaluering Evalueringsspørsmål Metaevaluering Effektivitet

64 Bruk av undersøkelser Behovsvurderinger
individ/samfunn eller begge deler forekomst/hyppighet utbredelse forutsi behov

65 Undersøkelsesdesign Formative studier Effektivitets-studier
Effekt-studier kvantitative kvalitative

66 Evaluering - faser Planleggingsfasen Gjennomføringsfasen Analysefasen
Men aller først: Hva er formålet med evalueringen? Felles problemforståelse med oppdragsgiver Hvilke spørsmål skal besvares? Hvordan skal problemstillingene besvares?

67 Hva kan evalueres? Innsatsanalyser eller implementeringsanalyser benyttes gjerne når misnøye er formulert og beslutninger forberedes (jfr s. 58) Evaluering er ofte en beskrivelse av virkningene av et tiltak. Forsøker å fastslå grad av måloppnåelse sammenliknet med programmets mål (effekt- og målanalyser). Prosessevalueringer (synkron og diakron innfallsvinkel: diakron = dynamisk og foranderlig, synkron = statisk og uforanderlig)

68 Planleggingsfasen Beskrivelse Av tiltaket eller programmet
Tiltak, målgrupper, samarbeidsaktører, ressurser, kompetanse, teknologi Verdier og mål Gir felles forståelse mellom oppdragsgiver og evaluator Sjekke om det finnes dokumenter eller om evaluator må innhente informasjon. Ofte nødvendig med en kombinasjon.

69 Planleggingsfasen Sammenlikning
Konkretisering av gjennomføringsopplegget Evalueringens mandat Rammebetingelser (tid, folk og penger) Utvikler programteorien for det aktuelle tiltaket Søker vitenskapelig teori Gir verktøy for den videre evalueringsprosessen, og er ofte en forutsetning for å kunne foreta tolkninger Spørsmålet om generaliserbarhet Utvikler kriterier og evalueringsdesign

70 Bruk av teori To eksempler: Først foreligger problemstillingen
Rekonstruksjon av et program Hvordan og hvorfor er teoretisk innsikt viktig Et tiltak har uansett en implisitt teori om at dersom man foretar noen bestemte handlinger eller gjør noen former for innsats, så vil man få bestemte effekter. For evaluator er det viktig å avdekke denne implisitte teorien, uansett hvor vagt et er formulert. Etter det kan man søke vitenskapelig teori og gjøre teorien mer eksplesitt, og dermed analyserbar.

71 Programteori Sette opp kjede over antatte utviklingsstadier i et program. Vise hvordan endringer er tenkt skjedd. Ulike modeller: Den logiske rammeverk-modellen Djevelens advokat Strategiske antakelser Ulike rekonstruksjoner Begrepsmessig dreier seg om den sosiale og atferdsmessige logikken bak programmet (forutsetninger) Operasjonell dreier seg om hvorfor hvilke aktører antas å gjøre hva for at programmet skal bli vellykket (handlinger)

72 Informasjonsteori Eksempel om lov/regelverksendring
Se figur side 72 om endringsteori, implementeringsteori og programteori ved lov- og regelendringer. Se figur side 73 om enkel programteorimodell. Inneholder programmet input, aktiviteter, output og ønskede resultater. Handlingsplan for forebygging av uønskede svangerskap og abort Planen er basert på antakelsen om at informasjon og kunnskap er avgjørende faktorerfor atferdsmodifikasjon i målgruppen. Enkel programteorimodell på side 78

73 Informasjonsteori Modellene illustrerer hvordan ansvarlige ser for seg endringene. En skisse for logikken i programmet. Så må vi finne fram informasjonsteorien… Evalueringer av info må rette søkelyset mot: Budskapsleddet (innholdet) Senderleddet (organiseringen av informasjonstiltakene) Konteksten for tiltaket (sammenhengen) Mottakerleddet (prosesser som tiltaket produserer Effekten Effektiviteten

74 Informasjonsteori Ulike effekter:
Manifeste effekter uttrykkes i folks kunnskap, hensikt og atferd Latente effekter kommer ikke direkte til uttrykk, kan registreres i endringer i handlinger over tid Prosesseffekter er virkemidler som setter fart på forandringer av kunnskaper, hensikter og atferd i forbindelse med endringer som allerede har startet Tilstandseffekter er effekter som flytter et individ fra en tilstand til en annen (til nytt og høyere kunnskapsnivå)

75 Evalueringskriterier
Kriterier trekker opp forholdet mellom tilsiktede og oppnådde mål, og angir hvordan ulike forhold skal måles og vurderes Både kriterier og design må henge sammen på en logisk konsistent måte Evalueringskriterier formuleres i den hensikt å utarbeide eller utvikle noen mål på suksess og måloppnåelse. Kriteriene benyttes for å sammenlikne det man har oppnådd med det som faktisk var intensjonen. Kan også gi retning i en prosessevaluering Gir og retning på og innhold til evalueringsdesignet og de konkrete undersøkelsene som skal gjennomføres

76 Evalueringskriterier
Kriterier på måloppnåelse Utvikle sammenlikningsgrunnlag Finne karakteristika eller dimensjoner som kan kjennetegne ulike tiltak og gjøre sammenlikningen mulig Funksjonelle kriterier (eks med piggfritt) Ikke alltid like enkelt, for eksempel når det dreier seg om skjønnsmessige vurderinger (flest mulig, størst mulig grad, osv,). Fører til at evaluator må formulere evalueringskriteriene selv.

77 Evalueringsdesign Evalueringsdesign refererer til evalueringens struktur Problemstilling refererer til dens innhold Designet er en plan som angir når og fra hvem data eller mål vil bli innhentet i løpet av evalueringen, og hvordan evalueringen totalt sett skal tilrettelegges med henblikk på tilnærmingsmåter og metoder. Problemstilling og programteori må foreligge før evaluator kan planlegge hvordan man skal gå fram.

78 Evalueringsdesign Fra hvem henter vi data?
Målgrupper, aktører, motsatte rettsposisjoner (ulike interesser og posisjoner). Gripe helheten og fokus gjennom flernivå-analyser eller triangulering. Hvilke metoder (sjekk metodelitteraturen) Kontroller klassisk eksperiment – benytter kontrollgrupper. Noen som har vært utsatt for tiltaket og noen som ikke har vært det. Tilfeldig trekning (randomisering) av deltakere

79 Evalueringsdesign – metoder
Kvasi-eksperimentelle design Prøver å etterlikne en del av kontrollbetingelsene ved rene eksperiment, men tilfredsstiller ikke de strenge kravene. Prøver å sammenlikne langs flest mulig kontrollvariabler, slik at det blir mulig å trekke mest mulig sikre konklusjoner. Ulike former for kvasi-eksperimentell design: Tidsseriestudie Multippel tidsseriestudie (to steder på samme tid, bare den ene er utsatt for tiltaket) Ikke ekvivalent kontrollgruppe (sammenlikningsgruppe) Ikke eksperimentelle design (før og etterstudier av program, kun etter-studier av deltakere, kun etterstudier av deltakere og ikke randomiserte kontrollgrupper

80 Evalueringsdesign Bruke triangulering ved komplekse studier
Handler om å kryssjekke ved hjelp av flere undersøkelsesopplegg Hvis resultater fra intervjuer, observasjoner og dokumenter peker i samme retning, gir det større visshet for evaluator Ofte at knapphet på tid og penger gjør at evaluator ikke får gjennomført et ideelt opplegg. Dette er et sentralt dilemma i evaluering

81 Innhenting av data I evalueringer benyttes et bredt spekter av de metoder som samfunnfaget byr på. Skiller mellom mht innhenting av data MÅLEVALUERINGER PROSESSEVALUERINGER

82 Data til målevalueringer
Evalueringen gir ikke bedre resultater enn de spørsmålene man klarer å stille. Spørsmål og svar må være utformet slik at de er gyldige for de aktuelle problemene, samtidig som de er entydige og pålitelige, og at spørsmålene er utformet nøytralt og ikke er ledende. (Validitet – datas relevans, og reliabilitet – datas pålitelighet og nøyaktighet)

83 Ulike målevalueringer
Innsatsanalyse – i hvilken grad førte innsatsen til å virkeliggjøre hensikten med tiltaket? Effekt- og virkningsanalyse – har tiltaket produsert de effekter eller mål som man ønsket å oppnå? Måloppnåelsesanalyse – spør om reformens mål og om de/det er blitt realisert Årsaksanalyse –spør om hvilke eksterne faktorer som fremmet eller hindret at målene med reformen ble realistert. Effektivitetsanalyser – spør om akseptabel grad av måloppnåelse kunne vært oppnådd på en mer effektiv måte, for eksempel ved bruk av andre virkemidler. Styringseffektivitet og kostnadseffektivitet

84 Målevalueringen Er opptatt av forholdet mellom årsak og virkning
Hva er det overordnede målet med evalueringen? Hvordan skal den organiseres? Hvordan kan innsatsen karakteriseres? Hvordan er forholdet mellom innsats og ubytte?

85 Innsamlingsmetoder Dokumentgjennomgang og –analyser
Informantintervjuer Ulike former for spørreskjema Case-studier Registerdata og tilgjengelig statistikk

86 Datainnsamling og prosessevaluering
Fordrer ofte en kvalitativ innfallsvinkel Former: Case-studier Observasjon Deltakende observasjon Kvalitative intervjuer og dialog

87 Analysefasen Førte tiltakene til at målene ble nådd?
Førte de til andre mål? Fantes det latente mål og målforskyvninger? Førte det til utilsiktede, uventede og uønskede mål? Viktig å skille ulike årsakssammenhenger fra hverandre Viktig å trekke slutninger som det er empirisk belegg for og ikke dekke til svakheter, mangler eller andre forhold ved evalueringsdesignet Prosessevalueringer Subjektiv vs objektiv Generaliserbarhetsproblematikken