Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Planlegging og evaluering Kunnskap til hjelp for alle typer tiltak eller kampanjer Erik Larsen, Rena 2008.

Liknende presentasjoner


Presentasjon om: "Planlegging og evaluering Kunnskap til hjelp for alle typer tiltak eller kampanjer Erik Larsen, Rena 2008."— Utskrift av presentasjonen:

1 Planlegging og evaluering Kunnskap til hjelp for alle typer tiltak eller kampanjer Erik Larsen, Rena 2008

2 En strategi for å overleve  Vi må bruke kommunikasjonsteori og praksis for å nå mål – vise at det er et fag med nyttige effekter  Press for å bevise PRs eksistensgrunnlag  Må dokumentere effekter for ikke å bli utradert  Vise PR som viktig strategisk redskap  Samle inn og analysere informasjon fra aktører  Holde organisasjonens fokus på aktørers behov  PR må være organisasjonens radar – som tar opp signaler som gjør at ledelsen styrer unna problemer.

3 Men hva skjer i praksis?  De færreste PR-folk handler med bakgrunn i undersøkelser.  Hvorfor er det slik?  Hva kan følgene være av å ikke prioritere undersøkelser?  Kan det gi negative følger å legge betydelig vekt på undersøkelser og evalueringer?

4 Evaluering før og nå  Evalueringsforskning slo gjennom i Norden i 1980 og 1990-åra.  Gjort mye som er evalueringer, men som har andre navn (analyser)  Fikk status i USA på 1960-tallet.  Noen mener at Gud startet med den syvende dagen…  På 1950 – 60-tallet ble det innført mål som utgangspunkt for en evaluering  Fra målfokusering til prosessfokusering, en tilnærming til aksjonsrettet forskning

5 Evaluering vokser…  1962: De første sosiale reformprogrammene i USA blir evaluert  1967: Den første læreboka i evalueringsforskning kommer  1970-åra: Flere disipliner samarbeider og konkurrerer om oppdrag  De siste tiåra har evaluering utviklet seg fra hypotetisk-deduktiv retning til induktiv retning, som dialogforskning, følgeforskning, m.m. (24)

6 Hva er evaluering?  Evaluering er en eller annen form for verdifastsettelse av en eller annen form for virksomhet (Sverdrup)  Hensikten med evalueringsforskning er å måle virkningen av et program opp imot de målene man ønsket å oppnå (Weiss)  Evalueringer må forstås som et bidrag i rasjonell beslutningsfatting, og bør ha nytteverdi (Weiss)  Politiske aktører bruker evaluering som 1) advarsel, 2) rettledning, 3) ledd i fornyet begrepsdannelse og 4) mobilisering av støtte (Weiss)

7 Hva er evaluering?  Evaluering er når man undersøker og vurderer hva som er oppnådd gjennom et tiltak, og den effektivitet et tiltak har hatt (Patton).  Brukerorientert evaluering. Evaluator som praktiker mer enn som forsker. (Patton)  Scriven: Evaluering refererer til den beslutningsprosess som anslår gevinsten og verdien på noe, enten det er et produkt eller en prosess.  Almås: Evaluering er en systematisk innsamling av data for å skille og analysere virkningen av et forsøk på å skape endring på et område.  Vedung: Evaluering er nøye etterhåndsvurdering av gjennomføring, prestasjoner og utfall i offentlig politikk som anses å spille en rolle i praktiske handlingssituasjoner.

8 Oppsummert evaluering  Sentrale kjennetegn ved evalueringer:  Den uavhengige variabelen (f.eks tiltaket) er en bevisst og planlagt innblanding i virkeligheten  Tiltaket har ofte en mer eller mindre presis målsetting  Klart formulerte mål inngår ofte som ledd i målevalueringer, men ikke nødvendigvis i prosessevalueringer eller målfrie evalueringer.  Evalueringer søker gjerne å fastslå grad av måloppnåelse, men kan også bidra til at mål oppnås og prosesser påvirkes (f.eks ved prosessevalueringer, dialogbaserte evalueringer eller følgeforskning).

9 Sentrale retninger  Fire retninger  Den beslutningsorienterte – hensikten er å øke effektiviteten av en innsats, et tiltak, program eller en handlingsplan gjennom systematisk empirisk datainnsamling med påfølgende analyse. Mål-middel-tankegangen.  Den brukerorienterte – brukernes behov legger sterke føringer for evalueringen – gjerne gjennom dialog og prosess  Den prosessorienterte – vektlegger lærings-, innsikts-, forståelses- og kunnskapsaspektene  Den målfrie – er opptatt av hva som pågår i et tiltak, og forsøker å forstå og beskrive dette uten å kjenne til målene

10 Sentrale retninger  Summative evalueringer er ofte en evalueringsstrategi basert på målevalueringer, og blir ofte utført etter at tiltaket er sluttført.  Formative evalueringer utføres for å forbedre et program eller tiltak, og pågår samtidig med det aktuelle prosjektet. Her er det lagt vekt på prosessen.

11 Virkemidler  Fem grunnleggende virkemidler:  Reguleringer eller juridiske  Økonomiske  Fysiske  Organisatoriske  Informasjon  Virkemidlene blir ofte kombinert

12 ”Virkemiddelpakker”  Programmer – er en sammensetning av folk, organisasjoner, arbeid og penger som samlet skal bidra til å oppnå bestemte mål innenfor et tjenesteområde.  Handlingsplaner – den innsatsen som utføres av ansatte og prosjektansvarlige for å oppnå definerte og begrunnede mål på et bestemt innsatsområde. (Let etter x på odin.dep.no)  Informasjon er ofte benyttet som virkemiddel i handlings- og strategiplaner  Lover og forskrifter – innebærer at borgerne er nødt til å gjøre som myndighetene sier.  Økonomiske virkemidler – skille linje mellom monetære (skatt, avgift..) og ikkemonetær tiltak (subsidier, støtte- og tilskuddsordninger).

13 Undersøkelser i fire steg  Planlegging og mål-setting  Implementering og overvåking  Evaluering  Forbedring  Se Cutlip, Center og Broom-hjulet

14 Steg 1: Planlegging  Undersøkelser:  Utformer saker  Identifiserer interessenter og aktører  Fastsette mål som PR-virksomheten kan måles mot  Ikke bare planlegge PR-virksomheten, men alle aktiviteter i virksomheten.  Brukes til å redefinere den strategiske retningen  Endre forhold i omgivelsene  Sikre sammenheng i strategiske planer for virksomhet og PR

15 Planlegging  SWOT og våre viktigste saker  Identifisere interessenter og aktører og definere de som til enhver tid er viktige å kommunisere med  Definere de viktigste behovene for hver interessent  Finne fram til konkrete handlings- og kommunikasjonsmål  Utvikle medieplan for hver gruppe.

16 Nye arbeidsformer  ”Inside-Out” versus ”Outside-In” planlegging  IO:  virksomhetens mål  kognitive mål  holdningsmål  handlingsmål  tenk - føl - gjør-modell  informasjon - kunnskap/holdning - handling  undersøkelser de siste 50 åra tilsier at modellen er FEIL

17 Mange kilder til kunnskap  Interne kilder  salgstall  besøkstall  oppringninger  treff på hjemmesiden  Eksterne kilder  Nærings- og ukepresse  Tidsskrifter  WWW  analyse av disse kildene fører til hva vi trenger av ny kunnskap

18 Metoder  Kvantitative  Kvalitative  fokusgrupper  dybdeintervjuer  observasjoner  Hjelper oss til å bestemme målgrupper, utforme temaet og utvikle (hoved)budskap.  Dybdekunnskap  Ikke representativt, men...

19 Metoder  Kvantitative  telefonintervjuer  omnibus  faks og e-post-undersøkelser  undersøkelser på gater, kjøpesentre, m.m.  postal intervjuer  tilfeldig utvalg (ca 1000) gir representative svar  lav feilprosen (+/- 3%)  mange ”gifter” seg med en undersøkelsesmetode

20 Implementering og overvåking  Når strategien er utviklet og PR-planen er implementert spiller undersøkelser en viktig rolle i å overvåke effektiviteten av tiltakene.  Telefonundersøkelser  Medieanalyse  kjappe måter for å se om vi er på rett vei eller om vi må foreta justeringer  Evaluere effekter  Kvantitative metoder er mest brukt (gjenta spørsmål)  Har vi fått til endringer i handlinger/atferd?  Hvor gode er resultatene våre sammenliknet med andres?

21 Forbedringer  Viktig å gjøre undersøkelser som  gir handlingsmuligheter  og som deles i virksomheten  mye penger kastes bort på undersøkelser og planlegging (planlaging)  Hvordan:  historiefortelling  rollespill  intervjuer på videotape  og litt godt lederskap og egenerfaringer...

22 Valg av byråer  De fleste undersøkelser gjort av eksterne byråer  Et godt resultat avhenger både av byrå og bestiller  I stedet for å gå etter laveste anbud/tilbud er det viktig å vurdere byråets egnethet i forhold til å være en god partner som gir tilleggsverdier til prosessen  Ulike byråer  Full-service?  Standard metoder eller skreddersøm?  Erfaringer med ditt felt/område eller dine interessenter?  Hvilke erfaringer har tidligere kunder?

23 Integrert kommunikasjon  Integrert kommunikasjons revisjon  Er laget for å fokusere på prosesser som fører til resultater  Eks:  1. Intervju med ledere for å undersøke om det er enighet om mål og hovedbudskap  2. Tekstanalyse/undersøkelse på informasjonsmateriellet for å se om budskapene er integrert  3. Utprøving av eksisterende undersøkelser ved at forskerne går inn i ulike kunderoller  Kan være viktig med intern forankring av revideringen

24 Integrert kommunikasjon  Læringssystemer  Definere et enkelt overordnet kommunikasjonsmål for hele virksomheten og identifisere de viktigste interessentene  Identifisere kommunikasjonstiltakene som har størst innflytelse på målene  små prosesser kan føre til store endringer, viser teori  Etablere en allsidig/omfattende og vedvarende undersøkelse som får fram interessentenes vurderinger av kommunikasjonsmål og hovedbudskap.  Målingene vil vise utvikling på de ulike områdene  proaktiv måte å fokusere på relasjoner og fremtid...

25 Undersøkelser i framtida  Lederne er ensomme på toppen: Trolig fordi de har mistet kontakten med de viktigst interessentene.  PR holder ledelsen i kontakt med interne og eksterne omgivelser blant annet gjennom undersøkelser  PR er øyne og ører for ledelsen  PR er et varselsystem for kriser og muligheter  Viktig å ha systemer for å fange opp følger av virksomheten  Gjennom PR-undersøkelsesprosessen bygger vi opp en lærende organisasjon, virksomhetens hukommelse og kontinuerlige forbedringer.  (Siste av Caywood)

26 Plan og evaluering Spesielt fokus på kampanjer

27 Det strategiske hjulet  1. Situasjonsbeskrivelse  2. Strategi  3. Gjennomføring  4. Vurdering

28 De ti delene av hjulet  Situasjonsbeskrivelse  Overordnet mål- og brukergruppevurdering  Datainnsamling og -vurdering  Mål- og målgruppevalg  Strategivalg  Plan for informasjonstiltakene  Pretesting og utprøving  Planlegging av evaluering  Iverksetting  Evaluering

29 1.Situasjonsanalysen  Sjekk bestillingen. Hva er mandatet?  Hva er det egentlige problemet?  Hva er problemstillingen beskrevet i mandatet?  Virker det umiddelbart faglig forsvarlig å løse de beskrevne problemene med informasjon (i form av et opplysningstiltak)?  Er målgruppene definert allerede i bestillingen? Er oppfatningen av målgruppene fastlåst hos bestilleren?  Er tiltakene antydet eller definert i bestillingen?  Hvor mye ressurser stilles til rådighet?  Er det tenkt på evaluering?

30 Situasjonen nå:  Hva er problemet?  Hva er EGENTLIG problemet?  Er det virkelig et problem vi behøver å hanskes med?  Hvor er det et problem?  Når er det et problem?  Hvem er eller blir involvert eller berørt av problemet? Hvem er interessentene og hvem vil bli interessenter?  Er dette et informasjonsproblem?

31 Virkemidler  Juridiske  Teknisk/fysiske  Økonomiske  Organisatoriske  Informasjon/opplæring

32 Forutsetningsanalyse  Interne forutsetninger  Hvilke interne ressurser har vi tilgang til?  Hva har vi av penger, økonomi, folk, kompetanse og tid?  Er de ulike faktorene en styrke eller en svakhet?  Hvordan kan vi bruke ressursene best mulig?  Eksterne forutsetninger  Kan arbeidet samordnes med andre?  Er tidspunktet (-ene) for satsingen/tiltakene gode?  Endringer og trender i tiden som virker inn i perioden?

33 2.Overordnet mål- og brukergruppevurdering  Hva vil vi oppnå?  Hvilke resultater ønsker vi å sitte igjen med etter at tiltaket er gjennomført?  Hvilke effekter vil vi at tiltaket skal ha på målgruppene?  Oppmerksomhet, kunnskap, endrede holdninger og nye handlinger?  Viktig å sjekke ut målet i forhold til mål for virksomheten og eventuelle egne mål. ØR-øvelse.  Ligger opplysningsmålet innen VP-mål, strategien, visjonen eller misjonen til virksomheten?

34 To målnivåer  Overordnet målnivå  Høynet kunnskap om barnevernet i befolkningen  Resultatmål  Mest mulig konkrete, observerbare og målbare – helst i forhold til de enkelte målgruppene

35 En målmodell  Hvordan vi mener at problemet best mulig kan løses?  I forhold til visse grupper i samfunnet  Innenfor de rammene vi har til rådighet  Det realistiske målet

36 Hva slags effekter?  Noen generaliseringer:  Massemediebasert informasjon er best egnet til å gi effekter som økt oppmerksomhet og mer kunnskap, men kan også påvirke holdninger og atferd, spesielt forsterke dem.  Massemediebasert informasjon som blir kombinert med personlig kommunikasjon og et visst sosialt press, har større sjanser for å føre til holdnings- og handlingsendringer. Men også dette er vanskelig, og det er alltid en fare for at visse grupper forsterker de holdningene eller handlingene vi ønsker å endre.  Informasjon egner seg best som virkemiddel når målgruppen selv oppfatter at den ønskede atferden er i deres egen interesse.

37 Gruppedefinisjoner  Brukergrupper  Berørte grupper  Målgrupper  Interessenter  Aktører  Medinformatører

38 Kommunikasjonskartet  (legg inn fra side 26)

39 En nyttig teori, men bare en…  Uberørte grupper  Latent berørte grupper  Bevisst berørte grupper  Aktivt berørte grupper  Hvem er det viktigst at vi når nå – og om en stund?  Hvem kan vi nå dem via?

40 3. Datainnsamling og -vurdering  Hva trenger vi å vite?  Skal vi teste ut noe vi vet  Skaffe til veie ny kunnskap  Kunnskap om målgruppene  Hvem er de?  Hva vet de?  Hvor er de?  Hva mener de?  Hvorfor mener de det de mener?  Hvor gjør de og hvorfor?  Hvilke behov har de og hva etterspør de?

41 Kriterier for systematisering  Vanlige kriterier  Kjønn, alder, utdanning, bosted, etnisk tilhørighet, livsstil og personlighet og kunnskap  Psykologiske kriterier:  Grad av oppmerksomhet, forståelse, aksept, hukommelse og handling  Situasjonsbeskrivelse:  Grad av berørthet, grad av involvering, grad av engasjement og grad av følelse av å kunne gjøre noe med den aktuelle situasjonen eller problemet

42 Typer data  Primærdata  Egne undersøkelser  Sekundærdata  Informasjon fra fagbøker, andre undersøkelser, statistikk og andre kilder  Vevsøk.

43 Egne undersøkelser  Hva er formålet med undersøkelsen?  Hva vil vi egentlig vite?  Kvalitative data  Gir et grunnlag for å analysere hvorfor de vi spør, gjør, vet eller mener det de gjør.  Kvantitative data  F.eks type data som forteller noe om hvor mange som gjør, vet eller mener noe om det vi spør om.

44 Andre arbeidsformer  Samtalegrupper  Kommunikasjonsråd  Brukerpanel  Idedugnader  Opptur – startkonferanser  Framtidsverksteder  Læringstorg

45 4. Mål- og målgruppevalg  På bakgrunn av datainnsamlingen kan vi utforme konkrete, observerbare og målbare mål  Ikke skriv: En større del av forvaltningen skal ha kjennskap til informasjonspolitikken  Men heller (dersom vi har grunnlag for det): 80 prosent av lederne i statlige virksomheter skal kjenne til hovedmålene og prinsippene i statens informasjonspolitikk innen år 2002  Og velge ut målgrupper og IKKE-målgrupper fra kommunikasjonskartet

46 5. Strategivalg  Ulike strategier  Aktiv direkte informasjon  Annonsering i massemedier  Brev, brosjyrer og andre publikasjoner sendt direkte til målgruppene  Oppsøkende informasjon, virksomheten møter brukerne direkte (førstelinje)  Aktiv indirekte informasjon  Redaksjonell dekning i medier etter vår henvendelse  Bruk av sosiale nettverk  Møteplasser hvor informasjon og erfaringer utveksles

47 Hva skal vi si (budskap)?  Henger sammen med hvem vi er og hvordan virksomheten ønsker å framstå  Hva som vil fungere best overfor mottakerne  Hvem som vil kommunisere best med mottakerne  Budskapet består gjerne av argumentasjon knyttet til spørsmålene hva, hvem, når, hvorfor og hvordan.

48 Annonsering  Egenskaper ved mediene deles gjerne i tre grupper:  Egenskaper ved distribusjon  Egenskaper ved presentasjon  Egenskaper ved bruk

49 Distribusjonsegenskaper  Hvilke muligheter gir mediet for å nå hele eller deler av målgruppen?  Hva er mediets dekning i målgruppen?  Er mediet egnet for å oppnå ønsket frekvens på eksponering av budskapet?  Hva er mediets kontaktpris?  Hvilke muligheter gir mediet for geografisk avgrensing av budskapet?  Hvilke kostnader må du regne med for å produsere annonsemateriellet for mediet?  Hvor lang tid tar produksjonen?  Hvilke muligheter har du for å få plassert annonsen der du ønsker?

50 Presentasjonsegenskaper  Hvilke muligheter for effekt av kreative virkemidler gir mediet?  Egner mediet seg for budskap som skal vekke oppmerksomhet?  Egner mediet seg for detaljerte budskap?  Egner mediet seg for å demonstrere eller illustrere?  Egner mediet seg for å dramatisere budskapet?  Egner mediet seg for emosjonelle budskap, og humor?  Er mediet følsomt for ”støy” fra andre annonser, andre medier eller omgivelsene?  Brukes mediet av avsendere med et konkurrerende eller motstridende budskap som er i konflikt med vårt?  Egner mediet seg for denne typen budskap?  Er mediet egnet for å påvirke holdninger og handlinger?

51 Reaksjonsegenskaper  Benyttes mediet regelmessig av samme gruppe brukere?  Er mottakerne irritert over reklamemengden eller måten reklamen presenteres på i mediet?  Hvor engasjerte er brukerne i mediet når de benytter det?  Oppfattes mediet som troverdig?  Har mediet lang brukstid og levetid?

52 Brosjyrer  Folk flest ønsker å få offentlig informasjon i form av brev, brosjyrer og lignende sendt hjem til egen postkasse  Eks 1: Landsomfattende brosjyre om 2000-problemet. 44 prosent hadde sett brosjyren. Av disse var det 54 prosent som mente at brosjyren var informativ i noen eller stor grad (Norsk Gallup).  Eks 2: Sør-Østerdal Interkommunale Avfallsselskap (SØIR) har jobbet systematisk med å informere brukerne av ordningen. Informative brosjyrer, en enkel ordning og økonomisk stimulans for de som har lite restavfall, har ført til gode resultater. 90 prosent (MMI-undersøkelse) sier seg fornøyd med den informasjonen de har fått.

53 Andre muligheter  Direkte møte med brukerne  Redaksjonell dekning  Det sosiale nettverket  Møteplasser  Kombinasjoner

54 6. Plan for informasjonstiltakene  Tiltaksplanen  Målgruppe, resultatmål, budskap, informasjonskanal, tid, ansvar og kostnad/budsjett  Ressursplanen  Tidsplanen  Ulike diagrammer finnes og benyttes.

55 7. Pretesting og utprøving  Kvalitetssikring  handler om å avdekke ting som kan gå galt FØR tiltakene gjennomføres  24 av 25 produkter blir aldri lanser på markedet. De er testet og forkastet.  Kutte unødige ord  Sjekke budskapet  Intern informasjon  andre ansatte må vite om hva som skjer  gjøre folk til entusiastiske medspillere i stedet for lunke tilskuere

56 8. Planlegging av evalueringen  Målanalyse  samsvarer resultatene med de målene vi satte oss?  Prosessanalyse  på hvilke måter førte tiltakene til resultater?  Hvordan var planleggingen, organiseringen, samspillet mellom ulike aktører, kommunikasjonsprosessen og sammenhengen med effekten av tiltakene?  Når skal vi evaluere?  Underveis  Umiddelbart etter eller lenge etter  Hvem skal evaluere?

57 9. Planen iverksettes  Avspark  Koordinatoren  Tilbakemeldingene  Avslutningen  mental beredskap  krisehåndtering  back-up

58 10. Evaluering  Hvordan gikk det, hva lærte vi?  En kilde til kunnskap  Hvordan bruke resultatene?  Tør vi lære?  Er problemet løst?  Gikk tiltakene som planlagt?  Hva gikk bra og hva kunne gått bedre?  Ulike former for konferanser

59 Kampanjer -Pfau og Parrot  Tre faser  Planlegging  Implementering  Evaluering  gjelder å jobbe systematisk med alle tre fasene  lite systematisk arbeid preger PR-feltet i dag  jobbes for lite med å integrere mål, strategier og vurderinger

60 Planlegging  Behovsvurdering og spesifisering av emne  Valg av målgrupper  kriterier for utvelgelse  kriterier for adgang  kriterier for utgang  Kampanjemål  Holdningsdannende mål  Endringsmål  Intensiveringsmål

61 Planlegging  Rekkefølge og prioritet  Operasjonalisering av mål  Beredskap for spesielle situasjoner  Når og hvor - hva skjer?

62 Fase 2: Implementering  Rekruttering, trening og retrening av personellet  Budskapsutforming  Valg av kilde (avsender)  Valg av kanal  Framdrift og rapportering

63 Fase 3: Evaluering  Evalueringsspørsmål  Metaevaluering  Effektivitet  Effekt

64 Bruk av undersøkelser  Behovsvurderinger  individ/samfunn eller begge deler  forekomst/hyppighet  utbredelse  forutsi behov

65 Undersøkelsesdesign  Formative studier  Effektivitets-studier  Effekt-studier  kvantitative  kvalitative

66 Evaluering - faser  Planleggingsfasen  Gjennomføringsfasen  Analysefasen  Men aller først: Hva er formålet med evalueringen?  Felles problemforståelse med oppdragsgiver  Hvilke spørsmål skal besvares?  Hvordan skal problemstillingene besvares?

67 Hva kan evalueres?  Innsatsanalyser eller implementeringsanalyser benyttes gjerne når misnøye er formulert og beslutninger forberedes (jfr s. 58)  Evaluering er ofte en beskrivelse av virkningene av et tiltak. Forsøker å fastslå grad av måloppnåelse sammenliknet med programmets mål (effekt- og målanalyser).  Prosessevalueringer (synkron og diakron innfallsvinkel: diakron = dynamisk og foranderlig, synkron = statisk og uforanderlig)

68 Planleggingsfasen  Beskrivelse  Av tiltaket eller programmet  Tiltak, målgrupper, samarbeidsaktører, ressurser, kompetanse, teknologi  Verdier og mål  Gir felles forståelse mellom oppdragsgiver og evaluator  Sjekke om det finnes dokumenter eller om evaluator må innhente informasjon. Ofte nødvendig med en kombinasjon.

69 Planleggingsfasen  Sammenlikning  Konkretisering av gjennomføringsopplegget  Evalueringens mandat  Rammebetingelser (tid, folk og penger)  Utvikler programteorien for det aktuelle tiltaket  Søker vitenskapelig teori  Gir verktøy for den videre evalueringsprosessen, og er ofte en forutsetning for å kunne foreta tolkninger  Spørsmålet om generaliserbarhet  Utvikler kriterier og evalueringsdesign

70 Bruk av teori  Først foreligger problemstillingen  To eksempler:  Rekonstruksjon av et program  Hvordan og hvorfor er teoretisk innsikt viktig  Et tiltak har uansett en implisitt teori om at dersom man foretar noen bestemte handlinger eller gjør noen former for innsats, så vil man få bestemte effekter. For evaluator er det viktig å avdekke denne implisitte teorien, uansett hvor vagt et er formulert. Etter det kan man søke vitenskapelig teori og gjøre teorien mer eksplesitt, og dermed analyserbar.

71 71 Programteori  Sette opp kjede over antatte utviklingsstadier i et program. Vise hvordan endringer er tenkt skjedd.  Ulike modeller:  Den logiske rammeverk-modellen  Djevelens advokat  Strategiske antakelser  Ulike rekonstruksjoner  Begrepsmessig dreier seg om den sosiale og atferdsmessige logikken bak programmet (forutsetninger)  Operasjonell dreier seg om hvorfor hvilke aktører antas å gjøre hva for at programmet skal bli vellykket (handlinger)

72 72 Informasjonsteori  Eksempel om lov/regelverksendring  Se figur side 72 om endringsteori, implementeringsteori og programteori ved lov- og regelendringer.  Se figur side 73 om enkel programteorimodell. Inneholder programmet input, aktiviteter, output og ønskede resultater.  Handlingsplan for forebygging av uønskede svangerskap og abort  Planen er basert på antakelsen om at informasjon og kunnskap er avgjørende faktorerfor atferdsmodifikasjon i målgruppen.  Enkel programteorimodell på side 78

73 73 Informasjonsteori  Modellene illustrerer hvordan ansvarlige ser for seg endringene. En skisse for logikken i programmet.  Så må vi finne fram informasjonsteorien…  Evalueringer av info må rette søkelyset mot:  Budskapsleddet (innholdet)  Senderleddet (organiseringen av informasjonstiltakene)  Konteksten for tiltaket (sammenhengen)  Mottakerleddet (prosesser som tiltaket produserer  Effekten  Effektiviteten

74 74 Informasjonsteori  Ulike effekter:  Manifeste effekter uttrykkes i folks kunnskap, hensikt og atferd  Latente effekter kommer ikke direkte til uttrykk, kan registreres i endringer i handlinger over tid  Prosesseffekter er virkemidler som setter fart på forandringer av kunnskaper, hensikter og atferd i forbindelse med endringer som allerede har startet  Tilstandseffekter er effekter som flytter et individ fra en tilstand til en annen (til nytt og høyere kunnskapsnivå)

75 Evalueringskriterier  Kriterier trekker opp forholdet mellom tilsiktede og oppnådde mål, og angir hvordan ulike forhold skal måles og vurderes  Både kriterier og design må henge sammen på en logisk konsistent måte  Evalueringskriterier formuleres i den hensikt å utarbeide eller utvikle noen mål på suksess og måloppnåelse. Kriteriene benyttes for å sammenlikne det man har oppnådd med det som faktisk var intensjonen.  Kan også gi retning i en prosessevaluering  Gir og retning på og innhold til evalueringsdesignet og de konkrete undersøkelsene som skal gjennomføres

76 76 Evalueringskriterier  Kriterier på måloppnåelse  Utvikle sammenlikningsgrunnlag  Finne karakteristika eller dimensjoner som kan kjennetegne ulike tiltak og gjøre sammenlikningen mulig  Funksjonelle kriterier (eks med piggfritt)  Ikke alltid like enkelt, for eksempel når det dreier seg om skjønnsmessige vurderinger (flest mulig, størst mulig grad, osv,). Fører til at evaluator må formulere evalueringskriteriene selv.

77 Evalueringsdesign  Evalueringsdesign refererer til evalueringens struktur  Problemstilling refererer til dens innhold  Designet er en plan som angir når og fra hvem data eller mål vil bli innhentet i løpet av evalueringen, og hvordan evalueringen totalt sett skal tilrettelegges med henblikk på tilnærmingsmåter og metoder.  Problemstilling og programteori må foreligge før evaluator kan planlegge hvordan man skal gå fram.

78 78 Evalueringsdesign  Fra hvem henter vi data?  Målgrupper, aktører, motsatte rettsposisjoner (ulike interesser og posisjoner). Gripe helheten og fokus gjennom flernivå- analyser eller triangulering.  Hvilke metoder (sjekk metodelitteraturen)  Kontroller klassisk eksperiment – benytter kontrollgrupper. Noen som har vært utsatt for tiltaket og noen som ikke har vært det.  Tilfeldig trekning (randomisering) av deltakere

79 79 Evalueringsdesign – metoder  Kvasi-eksperimentelle design  Prøver å etterlikne en del av kontrollbetingelsene ved rene eksperiment, men tilfredsstiller ikke de strenge kravene.  Prøver å sammenlikne langs flest mulig kontrollvariabler, slik at det blir mulig å trekke mest mulig sikre konklusjoner.  Ulike former for kvasi-eksperimentell design:  Tidsseriestudie  Multippel tidsseriestudie (to steder på samme tid, bare den ene er utsatt for tiltaket)  Ikke ekvivalent kontrollgruppe (sammenlikningsgruppe)  Ikke eksperimentelle design (før og etterstudier av program, kun etter- studier av deltakere, kun etterstudier av deltakere og ikke randomiserte kontrollgrupper

80 80 Evalueringsdesign  Bruke triangulering ved komplekse studier  Handler om å kryssjekke ved hjelp av flere undersøkelsesopplegg  Hvis resultater fra intervjuer, observasjoner og dokumenter peker i samme retning, gir det større visshet for evaluator  Ofte at knapphet på tid og penger gjør at evaluator ikke får gjennomført et ideelt opplegg. Dette er et sentralt dilemma i evaluering

81 Innhenting av data  I evalueringer benyttes et bredt spekter av de metoder som samfunnfaget byr på.  Skiller mellom mht innhenting av data  MÅLEVALUERINGER  PROSESSEVALUERINGER

82 82 Data til målevalueringer  Evalueringen gir ikke bedre resultater enn de spørsmålene man klarer å stille.  Spørsmål og svar må være utformet slik at de er gyldige for de aktuelle problemene, samtidig som de er entydige og pålitelige, og at spørsmålene er utformet nøytralt og ikke er ledende. (Validitet – datas relevans, og reliabilitet – datas pålitelighet og nøyaktighet)

83 83 Ulike målevalueringer  Innsatsanalyse – i hvilken grad førte innsatsen til å virkeliggjøre hensikten med tiltaket?  Effekt- og virkningsanalyse – har tiltaket produsert de effekter eller mål som man ønsket å oppnå?  Måloppnåelsesanalyse – spør om reformens mål og om de/det er blitt realisert  Årsaksanalyse –spør om hvilke eksterne faktorer som fremmet eller hindret at målene med reformen ble realistert.  Effektivitetsanalyser – spør om akseptabel grad av måloppnåelse kunne vært oppnådd på en mer effektiv måte, for eksempel ved bruk av andre virkemidler.  Styringseffektivitet og kostnadseffektivitet

84 84 Målevalueringen  Er opptatt av forholdet mellom årsak og virkning  Hva er det overordnede målet med evalueringen?  Hvordan skal den organiseres?  Hvordan kan innsatsen karakteriseres?  Hvordan er forholdet mellom innsats og ubytte?

85 85 Innsamlingsmetoder  Dokumentgjennomgang og –analyser  Informantintervjuer  Ulike former for spørreskjema  Case-studier  Registerdata og tilgjengelig statistikk

86 86 Datainnsamling og prosessevaluering  Fordrer ofte en kvalitativ innfallsvinkel  Former:  Case-studier  Observasjon  Deltakende observasjon  Kvalitative intervjuer og dialog

87 Analysefasen  Førte tiltakene til at målene ble nådd?  Førte de til andre mål?  Fantes det latente mål og målforskyvninger?  Førte det til utilsiktede, uventede og uønskede mål?  Viktig å skille ulike årsakssammenhenger fra hverandre  Viktig å trekke slutninger som det er empirisk belegg for og ikke dekke til svakheter, mangler eller andre forhold ved evalueringsdesignet  Prosessevalueringer  Subjektiv vs objektiv  Generaliserbarhetsproblematikken


Laste ned ppt "Planlegging og evaluering Kunnskap til hjelp for alle typer tiltak eller kampanjer Erik Larsen, Rena 2008."

Liknende presentasjoner


Annonser fra Google