Indikatorer – hva, hvorfor og hvordan? Marit Kise. E-post: msk@shdir.no

Tema Hva er en indikator? Hvorfor indikatorer? Hvordan utvikler vi indikatorer ? Muligheter og begrensninger

Hva er en indikator? Ordet stammer fra verbet indikere Anvise Angi / peke på En vanlig definisjon er ”et observerbart fenomen som viser tilstanden vedrørende et annet, ikke direkte observerbart fenomen” Vi bruker indikatorer når fenomenet i seg selv er for komplisert eller for kostbart å måle direkte

Hvorfor (kvalitets)indikatorer ? Ønske om mer åpenhet om (kvalitet på) offentlige tjenester Økt fokus på innhold og utføring av tjenestene Stimulere til læring gjennom refleksjon Trend i tiden

Sammenheng formål - målgruppe Informasjon som grunnlag for eget forbedringsarbeide Informasjon som grunnlag for påvirkning av tjenestene, valg av tjenester, økt kunnskap Styringsinformasjon Tjenesteytere (alle ledd) Brukere, pårørende, borgere, media Ledere, eiere og politikere Jf Forskrift om rehabilitering – brukermedvirkningen svært sentral!

Når er en indikator til nytte i utviklingsarbeid? Det vi måler oppleves som viktig Indikatoren er i overensstemmelse med målsettinger på området Det er mulig å gjøre endringer på området Egner seg til å vise de endringer som oppstår som følge av tiltak (”svinge med”) Koster mindre enn nytteverdien

Nasjonal strategis beskrivelse Tjenester av god kvalitet er virkningsfulle er trygge og sikre involverer brukere og gir dem innflytelse er samordnet og preget av kontinuitet utnytter ressursene på en god måte er tilgjengelig og rettferdig fordelt

Kvalitet og forbedring Ressursoverforbruk skal unngås ”God praksis” Forbedringsarbeid Endring = forbedring Forsvarlig Uforsvarlig Endring, men ikke forbedring

Indikatoren som brikke i en utviklingsprosess Måling (informasjonshentingen) Refleksjon (den gode diskusjonen/deling av kunnskap) Handling (på grunnlag av ny kunnskap) Ny måling Effektiviseringsnettverkets metode Deming`s sirkel

Hensikten med utviklingsarbeidet Etablere konkrete indikatorer som kan: Måle graden av tilgjengelighet Si noe om effekten av innsatsen over tid

Formål og valg av indikatorer Hva er hovedformål for dere ? Bli bedre kjent med egen nå-situasjon? Følge utvikling etter tiltak? Kanskje også: Fortelle omverdenen ”hvor gode dere er”? Sammenligne dere med andre? Bruke informasjonen i forbedringsprosesser?

Formål og målgrupper bestemmer mye…. Hva skal de brukes til? Hvem er målgrupper for informasjonen? Varierer det fra ett samfunnsområd til et annet – eller skal det være felles for alle? Dette bestemmer ofte aggregeringsnivå og hvordan resultater publiseres

Datatilgangen og datakvalitet Hvor ofte tilgjengelig? – rapporteringshyppighet Kan vi stole på tallene, er de komplette? Være lokal, regional eller nasjonal indikator? Hva slags type data – førende for type indikator (struktur, prosess, produkt, resultat)

Ulike perspektiver som belyses Vi kan speile valgte fenomener ut i fra ulike perspektiver struktur (innsatsfaktorer) prosess (eks samarbeidsformer) produkt (tjenestens innhold) resultat

Krav til indikatorer Relevant Pålitelig Evne å vise forskjeller (for å sammenligne) Tolkningsbar Påvirkbar (vise forbedr.behov og endring) Dokumentert Være en del av et indikatorsett som er komplett nok til at de valgte indikatorene til sammen fanger opp de viktigste egenskapene som skal belysespå området

Hvordan etablere indikatorer som tilfredsstiller kravene?

Prosessen, første steg Sikre at det er felles forståelse av hva som kjennetegner tilgjengelighet og universell utforming på det aktuelle området Ha debatt om hva det er mest behov for å fokusere på og følge med målinger – velge de viktigste ut fra Føringer Mål/målsettinger faglige og politiske Noe som finnes og som kan brukes?

Prosessen, annet steg For hvert fokusområde foreslås indikatorer som kan belyse status og utvikling Disse bearbeides og beskrives i mal Definisjon Begrepsforklaringer Begrunnelse for indikatoren, inkl referanser og evidensgrunnlag Datakilde, beskrivelse av teller og nevner Tolkning og publisering Ref Joint commision, Rammeverkgruppe SSB sine krav

1 BESKRIVELSE AV INDIKATOREN Definisjon av indikatoren Begrepsavklaringer Begrunnelse, referanse, evidens Type indikator Indikatoren uttrykker (eventuelt aktuelle grenseverdier) METODE FOR INNSAMLING OG BEARBEIDING AV DATA Indikatorpopulasjon Inkludert populasjon Ekskludert populasjon Teller Nevner Datakilde (kilde og måte som denne indikatoren (data) hentes fra) Bearbeiding, aggregering og rapportering av data TOLKNING, PRESENTASJON OG BRUK AV RESULTATER Indikatoren brukes som (for hvilken instans) Underliggende faktorer som kan forklare variasjoner . Analyse og presentasjon av data

Prosessens tredje steg 1)Lage sammenstilling – hjelp til å se sammenheng mellom fokusområde, indikatorforslag og datatilgang 2)Evaluere om indikatoren er egnet til å si noe om fenomenet Er kravene tilfredsstilt (Skjema til hjelp?) Teste innsamling, rapportering og tolking i pilotgruppe Gå gjennom måten vi jobbet på!

1) Oppsummering i fase3 Fokusområde Foreslått indikator Datakilde/ eksisterende spørsmål Nye spørsmål?

Vurdering ref krav i fase 3 Testkriterier/ Indikator Indikator X Indikator Y Er det vi måler viktig og relevant Ja, fordi…. Ser vi forbedringspotensiale, og vil indikatoren vise endring Ja Belyser indikatoren kvalitet på tjenesten ? Ja, virkningsfull og utnytter ressursene Kan den brukes som styringsredskap ? Gir indikatoren brukerne informasjon om tjenesten ? Kan data entydig registreres og forstås? Teller: Nevner: Kan tjenesteytere sammenliknes ? Ja, men ta hensyn til …. Type indikator Overordnet/lokal Struktur, prosess, produkt, resultat Begge nivå Resultat og produkt Datakilde: Registreres i dag? Spørsmål må endres? Nytt spørsmål? KOSTRA Utregning må endres Bruke eksist. spm

Mulige datakilder til indikatorer Registreringer i KOSTRA Statistikk om samferdsel og trafikk bygg Offentlig rom/uteareal IKT Offentlig planlegging Internasjonale data/arbeid som kan benyttes?

Muligheter og begrensninger Er ingen absolutt sannhet Det er et verktøy – ikke et mål i seg selv Kanskje må den tolkes i lys av flere opplysninger Må tolkes i den sammenheng den hører hjemme

Hensyn ved offentliggjøring Krav til kvaliteten på data er høyere Begrensninger ved bruk av data må være tydelig Tolkninger kan skape ”falsk positive” og ”falsk negative” bilder av tjenesten Form og innhold av publiserte tall må tilpasses aktuelle målgrupper og formål