Kvalitetsindikatorer for enhver pris? Hvor velegnet er dagens norske og utenlandske indikatorer for kommuner og sentrale myndigheter? Einar Bowitz

Innhold Hva er en kvalitetsindikator? Kvalitetsindikatorer for Skole og for Pleie- og omsorgstjenester i Norge og utlandet Hvordan brukes indikatorene Hva er en god indikator? Hvor egnet er de norske indikatorsettene? Hva bør skje? 2 4. april 2017 2

Kvalitet og kvantitet Kvalitet defineres ulikt Generell definisjon: Hvor godt er tjenesten egnet til å tilfredsstille målet med tjenesten brukernes behov tekniske og faglige krav Mange kvalitetselementer  mange indikatorer Struktur  Prosess Produkt/tjeneste  Resultat Struktur  Prosess  Resultat Også ”gamle” KOSTRA-indikatorer måler kvalitet (strukturkvalitet) Skillet mellom kvalitet og kvantitet er ofte mer til bry enn til nytte 3 4. april 2017 3

Internasjonalt-Pleie og omsorg (PO) Objektive indikatorer vanlig i den norske spesialisthelsetjenesten Lite fokus på PO i internasjonale sammenligninger av indikatorer. OECD-landene fokuserer indikatorarbeidet i PO på objektive medisinske indikatorer Begrenset materiale på internasjonalt nivå Man henviser til arbeidet med indikatorer innenfor rammen av Residential Assessment Instrument (RAI) Individdata for funksjonsevne, medisinsk tilstand og behandlingstiltak Jf IPLOS 4 4. april 2017 4

Et svensk eksempel Sveriges Kommuner och Landsting (2007) Kvalitetsindikatorer for eldreomsorgen på kommunenivå God behandling 5 medisinske indikatorer (fallskader, ++) Service Andel enerom med dusj Personellet Andel med pleierutdanning, turnover Kostnad Avvik fra standardkostnad,++ Innhold Andel 80+ som mottar hjemmetjeneste, særskilt bolig. Brukerundersøkelser gjøres, men er ikke standardiserte 5 4. april 2017 5

Norge-P&O KOSTRA Effektiviseringsnettverkene (KS) Kommunehelseprofiler Mye strukturindikatorer. Andel enerom, andel med tidsbegrenset opphold i institusjon, personaldata, lege/fysioterapitimer per person i sykehjem. Ressursindikatorer er der fra før Effektiviseringsnettverkene (KS) Frivillig (ca 50 i pleie og omsorg) Mål å gi et helhetlig bilde av sektoren i kommunen Brukerundersøkelser Objektive/administrative data (saksbehandlingstid, innvilgelsesandel, mm) Benchmarking Kommunehelseprofiler Mye Kostra-data og annen SSB-statistikk TNS-Gallup – nasjonale brukertilfredshetsundersøkelser (utvalg) IPLOS – men indikatorer må defineres Oslo Kommune – eksempel på objektive indikatorer 6 4. april 2017 6

Krav til tjenesteindikatorer Validitet – måler det den skal måle Enkel å tolke Målingspålitelighet Påvirkbar – og at ikke utenforliggende forhold påvirker indikatoren Tidlig varsel Billig å lage Helhetlig indikatorsett 7 4. april 2017 7

Vurdering P&O KOSTRA Effektiviseringsnettverk TNS-Gallups tilnærming Ikke helhetlig siden det ikke er resultatmål der Mangler en del strukturinformasjon som ventetid, tilgjengelighet mm Dekker alle kommuner – nasjonale data Effektiviseringsnettverk Helhetlig. Balanse mellom brukerundersøkelser, adm data og KOSTRA-data Analytisk gjennomtenkt mht struktur, prosess og resultat. Gode veiledere til brukerundersøkelser MEN: Frivillig og gir ikke nasjonal styringsinformasjon TNS-Gallups tilnærming Utvalgsundersøkelse Litt uryddig mht bruker/pårørende/borger. Bare for nasjonale data 8 4. april 2017 8

Internasjonalt - Utdanning Stor politisk oppmerksomhet på OECD/EU-nivå og nasjonalt nivå Mye indikatorbruk Knyttes direkte opp mot politiske mål Ikke skille mellom kvalitetsindikatorer og andre indikatorer Indikatorene presenteres i en grundig faglig og politisk sammenheng Education at a glance er på mer enn 400 sider. PISA – også omfattende og grundig. OECD har mål og drøfting av mål som er mer generelle og allmenne enn det som er tilfelle i EU EU-arbeidet nært knyttet opp mot politiske prosesser og politiske mål En del av målene i EUs opplegg man ønsker indikatorer for er så vage at virker lite meningsfullt å lage indikatorer. 9 4. april 2017 9

Norge – utdanning: Skoleporten Skoleporten synes å jobbe langs lignende linjer som OECD og EU. Indikatorer: Ressursbruk Strukturdata Mye resultatdata Karakterer Nasjonale prøver Grunnskolepoeng Gjennomføring Ikke skolebidragsindikatorer Elevundersøkelsen Ikke foreldreundersøkelsen (som er frivilling, men som mange skoler gjennomfører) Ikke alle svar fra elevundersøkelsen Tekniske begrensninger på portalen Godt dekkende indikatorsett for ressurser, strukturkvalitet, prosesskvalitet og resultater (læring). Utdanningsspeilet er et hjelpemiddel Samlet mye positivt 10 4. april 2017 10

Norge-Utdanning-Øvrig PISA m fl. Treårig analyserapport Belyser endring i gjennomsnittlig prestasjon over tid Gyldige sammenligninger med andre land Bare form av en rapport Dette er analyse, til forskjell fra statistikk/indikatorer KOSTRA Mye overlapp med Skoleporten Behov for klar arbeidsdeling KOSTRA/Skoleporten Mange flere skoleindikatorer i KOSTRA kan være kvalitetsindikatorer Men igjen – ikke noe behov for skarpt skille GSI/VIGO I hovedsak leverandør til andre portaler. 11 4. april 2017 11

Utdanning-vurdering Skoleporten: Helhetlig og bredt dekkende. Hjelp til tolkningen gjennom en årlig situasjonsrapport. Obligatorisk gjennomføring og sentraliserte prosedyrer for spørreundersøkelser er positivt Savner: Metodisk drøfting av hvilke mål indikatorene kan si noe om og hvilke mål de ikke kan si noe om. Spredningsdata Data for sammenhenger med bakgrunnskjennetegn Lesetest Skolebidragsindikatorer Foreldreundersøkelsen/mer info fra elevundersøkelsen 12 4. april 2017 12

KOSTRA-1 KOSTRA har et analytisk opplegg som ikke følges Struktur – prosess – produkt – resultat Det er stort sett de første som benyttes Feil å kalle dette kvalitet mens det andre er noe annet Heller: Tjenesteindikatorer Hvor godt dagens KOSTRA uttrykker hvor gode tjenestene er, varierer: Tekniske tjenester: Mye bra, men kan gjøre mer Skole: Mye bra, men vurder grenseflaten mot Skoleporten Pleie og omsorg: Mer brukerundersøkelser. IPLOS lovende. Barnehage: Mer brukerundersøkelser. Sos & Barnevern – for vanskelig med resultatindikatorer? Kirke, kultur, planlegging: Vanskelig – stopp her? Samferdsel: En del bra objektive indikatorer. Databank – ingen kvalitetsportal 13 4. april 2017 13

Sentrale myndigheter Nasjonale portaler for P&O og barnehager også, på samme måte som Skoleporten? Behov for standardiserte brukerundersøkelser og nasjonale tall Behov for tilstandsrapport på flere felt?  Staten må ta styringen Videreutvikling: Mer bruk av objektive indikatorer Utvikle indikatorer basert på IPLOS Mer sofistikerte indikatorer (spredningsmål, korrelasjoner) basert på eksisterende data 14 4. april 2017 14

Kommunen Tjenesteindikator – Glem skillet kvalitet – kvantitet Knytte indikatorene opp mot politiske eller andre mål for tjenesten Helhetlige indikatorsett kan man få i bedrekommune.no Skole og PO peker seg ut I mange sektorer bør man ikke forsøke en gang Pga frivillighet Vanskelig å benchmark’e? Er gjennomføringen av brukerundersøkelser og datainnsamling enhetlig? Tolkning av indikatorsett – mer ressurser på det? Videreutvikling: Som for staten Samarbeide mer med staten? 15 4. april 2017 15