Kvalitet i KOSTRA-rapporteringen

Presentasjon om: "Kvalitet i KOSTRA-rapporteringen"— Utskrift av presentasjonen:

1 Kvalitet i KOSTRA-rapporteringen
Anne-Britt Svinnset Statistisk sentralbyrå Kvalitet er viktig for SSB. MMI-undersøkelse: Folk har tillit til SSB Det er viktig for oss at folk kan stole på de tallene vi utgir. Men det avhenger ikke bare av oss, men også av de som leverer tall til oss. Selv om vi bruker mye tid på kvalitetssjekking så er det til en viss grad slik at søppel inn gi søppel ut. For oss er det derfor viktig å forebygge dårlig rapportering, og KOSTRA kan ses som ledd i dette. Kvalitetsarbeid er satt på dagsorden som et av SSBs viktige satsingsområder. Gjennomføres på mange områder etter en felles modell, som også er benyttet i mange andre lands statistikkbyråer. Vi har også begynt en gjennomgang av KOSTRA etter samme metodikk.

2 SSBs kvalitetsarbeid Kvalitet på sluttproduktet
Prosessen som leder fram til sluttproduktet Sluttproduktet = statistikken Prosessen: Fokusere på alle ledd i prosessen Finne ut hvor skoen trykker og forbedre der Fokusere på stabiliteten i prosessen. Ved avvik: Skyldes det grunnleggende svakheter med måten arbeidet er lagt opp på, eller er det mer tilfeldige årsaker?

3 Kvalitet på sluttproduktet
Nytteverdi for brukerne Relevans Aktualitet Kvalitet på tallene Sammenliknbare over tid og mellom kommuner Konsistente innen den enkelte kommune Idealer må veies opp mot kostnader Oppgavebyrden for kommunene Kostnader i SSB Nytteverdi for brukerne: Relevans: At brukerne trenger den statistikken KOSTRA publiserer Aktualitet: At statistikken kommer tidsnok Kvaliteten på tallene: De skal ikke bare være riktige, men de skal også være rapportert etter en felles standard, slik at de blir sammenliknbare over tid og mellom kommuner De skal også være konsistente innen den enkelte kommune – eks. lønnsutgifter på en funksjon henge sammen med personelltall på funksjonen Kvalitet på tallene - viktig: Storparten av den systematiske tallfestingen av kommunesektoren skjer gjennom KOSTRAs datainnsamling. KOSTRA står derfor sentralt når det gjelder å ”diagnostisere” tilstanden i kommunene. Tallene brukes i statlig styring av kommunenesektoren som helhet, og i noen tilfeller også ovenfor enkeltkommuner Tallene brukes i kommunenes egen styring Vi publiserer veldig detaljerte tall, dvs. at feil ikke skjules ved ”de store talls lov” slik som i publisering av nasjonale tall Idealer vs. kostnader: Sektorene (i kommunene og sektordepartementene ønsker mye statistikk om egen virksomhet, mens samordningsrepresentantene (fra kommunene og i KRD) fokuserer på oppgavebyrden. Årlig debatt i Samordningsrådet - balanserer forhåpentligvis disse to hensynene. Kan også tenke nytte/kost – representant fra Hole (som har tatt i bruk KOSTRA-tall i egen styring) sa at kommunen gjerne rapporterer to ganger i året dersom SSB publiserer to ganger i året.

4 Hvem er brukerne? Allmennheten Media Næringslivet
Forvaltning og planlegging (sentralt og lokalt) Forskning og undervisning Internasjonale organisasjoner SSB skal dekke alle brukeres behov – denne lista er sakset fra vårt utkast til ny strategiplan Det er særlig fokusert på noen brukergrupper i KOSTRA – de deltar i Samordningsrådet og arbeidsgruppene. Kommunerepresentanter/KS, fagdepartementer og KRD er alltid med, dessuten en del andre i enkelte grupper. SSB har aldri før hatt så bred og systematisk kontakt mot disse brukerne – det gir oss mye KOSTRA skal treffe mange typer brukere, bl.a. 434 nokså ulike kommuner. De er ulike mht. geografi, økonomi, ”problembilde” osv. og mht. intern organisering. Men kan gjøre seg refleksjoner om at: Det er en umulig utfordring for kommunerepresentantene i KOSTRA å dekke alle kommuner på en skikkelig måte Og selv om de skulle greie det vil det være en umulig oppgave for KOSTRA å imøtekomme alle forventninger.

5 Hva mener brukerne om KOSTRA?
Statskonsult: Undersøkelse blant de 25 første kommunene ( NITO: Spørreundersøkelse med svar fra nesten 100 kommuner Hva mener brukerne? Det vet vi lite systematisk om. Mange enkeltinntrykk – arbeidsgrupperepresentantene, de som kontakter oss, og de som har brukt KOSTRA og holder innlegg på konferanser som denne (=gjerne entusiastene) Men hva med den store mengden av kommuner? Statskonsults undersøkelse av de 25 første kommunene, som nå har 3 årganger med data. Kommunal rapport: NITOs spørreundersøkelse (Norsk ingeniørorganisasjon) SSB håper at evalueringen som KRD vil få gjennomført i år skal gi nyttig tilbakemelding

6 Statskonsultrapporten
2/3 har brukt KOSTRA ved utarbeiding av styringsdokumenter 4 kommuner har ikke brukt KOSTRA Særlig brukt innen helse, sosial og skole Mest bruk av tall for egen kommune, mindre bruk av sammenlikningstall 70% i hovedsak positive til KOSTRAs nytteverdi Usikkerhet om datakvalitet begrenser bruken Jeg har nettopp fått rapporten, og ikke finstudert den. Men jeg har plukket ut enkelte konklusjoner som jeg bet meg merke i. Jeg kunne sikkert tatt med flere. Rapporten viser hvor mange av de 25 kommunene som har benyttet KOSTRA-tall på ulike bruksområder. Jeg har sakset noen av konklusjonene: 2/3 ved utarbeiding av styringsdokumenter 4 ikke brukt KOSTRA i det hele tatt Særlig tall for helse, sosial og skole Mest bruk av tall for egen kommune – mindre bruk av sammenlikningstall Ikke så verst? Rapporten gir også noen vurderinger av KOSTRA: Stor andel som i hovedsak er positive til KOSTRAs nytteverdi Viktig: Tilliten og bruken begrenses av usikkerhet om tallkvaliteten. Det gjelder både: Kvaliteten på kommunenes rapportering En del svakheter i KOSTRA som begrenser kvaliteten, f.eks.. er det nevnt at: Funksjon 120 blir ført på ulik måte KOSTRA-tall belyser kvantitet, men ikke kvalitet Registrering av interkommunalt samarbeid Rapporten gir mye mer informasjon enn det lille jeg har plukket fra her – den er på 25 sider pluss vedlegg, og jeg anbefaler alle å lese den.

7 NITOs undersøkelse ”Ingeniørene er skeptiske til KOSTRA
Ingeniører i kommunene mener nytteverdien av KOSTRA-rapporteringen er for liten” Arbeidskrevende rapportering Halvparten mener at KOSTRA fungerer i forhold til overordnede målsettinger 70% mener at ”systemet vil være positivt for utviklingen innen kommunesektoren” Denne har jeg ikke fått ennå. Dette er hentet fra Kommunal rapports artikkel i forrige uke. Det er altså ca kommuner som har svart på en spørreundersøkelse. Overskrift og ingress gir jo et ganske negativt inntrykk. Men lenger nede i artikkelen får vi et mer nyansert inntrykk: Rapporteringen er for arbeidskrevende, de mener også at det foregår dobbeltrapportering Men resultatene får mer positive vurderinger Så langt om sluttproduktet. Jeg mener det er viktig å sette fokus på sluttproduktet, og hvordan det skal forbedres. At det blir godt nok, og at det blir brukt av de det er beregnet på er det viktigste målet på om KOSTRA er vellykket. Nå over til den prosessen som skaper sluttproduktet.

8 Prosessen fram til sluttproduktet
Gjennomgå prosessen. Forberede rapportering og publisering: Arbeidsgruppene, Samordningsrådet I resten av innlegget: Fokus på resten av prosessen, og mest på kommunenes rolle i kvalitetsarbeidet.

9 Kommunenes rapportering legger hovedgrunnlaget for tallkvaliteten
Rapportere riktig og fullstendig Rapportere i tide Følge opp ev. feil Mest mulig av kvalitetskontrollen bør skje før innsending til SSB Vi ønsker at mest mulig av kvalitetskontrollen skal skje i kommunene – før vi får tallene. Flere årsaker: 15.3.-publiseringen bør være så god som mulig – tanken er jo at disse tallene skal brukes! Mange feil er av en slik type at SSB aldri vil kunne oppdage dem. Det kreves ofte lokalkunnskap for å se at det må være noe galt. Uansett hvor mye arbeid vi legger i kvalitetskontroll, så vil det alltid til en viss grad være slik at søppel inn gir søppel ut. For oss er det derfor viktig å forebygge dårlig rapportering.

10 Forberede rapportering
Teknisk tilrettelegging Veiledningsmateriell og opplæring Forberedelsen omfatter: Teknisk tilrettelegging – Elektronisk rapportering og publisering krever mye, og jeg skal ikke gå nærmere inn på det her. Tilrettelegging av veiledningsmateriell og opplæring av de som skal rapportere. Viktig – kommunenes rapportering legger grunnlaget for kvaliteten.....

11 Tilrettelegging for kommunenes kvalitetsarbeid
Informasjonspakke 1. november Opplæring/veiledning i regi av regional stat Kontroller/funksjonalitet i elektroniske skjemaer Kontrollprogrammer for filuttrekk Veiledning ved innsending KOSTRA-Support – tekniske spørsmål Regional statsforvaltning – faglige spørsmål Overvåkingssidene på Internett Vi legger mye arbeid i å tilrettelegge for kvalitetsarbeidet i kommunene. Idealet er at de rapportene vi først mottar skal ha god kvalitet. Men det er et stykke fram – vi mottar mye rart. Det som står på denne lista er sikkert ganske kjent stoff for dere – jeg skal likevel bruke litt tid på det. Informasjonspakken regner jeg med at dere kjenner. RS har fått en viktig rolle med opplæring og veiledning RS opplæring –SSB har deltatt. Våre folk hatt glede av det – nyttig å møte kommunene ansikt og få en følelse av hvordan rapporteringsopplegget mottas. RS veiledning ved utfylling av skjema – SSB mottar fortsatt masse telefoner, ofte fra fagansvarlige i kommunene. Vi spør gjerne om de har ringt RS – i mange tilfeller vet de ikke at det er RS som er førstelinje tjeneste, eller de vet ikke hvem som er kontaktperson i RS. Det kan selvfølgelig skyldes at KOSTRA-ansvarlig i kommunen ikke har gjort en god nok jobb med å informere. RS opplæring i bruk av publisering: Ikke tema i mitt innlegg, men innmari viktig. Jeg tror at kvaliteten på innrapporteringen først blir god hvis de som rapporterer selv bruker tallene og ser viktigheten av kvalitet. Jeg skal gå litt nærmere inn på ELS og kontrollprogram, og på vår veiledning ved innsending.

12 Elektroniske skjemaer
Ser ut som et papirskjema på skjerm Mye ekstra funksjonalitet, f.eks.: Forhåndsutfylte felter Obligatoriske felter Gitte svaralternativer (spesifikke for den enkelte oppgavegiver - f.eks. institusjonslister) Automatisk summering av felter Veiledning kan hentes opp Logiske kontroller PC i stedenfor papirskjema. Revolusjonerende? Utseendet nokså likt papirskjema. Men mye funksjonalitet som ikke finnes i papirskjemaer: Forhåndsutfylte felter (kommunenavn, kommunenr. og adresse hentes opp for den enkelte kommunen) Obligatoriske felter Gitte svaralternativer, spesielle for hver enkelt kommune. Institusjonslister - organisasjonsnummer Veiledning Automatisk summering av felter Logiske kontroller f.eks. på at et felt ikke er utfylt med større tall enn et annet. Når det fylles ut feil, vil utfylleren få feilmelding med en gang. Forenkle utfylling. Flytte kontroller fra SSBs revisjon til den som fyller ut skjema. SSB kan bruke sine ressurser til mer avansert kontrollarbeid – Torild vil si mer om dette. Fordel for kommunene også, de kan rette feilen under utfylling, og slippe å få en henvendelse fraSSB måneder etterpå, og da måtte rekonstruere hva de egentlig gjorde under rapporteringen. Vi har på langt nær utnyttet alle muligheter i ELS ennå. Vi utvikler skjemaene etter hvert som vi får erfaring.

13 Filuttrekk fra kommunenes fagsystemer
Gjenbruk av data som finnes elektronisk Nøyaktig filbeskrivelse Kontrollprogram - feil rettes før innsending. Samarbeid med fagsystemleverandører Gjenbruk av data som finnes elektronisk. Etter hvert som kommunene får fagsystemer på flere områder kan bruken av filuttrekk bli mer omfattende. Filbeskrivelse som nøyaktig beskriver fila vi skal motta. Kontakt med fagsystemleverandørene. Våre krav tilpasses deres ønsker (om mulig) Konvertering, f.eks. fra fra internregnskap Tilrettelegging av fagsystemene, slik at de kan gi de data vi trenger - (fordeling av lønn eksempel). Leverandørene er positive. Kontrollprogram kan lastes ned fra Internett, slik at en del typer feil kan lukes ut før innsending. Tidligere år: En kommune sa at ”Kontrollprogrammene veldig vanskelige å bruke, men veldig nyttige når vi først fikk det til” Vi har gjort mye arbeid med å forenkle brukergrensesnittet, og også hatt et eget møte med fagsystemleverandørene om dette.

14 Kontrollprogram Eks. på absolutte kontroller er:
Feil oppbygning av fila; feil årgang, ugyldige funksjoner, arter Balanse i regnskapet Eks. på kontroller som kun gir varsel: Enheten har ikke avskrivninger Interne overføringer balanserer ikke Eksempel fra kontrollprogram for regnskap: To typer kontroller: En type kontroll varsler feil som betyr at regnskapsrapporten vil bli avvist i SSBs mottak. En annen type kontroll gir feilmelding, men medfører ikke at regnskapet avvises.

15 Innkomne skjemaer legges i en mottakskø.
Her kan man bare se at det er mottatt, det er ikke kontrollert for ev. feil i innholdet. Slike kontroller blir i praksis kun gjort for regnskapet – der kjøres de samme kontrollene som i kontrollprogrammet. Rapportene blir liggende en stund i mottakskøen. Det har to årsaker: Vasking (dvs. rette opp feil som ikke har noe med datainnholdet å gjøre – EDI-format, ELS-format o.l.) Lastetider inn til SSB – store datamengder – på det verste flere dager. Kommunene må sjekke disse sidene – at skjema kommer fram og at det blir godkjent. Og ev. ringe KOSTRA-support dersom de ikke finner ut av det.

16 Her er lista over godkjente rapporter.

17

18 Tallkontroll i SSB før publisering
Regnskapskontroller i mottaket (de samme som i kontrollprogrammet) Kontroll for grove feil i regnskapet (delvis manuell) That’s all!

19 Etter publiseringen 15.3. bør kommunene:
Sjekke nøkkeltallene! Kontakte oss dersom noe er åpenbart feil, og de ikke finner ut av det. Sende oss opprettede rapporter innen 15. april. Kontakte KOSTRA-support før innsending. SSB reviderer i perioden – 1.6. Opprettede nøkkeltall publiseres 15.6. Sjekke nøkkeltallene! Feil blir ofte veldig synlige når teller og nevner settes sammen. Eks: Kommafeil i regnskap – 12. mill. i utgifter per år per skoleelev Eks: Ikke alle institusjoner har rapportert tjenesteskjema – tjenestetall/regnskapstall gir feil i nøkkeltallet Kontakte oss Vi kan (i begrenset omfang) sende beregningen på e-post, med alle grunnlagsdata i. Send oss opprettede rapporter Datoen 15. april er viktig for å unngå problemer med versjonshåndtering i forhold til SSBs kontrollabeid SSB reviderer i perioden – 1.6. Da må kommunene være forberedt på å motta lister med feil/mistenkelige tall som vi forventer rask respons på. Opprettede nøkkeltall publiseres 15.6.

20 Konklusjon Kommunenes kvalitetsarbeid knyttet til rapporteringen er helt sentral Bruk av tallene motiverer til kvalitetsarbeid SSBs rolle består i å tilrettelegge for kommunenes kvalitetsarbeid SSB har også et selvstendig ansvar for kvaliteten på publiseringen. SSBs revisjonsarbeid må supplere kommunenes kvalitetsarbeid