Fagsystemer – arkivuttrekk og overføring til arkivdepot

Presentasjon om: "Fagsystemer – arkivuttrekk og overføring til arkivdepot"— Utskrift av presentasjonen:

1 Fagsystemer – arkivuttrekk og overføring til arkivdepot
Børge Strand Daglig leder IKA Øst Stange rådhus,

2 Plan for foredraget Kort om IKA Øst Definisjoner og begreper
Litt historikk – den digitale utviklingen i offentlig sektor Arkivdepotets rolle og perspektiver Bevaring/kassasjon Arkivuttrekk og arkivpakker Tekniske krav og dokumentasjon Tilgjengeliggjøring Eksempler… Vi tar en pause etter ca. halvgått løp

3 Om IKA Øst Stiftet løpende drift fra Eiere er Hedmark fylke og Hamar, Stange, Løten og Ringsaker Styrende organer: Representantskap og styre – bindeleddet til eierne Digitalt arkivdepot fra oppstart – og på lengre sikt – også depot for papirarkiver Databehandleravtaler med alle eiere Leier kontorplass av Statsarkivet i Hamar Leier digital lagringsplass av Hedmark fylkeskommune Infrastruktur for å håndtere digitalt arkivmateriale – herunder kompetanse Vi jobber for å få egne lokaler med plass for papirdepot og flere medarbeidere Vi jobber for å rekruttere flere medlemmer

4 Definisjoner og begreper
Elektronisk arkivmateriale Arkivmateriale som er skapt elektronisk – dvs. ingen papirbasert versjon som ‘backup’ Elektronisk arkivmateriale og digitalt arkivmateriale brukes synonymt I stor grad personregistre, dvs. det er klausulert og kan ikke publiseres før tidligst etter 60 år, jf. tilgjengeliggjøring senere Dessverre er det mye analog tenkning – ikke minst i arkivsektoren ‘EDB til fots’ – ‘strøm på papiret’ - ‘NAVs digitale steinalder’ Et fornøyelig kåseri om dette finnes her

5 Definisjoner og begreper forts.
Arkivenes livssyklus arkivdanningsfase – (bortsettingsfase) - depotfase Arkivverdig knyttet til arkivdanningen og arkivbegrensning, dvs. bare det som er ‘arkivverdig’ skal inn i arkivet, ‘arkivuverdig’ materiale skal aldri inn i arkivet (ikke det samme som kassasjon) Bevaringsverdig arkivmateriale som skal overføres til arkivdepot for oppbevaring og bruk etter en bevarings- og kassasjonsvurdering - ‘i evighetens perspektiv’, mao. at noe er arkivverdig, betyr ikke automatisk at det også er bevaringsverdig Proveniensprinsippet Arkivforskriften § 5-4 ‘(…) den opphavlege orden og indre samanhengen (…)’ - den struktur og orden et arkiv hadde mens det var i aktiv bruk eks. fagsystem – ER-diagram brudd med proveniensprinsippet er ikke akseptabelt Dokument - eks. ‘logisk avgrensa informasjonsmengd’

6 Historikk Folke- og boligtellingen 1960
Folkeregisteret fra 1964 (‘indrefileten i den digitale kulturarven’) I løpet av 1960-tallet ble en rekke elektroniske, administrative registre tatt i bruk i offentlig forvaltning Omfattende datautveksling og datagjenbruk av (grunnlags)data - om personer, eiendom, juridiske enheter mm Nasjonale ID-nøkler (fødselsnummer, organisasjonsnummer, numerisk adresse m. fl.) M.a.o. – digitalisering har foregått siden 1960-tallet Det skal også sies at mye av dette er bevart (Riksarkivet) FOB60 – FOB90, mye fra SKD, fra RTV/NAV, fra politiet, fra Kartverket osv.

7 Hovedgrupper av digitalt arkivmateriale
Internadministrative systemer Journalførings-/sak/arkivsystemer (NOARK) Andre internadministrative systemer (regnskap, lønn, personal, tidsregistrering mm.) Registre/fagsystemer nasjonale/etatsvise administrative registre forskningsregistre statistikkregistre støttesystemer for spesielle typer saksbehandling f.eks. i kommunal sektor (barnevern, helsetjeneste, eldreomsorg, skole, barnehage, naturforvaltning, bygg og eiendom, sosialtjeneste osv.) generelt - omfattende datautveksling og gjenbruk alle systemene inneholder strukturerte data – tabeller, felt, rader og celler - som i mange papirbaserte kildetyper Andre

8 Eks. Ligningsregisteret fra Skattedirektoratet
Årlige datasett fra 1967, eks. årgang 1970 Populasjon er alle personlige skattytere det enkelte inntektsår Demografisk informasjon Inneholder en rekke inntekts-, formue- og skattebeløp Registeret dokumenterer opptjening av pensjonsrettigheter, danner grunnlag for forskuddsutskrivning m.m. Koblingsnøkler: fødselsnummer, rekkefølgenummer, kommunenummer Dataflyt fra Ligningsregisteret til Det Sentrale Folketrygdsystem – DSF - (NAV): Årlige tabeller med fødselsnummer, kommunenummer og kronebeløp for pensjonsgivende inntekt Skattelistene er produsert på grunnlag av Ligningsregisteret Ligningsregisteret er primærkilden både for skattelistene og for historikken i DSF To bevaringsvedtak – hhv og 2002 1984 – hver femte årgang bevares (1967, 1970, 1975, 1980, 1985) hver årgang bevares f.o.m Stor etterspørsel fra publikum – eks.

9 Arkivdepotets rolle og perspektiver
Samfunnsoppdraget - bevare vår felles ‘hukommelse’ ‘Evighetens perspektiv’ – det vi bevarer i dag, skal gjenfinnes og brukes om hundrevis av år Ingenting er bevart før det er trygt plassert i et arkivdepot Kartlegging – hva finnes ‘der ute’ - i dag? BK-vurdering Innhente arkivuttrekk (‘arkivpakker’ ) fra systemer med bevaringsverdig informasjon Registrere, kvalitetsikre og dokumentere uttrekk Lage tekniske metadata (ADDML-fil og ER-diagram) Samle dette i nye arkivpakker som forsegles med sjekksummer Sikker lagring av akivpakkene Behandle brukerforespørsler - tilgjengeliggjøring

10 Fra arkivdanning til publikum

11 Dokumentasjonsverdi - informasjonsverdi
Vi skiller gjerne mellom arkivmaterialets DOKUMENTASJONSVERDI og dets INFORMASJONSVERDI Jf. Arkivloven § 1: Føremålet med denne lova er å tryggja arkiv som har monaleg kulturelt eller forskingsmessig verde eller som inneheld rettsleg eller viktig forvaltningsmessig dokumentasjon, slik at desse kan verta tekne vare på og gjorde tilgjengelege for ettertida. Dokumentasjonsverdi: Hva kan materialet fortelle om arkivskaperen og opphavssituasjonen? Informasjonsverdi: Hva kan materialet fortelle om samfunnsforhold, personer, begivenheter etc.? Eks. Folketellinger, kirkebøker, tinglysningsmateriale –

12 Bevaringsvurdering Arkivloven, § 1: ‘kulturell og forskningmessig verdi’ er sidestilt med ‘rettslig eller forvaltningsmessig dokumentasjon’. Den forskningsmessige verdien er evigvarende, mens den rettslige eller forvaltningsmessige KAN være tidsbegrenset Arkivforskriften, § Bla. bevaringspåbud, bokstav e) og f) alle andre former for register og hjelpemiddel som kan brukast til framfinning – særlig denne kan gjelde for mange fagsystemer Prinsipper og retningslinjer. Riksarkivarens hovedprinsipper og Bevaringsutvalgets rapport – formål F-1 til F-4 med tilhørende kriterier + tilleggskriterier (‘sjekkliste’) Riksarkivarens forskrift Fagspesifikke bestemmelser i IV. Bevarings- og kassasjonsbestemmelser for fylkeskommunale og kommunale arkiv skapt etter En rekke konkrete bestemmelser, men generelt meget analogt og papirbasert utformet (eks. oppvekst) Veiledning til BK-bestemmelsene. Det finnes også en rekke konkrete bevarings- og kassasjonsvedtak – enkeltvis: Arkivverkets nettside (mye er riktignok basert på papirbaserte arkiver, men det må sjekkes om det allerede finnes vedtak, og at man faktisk ikke kasserer noe som er vedtatt bevart!). Også mulig å finne kassasjonsfrister her. Når BK-vurderingen ender opp med ‘bevares for ettertiden’, skal informasjonen overføres til arkivdepot

13 ‘Hva skal vi bevare fra kirkeboka?’
Ingen ville finne på å stille et slikt spørsmål – vi bevarer hele kirkeboka ‘Hva skal vi bevare fra fagsystemene’? Situasjonen er helt parallell for fagsystemer/registre som for kirkeboka: Svaret er at vi bevarer alt – alle tabeller og alle felt, også tomme tabeller Noe annet vil være brudd med proveniensprinsippet ‘Alt henger sammen med alt’ Vi ville også svekke autentisiteten hvis vi ikke tok med alt – alle tabeller og felt utgjør en samlet og helhetlig kontekst Primærkilden har størst beviskraft ‘Plukk-kassasjon’ har aldri vært greit -risikoen er stor for å kassere vitale deler Dessuten – med hvilken hjemmel kan vi kassere deler av et fagsystem? SATS – ADDML Bevaring gjelder hele systemer Kassasjon gjelder hele systemer Når skal vi ta uttrekk? Mange fagsystemer har en naturlig periodeinndeling Over tid byttes både systemer og leverandører ut IKA Øst sin praksis er å ta uttrekk når et system avsluttes og erstattes av et nytt ‘Periodisering’ av fagsystemer er et begrep som skurrer Vi må uansett ta et endelig uttrekk når oppdateringen er avsluttet

14 Overføring til arkivdepot - arkivpakker
Pakkevarianter (iht. OAIS-standarden): SIP – Submission Information Package = avleveringspakke AIP - Archival Information Package = bevaringspakke, typisk i et depot DIP - Dissemination Information Package - brukspakke, dvs. tilpasset for tilgjengeliggjøring Eksempler: PPI SATS grunnskole

15 Tekniske krav til uttrekk
‘Avleveringsreglene’ Formelt sett gjelder dette avlevering til Arkivverket All mulig grunn til å følge dette også for kommunale arkivdepoter Vi skal sette dette sammen igjen Krav til teknisk dokumentasjon ADDML Vi skal også kunne sette dette sammen på nye måter (forskning) Vi MÅ opprettholde den gevinsten som følger av teknologien Hvis vi bruker ‘lenkbarhet’ som ett av argumentene for bevaring, må vi beholde denne muligheten rent teknisk Noen fagsystemer kan inneholde fulltekstdokumenter PPI, BVPro, Oskar, Marthe Noen fagsystemer kan inneholde BLOB-felt Sats skole

16 Katalogdata - teknisk dokumentasjon av arkivuttrekk
Teknisk dokumentasjon er helt avgjørende for bruk – hva de enkelte systemer inneholder, hva tabellene inneholder og hva de enkelte felt inneholder Ikke godt nok å bare ta med tabellnavn og feltnavn fra opphavssystemet ‘VSOIKFS’ og ‘GTUOLXE’ er tabellnavn som forekommer i WIS skoleadm. system ‘GSIID’ er et feltnavn i det samme systemet § 8-27.Formatkrav m.m. til den tekniske dokumentasjonen Struktur- og innholdsbeskrivelsen som skal følge med tabelluttrekk, skal være i ren tekst i godkjent tegnsett, jf § Beskrivelsen skal benytte XML-syntaks. Når XML benyttes i beskrivelsen av tabelluttrekk med tekstfiler i fast eller tegnseparert format, jf. § 8-13 bokstav a og b, skal beskrivelsen følge reglene i Riksarkivarens beskrivelsesstandard ADDML (Archival Data Description Markup Language). § 8-28.Dokumentasjon av systemet som datauttrekket er eksportert fra Det skal gis en oversikt over det opprinnelige systemets overordnede struktur, herunder relasjoner mellom tabeller og primær- og sekundærnøkler i de enkelte tabellene i systemets database. Denne oversikten kan ha form av et ER-diagram. Katalogdata – tekniske metadata – kan fritt publiseres – data og tekniske metadata lagres hver for seg Forskere og andre – må kunne se katalogen uten samtidig å se innholdet i datatabellene Men ‘noen’ må lage katalogdata – det er både tidkrevende og kompetansekrevende

17 Lagring i arkivdepot Lagres i ‘sikker sone’
Arkivmaterialet skal være autentisk Feil og mangler skal ikke ‘rettes opp’ i ettertid Arkivdanningen har aldri vært fullkommen og feilfri – vi skal ikke ha en ‘sminket’ versjon i arkivdepotet ‘Datakvalitet’ er et begrep som brukes lettvint Kildekritikken skal vurdere beviskraften i en gitt kontekst Fra produksjonsformat til arkivformat: Prinsippet er teknologiuavhengig format I aktiv, administrativ bruk har alle systemer brukergrensesnitt, skjermbilder og funksjonalitet som gjør informasjonen tilgjengelig og forståelig, og ikke minst funksjonalitet for oppdatering Ved teknologiuavhengig lagring mister vi denne funksjonaliteten Men deponert materiale skal selvsagt aldri oppdateres Vi bevarer informasjonen sammen med ‘data om data’ Tekniske metadata helt avgjørende for fremtidig bruk: ADDML og ER-diagram

18 Sperrefrister vs. tilgjengeliggjøring
Digitalt skapt arkivmateriale er ungt materiale og dermed underlagt sperrefrister Klausulert i 60 til 100 år For de eldste arkivuttrekkene nærmer det seg slutten på klausuleringstiden Eks. ‘Fellesordningen for tariffestet pensjon’ (FTP) 1962 – 1967 Arkivdepotene har samtidig et krav om å gjøre dette tilgjengelig - 1. For publikum/arkivskaperne generelt 2. For forskning spesielt Forvaltningsloven § 13 d Personopplysningsloven § 11 - Grunnkrav til behandling av personopplysninger: Senere behandling av personopplysningene for historiske, statistiske eller vitenskapelige formål anses ikke uforenlig med de opprinnelige formålene med innsamlingen av opplysningene, jf. første ledd bokstav c, dersom samfunnets interesse i at behandlingen finner sted, klart overstiger ulempene den kan medføre for den enkelte Datatilsynet om avidentifisering og anonymisering: Avidentifisering vil si at alle person-entydige kjennetegn er fjernet fra opplysningene, slik at de ikke lenger kan knyttes til en enkeltperson Anonymisering er å gjøre personopplysninger anonyme Re-identifisering skal ikke være mulig NSD – Personvernombudet for forskning

19 Tilgjengeliggjøring til tross for sperrefrister
Arkivskaperne vil ha behov for informasjon i form av en DIP (alle slike kan slettes) arkivdepotet søker opp informasjon på vegne av arkivskaper Enkeltpersoner Kontakten går via arkivskaper Forskere unntaksbestemmelser i Forvaltningsloven levere en bestilling og få utlevert en DIP med anonymiserte data de kan ikke få tilgang direkte i ‘sikker sone’

20 Humanus – eks. på forespørsel fra arkivskaper
Sosialtjenesten lokalt og fagsystemet Humanus (systemleverandør Telenor Allianse) Fagsystem som var i bruk 1998 – 2002 – alt innhold er mikrodata i strukturert form – selvsagt KLAUSULERTE data Uttrekk til IKA Øst 2014 – i siste liten, kort etterpå ‘døde’ serveren der det var lagret Uttrekket ble produsert av HIKT – tekniske metadata er produsert av IKA Øst NAV-kontoret har etterspurt dokumentasjon av utbetalingshistorikk for enkeltklienter For s.k. ‘unge uføre’ kan kommunen få tilbake penger som er utbetalt som stønad til livsopphold Dokumentasjonen er i dette tilfellet en tabell – overlevert til NAV som et regneark Grunnlaget for svaret – sammenstilling av tre tabeller og et antall felt fra hver tabell – fødselsnummer som søkebegrep Utbetalingshistorikken er det viktige her – for en av disse klientene fikk kommunen tilbakebetalt kroner

21 Fagsystemer og berøringsangst
Mange myter og feiloppfatninger om fagsystemer ‘Dette er så vanskelig’ – man vil helst ikke ta tak i det Riksrevisjonen – Dokument 3:13 ( ) S. 39 – en påstand om at kommunale systemer ikke kan avleveres. Det er feil! Arkivmeldingen – Meld. St. 7 (2012 – 2013) S. 99 – påstand om at ‘kommunikasjon mellom fagsystem, og mellom fagsystem og andre system i lang tid har vore fråværande’ Men dette er feil! datautveksling og datagjenbruk har foregått siden 60-tallet (eks. skatteoppgjøret) et stort antall registre og fagsystemer er bevart – både fra statlig og kommunal sektor Problemet er analog tenkning Selvsagt kreves det kompetanse for å håndtere dette – det finnes ingen ‘quickfix’

22 Registre/fagsystemer
En gullgruve for forskning – historieforskning og annen forskning Informasjon i strukturert form: I tabeller, rader, kolonner og celler Tilrettelagt for datautveksling og gjenbruk ved kobling – maskinell bruk Informasjon i kodet form – i stor grad tallkoder (yrke, utdanning, bosted, sivilstand …) Dette er egenskaper som gir store gevinster i forskningssammenheng Alt er klausulert og må avidentifiseres eller anonymiseres før utlevering til forskeren Lagres som ‘rådata’ i arkivdepot (og hos SSB) – dvs. vi mister opprinnelig funksjonalitet for spørring, gjenfinning, prosessering Men som forskere vil vi uansett stille nye og andre spørsmål til materialet - ikke gjenta arkivskapers spørringer og bruk

23 Forskningens etterspørsel og bruk
Stor og økende etterspørsel etter mikrodata fra registre – alltid informasjonsverdien som etterspørres SSB tilrettelegger og distribuerer mikrodata til forskere – avidentifisert eller anonymisert Ingenting av dette kommer fra registre/fagsystemer som er ‘godkjent’ av Riksarkivaren Ingenting har vært gjennom arkivdanning detaljregulert av Arkivverket Ingenting av dette datagrunnlaget har vært innom arkivinstitusjoner og fått et stempel som ‘autentisk’ Ingenting av dette datagrunnlaget er forseglet med sjekksummer Likevel brukes det – og tilliten til registermaterialet er stor SSB og forskerne selv kvalitetssikrer datagrunnlaget og vurderer beviskraften, feilmarginer etc. - øver kildekritikk

24 Informasjonsverdien i registre
Egnet for å avdekke strukturer, mønstre, samvariasjon, endringer over tid, livsløp, geografiske variasjoner m.m.m. Også brukes til enkeltoppslag etter mønster fra digitalisert materiale – søk etter en og en person (slektsforskning) Hvis enkeltoppslag blir den eneste form for bruk, er det en skrøpelig utnyttelse av registermaterialet Forskere etterspør registermateriale ‘skreddersydd’ for et gitt forskningsprosjekt – (DIP) - data om grupper/populasjoner, i tabellform for maskinelle analyser Forskere vil ikke søke opp en og en opplysning

25 Mikrodata - hva menes? Data på individnivå om f.eks. enkeltpersoner eller enkeltforetak Mikrodata finnes i store mengder i digitale registre og fagsystemer som utgjør ca. 75 % av det digitale arkivmaterialet ID-nøkler: fødselsnummer, familienummer, organisasjonsnummer, numerisk adresse m.fl. - som muliggjør datautveksling, kobling og gjenbruk av data på tvers av organisasjoner og systemer – i aktiv administrativ bruk og i forskning Uansett i hvilket system fødselsnummer ‘ ’ forekommer, så gjelder dette samme individ

26 NOARK-3-uttrekk – eks. på feil og mangler
Dubletter på primærnøkkel – manglende referanseintegritet Manglende løpenummer i saksnr. Datofelt som ikke validerer Mengder av saker som ikke er avsluttet – skal de avsluttes maskinelt? Hvem skal ‘avslutte’ dem? Mengder av dokumenter som ikke er knyttet til sak – kan disse gjenfinnes? Systemene har tillatt dette – til tross for Riksarkivarens godkjenning Dette er autentiske feil – ‘arkivdanningen er ikke perfekt’ - skal arkivdepotene kreve at feilene rettes opp?