Arne-Kristian Groven, KDRS-samling, Trondheim

Presentasjon om: "Arne-Kristian Groven, KDRS-samling, Trondheim"— Utskrift av presentasjonen:

1 Arne-Kristian Groven, KDRS-samling, Trondheim 05.06 2014
Databasebevaring Arne-Kristian Groven, KDRS-samling, Trondheim

2 For de som ikke kjenner meg, her er litt bakgrunnsinformasjon
Har 20 års bakgrunn innen IT-forskning Snart 3 år i Riksarkivet Arbeider med: Innhenting av bevaringsverdig arkivmateriale (uttrekk/SIP generering) Innovasjoner/FoU/nye metoder og verktøy

3 Hvorfor starte her? Dette er presentasjonen jeg holdt på NorDig workshop i København for to dager siden Men jeg vil bruke halvparten av tiden jeg da brukte: Det vil si en 30 minutters presentasjon på 15 minutter… For deretter å vise et verktøy som bidrar med ett steg på veien til «evig databaseliv» De siste 30 minuttene vil jeg bruke til å diskutere forbedringspotensialet hva gjelder bevaring og tilgjengeliggjøring

4 Hvorfor databasebevaring er et velegnet sted for meg å starte
Det meste av det digitale materialet vi ønsker å bevare har en databasekomponent i seg Enten databasene representerer dataene man ønsker å bevare eller de er metadataene I det danske Rigsarkivets nye depotsystem er det pr. i dag lagret 500 arkivpakker (AIPer) 90% av dette er bevarte databaser

5 Hva jeg har drevet med i det siste
Kartlegging av arbeidsprosesser og programvare for databasebevaring Dagens praksis i arkiv-Norge ”State-of-art”, internasjonalt Bruk av SIARD i prosjekter/piloter siste år: Ny metodikk for bevaring og tilgjengeliggjøring Departementsprosjektet …

6 Et eksempel på systemfloraen i en norsk kommune
Acos Bostøtte / Husbanken Epanet Habildata Kompas Overformynderi Riksgab Visma Link Agresso Capitech Ephorte HS-pro Matrikkel Pa Kirke Rita Visma oppvekst bhg. Alreg Cardinal Familia (avsluttet) Humanus (avsluttet) MD Flyktning PA Kis Sharepoint Visma oppvekst skole Aplhareg EA Driftssentral Fond 2000 InteliCAD MD Voksenopplæring Proaktiv Sofie (avsluttet) Visma Unike kulturskole ArcGis Ecclesia Fronter ISAK Micromarc (Avsluttet) Proaktiv kirkegård Sysvak Visma Velferd Arcibus Ekko innfordringssyste m G-Prog KF Infoserie Mobilprofil Procasso VA Gemini Web-basert opptakssystem Barnehage Arkivplan.no Entro Gemini KF Tjenestebeskrive lser Norkom Profil Velferd Familia WinMap (GAB) Arx Access Entry Gemini Melding King QM Notus (avsluttet) Ps GIS Visma Cultus Wintank AutoCAD Map/Lt EPA GNSS KIS Online Scale Reedsoft Visma familia Wis skole

7 Dagens status i Norge Mye bevaringsverdig digitalt skapt arkivmateriale forsvinner Systemer og deres informasjonsinnhold dør Spesielt ille for fagsystem: Register, støttesystem... VI TRENGER NOE SOM KAN BEVARE DATABASER: Effektivt! Med høy kvalitet!

8 Hvilke alternativer har vi?

9 Arkadukt/ADDML Verktøy ikke distribuert til arkivskapere

10 Dex Extractor Har av forskjellige årsaker ikke fått stor utbredelse

11 Chronos For omfattende/dyrt

12 SIARD Kilde: Save Your Databases! | Urs Meyer, SFA | ECA 2010, April 2010

13 SIARD oppsummert Veldefinert bevaringsformat, SIARD-formatet
Veldefinerte transformasjoner Normalisering fra ulike databaseplattformer (Oracle, MS SQL Server, MySQL, MS Access, DB/2) til et bevaringsformat (SIARD formatet) Fra SIARD-formatet til en databaseplattform (på SQL:1999 formatet) Velfungerende verktøystøtte, Siard Suite SiardFromDB, SiardToDB, SiardEdit (GUI)

14 Om SIARD-formatet En SIARD fil er en ZIP fil, på samme måte som DOCX og ODT filer er ZIP filer 64-bit på grunn av databasenes størrelse Bestående av XML filer Muligens også tekst og binærfiler, store objekter UTF-8 tegnsett på tekstfiler og XML filer Innholdet i SIARD-filen i henhold til SQL:1999 standarden Ikke bare syntaktisk, men også I henhold til SQL:1999 sine konsistensregler

15 SIARD Formatet: Filenes struktur
header metadata.xsd metadata.xml content schema1 table1 table1.xsd table1.xml lob1 record1.txt / record1.bin lob2 record2.txt / record2.bin table2 table2.xsd table2.xml schema2 … … File and folder names short, plain ASCII strings.

16 Dette tas vare på av SIARD
Database Schemas, Users, Roles Schemas Tables, Views, Routines Tables Columns, Rows, Keys (Primary, Foreign, Candidate) Constraints Rows data records containing primary data Views Users, Roles

17 Metadata som tas vare på av SIARD
Database level version (of SIARD format): 2.0 dbname description … schemas List of schemata in the DB users roles privileges Users, Roles, Privileges are defined in SQL:1999 and serve informational purposes. They are not required. Only on this level a minimum amount of non-technical, „archivists“ metadata may be stored. Kilde: Hartwig Thomas, Enter AG januar 2013

18 Metadata som tas vare på av SIARD
Schema level name folder e.g., schema0 description tables List of tables in the schema views routines Views and Routines are defined in SQL:1999 and serve informational purposes (representing code rather than data). They are not required. Kilde: Hartwig Thomas, Enter AG januar 2013

19 Metadata som tas vare på av SIARD
Table level name folder e.g., table0 (in the schema folder) description columns List of the columns in the table primaryKey foreignKeys checkConstraints … rows number of rows in the table Constraints and Triggers are defined in SQL:1999 and serve informational purposes (ensuring consistency when the database is changed, which never happens to archived data). They are not required. Kilde: Hartwig Thomas, Enter AG januar 2013

20 Metadata som tas vare på av SIARD
Column level name folder name of the LOB folder, e.g., lob0 description type SQL:1999 column type typeOriginal defaultValue nullable Nullability and DefaultValue are defined in SQL:1999 and serve informational purposes (ensuring consistency when the database is changed, which never happens to archived data). They are not required. Kilde: Hartwig Thomas, Enter AG januar 2013

21 Metadata som tas vare på av SIARD
Column level name folder name of the LOB folder, e.g., lob0 description type SQL:1999 column type typeOriginal defaultValue nullable Nullability and DefaultValue are defined in SQL:1999 and serve informational purposes (ensuring consistency when the database is changed, which never happens to archived data). They are not required. Kilde: Hartwig Thomas, Enter AG januar 2013

22 Metadata som tas vare på av SIARD
Other table level Metadata Primary key Metadata Foreign key Metadata Reference Metadata … Other Metadata View level Routine level User level Role level Privilege level Kilde: Hartwig Thomas, Enter AG januar 2013

23 Eksempel: Transformasjoner fra MySQL datatyper til SIARD datatyper

24 Erfaringer med SIARD Enkelt/lett å generere SIARD-filene
Oppgir databasens adresse og en databasebruker/passord (leseaksess) Databasepersonell hos arkivskapere kan gjøre jobben SIARD Suites GUI muliggjør rask inspeksjon/analyse av data Automatisert, veldokumentert transformasjon gir økt tillit.

25 MEN: SIARD-filen er bare en del i arkivpakken

26 SIARD og arkivaren SIARD (Suite) gjør ikke arkivarens jobb
Arkivarens jobb starter når SIARD har gjort sin, eller aller helst lenge før Beskrivelser kan skrives både på databasenivå og tabellnivå Data(base)ordbok og annen dokumentasjon bør vedlegges SIARD-filen.

27 Våre neste aktiviteter
For databaser til Noark-4 godkjente system Eksperimentelt definere utrekk, med utgangspunkt i SIARD-filen Et prioritert målformatet vil være en RDF representasjon av Noark 5 Hente inn flere fagsystem ved hjelp av SIARD Suite Dette gjøres allerede av våre kommunale og interkommunale arkivsamarbeidspartenere