Hva skjer når kritiske IKT system faller ut?

Presentasjon om: "Hva skjer når kritiske IKT system faller ut?"— Utskrift av presentasjonen:

1 Hva skjer når kritiske IKT system faller ut?
Berit Bergslid Salvesen, Beredskapsrådgiver Universitetssykehuset Nord-Norge (UNN) Jan Harald Solberg, Rådgiver informasjonssikkerhet og beredskap Helse Nord IKT (HN-IKT)

2 Om oss UNN HF Sykehus i Tromsø, Harstad, Narvik og Longyearbyen samt en rekke DPS og DMS Felles IKT systemer driftet av HN-IKT HN-IKT Ansvar for drift og utvikling av IKT-tjenester for alle helseforetak i Helse Nord RHF

3 ROS analyse for UNN HF 2012 Ekstremvær Stor trafikkulykke Snøras
Pandemi Offshoreulykke Jord-/fjellras IKT svikt* Landbasert industriulykke Svikt i el.forsyning *Herunder svikt i internett, telefoni, EPJ/Dips, AMK fagsystemer og røntgen/lab fagsystemer

4 Hvorfor er IKT svikt en så stor risiko for UNN?
Vi blir stadig mer avhengig av IKT løsninger Vi har få og mangelfulle nødrutiner Vi har en organisasjon som er spisset inn mot håndtering av medisinske kriser ”IKT er ikke et helsefaglig ansvar, det tar noen andre seg av” Ulike yrkeskulturer har ikke alltid felles situasjonsforståelse Vær, vind, store avstander og sårbar infrastruktur gjør Nord-Norge særlig utsatt for IKT svikt

5 Hendelser som kan gi IKT svikt
Kritisk infrastruktur svikter Kritiske kliniske IKT-system faller ut, men infrastruktur er intakt Brann, flom o.l rammer fysiske installasjoner på sykehuset

6 Et eksempel Notis på Intranett publisert kl 14:50 Data fra BUP skal konverteres inn i DIPS. Følgende arbeid er planlagt: Lokasjon: UNN (Tromsø, Harstad og Narvik) Hva som skal gjøres: Data fra BUP skal konverteres inn i DIPS UNN. Konverteringen pågår mellom hver dag, altså ikke på dagtid. Antatt konsekvens av vedlikeholdet : Dette kan skape tregheter i DIPS på lokasjonene og uventede problemer kan oppstå Tidsrom: Fra fredag 24.mai kl Ferdigstilles mandag 28.mai NB! Dette var pinsehelga i 2012

7 Konsekvenser for akuttmottaket
Kontortjenesten i Akuttmottaket opplevde fra kl lørdag en treghet som var så stor at Dips i praksis ikke kunne benyttes Det var vanskelig å bestille blodprøver/røntgen Innregistrering av pasienter, registrering av triage, sykepleier, ansvarlig lege og pasientrom samt overflytting av pasienter til post var nesten umulig Kontortjenesten tok etter hvert i bruk en kombinasjon av papirbasert og elektronisk registrering Ingen andre avdelinger i sykehuset opplevde problemet i så stor grad som Akuttmottaket Dips ble kjørt som vanlig og det ble forventet at Akuttmottaket gjorde det samme

8 Håndtering av hendelsen
Lørdag mellom kl ble HN-IKT Brukerstøtte kontaktet mange ganger fra kontortjeneste i Akuttmottaket og AMK/hkp lege Kl ga HN-IKT beskjed om at konverteringshastigheten er blitt skrudd opp for at konverteringen skal kunne bli ferdig tidligere enn planlagt Kl gir HN-IKT beskjed om at de skal vurdere om konverteringen kan stanses Kl nedjusteres farten på konverteringen slik at Dips fungerer tilfredsstillende gjennom resten av pinsehelga Klinikkledelse ved Akuttmedisinsk klinikk, UNN ble varslet kl 21.00

9 Mandag 28. mai skjedde dette
2 fraktet til UNN med luftambulanse 8 fraktet til UNN med bilambulanse UNN utløste beredskapsalarm

10 Hva viste denne hendelsen?
Konverteringen var ikke godt nok planlagt og konsekvensene hadde ikke blitt kommunisert til brukerne Kanskje ville en fullstendig og tidsbegrenset nedetid som var varslet og planlagt vært bedre UNN inntok en passiv rolle Det var ingen på vakt som hadde beslutningsmandat og det var uklart hvem som hadde dette mandatet Når noen opplevde store problemer og andre ikke, ble det skapt en interessekonflikt som forsterket passiviteten UNN hadde ikke gode beredskapsplaner på plass for å takle hendelsen HN-IKT oppfattet ikke problemet Det tok for lang tid å gjennomføre nødvendige justeringer

11 Drift og beredskap i Helse Nord IKT
Utvikle og drifte en robust IKT-infrastruktur Beredskapsordning Beredskapsvakt Driftsvakt fagsystemer Systematiske endringsrutiner og hendelseshåndtering Change management Incident management Den største trusselen for IKT svikt er den stadig økende endringstakten

12 Prioriteringsmatrise

13 Endringsrutiner Endringsleder Endringsråd Risikovurdering Endringsfrys
Operativt ansvarlig for endringsprosessene Endringsråd Rådgivende organ Risikovurdering Endringsfrys Ingen endringer i utvalgte perioder som sommer, påske, jul/nyttår

14 Hendelseshåndtering Kvalitetssikre hendelseshåndteringen
Koordinere og involvere Gjenopprette normaltilstand raskest mulig Begrense skadevirkning

15 Øvelse: ”DIPS UNN – full stans”
Krisehåndteringsprosjekt Øvelse/workshop juni 2013 Noen viktige funn så langt i prosjektet: Vi er beredt til å håndtere en krisesituasjon, men for mye kunnskap kun hos enkeltpersoner Forskjellige krisenivåer må defineres bedre Varslingsrutiner må forbedres Hvordan helseforetak på best måte informeres og involveres må utredes

16 IKT beredskap i UNN UNN er i gang med å utarbeide nye beredskapsplaner for IKT svikt Noen sentrale spørsmål i den forbindelse er Hvem er mottaker av meldingen om kritisk IKT svikt i UNN? Hvem beslutter mobilisering? Hvem skal utgjøre IKT kriseledelse og når skal den settes? Skal ansvaret for krisemobilisering følge systemeierskap i UNN eller skal det sentraliseres? Hvordan sikrer vi god beredskap på de små sykehusene som ikke har stedlig fagpersonell? Hvordan filtrerer vi ut ”hverdagskrisene”? Hvordan sikrer vi bruker- og administratorkompetanse?

17 Veien til god IKT beredskap
Systematisk kvalitetsforbedring Samordna beredskapsplaner Felles øvelser Felles situasjonsforståelse Helse Nord IKT UNN HF Varsle Feilrette Iverksette nødrutiner Håndtere konsekvenser Beslutte tiltak Funksjonsteste Kommunikasjon Krisehåndtering Beslutte tiltak UNN: Iverksette nødrutiner Stanse drift Omprioritere

18 Veien til god beredskap
Felles situasjonsforståelse - Gjensidig avhengighet og forståelse av IKT-systemenes kritiske funksjon Samordnede beredskapsplaner Felles øvelser Felles prosjekt - Det handler om liv og helse