UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 1 USIT 22. juni 2014 Overvåkning og rapportering To prosjekter ved USIT Ståle Askerød Johansen

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 2 USIT 22. juni 2014 Om USIT og UiO • brukere (ansatte og studenter) •Ca. 250 unix-servere •Ca. 150 windows-servere •50 rutere, 1000 switcher •Ca. 200 ansatte på USIT •En masse tjenester, interne og eksterne

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 3 USIT 22. juni 2014 Grunntjenester: 3.1.5: Overvåking, ettersyn Denne aktiviteten er viktig både for stabil drift og for sikkerhetsarbeidet. Arbeidet innebærer på den ene siden omfattende logging av informasjon fra nettkomponenter, tjenermaskiner, arbeidsplassutstyr og annet utstyr og oppfølging av disse loggene. På den andre siden omfatter det systemer som fortløpende registrerer tilstanden på utstyret og varsler når det oppstår feil eller er fare for at problemer kan oppstå. I tilknytning til dette er feilmeldingstjenesten og hjemmevakten som følger opp og håndterer feilsituasjoner og lignende når de oppstår. Fra dokumentet ”IT-tjenestetilbudet ved Universitetet i Oslo”, levert 17. mars 2003 til Universitetsdirektøren:

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 4 USIT 22. juni 2014 Grunntjenester: 3.1.5: Overvåking, ettersyn Denne aktiviteten er viktig både for stabil drift og for sikkerhetsarbeidet. Arbeidet innebærer på den ene siden omfattende logging av informasjon fra nettkomponenter, tjenermaskiner, arbeidsplassutstyr og annet utstyr og oppfølging av disse loggene. På den andre siden omfatter det systemer som fortløpende registrerer tilstanden på utstyret og varsler når det oppstår feil eller er fare for at problemer kan oppstå. I tilknytning til dette er feilmeldingstjenesten og hjemmevakten som følger opp og håndterer feilsituasjoner og lignende når de oppstår. Fra dokumentet ”IT-tjenestetilbudet ved Universitetet i Oslo”, levert 17. mars 2003 til Universitetsdirektøren:

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 5 USIT 22. juni 2014 Grunntjenester: 3.1.5: Overvåking, ettersyn Denne aktiviteten er viktig både for stabil drift og for sikkerhetsarbeidet. Arbeidet innebærer på den ene siden omfattende logging av informasjon fra nettkomponenter, tjenermaskiner, arbeidsplassutstyr og annet utstyr og oppfølging av disse loggene. På den andre siden omfatter det systemer som fortløpende registrerer tilstanden på utstyret og varsler når det oppstår feil eller er fare for at problemer kan oppstå. I tilknytning til dette er feilmeldingstjenesten og hjemmevakten som følger opp og håndterer feilsituasjoner og lignende når de oppstår. Fra dokumentet ”IT-tjenestetilbudet ved Universitetet i Oslo”, levert 17. mars 2003 til Universitetsdirektøren:

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 6 USIT 22. juni 2014 I: Kvalitet og kapasitet, sikkerhet, stabilitet og tilgjengelighet Delmål #2: Videreutvikling av driftsløsningene for arbeidsplassutstyr og tjenermaskiner ” Klarlegge hvordan overvåking, ettersyn, feilrapportering etc bør skje, anbefale praktiske og tekniske løsninger for å løse disse oppgavene best mulig og implementere anbefalte løsningene” Fra dokumentet: ”Handlingsplan for 2005 for USIT”

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 7 USIT 22. juni 2014 Hvordan har vi det egentlig? •Ganske bra •Vi har lenge vært flinke til mange ting •Etterhvert blir verden mer og mer komplisert •Det gjelder å henge med i svingene •Folk med penger vil vite hvor flinke vi er •Overvåkning og rapportering ikke alltid prioritert

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 8 USIT 22. juni 2014 Problemene •Tjenester går av og til ned uten varsel •Brukerne er tidvis viktigste verktøy •Dårlige rutiner rundt overvåkning og rapportering –Hvem har ansvar for en tjeneste? –Hvordan skal folk varsles? –Hvem skal tune ting og hjelpe folk? –Hva er egentlig oppetid? –Hva betyr en rød alarm?

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 9 USIT 22. juni 2014 Prosjektene •Delt i to •Først et forprosjekt ”hva skal hovedprosjektet gjøre?” •Så et hovedprosjekt ”gjøre det” •Syv dyktige deltagere med forskjellig bakgrunn fra ulike fagområder

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 10 USIT 22. juni 2014 Forprosjekt Hovedprosjekt Mars 2005 August 2005 ”Senere”

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 11 USIT 22. juni 2014 Mandatet vårt •Behovsbeskrivelse –Lage en liste over de X viktigste elementene i en IT-infrastruktur som trenger overvåkning og rapportering –Prioritere denne listen •Analyse av nåsituasjon –Lage en detaljert analyse av USITs rutiner og metoder for overvåkning og rapportering. Dette inkluderer »Hvilke verktøy, metoder og rutiner finnes og/eller brukes i dag? »Hvilke åpenbare mangler finnes i forhold til behovene? »Redegjøre kort for kostnadene ved dagens løsning •Visjon –Lage forslag til overordnede strategiske dokumenter for »Visjon for hvordan USIT skal drive overvåkning og rapportering i fremtiden, inkludert overordnede rutiner »Hvilket scope bør USITs løsninger ha på lengre sikt? •Planverk –Formulere konkret de viktigste tiltakene som USIT bør iverksette på kort sikt –Prioritere disse –Lage en prosjektplan for hovedprosjektet med time-estimater og forslag til Gantt-diagram

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 12 USIT 22. juni 2014 Mandatet – kortform 1.Finn ut hva man trenger 2.Finn ut hva vi egentlig har 3.”Diff” – Hva mangler vi og hvordan får vi det?

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 13 USIT 22. juni Finn ut hva man trenger 2.Finn ut hva vi egentlig har 3.”Diff” – Hva mangler vi og hvordan får vi det? Mandatet – kortform

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 14 USIT 22. juni 2014 Scopet •Veldig generelt •Ingen produkter nevnt

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 15 USIT 22. juni 2014 Rapporten •Konkret om server-overvåkning •Rutiner man må ha •Teknologier man må ha •Eksempler

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 16 USIT 22. juni 2014 Rapporten •Konkret om server-overvåkning •Rutiner man må ha •Teknologier man må ha •Eksempler

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 17 USIT 22. juni 2014 Sikkerhet Konfigurasjon Feil Ytelse Miljø System (OS) Nett Database Applikasjon Hardware

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 18 USIT 22. juni 2014 Problemløsnings-kjeden •få beskjed om et problem (fra en bruker) •oppdage et problem •drive feilsøking •lete etter følgefeil •informere om feilen •rette feilen •rette dokumentasjon •tilpasse overvåknings-parametrene (f. eks. alarmgrenser) •følge opp slik at feilen ikke skjer igjen, kanskje med eskalering til utviklere

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 19 USIT 22. juni 2014

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 20 USIT 22. juni 2014 Rutiner •Tjenester og avhengigheter – ”skygge” •Personvern •Klare definisjoner av problemløsningen •Integrasjon. Sa jeg integrasjon? •Tjenester – ”viktighet” •Alarmer – ”severity” •Maskinroller •Nedetid •Klart definerte måleparametre (”metrics”) •Organisasjon (ITIL?)

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 21 USIT 22. juni 2014 Lisensserver Webserver Autentisering ApplikasjonDatabase Maskin Nett Strøm Maskin DNS Maskin Tjenestekjeder

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 22 USIT 22. juni 2014 Teknologier •Tjenesteregister (”LOB-er”) •Ett eller flere rammeverk •Felles alarmkonsoll – korrelering og filtrering •Ende-til-ende-overvåkning •Management-nett •Overvåkning av overvåkningen •Fysisk miljø og strøm •SNMP-trap-receiver

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 23 USIT 22. juni 2014 Rammeverk – fordeler •Flere alarmkilder kan grupperes og konfigureres under ett •Rammeverk kommer ofte med ferdige kilder for ulike systemer •Rammeverket tar seg ofte av problemer rundt rettigheter. •Rammeverket kan tenkes å foreta filtrering og kanskje korrelering. •Rammeverket kan ofte motta og behandle hendelser fra mange kilder •Felles begreper og syntaks •Rammeverk kan også ofte tilby funksjonalitet utover ren overvåkning, f. eks. “drilldown”-funksjonalitet for analyse og eventuelt feilretting.

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 24 USIT 22. juni 2014 Rammeverk - ulemper •Mange rammeverk prøver å være et alarmkonsoll uten å ha forutsetninger for det. •Rammeverk vs. alarmkonsoll •Rettigheter og integrering

UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGISide 25 USIT 22. juni 2014 Mer teknologier •Loggfil-overvåkning i ”real-time” •Grafer og alarmer fra grafer •Web-portaler med rapporter for kunder •Trending •Service Level - oppetid – hva er det? •Anomali-deteksjon