Datanettet ved UiO, og litt til…..

Presentasjon om: "Datanettet ved UiO, og litt til….."— Utskrift av presentasjonen:

1 Datanettet ved UiO, og litt til…..
Petter Bjørbæk Seksjonsleder Avdelingen for infrastruktur på UiO Universitetets Senter for Informasjonsteknlologi (USIT) Ansvarlig for nettverk og relatert fysisk infrastruktur på UiO Samt: - Litt Uninett, Nordunet og NIX

2 Nettverksadministrator er kongen i IT-verden

3

4

5

6 Datanettet ved UiO UiOs datanett er bygget opp med tre grunnregler
Raskt, nok båndbredde til alle Stabilt, minimal nedetid, redundans på viktige steder Rimelig, mest mulig fart for pengene  Designprinsipp = KISS (Keep it Simple Stupid!!) Nettet er under kontinuerlig utbygging, og vil alltid være det Mange bygger etter ”skippertak-metoden” Vi deler nettet grovt i to deler Stamnettet, som kopler alle bygningene sammen Rutet, Lag 3 i OSI-modellen, bruker OSPF som rutingprotokoll Lokalnettene, som sørger for kopling til alle maskinene Switchet, Lag 1 og 2 i OSI-modellen, Ethernet og kobberkabler/Cat6a Trådløst, Lag 1 og 2 i OSI-modellen, IEEE og 2,4,Ghz/5Ghz Radiofrekv.

7 Utstyret, byggeklossene
Stamnettet bygges av Rutere Binder sammen Lokal-nett(LAN) Har ofte mye funksjonalitet Ruter pakker(Lag 3 - IP) Filtrerer/segmenterer IP-pakker - «Brannmur» Ivaretar redundanse Lokalnettene er bygget opp av Switcher Binder sammen endeutstyret (servere, maskiner) med ruterne (stamnettet) Lag 2 – MAC-adresser – Ethernet LAN og VLAN Trådløsnettet er bygget opp av aksesspunkter Egentlig en «Bridge» mellom ethernet(IEEE802.3) og trådløst (IEEE802.11) Delt medium...

8 Sentral infrastruktur
100 Gb/s Cisco Nexus 93240 uio-gw8 Cisco Nexus 93240 uio-gw7

9 Sentral infrastruktur
cat6504 uio-gw10 N93240 mrom-gw1 Nexus 93240 uio-gw8 Nexus 93240 uio-gw7 N93240 mrom-gw2 10Gb/s 100Gb/s

10 Maskinrom, med ruter-redundans
uio-gw8 mrom-gw1 switch server switch uio-gw7 mrom-gw2 100Gb/s 10Gb/s eller 25Gb/s

11 Campus Blindern uio-gw22 uio-gw21 PK HF SV uio-gw8 Adm Abel FV3
St Olavs plass PK HF SV uio-gw8 Adm Abel FV3 uio-gw7 Fys 100 Gb/s 10 Gb/s

12 MAN (Metropolitan Area Network)
us-gw odont-gw Ullevål sykehus Geitmyrsveien 69/71 uio-gw8 Blindern uio-gw7 St. Olavs plass 5 Karl Johansgate 47 stp-gw sentrum-gw 100 Gb/s

13 UiOs stamnett i IFI2 hf-gw pk-gw stp-gw uio-gw8 uio-gw7 10 Gb/s
ifi-gw21 mrom-ifi ifi-gw22 mrom-ifi uio-gw8 uio-gw21 komrom 1 tung-gw2 mrom4 uio-gw22 komrom 2 uio-gw7 10 Gb/s mrom-gw22 mrom2 mrom-gw21 mrom1 100 Gb/s

14 IFI2 lokalnett Rom 9366 TM I9 3 3 100G LR (QSFP sm fiber) Rom 6366 TM H6 10G fiber (sfp+ sm fiber) 3 3 3 Cat4506 med antall 48p kort Rom 4310 TM G4 Rom 4227 TM F4 Rom 4241 TM E4 Rom 4267 TM D4 3 3 3 3 3 Rom 3206 TM C3 Rom 3242 TM B3 Rom 3256 TM A3 3 3 3 3 3 3 IfI maskinrom ifi-gw22 N93240 ifi-gw21 N93240 uio-gw22 uio-gw21

15 Lokalnettet Skjematisk struktur med telematikkrom, kabling og utstyr.
Nettverksutstyr Telematikkrom Telematikkrom Stigenett/ utjevning Spredenett Telematikkrom Fra stamnettet

16 Telematikkrom

17

18 Trådløst nett (WLAN) 2000 Aksesspunkter og 2 redundante kontrollere
Aksesspunktene er «dumme» og styres av kontrollere 2,4Ghz og 5 Ghz 802.11n og ac (802.11ax er neste steg) «Eduroam» Autentiserer med 802.1x og RADIUS Teknologiske og fysiske begrensninger Delt medium Halv duplex Kan være utsatt for forstyrrelser og radiostøy

19 Forbindelsen til omverden
NIX1 NORDUnet Stockholm oslo-gw1 uio-gw8 IFI1 / IFI2 ifi2-gw uio-gw21 St Olavs plass stolav-gw1 stp-gw NIX2 100 Gb/s 10 Gb/s København

20 UNINETT Internet-tilbyder for UH-sektoren i Norge
National Research and Education Network (NREN) Eies av Kunnskapsdepartementet Hovedsete i Trondheim Samarbeider tett med de fire gamle universitetene Driver kontinuerlig utbygging for å dekke behovene Høy kapasitet og høy kvalitet er nøkkelord og drift.uninett.no

21 Uninett er UiOs Internet Service Provider (ISP)
Internet = samlingen av nettene til alle ISPene ISPens nett kalles også et Autonomt System (AS) ISPene får AS-nummer (ASN) og IP-adresser fra sin tilhørende RIR(RIPE i europa) ISPene har ansvaret nettene de eier Kobler seg mot andre ISPer Via Public Peering(IX) eller Private Peering, eller begge deler I Norge har vi ca 250 ISPer med smått og stort Ca 15 av dem er store (i Norsk målestokk..) RIR = Regional Internet registry APNIC, RIPE etc.

22 Internet eXchange Point (IXP)
Sammenkoplingspunkter for ISPer Trafikk mellom ISPene utveksles her Kalles for ”Public Peering” Ruting skjer med Border Gateway Protocol (BGP) I Oslo er det to IXPer, NIX1 og NIX2 Ca 60 ISPer er tilkoplet NIX1 og ca 20 er tilkoplet NIX2 Også i Stavanger, Bergen, Tromsø,Trondheim Alle disse er samlet under NIX-navnet I Europa er det ca 60 IXPer De største er i Amsterdam, London og Frankfurt, Stockholm Se for mer informasjon

23 Prinsippet for IXP ISP A ISP B Fysiske linjer ISP C IXP
Logiske forbindelser (peering) ISP E ISP D

24 UNINETT Østlandet

25 UNINETT stamnett

26 NORDUnet Internt og eksternt nett

27 NORDUnet Eies av Nordisk råd Har ledelsen sittende i København
Og de driftsansvarlige i Stockholm Har som oppgave å kople de nasjonale utdanningsnettene (NREN) sammen og til Internet Sørger for koplinger til forskningsnett utenfor Norden Driver også kontinuerlig utbygging

28

29 GÉANT

30

31 Bilder av en sjøkabel / fiber

32 La oss snakke litt om kabler..
To hovedtyper av datakabler Fiber. Glassfiber som leder lys Kobber. Kobbertråder som leder strøm To hovedtyper av fiberkabler Singel-mode, for lange avstander og høye hastigheter Multi-mode, innomhus, lavere hastigheter. Rimeligere optikk Mange typer kobberkabel Category 3, 5, 5e, 6, 6e, 6a, 7. Høy hastighet, kort avstand Vanlig «telefonkabel». Enkle signaler over lang avstand (xDSL)

33 Fiber og «Hastigheter»
Fast-ethernet (FE) og Gigabit-ethernet (GE) Standard båndbredde for brukere på UiO 100BaseTX, 100BaseFX 1000BaseT, 1000BaseSX, 1000BaseLX, 1000BaseZX 10 og 25 Gigabit-ethernet (10GE/25GE) Standarden for stamnett og servere ved UiO 10GBaseSR, 10GBaseLR, 10GBaseER, 10GBaseT 25GbaseSR, 25GbaseLR, 25GbaseER 1,10, 25, 40,50,100 og 400 gigabit-ethernet Fiber Heleid, deleid, leid. Svart, grå, farger WDM (WaveDivision Multiplexing) Utnytter fiberen bedre, gir mange forbindelser på en fiber SX = multimode m LX = singelmode 2km(standard), men går gjerne 10-20km ZX = Ikke standarisert, men 70 km og mer(singel)

34 WDM, ”uendelig” med båndbredde
Wave Division Multiplexing Utnytter at fiberkabel bare er et ”rør” som leder lys Kjernen er 8-10 mikrometer Et hårstrå er mikrometer Sender lys med forskjellige ”farger” (bølgelengder) Dense WDM (DWDM) Mer enn ca 16 bølgelengder, ofte aktivt utstyr Brukes på langdistansenett Coarse WDM (CWDM) Mindre enn ca 16 bølgelender, passivt utstyr Brukes i lokalnett og på korte avstander (< 10 Km)

35 Båndbredde, hastighet og latency
Mange snakker om ”raskere” datanett Det raskeste vi har er fiber-baserte optisk nett, og der er det lyshastigheten som setter grensen I glass er max lyshastighet ca 0,67 *c Båndbredde er «bredden på veien» Overføring av data over lange avstander gir utfordringer Ofte ikke nettet som begrenser «hastighet» Forsinkelse/Latency er viktig!! C = Hastighet i Vakum 33% tregere i glass.. km/s vs

36 LFN (Long Fat Networks)
Vi skal overføre data Oslo – Trondheim vha TCP Rundreisetiden er ca 8 ms TCP-vindusstørrelsen er 64 KByte Det gir max: 64KBytes pr 8 ms = 64 Mbit/s Uansett «hastighet» på nettet mellom Oslo og Trondheim Cluet er å øke TCP-vindusstørrelsen Default i mange OS er kun 32 eller 64 KByte RFC 1323 er nyttig lesestoff  Enda viktigere ved overføringer over større avstand 16 ms t/r til Tromsø, ~120 ms til California 32 KByte og ~120 ms gir max ~2 Mb/s RFC 1323 = Tuning TCP vindu størrelser utover 64KByte LFN = «elepfan»

37 Pause Med mulighet for å se nærmere på utstyret

38 Viktige verktøy for nettverksdrift
Alarmverktøy. For å varsle om feil Utstyr og linjer som ikke fungerer Høy temperatur For mye trafikk/overbelastning Trafikkverktøy/Grafverktøy. For å se tall og trender Trafikkutvikling Unormal oppførsel Historikk!! Hvem og Hvor. For å finne brukere og maskiner Når ”noe” skjer Loggverktøy For å samle meldinger fra utstyret

39 Typisk alarmlogg

40 Nettverkskart med belastning

41 Grafer med trafikkstatistikk Denne viser ut og inn av UiO siste året

42 Nordunet-Uninett

43 Unormal oppførsel kan observeres Her minnebruk i en ruter
Har vi gjort noe som får ruteren til å bruke mer minne?

44 Svitsj med minnelekasje

45 Jordskjelv i Japan. En ISP øker!
11. april 2011 Ny Powerpoint mal 2011

46 Påvirker også NIX-trafikken!

47 Strategi for universitetets IT-virksomhet
21. januar 2014 DDoS-angrep mot UiO 3. mars 2014 Bruk av nett-verktøy i praksis Møte med universitetsdirektøren

48 Distributed Denial of Service
A Distributed Denial of Service Attack (DDoS) occurs when multiple systems flood the bandwidth or resources of a targeted system (fra Wikipedia) “Distribuert Tjenestenektangrep” på norsk En ganske vanlig måte for å angripe via Internet Kan ramme både tjenester og infrastruktur Enkelte ganger hele land (Estland 2007)

49 Verktøy Brukerne merker store DDoS-angrep fort
Ringer og klager Vanlige overvåkingsverktøy begynner å klage Mister kontakten med tjenester og servere Statistikk avslører de små DDoS-angrepene Unormal trafikk De store kan være mer problematisk.. Godt design hindrer at «alt» går ned Grafiske verktøy hjelper på helhetsbildet

50 3. mars 2014 Kl 1433 ringer første bruker til UNINETTs driftssenter
«Alle» UNINETTs kunder melder om problemer Kø på telefonen til UNINETTs driftssenter resten av dagen Feilmeldinger kommer i NAV og Nagios på UiO samtidig Mister kontakten med utstyr og tjenester Mange feilmeldinger og mye som ikke fungerer Første klage til UNINETT kom fra Bergen Så feilsøkingen starter i den enden

51

52

53

54

55 Redningen Analyser viser at dette er et NTP-angrep
Mer om det om et øyeblikk UNINETT og NORDUnet legger inn filtre Begrenser mengden NTP-trafikk mot adressen som angripes Justeres senere til å være generell begrensning av NTP-trafikk NORDUnet ber også sine peers om å gjøre tilsvarende For brukerne ble verden «bedre» rett etter kl 15 Et nytt DDoS-angrep kom senere samme dag Ble ikke merket på UiO

56

57

58 Hvordan er det mulig?? NTP = Network Time Protocol
En klient kan spørre en server om tidsinformasjon, og få et svar UDP-basert = ikke sjekk av avsenderadresse Falsk avsenderadresse sender svaret et annet sted NTP «monlist» funksjonen returnerer MYE data Liste over de 600 siste maskinene serveren har snakket med Kjekt å ha for debugging og drift Enda kjekkere å ha for DDoS..... Kan produsere en «forsterkning» på 50 til 300 ganger Dvs at svaret er 50 til 300 ganger større en spørsmålet

59

60 Erfaringer Det blir veldig stille uten Internet-tilgang
Bortsett fra at telefonen blir rødglødende Internet-leverandør med kompetanse er viktig Ikke alle har det..... Utstyr må kunne styre trafikken i detalj Det betyr komplisert, og dermed dyrt utstyr Ikke alle Internet-leverandører har det Tiltak Skille ut management-trafikk på egne nett Funksjoner for mer automatisk analyse av trafikken

61 Trender og fremtiden

62

63

64

65 SDN – Software Defined Networking
Ny teknologi på fremmarsj Skiller «Inteligensen»/Software og «pakkeskyflingen»/Hardware Kontrollere/»inteligensen» i sentrale servere Styrer nettverksutstyret gjennom et definert grensesnitt /API Åpner for mer helhetlig trafikkstyring og sentralisert management Automasjon og «AI» Enklere og rimeligere nettverksutstyr

66 Et par andre trender Alt blir virtuelt Python, Ansibel, Restful API
Telemetri – Høyere oppløsning og bedre data fra nettbokser White-box og standard komponenter Optisk logikk i rutere og svitsjer med åpen APIer Internet of Things/IoT og byggstyring. Alt skal på nett! Mikrosegmentering 5G og WiFi «Alt» blir HTTPS trafikk (port 443) Hvordan analysere og feilsøke trafikken i nettet?

67 Oppsummering Nettverksteknologien er i konstant utvikling
Alt skal på nett Alle skal på nett Nettverk er et VELDIG bredt fagfelt! Paradigmeskifte i nettverksverden Det er morsomt å jobbe med datanett!!

68 Spørsmål ?