Datanettet ved UiO, og litt til…..

Presentasjon om: "Datanettet ved UiO, og litt til….."— Utskrift av presentasjonen:

1 Datanettet ved UiO, og litt til…..
Petter Bjørbæk Gruppeleder for Nettdrift Seksjonen Grunndrift Universitetets Senter for Informasjonsteknlologi (USIT) Har ansvaret for alt som er av nettverk og fysisk infrastruktur ved UiO + Uninett, Nordunet og NIX Nettverksadministrator er kongen i IT-verden

2 Dagens agenda En gjennomgang av UiOs datanett
Tanker bak designet Teknologier som benyttes Noen eksempler Verktøy, inkl eksempler på bruk Utstyr, med mulighet til å kikke i pausen Internet, hvordan henger det sammen UNINETT og NORDUnet Fiber verden rundt WDM, eller hvordan få ”nok” båndbredde

3 Datanettet ved UiO UiOs datanett er bygget opp med tre grunnregler
Raskt, nok båndbredde til alle Stabilt, minimal nedetid, redundans på viktige steder Rimelig, mest mulig fart for pengene  Designprinsipp = KISS (Keep it Simple Stupid!!) Nettet er under kontinuerlig utbygging, og vil alltid være det Andre bygger etter ”skippertak-metoden” Vi deler nettet grovt i to deler Stamnettet, som kopler alle bygningene sammen Rutet, Lag 3 i OSI-modellen, bruker OSPF som rutingprotokoll Lokalnettene, som sørger for kopling til alle maskinene Switchet, Lag 2 i OSI-modellen

4 Kabler må til! To hovedtyper av datakabler
Fiber. Glassfiber som leder lys Kobber. Kobbertråder som leder strøm To hovedtyper av fiberkabler Singel-mode, for lange avstander og høye hastigheter Multi-mode, innomhus, lavere hastigheter. Rimeligere optikk Mange typer kobberkabel Category 3, 5, 5e, 6, 6e, 6a, 7. Høy hastighet, kort avstand Vanlig «telefonkabel». Enkle signaler over lang avstand (xDSL)

5 Viktige teknologier Fiber WDM (WaveDivision Multiplexing)
Heleid, deleid, leid. Enkelt å få ”nok” båndbredde WDM (WaveDivision Multiplexing) Utnytter fiberen bedre, gir mange forbindelser på en fiber Fast-ethernet (FE) og Gigabit-ethernet (GE) Dagens standarder for datanettet på UiO 100BaseTX, 100BaseFX 1000BaseT, 1000BaseSX, 1000BaseLX, 1000BaseZX 10Gigabit-ethernet (10GE) Standarden for stamnett ved UiO 10GBaseSR, 10GBaseLR, 10GBaseER, 10GBaseT Servertilkopling med 10GE er ikke uvanlig 25, 40,50 og 100gigabit-ethernet har snart et fornuftig pris.. SX = multimode m LX = singelmode 2km(standard), men går gjerne 10-20km ZX = Ikke standarisert, men 70 km og mer(singel)

6 25, 40, 50 og 100 Gigabit Ethernet Et arbeid som startet i 2006(802.3ba) Eksempler på 40G og 100G 40GBase-SR4 10G på 4 x MM fiber, 100 meter 100GBase-SR10 10G på 10 x MM fiber, 100 meter 40GBase-LR4 4 x 10G på SM fiber, 10 Km 100GBase-LR4 4 x 25G på SM fiber, 10 Km Produkter tilgjengelig nå, men har inntil nylig vært kostbare UNINETT fikk 100G Oslo – Trondheim i 2014, landets første 100G forbindelse!! Forventes å falle i pris med 15-30% pr år 800G og Terabit ethernet er på planleggingsstadiet

7 CXP connector, center 10 out of 12 channels
Name Clause Media Media count Lanes Gigabaud per lane Notes 100GBASE-CR10 85 (802.3ba)[1] Twin-ax copper cable 10 CXP connector, center 10 out of 12 channels 100GBASE-CR4 92 (802.3bj)[2] 4 , RS-FEC 100GBASE-SR10 86 (802.3ba)[1] Multi-mode fiber, 850 nm MPO/MTP connector, center 10 out of 12 channels 100GBASE-SR4 95 (802.3bm)[3] 100GBASE-LR4 88 (802.3ba)[1] Single-mode fiber, WDM:  nm,  nm,  nm,  nm 1 10 km reach 100GBASE-ER4 30–40 km reach 100GBASE-CWDM4 non-IEEE[27] Single-mode fiber, WDM: 1271 nm, 1291 nm, 1311 nm, 1331 nm 2 km reach, multi-vendor non-IEEE Standard 100GBASE-PSM4 non-IEEE[28] 4×Single-mode fiber 1310 nm 500m, multi-vendor non-IEEE Standard 100GBASE-ZR non-IEEE[29] Single-mode fiber,  nm , DP-QPSK 80+ km reach, non-IEEE Standard 100GBASE-KR4 93 (802.3bj)[2] Copper backplane 100GBASE-KP4 94 (802.3bj)[2] additional four level amplitude modulation

8 Utstyret, byggeklossene
Stamnettet bygges av Rutere Softwarebaserte rutere Alle pakker inspiseres av SW Lav hastighet, høy funksjonalitet Hardwarebaserte rutere Alle pakker switches i HW (av ASICs) Høy hastighet, lav funksjonalitet (men stigende) Lokalnettene er bygget opp av Switcher Binder sammen endeutstyret (servere, maskiner) med ruterne (stamnettet) Alle sammen autonome enheter Kompliserte, må ta høyde for alt som kan skje Komplisert å lage, og drifte, store nett med store variasjoner Her er ting i endring…

9 SDN – Software Defined Networking
Ny teknologi på fremmarsj Skiller ruting-logikken og selve «pakkeskyflingen» Programvare i egen servere Styrer nettverksutstyret gjennom et definert grensesnitt Åpner for mer avanserte protokoller og trafikkstyring Enklere og rimeligere nettverksutstyr

10 Status på UiOs stamnett 2017
Redundant kjerne med mye kapasitet Redundant høykapasitetsforbindelse til omverden Redundant ryggradsnett utenfor ”Campus” Redundant nett på ”Campus” Planer videre Økt redundans Fiber til flere steder Økt kapasitet Nøkkelord; Redundans og Kapasitet Og KISS: Keep It Simple, Stupid

11 Sentral infrastruktur
mb/s Cisco Catalyst 6509 uio-gw8 Cisco Catalyst 6509 uio-gw7

12 Sentral infrastruktur
cat6504 uio-gw10 cat6509 mrom-gw1 cat6509 uio-gw8 cat6509 uio-gw7 cat6509 mrom-gw2 mb/s 1.000 mb/s

13 Campus 2016 uio-gw22 uio-gw21 PK HF SV uio-gw8 Adm Abel FV3 uio-gw7
St Olavs plass PK HF SV uio-gw8 Adm Abel FV3 uio-gw7 Fys 1.000 mb/s mb/s

14 UiOs stamnett i IFI2 hf-gw pk-gw stp-gw uio-gw8 uio-gw7 10G ifi-gw21
mrom-ifi ifi-gw22 mrom-ifi uio-gw8 uio-gw21 komrom 1 tung-gw2 mrom4 uio-gw22 komrom 2 uio-gw7 mrom-gw22 mrom2 mrom-gw21 mrom1 10G

15 IFI2 lokalnett 3 3 3 3 3 3 3 3 3 3 3 3 3 3 2 3 ifi-gw22 cat6509 2? 2?
Rom 9366 TM I9 3 3 10G LR (sm fiber) Rom 6366 TM H6 10G kobber (sfp+) 10G kobber (CX4) 3 3 3 Cat4506 med antall 48p kort Rom 4310 TM G4 Rom 4227 TM F4 Rom 4241 TM E4 Rom 4267 TM D4 3 3 3 3 3 Rom 3206 TM C3 Rom 3242 TM B3 Rom 3256 TM A3 3 3 3 3 2 3 IfI maskinrom ifi-gw22 cat6509 2? 2? ifi-gw21 cat6509 uio-gw22 uio-gw21

16 Forbindelsen til omverden
NIX1 NORDUnet Stockholm oslo-gw1 uio-gw8 IFI1 / IFI2 ifi2-gw uio-gw21 St Olavs plass stolav-gw1 stp-gw NIX2 40 Gb/s 10 Gb/s København

17 MAN (Metropolitan Area Network)
us-gw odont-gw Ullevål sykehus Geitmyrsveien 69/71 uio-gw8 Blindern uio-gw7 St. Olavs plass 5 Karl Johansgate 47 stp-gw sentrum-gw 1.000 mb/s mb/s

18 F3B AHUS AkerSyk. B9/11 Blindern US St Olav 29 Geitm.v. Essen3 Tøyen
2mb 10++mb F3B 100mb AHUS AkerSyk. 1000mb 10000mb B9/11 20 Blindern US St Olav 29 Geitm.v. Essen3 Tøyen SSBU Informatikk Arbinsgt7 St.Olavsp. CAS Sentrum Kr.Aug15 Chateau N Fornebu CA30 Lilletorget Observ S68 Fredrik2 Preklinisk FV3 28 Viking RH Gaustad Fredrik3 FV2 Grande

19 Ruterredundans Ofte er det en ruter pr knutepunkt
Stopper den er det dødt Vi kan sette ut en ruter til (HSRP, VRRP) Fordeler Ruterne kan ta over for hverandre, det er en god ting Ulemper Mer komplisert oppsett, en stor feilkilde To steder å konfigurere, enda en stor feilkilde To steder å kople enhetene til, også en feilkilde Alternativer Ha reservedeler i huset og ha rask respons ved feil Og spre risikoen på flere rutere (=færre nett pr ruter) Og benytte rutere med god oppetid

20 Maskinrom, med ruter-redundans
uio-gw8 mrom-gw1 switch server switch uio-gw7 mrom-gw2 1.000 mb/s mb/s

21 Lokalnettet (LAN) Nettet inne i hvert hus Består av
Strukturert kabling (telematikkrom, spredenett, stigenett/utjevning) Nettverkselektronikk (switcher) Forbindelse til stamnettet (til nærmeste ruter) Den mest omfangsrike delen av ethvert nett Krever orden!!

22 Lokalnettet Skjematisk struktur med telematikkrom, kabling og utstyr.
Nettverksutstyr Telematikkrom Telematikkrom Stigenett/ utjevning Spredenett Telematikkrom Fra stamnettet

23 Gammelt telematikkrom

24 Nytt telematikkrom

25 Verktøy som trengs i nettverksdrift
Alarmverktøy. For å varsle om feil Utstyr og linjer som ikke fungerer Høy temperatur For mye trafikk/overbelastning Trafikkverktøy/Grafverktøy. For å se tall og trender Trafikkutvikling Unormal oppførsel Hvem og Hvor. For å finne brukere og maskiner Når ”noe” skjer Loggverktøy For å samle meldinger fra utstyret

26 Typisk alarmlogg

27 Nettverkskart med belastning

28 Grafer med trafikkstatistikk Denne viser ut og inn av UiO siste året

29 Unormal oppførsel kan observeres Her minnebruk i en ruter

30 Svitsj med minnelekasje

31 Utstyr Rutere fra Cisco Switcher fra Alcatel, HP, Cisco og Nortel
SW-baserte, massevis av funksjoner, mange forskjellige grensesnitt HW-baserte, massevis av krefter, stort sett bare ethernet-grensesnitt Switcher fra Alcatel, HP, Cisco og Nortel Alle moderne switcher har mye kapasitet, ”wire-speed” MEN; mengden av buffer og funksjonalitet varierer sterkt, stort sett med prisen GBIC (GigaBit Interface Converter) 1 Gb/s interface SFP (Small Formfactor Plugable) Også et 1 Gb/s interface XENPAK, X2, SFP Gb/s interfaces Kabler (fiber, Cat 3 og Cat 5)

32 Pause Med mulighet for å se nærmere på utstyret

33 Internet Internet består av mange sammenkoplede nett
Noen viktige Internet-begreper Internet Service Provider (ISP) Nettet til en ISP kalles også et Autonomt System (AS) Internet eXchange Point (IXP) Her utveksles det trafikk mellom ISPene Regional Internet Registries (RIR) Reséaux IP Européen (RIPE) AfriNIC (Afrika) APNIC (Asia-Pacific) ARIN (Amerika = Nord-Amerika) LACNIC (Latin America and Caribbeen) Internet Assigned Numbers Authority (IANA) Holder orden på standarder etc på Internet IANA = I begynnelsen 1 person (Jon Postel)

34 Internet Service Provider (ISP)
Selve byggeklossen i Internet Internet = samlingen av nettene til alle ISPene ISPens nett kalles også et Autonomt System (AS) ISPene får AS-nummer (ASN) og IP-adresser fra sin RIR ISPene har ansvaret for eget internt nett Og koplingene mot andre ISPer Via Public Peering eller Private Peering, eller begge deler I Norge har vi ca 250 ISPer med smått og stort Ca 15 av dem er store (i Norsk målestokk..)

35 Internet eXchange Point (IXP)
Sammenkoplingspunkter for ISPer Trafikk mellom ISPene utveksles her Kalles for ”Public Peering” Ruting skjer med Border Gateway Protocol (BGP) I Oslo er det to IXPer, NIX1 og NIX2 Ca 60 ISPer er tilkoplet NIX1 og ca 20 er tilkoplet NIX2 I Bergen, Tromsø,Trondheim er det spede begynnelser Ny IXP er på trappene i Stavanger Alle disse er samlet under NIX-navnet I Europa er det ca 60 IXPer De største er i Amsterdam, London og Frankfurt Se for mer informasjon

36 Prinsippet for IXP ISP A ISP B Fysiske linjer ISP C IXP
Logiske forbindelser (peering) ISP E ISP D

37 Internettrafikken vs. hendelser Fredag 11. mars 2011.
Styrke 9 jordskjelv pluss Tsunami.

38 Bare en ISP hadde økt trafikk
11. april 2011 Ny Powerpoint mal 2011

39 NIX-trafikk dvs Internet-trafikk i Norge
Uke Inkl fredag 11. mars.

40 RIPE NCC Reséaux IP Européens Network Coordination Centre
Den operative delen av RIPE Holder orden på ASN og IP-adresser i Europa Brukere (enkeltpersoner og bedrifter) må henvende seg via en ISP, ikke direkte Holder til i Amsterdam og avholder RIPE-konferanser to ganger i året for de som vil vite mer

41 UNINETT Internet-tilbyder for UH-sektoren i Norge
National Research and Education Network (NREN) Eies av Kunnskapsdepartementet Hovedsete i Trondheim Samarbeider tett med de fire gamle universitetene Driver kontinuerlig utbygging for å dekke behovene Høy kapasitet og høy kvalitet er nøkkelord og drift.uninett.no

42 UNINETT stamnett

43

44 UNINETT Østlandet

45

46 NORDUnet Eies av Nordisk råd Har ledelsen sittende i København
Og de driftsansvarlige i Stockholm Har som oppgave å kople de nasjonale utdanningsnettene (NREN) sammen og til Internet Sørger for koplinger til forskningsnett utenfor Norden Driver også kontinuerlig utbygging

47 NORDUnet Internt og eksternt nett

48

49 Nordunet-Uninett

50 Strategi for universitetets IT-virksomhet
21. januar 2014 DDoS-angrep mot UiO 3. mars 2014 Bruk av nett-verktøy i praksis Møte med universitetsdirektøren

51 Distributed Denial of Service
A Distributed Denial of Service Attack (DDoS) occurs when multiple systems flood the bandwidth or resources of a targeted system (fra Wikipedia) “Distribuert Tjenestenektangrep” på norsk En ganske vanlig måte for å angripe via Internet Kan ramme både tjenester og infrastruktur Enkelte ganger hele land (Estland 2007)

52 Verktøy Brukerne merker store DDoS-angrep fort
Ringer og klager Vanlige overvåkingsverktøy begynner å klage Mister kontakten med tjenester og servere Statistikk avslører de små DDoS-angrepene Unormal trafikk Grafiske verktøy hjelper på helhetsbildet

53

54

55

56 3. mars 2014 Kl 1433 ringer første bruker til UNINETTs driftssenter
«Alle» UNINETTs kunder melder om problemer Kø på telefonen til UNINETTs driftssenter resten av dagen Feilmeldinger kommer i NAV og Nagios på UiO samtidig Mister kontakten med utstyr og tjenester Mange feilmeldinger og mye som ikke fungerer Første klage til UNINETT kom fra Bergen Så feilsøkingen starter i den enden

57

58

59

60

61 Telia Sonera København - Nordunet

62

63 Uninett forbindelsen UiO

64 Redningen Analyser viser at dette er et NTP-angrep
Mer om det om et øyeblikk UNINETT og NORDUnet legger inn filtre Begrenser mengden NTP-trafikk mot adressen som angripes Justeres senere til å være generell begrensning av NTP-trafikk NORDUnet ber også sine peers om å gjøre tilsvarende For brukerne ble verden «bedre» rett etter kl 15 Et nytt DDoS-angrep kom senere samme dag Ble ikke merket på UiO

65

66

67 Hvordan er det mulig?? NTP = Network Time Protocol
En klient kan spørre en server om tidsinformasjon, og få et svar UDP-basert = ikke sjekk av avsenderadresse Falsk avsenderadresse sender svaret et annet sted NTP «monlist» funksjonen returnerer MYE data Liste over de 600 siste maskinene serveren har snakket med Kjekt å ha for debugging og drift Enda kjekkere å ha for DDoS..... Kan produsere en «forsterkning» på 50 til 300 ganger Dvs at svaret er 50 til 300 ganger større en spørsmålet

68

69 Erfaringer Det blir veldig stille uten Internet-tilgang
Bortsett fra at telefonen blir rødglødende Internet-leverandør med kompetanse er viktig Ikke alle har det..... Utstyr må kunne styre trafikken i detalj Det betyr komplisert, og dermed dyrt, utstyr Ikke alle Internet-leverandører har det Neste generasjon nett og tjenester Skille ut management-trafikk på egne nett Funksjoner for mer automatisk analyse av trafikken

70 Båndbredde og hastighet
Mange snakker om ”raskere” datanett Det raskeste vi har er fiber-baserte nett, og der er det lyshastigheten som setter grensen I glass er max lyshastighet ca 0,67 *c Det begrenser overføringshastigheten, og kan redusere overføringskapasiteten Viktig å tenke på når store datamengder skal overføres over avstand C = Hastighet i Vakum

71 LFN (Long Fat Networks)
Vi skal overføre data Oslo – Trondheim vha TCP Rundreisetiden er ca 8 ms TCP-vindusstørrelsen er 64 KByte Det gir max: 64KBytes pr 8 ms = 64 Mbit/s Uansett «hastighet» på nettet mellom Oslo og Trondheim Cluet er å øke TCP-vindusstørrelsen Default i mange OS er kun 32 eller 64 KByte RFC 1323 er nyttig lesestoff  Enda viktigere ved overføringer over større avstand 16 ms til Tromsø, ~120 ms til California 32 KByte og ~120 ms gir max ~2 Mb/s RFC 1323 = Tuning TCP vindu størrelser utover 64KByte LFN = «elepfan»

72 WDM, ”uendelig” med båndbredde
Wave Division Multiplexing Utnytter at fiberkabel bare er et ”rør” som leder lys Kjernen er 8-10 mikrometer Et hårstrå er mikrometer Sender lys med forskjellige ”farger” (bølgelengder) Dense WDM (DWDM) Mer enn ca 16 bølgelengder, ofte aktivt utstyr Brukes på langdistansenett Coarse WDM (CWDM) Mindre enn ca 16 bølgelender, passivt utstyr Brukes i lokalnett og på korte avstander (< 10 Km)

73 UNINETT DWDM Samarbeid med BaneTele/Ventelo
Dekker Oslo, Trondheim, Bergen og Tromsø Men også mulig å hente ut (add/drop) bølgelengder underveis Utstyret takler 10G, 40G og 100G 100G Oslo – Trondheim i produksjon Etableres som punkt til punkt-systemer Redundans på ruter-nivå, ikke på optisk/DWDM-nivå Mellom 4 og 20 bølgelengder for UNINETT i hver forbindelse

74

75 Tromsø Trondheim Bergen OSLO 4λ mellom BT og UNINETT
U2 (UiT) U1 (UiT) 40λ 4λ KystTele Trondheim 4λ mellom BT og UNINETT Hovedbygget 10λ mellom BT og UNINETT Realfagbygget 20λ mellom BT og UNINETT OADM/MUX hos BT 40λ Trase2 40λ UNINETTs terminal Bergen Thormøhlensgt 55 Trase1 80λ BT-bygget 40λ St Olavs plass OSLO USIT, Gaustadalleen23

76 NORDUnet DWDM Bygger DWDM-nett på egenhånd
Utstyr fra Alcatel/Lucent Dekker Oslo, Stockholm, København, Helsinki og Hamburg Bygger sammenkoplede, to-veis ringer med OADMer Optical Add/Drop Multiplexer Kapasitet på 32 bølgelengder i dag Kan bygges ut til 88 bølgelender Muliggjør tilkopling til GEANT2 og GLIF Gir oss dedikerte høykapasitetsveier ut i verden, rimelig, men ikke gratis

77

78 GÉANT 2009

79 GLIF, Global Lambda Integrated Facility

80 GLIF, Europa

81

82 Bilder av en sjøkabel / fiber

83 Trådløst nett (WLAN) I sterk vekst. Alle vil ha WLAN!
Mye utstyr tilgjengelig, både rimelig og dyrt Store teknologiske begrensninger Lav båndbredde pga få radiokanaler og halv duplex Mange standarder, ikke alle er kompatible Problematisk å få god radio-dekning pga forstyrrelser og radiostøy Kryptering er ikke enkelt Mange dårlige drivere Autentisering og management er viktig i store WLAN

84 Trådløst ved UiO Basert på 802.11a/b/g/n, 802.1x og RADIUS
Management via 3 redundante kontrollere Bruker dynamiske nøkler (WPA2-AES) Over 1100 aksesspunkter på UiO i dag Dekker nesten kvm (av UiOs nesten ) Over aktive brukere pr uke Ca er studenter Flere logiske nett, et fysisk nett (conference, uio-guest, eduroam) Se for info

85 Oppsummering Nettverksteknologien er i konstant utvikling
Alt skal etter hvert på nett Alle skal på nett Det er morsomt å jobbe med datanett!!

86 Spørsmål ?