Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

Fra World Wide Web (WWW) til World Wide Grid (WWG)

Liknende presentasjoner


Presentasjon om: "Fra World Wide Web (WWW) til World Wide Grid (WWG)"— Utskrift av presentasjonen:

1 Fra World Wide Web (WWW) til World Wide Grid (WWG)
Forsker Thomas Frågåt Gruppen for eksperimentell Partikkelfysikk, UiO Åpen dag 8. Mars 2007

2 Innhold Rask historisk oppsummering
World Wide Web (WWW) – Verdensveven En oppfinnelse fra CERN WWG World Wide Grid (WWG) Hva er Grid? Fysisk Institutts rolle i utviklingen av Grid

3 Behovet for regnehjelp
Man har alltid hatt behov for hjelp til utregninger Pådriver for utvikling av regnemaskiner og senere datamaskiner Kulerammer er brukt lang tid før vår tidsregning På 1600–1700-tallet kom regnestaven. Bilde: Wikipedia

4 De tidligste datamaskiner
Hullkort På 1800-tallet for å styre og automatisere industrielle prosesser Brukt som lagringsmedium for informasjon Leste et hull som tallet ”1” og fravær av hull som tallet ”0” Tatt i bruk i Norge i 1900 i folketelling. Bilde: Wikipedia Kilde: Wikipedia og Norsk Teknisk Museum Kuleramma var et hjelpemiddel for regning allerede før vår tidsregning. Regnestaven kom på tallet. Mekaniske regnemaskiner var vanlig inntil den elektroniske lommekalkulatoren kom i bruk i årene.

5 De tidligste datamaskiner
Mekaniske regnemaskiner tidlig på 1800-tallet Charles Babbage beskrev i 1835 en dampdrevet datamaskin. Denne beskrivelsen bruker begreper som brukes også om moderne datamaskiner. Fra ca 1850: Elektromagnetiske komponenter ble tatt i bruk Først på 1940-tallet begynte man å konstruere digitale datamaskiner. Norges første datamaskin NUSSE (Norsk Universell Siffermaskin Selvstyrt Elektronisk), 1954 Kunne håndtere 512 ord med 32 siffer Mekaniske datamaskiner: Tannhjul og stenger Elektromagnetiske komponenter: Relé, motorer Fra 1945 ble radiorør, transistorer og etter hvert integrerte kretser hovedkomponenter i datamaskiner Nusse ble vist frem for publikum på Blindern i Da var den programmert med et fyrstikkspill ved navn Nim. Det var Norges første - kanskje verdens første - dataspill. Når maskinen vant, skrev den ut «hurra». Når den menneskelige motstanderen seiret, så skrev den ut «bravo». The Complex Number Calculator 1940 Kilder: og Norsk Teknisk Museum Aftenposten

6 De tidligste datamaskiner
Datamaskinen om bord i Apollo 11 på den første måneferden hadde en prosessor på størrelse med dagens kalkulatorer. Den første datamaskinen for ”vanlige folk” kom i 1977 Commodore PET (Personal Electronic Transactor) Opptil 8 KB minne! Bill Gates 1981: ”640K of memory is enough”, senere har han nektet for å sagt det… Commodore 64 1982 Kilde:

7 ”Overføring av data” Fysikere fra bl. a. UiO reiste til CERN
Hentet til å begynne med data på hullkort og senere på tape Fraktet med fly til Oslo (og andre forskningsinstitusjoner over hele verden) hvor dataene ble matet inn i datamaskiner og analysert Ferdig analyserte data ble fraktet tilbake til CERN Til tross for stor ”båndbredde”, tungvint og tregt!

8 Internett Utviklet av amerikanske DARPA (Defense Advanced Research Projects Agency som er underlagt Department of Defence). Arpanet, 1968 – 1980 Forsvarets forskningsinstitutt på Kjeller deltok fra 1973 Uninett i Norge, 1970-tallet Samarbeid om et nettverk mellom universitetene i Norge Begrepet internett er et tåkete begrep Internett er ren kommunikasjon mellom datamaskiner vha rutere og protokoller Mest kjente protokoller TCP (Transmission Control Protocol) og IP (Internet Protocol) En rekke forskningsmiljøer i USA samt et i England og et i Norge

9 Informasjonsutveksling i pre-WWW
Før World Wide Web: Overføring av data ble gjort vha programmer som støtter f. eks FTP (File Transfer Protocol) Tungvint, måtte vite filnavn og filbaner i tillegg til server osv. Forskere ved bl. a CERN lette etter nye løsninger

10 World Wide Web blir født
Mars 1989: Tim Berners-Lee ved CERN forelegger et forslag til sin sjef: ”This proposal concerns the management of general information about accelerators and experiments at CERN. It discusses the problems of loss of information about complex evolving systems and derives a solution based on a distributed hypertext system.” Mot slutten av 1990 er den første Web-serveren i drift ved CERN med adressen: Kilde:

11 Utviklingen av WWW I 1993 fantes det 200 kjente web-servere
Norges første web-server kom i 1992 En gruppe forskere ved Telenors FoU ved Kjeller I dag er det mer enn 80 millioner nettsteder

12 Men da skulle vel alt være bra?
Men, det var det ikke…

13 Nye utfordringer for databehandling ved LHC ved CERN
Lagring: Innsamlingsfrekvens av rådata 0.1 – 1 GB/s Total innsamling på PetaBytes/år Prosessering: Behov for av dagens raskeste PCer

14 Hvor mye data er en årlig data-mengde på 12-14 PetaByte?
1 PetaByte = 1015 bytes bytes (1 billiard) Tilsvarer PCer med 100GB lagringsplass 15 PetaByte tilsvarer da PCer med 100GB lagringsplass

15 Hvorfor bygger vi ikke bare en stor superdatamaskin som kan håndtere dette?
Området rundt Genevé kan ikke levere nok strøm En slik maskin vil produsere så mye varme at ingen kjente kjølesystemer vil kunne håndtere dette Alt for dyrt for en institusjon til å bygge og drifte en slik superdatamaskin

16 Løsning: WWG – World Wide Grid
Grid-visjonen Ideen hentet fra kraftindustrien Bilder:

17 Hva er Grid? Idéen om å knytte datamaskiner og clustere fra hele verden i sammen i et nettverk Sømløst grensesnitt for brukeren Dvs at brukeren ikke trenger å forholde seg til hva som foregår i kulissene Et ”lim”, middleware, som binder ressursene sammen Virker for brukeren som en virtuell supercomputer

18 Norges rolle i utviklingen av WWG
2001: ”Nordic Testbed for Wide Area Computing and Data Handling “ Ønsket å bygge en Grid-infrastruktur for forskningsoppgaver for de Nordiske landene Ingen tilfredsstillende eksisterende løsning på det tidspunktet → Laget sin egen løsning Middleware: ARC (Advanced Resource Connector) Mai 2002: Det første testmiljøet satt opp Har siden vært i kontinuerlig drift for test- og produksjonsoppgaver Styres i dag av NorduGrid-samarbeidet som jobber med vedlikehold, videreutvikling, support osv av middlewaren NorduGrid-samarbeidet: Norge, Sverige, Danmark, Finland Finnes også andre Grid-løsninger, men middlewaren til NorduGrid har vist seg å være stabil og pålitelig

19 Fysisk Institutt ved UiO leder 4 av 5 internasjonale Grid-prosjekter
NorduGrid Norge, Sverige, Danmark og Finland KnowARC Norge, Sverige, Danmark, Ungarn, Sveits, Slovakia og Tyskland Nordic Grid Neighbourhood (NGN) De nordiske og baltiske landene og nordvestlige delen av Russland Innovative Tools and Services for NorduGrid (NGIn) Norge, Sverige, Danmark, Finland og Island Nordic Data Grid Facility (NDGF) Danmark, Finland, Norge og Sverige For mer informasjon trykk her

20 Nordisk forsknings- og utviklingssamarbeid
Norge, Sverige, Danmark og Finland Ledes av Fysisk Institutt ved UiO Mål: Utvikle og drive support av ARC middleware Koordinere bidrag til ARC-koden Definere strategiske retninger for utvikling av ARC middleware ved å følge trendene innen Grid-teknologien Fremme ARC middlewareløsninger i områder som Grid-utvikling, Grid-spredning og Grid-anvendelse Bidra til å utvikle Grid-standarder

21 Utbredelse av ARC Fysisk Institutt leder an Brukes i dag av 15 land

22 Grid Monitor Dynamisk visning Status : 58 sites 6212 CPUer

23 Suksessen ARC ”Lettvekts”, frittstående klient
Lett å installere Kun ~13MB Tilgjengelig på et vidt antall Linux-plattformer Gratis (GNU General Public License (GPL)) Ingen sentralisert arkitektur Ingen ”single-point of failure” Passer heterogent distribuerte, delte ressurser Kan kobles opp til mange andre Grid-løsninger Har vist seg å være en pålitelig ressurs for vitenskapelige applikasjoner innen mange forskningsområder

24 Ikke-HEP applikasjoner dominerer under CERN data-challenges: Biomedisin (genomforskning), geofysikk (klimaforskning), materialvitenskap (halvleder- og kvantekjemiforskning), romforskning, osv… Eksempler på applikasjoner som kjører samtidig på NorduGrid

25 Fersk statistikk De nordiske landene har en meget høy effektivitet til tross for lavt antall ressurser EGEE ~2200 CPUer NDGF ~500 CPUer OSG ~1800 CPUer Data presentert i februar Hittil i mars

26 KnowARC 10 partnere fra 7 land
Norge, Sverige, Danmark, Ungarn, Sveits, Slovakia og Tyskland Oslo University Norway Lund University Sweden Copenhagen University Denmark Uppsala University Sweden NIIF Hungary Geneva Uni. Hospitals Switzerland Kosice University Slovakia Lübeck University Germany science+computing ag Germany SUN Microsystems Hungary

27 Offisiell prosjektinformasjon
Title of Contract: Grid-enabled Know-how Sharing Technology Based on ARC Services and Open Standards Acronym: KnowARC Contract Nber: Instrument: STP - Specific Targeted Research Projects (aka STREP) Thematic priority/domain: Information Society Technologies (IST) Call title: IST Call 5 Call identifier: FP IST-5 Activity: IST Advanced Grid Technologies, Systems and Services Program: FP6 Duration: 36 month Start date: June 1, 2006 Community Contribution: EUR :- Resources: 17.5 FTEs in total, 12.5 financed Coordinator: University of Oslo Contact: Prof. F. Ould-Saada FTE – Full Time Equivalent -> dvs fulltidsstillinger over 3 år

28 KnowARC Popular Grid middleware for know-how sharing
Mål: Lage en ny, kraftig og robust neste-generasjons Grid middleware Standardisering av Grid Samspillevne mellom forskjellige Grid-løsninger Bringe Grid ut til industri, offentlige tjenester og hjem til ”folk flest” (bl. a ved å gjøre den tilgjengelig på Windows) Veien frem: Benytte Service-orientert arkitektur (SOA) Oppnå industriell kvalitet Sikkerhet, pålitelighet, brukervennlighet osv… Popular Grid middleware for know-how sharing Existing ARC middleware Experienced middleware developers Industry, academia application developers Standards, Interoperability

29 Nordic Grid Neighbourhood - NGN
Mer eller mindre avsluttet Støtte og styrke kommunikasjonen mellom de nordiske og baltiske landene og den nordvestlige delen av Russland Aktiviteter: Utdanning Gjensidig overføring av kunnskap Forskning og utvikling Mål: Å optimalisere utvekslingen av kunnskap på tvers av landegrenser mellom et stort samfunn av IT-forskere, og studenter ved å organisere konferanser, seminar, læreprogram og oppdaterte kurs i Grid-teknologi

30 Innovative Tools and Services for NorduGrid (NGIn)
Finansiert av Nordunet3 for 4 år Nordunet3: Et nordisk internett forskningsprogram Oslo, Lund, Uppsala, København, Helsinki og Reykjavik Formål: Jobbe med dataadministrasjon Lagring, indeksering og fordeling Utdanning og ekspertiseopplæring Finansierer 5 PhD’er Grid-skole

31 Nordic Data Grid Facility
Prosjektet varer fra 2006 til 2010 Pilotprosjekt fra 2003 til 2005 Finansiert av de nordiske forskningsrådene Mål: Å opprette en nordisk Grid-infrastruktur Primært for LHC Grid Computing (Tier1) Utførelse: Koordinerer aktiviteter – eier ikke sine egne resurser Bygger på den nordiske kompetansen innen Nordisk Grid-samarbeid Bruker NorduGrid/ARC middleware som basis Opprette nordisk Grid-infrastruktur med felles sikkerhetsrammeverk Drifte et nordisk lagringsnettverk for større vitenskapelige prosjekter Ett enkelt kontaktpunkt for internasjonalt samarbeid Representerer det nordiske Grid-felleskapet internasjonalt

32 De forskjellige Tier’e og deres hensikt
CERN Tier1 Nordisk distribuert resurssenter * Tier0: Innsamling av rådata fra kollisjonene og distribuerer kopier av data til to Tier1 * Tier1: Lagrer data og prosesserer en del data og gjør disse tilgjengelig for neste nivå, Tier2 * Tier2: Analyse og prosessering av data Tier2 Tier1 Tier2

33 NDGF Tier1 distribuert ressurssenter


Laste ned ppt "Fra World Wide Web (WWW) til World Wide Grid (WWG)"

Liknende presentasjoner


Annonser fra Google