KnowARC – I forskningens- og innovasjonens tjeneste

Presentasjon om: "KnowARC – I forskningens- og innovasjonens tjeneste"— Utskrift av presentasjonen:

1 KnowARC – I forskningens- og innovasjonens tjeneste
Thomas Frågåt Gruppen for Eksperimentell Partikkelfysikk ved Fysisk Institutt, Universitetet i Oslo Fysikermøtet – Tromsø 2007 Type your name, occasion, date and location un the “subtitle” field

2 Innhold Hvorfor Grid? Og hva er Grid? NorduGrid og KnowARC
ARC – Advanced Resource Connector Back-ends 9/19/2018

3 Hvorfor Grid? Nye utfordringer for databehandling ved LHC ved CERN
Lagring: Innsamlingsfrekvens av rådata 0.1 – 1 GB/s Total innsamling på PetaBytes/år Prosessering: Behov for av dagens raskeste PCer 9/19/2018

4 Forts. Hvorfor Grid? Andre forskningsfelt også interessert i økt kapasitet for prosessering og lagring av data Bioteknologi (genomforskning) Medisin (diagnostisering) Geofysikk (klimaforskning) Meteorologi Materialvitenskap (halvleder- kvantekjemiforskning) Romforskning Etc… 9/19/2018

5 Hva er Grid? Idéen om å knytte datamaskiner og clustere fra hele verden sammen i et nettverk Sømløst grensesnitt for brukeren Dvs at brukeren ikke trenger å forholde seg til hva som foregår i kulissene Et ”lim”, middleware, som binder ressursene sammen Virker for brukeren som en virtuell supercomputer 9/19/2018

6 NorduGrid Nordisk forsknings- og utviklingssamarbeid
Norge, Sverige, Danmark og Finland Ledes av Fysisk Institutt ved UiO Mål: Utvikle og drive support av ARC middleware Koordinere bidrag til ARC-koden Definere strategiske retninger for utvikling av ARC middleware ved å følge trendene innen Grid-teknologien Fremme ARC middlewareløsninger Bidra til å utvikle Grid-standarder 9/19/2018

7 Utbredelsen av ARC Brukes i dag i 15 land 9/19/2018

8 Hvorfor har ARC blitt en suksess?
”Lettvekts”, frittstående klient Lett å installere Kun ~13MB Tilgjengelig på et vidt antall Linux-plattformer Gratis (GNU General Public License (GPL)) Ingen sentralisert arkitektur Ingen ”single-point of failure” Passer heterogent distribuerte, delte ressurser Kan kobles opp mot mange andre Grid-løsninger Har vist seg å være en pålitelig ressurs for vitenskapelige applikasjoner innen mange forskningsområder 9/19/2018

9 KnowARC Oslo University Norway Lund University Sweden
Copenhagen University Denmark Uppsala University Sweden NIIF Hungary Geneva Uni. Hospitals Switzerland Kosice University Slovakia Lübeck University Germany science+computing ag Germany SUN Microsystems Hungary 9/19/2018

10 Offisiell prosjektinformasjon
Title of Contract: Grid-enabled Know-how Sharing Technology Based on ARC Services and Open Standards Acronym: KnowARC Contract Nber: Instrument: STP - Specific Targeted Research Projects (aka STREP) Thematic priority/domain: Information Society Technologies (IST) Call title: IST Call 5 Call identifier: FP IST-5 Activity: IST Advanced Grid Technologies, Systems and Services Program: FP6 Duration: 39 month Start date: June 1, 2006 Community Contribution: EUR ,- Resources: 17.5 FTEs in total, 12.5 financed Coordinator: University of Oslo Contact: Prof. F. Ould-Saada 9/19/2018

11 Popular Grid middleware for know-how sharing
KnowARC Mål: Lage en ny, kraftig og robust neste-generasjons Grid middleware Standardisering av Grid Samspillevne mellom forskjellige Grid-løsninger Bringe Grid ut til industri, offentlige tjenester og hjem til ”folk flest” (bl. a ved å gjøre den tilgjengelig på Windows) Veien frem: Benytte Service-orientert arkitektur (SOA) Oppnå industriell kvalitet Sikkerhet, pålitelighet, brukervennlighet osv… Popular Grid middleware for know-how sharing Existing ARC middleware Experienced middleware developers Industry, academia application developers Standards, Interoperability 9/19/2018

12 ARC – Advanced Resource Connector
The Grid Manager (GM) may be looked on as the heart of the Grid. GMs are instantiated at each computing resource of the Grid as a new service. The main purposes of the GM are to provide an interface to the Local Resource Management System (LRMS), facilitate job manipulation, assure data management, and allow for accounting and other essential functions. GM serves as a gateway to the computing resource through a GridFTP channel. Thus, the GM and the GridFTP pair of services form the Computing Service. The Information System may be looked on as the nervous system of the Grid. It is based on OpenLDAP [8] and modifications provided by the Globus® MDS Framework [9]. The ARC Information System has three main components: - Local Information Services; - Index Services; and - Registration Processes. The information is produced and stored locally. This information consists of information about users and resource characteristics, Grid jobs, etc. The Brokering client may be looked on as the brain of the Grid. Together with the monitoring client, this is also the part that the user directly interacts with. It consists of a command line tool and it is able to locate resources and do brokering. In this way it is able to distribute the workload across the Grid. 9/19/2018

13 Neste generasjons ARC Benytte eksisterende standarder og standarder under utvikling Web Services, SOA, GLUE 2.0, Etc… Skal være ’non-intrusive’ (dvs.: krever ikke endringer på eksisterende datamaskinressurser) Distribuere kritiske komponenter over flere ’siter’ for å unngå ’single points of failure’. Eks: Informasjonen om de forskjellige servicer og ressurser vil publiseres av servicen selv (bl.a for å unngå overbelastning av ressurser) Klientene vil i stor grad baseres på kommunikasjon over Web Services Et indekseringssystem vil stort sett bare inneholde informasjon om de forskjellige Grid-koblede ressursene og ikke lokal informasjon. Vil bli bygget rundt en push-modell vha Info Registration Service 9/19/2018

14 Neste generasjons ARC 9/19/2018

15 Back-ends Kobler ARC til de forskjellige batch-systemene/LRMS
PBS, Condor, SGE, LSF, Fork, LoadLeveler Back-ends per i dag Egne scripts for hver LRMS => mye duplikat kode Intet klart skille mellom GridManager og scriptene Grid-jobbenes status blir kommunisert vha filer Komplisert kode for nye utviklere 9/19/2018

16 Neste generasjons back-ends
9/19/2018

17 Referanser KnowARC: NorduGrid ARC http://www.knowarc.eu/
KnowARC design document, NorduGrid ARC "Advanced Resource Connector middleware for lightweight computational Grids". M.Ellert et al., Future Generation Computer Systems 23 (2007) 9/19/2018