Grid Computing AliEn og Condor

Hvem, hva, hvor Jeg heter André Waage Sørensen Er tilknyttet Alice prosjektet på CERN Jobber med Grid teknologier som skal brukes for å distribuere eksperiment resultater for videre analyse

Hva er Grid? ”Grid computing is an emerging computing model that provides the ability to perform higher throughput computing by taking advantage of many networked computers to model a virtual computer architecture that is able to distribute process execution across a parallel infrastructure.” -- wikipedia.org

Eksempel på Grid AliEn Grid rammeverk LCG LHC Computing Grid ARC Advanced Resource Connector PBS Batch system Condor Batch system

Hvorfor Grid? Et av prosjektene på CERN er ”The LHC Computing Grid project” (LCG). Dette prosjektet går ut på å håndtere alle dataene som blir generert i sammenheng med LHC (Large Hadron Collider) eksperimentene. Når dette prosjektet starter i 2007, så vil det generere ca. 15 Petabytes (15 millioner Gigabytes) med data årlig. Disse datamengdene ville vært uhåndterlige med ”tradisjonelle” metoder. Grid er løsningen!

AliEn AliEn: ALIce ENvironment Grid-prototype utviklet for ALICE-eksperimentet I utgangspunktet komplett Grid-prototype  videreutviklet som grensesnitt mot bl.a. LCG Ble laget før andre gode alternativer var tilgjengelige

ARC ARC: Advanced Resource Connector GRID prototype utviklet av NorduGrid (nordisk gruppe tilknyttet ATLAS-eksperimentet på CERN) Brukes som ”middleware” primært i Skandinavia ARC bruker Condor til lokal jobbhåndtering Trenger AliEn  ARC grensesnitt for å kjøre ALICE- jobber på nordiske maskiner

CERN Grid-organisering CERN - Eksperiment data - 24/7 – operasjon - Permanent datalagring (tape) - Sentrale sentre (5 – 10 pr. eksperiment) - Regneressurser - Tilknyttet institutt / laboratorium etc.

NDGF – Nordic Data Grid Facility NorduGrid/ARC

Hva er Condor ”Condor is a specialized workload management system for compute-intensive jobs. Like other full-featured batch systems, Condor provides a job queueing mechanism, scheduling policy, priority scheme, resource monitoring, and resource management.” * Fra Condor sin hjemmeside

Hva er Condor (2) Condor er et batch-system for distribuering av parallelle jobber over et (lokalt) nettverk Er tilgjengelig for mange platformer (Linux, Windows, MacOS, etc) Kan kjøre alle typer programmer (kompilert med C/C++, Java, Fortran, Pascal, etc) Lett tilgjengelig administrasjon av jobber

Hva er Condor (3) Mulighet for å sette minstekrav for utføring av jobber (f.eks. operativsystem, prosessorhastighet, ledig minne, etc) Maskinene jobber bare når bruker er inaktiv / ikke logget inn God skaleringsevne Støtte for prioritering av jobber

Condor arkitektur 1. Jobb sendes 2. Jobb annonseres 3. Ledig maskin svarer 4. Jobb og filer overføres 5. Jobb utføres 6. Resultat og evt endrede filer returneres

Hva jeg har jobbet med til nå Studert og satt meg inn i grid-teknologi og alle konseptene som dette innebærer (grid-miljø, grid- verktøy, sertifikater, etc.) Denne kunnskapen har så blitt brukt i praksis ved å gjøre følgende: –Sette opp Condor i et Windows/Linux miljø for å kunne tilby Høgskolen et batchsystem på datalabene –Har begynt å sette opp et AliEn og Condor miljø på ”Hansaklyngen” på Fysisk inst.

Hva jeg skal gjøre videre Jobbe videre med Alien  ARC  Condor oppsettet på Fysisk inst. slik at det kan brukes i sammenheng med ALICE Utvikle produksjonsmiljø for et heterogent Grid- system (ARC+AliEn) på Fysisk inst. Utvikle diverse programvaremoduler tilknyttet disse teknologiene