La sperimentazione del software di GRID e i piani
per una grid di produzione
Luciano Gaido – INFN sezione di Torino
[email protected]
Workshop della Commissione Calcolo e Reti
Paestum, 9-12 giugno 2003
Workshop CCR 2003
luciano gaido
Le Grid
Grande fermento in tutto il mondo: i progetti, proposte di progetti e iniziative
relativi alle GRID crescono come funghi.
Una lista non esaustiva:
LCG
IG-BIGEST
CrossGrid
Teragrid
CoreGrid
EGEE
Worldgrid
Workshop CCR 2003
INFN-GRID
DataGrid
DataTAG
GRID.IT
GridPP
iVDGL*
GRIP
luciano gaido
Griphyn*
SUGAR
PPDG*
HEAVEN
EuroGRID
GRIDlab
NorduGRID
GRIDLAB
Trillium*
National Grid Initiatives in Europe
Workshop CCR 2003
luciano gaido
Le Grid
Siamo alla seconda generazione: l’obiettivo è realizzare grid “di produzione”
implementando e perfezionando quanto sviluppato finora, con particolare
attenzione ai problemi di gestione e supporto
Una descrizione sintetica dei progetti grid finanziati dalla EU
si trova su http://www.gridstart.org/projects.shtml
Prossimamente: Sixth Framework Programme EU
Workshop CCR 2003
luciano gaido
DataGrid
DataGrid è un progetto della durata di 3 anni finanziato dalla Comunità
Europea.
L’obiettivo è costruire una infrastruttura di calcolo di nuova generazione
che sia in grado di consentire calcolo intensivo e l’analisi di una enorme mole
di dati distribuiti e condivisi, dell’ordine dei PetaBytes, nell’ambito di
comunità e collaborazioni scientifiche distribuite su scala planetaria.
Data di inizio: 1 gennaio 2001
Durata: 3 anni
http://www.eu-datagrid.org
INFN-GRID
INFN-GRID è fortemente legato a DataGrid, con alcune specificità.
Data di inizio: giugno 2000
http://www.infn.it/grid
Workshop CCR 2003
luciano gaido
DataTAG
DataTAG è finanziato dalla EU ed ha l’obiettivo di studiare l’interoperabilità
tra m/w prodotto da DataGrid e dai progetti americani (GriPhyn, PPDG, etc.)
Data inizio: 1.12.01
Durata: 2 anni
http://www.datatag.org
LCG
LHC Computing Grid
Ha L’obiettivo di realizzare una infrastruttura per il calcolo distribuito
degli esperimenti LHC (Centri Regionali)
Fase 1 (2002-2005):
realizzazione prototipo
Fase2 (2006-2008):
realizzazione e gestione del “servizio di calcolo”
per LHC
http://www.cern.ch/LCG
Workshop CCR 2003
luciano gaido
FIRB-GRID (GRID.IT)
Finanziato dal MIUR ha l’obiettivo di realizzare una infrastruttura di grid
italiana per settori scientifici non coperti dagli altri progetti grid esistenti,
in particolare Geologia, Vulcanologia, Astrofisica, Biologia, etc.
Partecipano varie università, istituti del CNRe l’ASI.
La partecipazione INFN ha l’obiettivo di definire e sviluppare tools per la
gestione operativa ed il supporto di una grid nazionale mediante la ‘costruzione’
di un Grid Operation Center (GOC) nazionale.
Data di inizio: 1.1.03
Durata: 3 anni
http:/grid.infn.it/firb-grid
Workshop CCR 2003
luciano gaido
EGEE (Enabling Grids and Escience in Europe)
Il proposal è stato sottomesso alla EU il 6 maggio 2003 ed ha appena superato con
successo la prima valutazione.
Obiettivo: costruire, gestire e fornire supporto per una grid europea di produzione
costituita dall’interconnessione di grid esistenti
Aree di interesse:
- consolidamento del middleware
- operation
- management
- supporto
http://egee-ei.web.cern.ch/
Workshop CCR 2003
luciano gaido
Situazione Release EDG
Attualmente è in uso la release EDG 1.4.x
usata dagli esperimenti LHC + EO + BIO per validazione del middleware
e prove di produzione
- test di Atlas in corso (ultimi in ordine di tempo).....
Uno dei limiti principali è costituito dal fatto che necessita di RH 6.2,
anche se il porting a RH 7.3 è stato effettuato per i Worker Node
EDG 2.0 prevista per il 15 giugno
Previste altre release minori, con l’integrazione di nuove funzionalità,
entro la fine del progetto
Workshop CCR 2003
luciano gaido
I testbed EDG + INFN-GRID (fino ad oggi)
EDG development Testbed
- 5 siti di cui 1 INFN (CNAF)
Utilizzato dall’Integration Team per il test della release EDG prima del
rilascio ufficiale
EDG application Testbed
- una dozzina di siti europei di cui 5 INFN: Catania, CNAF, Milano,
Padova e Torino
Workshop CCR 2003
luciano gaido
I testbed EDG + INFN-GRID (fino ad oggi) – cont.
INFN-GRID application (production) Testbed
20 siti finanziati dal Progetto Speciale:
Catania, CNAF, Bari, Bologna, Cagliari, Ferrara, Genova, Lecce,
Legnaro, Milano, Napoli, Parma, Pavia, Padova, Pisa, Roma1,
Roma2, Roma3, Torino e Trieste
Siti in rosso: si tratta delle stesse risorse dell’application testbed EDG
In alcuni siti (quelli in rosso + PI) è stato installato il set completo dei grid
elements (UI, SE, CE e WNs), negli altri un sottoinsieme.
La validazione middleware e le prove di produzione sono state fatte su
questi Testbed.
Tutte (o quasi) le risorse grid dell’INFN sono state installate utilizzando il
tool per l’installazione automatica LCFG(ng).
Workshop CCR 2003
luciano gaido
The INFN-GRID Testbed
Workshop CCR 2003
luciano gaido
Riorganizzazione dei testbed
Due eventi sono all’origine di questa riorganizzazione (in corso):
- ritardo nel rilascio di EDG 2.0
- avvio di LCG, che è il progetto più importante per la comunità
HEP e per l’INFN.
EDG Development testbed
- ampliamento della parte italiana (CNAF, CT e TO) per il test
approfondito dei servizi grid sviluppati da EDG WP1 (di responsabilità
INFN) e del VOMS
- test del middleware WP2 nel sito CERN e di WP3-WP5 nei siti inglesi
- maggiore sinergia con gli sviluppatori
Workshop CCR 2003
luciano gaido
Riorganizzazione dei testbed – cont.
EDG Application testbed
- riduzione del numero dei siti (da 5 a 2 x l’INFN: PD e CNAF)
- non sarà più aperto agli esperimenti per le prove di produzione
- usato solo da un gruppo ristretto di persone (loose cannons) per la
validazione della release del middleware
Workshop CCR 2003
luciano gaido
Riorganizzazione dei testbed – cont.
LCG Certification Testbed
- analogo al development testbed di EDG
- usato per test della Release LCG (composta da EDG 2.0 + VDT)
- finora risorse (hw e persone) solo al CERN
- 1 o 2 siti aggiuntivi in USA, presto
- 1 sito aggiuntivo nell’INFN (probabilmente CNAF) in via di
definizione; partecipazione alle attività di un Certification Team
INFN
Workshop CCR 2003
luciano gaido
Riorganizzazione dei testbed – cont.
LCG Production testbed (LCG-1)
- analogo all’application testbed di EDG
- usato dagli esperimenti per le prove di produzione e i data challenge
- 4 siti italiani: CNAF (Tier-1) e LNL, MI e TO (Tier-2)
Testbed di produzione INFN-GRID
- sarà ‘collegato’ ad LCG-1, anzichè all’application Testbed di EDG
Workshop CCR 2003
luciano gaido
I nuovi problemi posti dalle grid di produzione
Il funzionamento di una vera grid ‘production quality’ presuppone la risoluzione
di vari problemi, anche di tipo organizzativo.
La gestione è complessa e deve essere accuratamente studiata.
Gli elementi principali sono:
- garantire che le risorse siano correttamente configurate e funzionanti
- garantire che le policy di accesso siano definite correttamente ed applicate
- fare in modo che i problemi siano identificati rapidamente, assegnati
a personale tecnico specializzato e risolti
- raccogliere ed elaborare dati statistici relativi all’uso delle risorse
- effettuare il monitoring delle risorse e del loro stato
- realizzare un help desk per gli utenti
- ...............
E’ necessario perfezionare gli strumenti esistenti e svilupparne nuovi.
Workshop CCR 2003
luciano gaido
I nuovi problemi posti dalle grid di produzione – cont.
All’interno del progetto LCG è in fase di definizione un modello strutturale
per un Grid Operation Center distribuito su 3 siti con compiti di condurre,
effettuare la gestione e fornire supporto per la grid di produzione LCG.
A livello di INFN-GRID è in fase di definizione un modello strutturale
analogo che prevede la creazione di un GOC per la grid italiana:
- è necessario definire bene gli ambiti e le interfacce verso il GOC di LCG
- il problema sarà affrontato anche nell’ambito di EGEE
 obiettivo: sfruttare le possibili sinergie razionalizzando lo sforzo
e valorizzando le competenze
Di questo e di altre cose si discuterà nel Workshop del Technical Board
di INFN-GRID che si terrà il 16 e 17 giugno a bologna
Workshop CCR 2003
luciano gaido
La scommessa per il futuro
Se i progetti grid avranno successo, fondamentalmente in termini di:
- utilizzabilità del middleware per le attività degli esperimenti coinvolti
- semplicità di gestione
- efficienza della struttura di supporto
allora la grid di produzione (l’evoluzione di INFN-GRID) potrà davvero
diventare uno strumento generale utilizzabile per qualsiasi tipo di
elaborazione da parte dei gruppi di ricerca dell’INFN, con un ruolo analogo
a quello che ha avuto CONDOR per l’INFN.
Molto è stato fatto nei progetti R&D, ma molto rimane ancora da fare!
Workshop CCR 2003
luciano gaido