I progetti di integrazione di
GRID EU-US
Flavia Donno
INFN Sezione di Pisa
Riunione Comm. I sul calcolo a LHC
Perugia, 11-12 Novembre 2002
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
1
I progetti e le iniziative
GOAL:
Costruire una “grid transatlantica” sperimentale basata sulla
interoperabilita’ tra la grid europea (EDG) e quella americana
(VDT), con lo scopo di fornire un accesso trasparente alla
infrastruttura di calcolo massivamente distribuita, necessaria
per far fronte alla richiesta delle moderne applicazioni “dataintensive”.
• DataTAG (middleware EDG)
The DataTAG project will create a large-scale intercontinental Grid testbed that will focus upon
advanced networking issues and interoperability between these intercontinental Grid domains, hence
extending the capabilities of each and enhancing the worldwide programme of Grid development.
The project will address the issues which arise in the sector of high performance inter-Grid
networking, including sustained and reliable high performance data replication, end-to-end advanced
network services, and novel monitoring techniques. The project will also directly address the issues
which arise in the sector of interoperability between the Grid middleware layers such as
information, security services, data access and job scheduling. The advance made will be
disseminated into each of the associated Grid projects.
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
2
I progetti e le iniziative
• iVDGL (middleware VDT)
The iVDGL is a global Data Grid that will serve forefront experiments in physics and astronomy. Its
computing, storage and networking resources in the U.S., Europe, Asia and South America provide a
unique laboratory that will test and validate Grid technologies at international and global scales. Sites
in Europe and the U.S. will be linked by a multi-gigabit per second transatlantic link funded by the
European DataTAG project.
GLUE
The Grid Laboratory Uniform Environment (GLUE) initiative was created in Feb. 2002 to
provide a focused effort to achieve interoperability between the U.S. (iVDGL, GriPhyN and
PPDG) and the European (EDG, DataTAG) physics Grid projects. The scope includes the
definition of a set of software, configuration recommendations, documentation and test suites
cover the basic interoperability requirements. Software will be deployed and tested on a Grid
testbed set up for this specific purpose. GLUE management and activities are provided by the
iVDGL (U.S. side) and DataTAG (European side) projects specifically. The project reports to
and gets guidance from the High Energy Physics Intergrid Coordination Board (HICB) and its
Joint Technical Board (JTB). Since LCG has endorsed the effort as bringing benefit to the
project goals of deploying global production grids for LHC experiments, commitment to deliver
worth to LCG is part of the GLUE program.
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
3
DataTAG: gli obiettivi
L’ INFN e’ responsabile delle attivita’ del WP4:
• Trovare le soluzioni per i problemi di interoperabilita’ e/o
integrazione.
• Lo scenario comune ha portato alla definizione di requirements
molto simili per i progetti di middleware. Un risultato che ne e’
derivato e’ l’adozione di software comune per i servizi di base
quali Globus e Condor. Questa situazione ha facilitato il tipo di
approccio adottato per studiare il problema:
– definizione di un set minimo di core services che devono essere comuni a
tutte le grid
– Studio di integrazione o coesistenza per i servizi di alto livello
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
4
Schema dei servizi di grid
DataGRID
VO
AA
Services
DataGRID
Grid Scheduler
Replica Manager
R-GMA
GriPhyN/PPDG
Planner/Executor
Replica Manager
MDS, SRB
GriPhyN/
PPDG
VO
AA
Services
VOMS
CAS
Globus Core Services
GRAM, GSI, GRIS , Basic Data Access
Replica Catalog, GDMP, Condor basic components
Grid Resources and Local Services
Compute Element, Storage Element, Network,
Local Authorization Service, Local Scheduler
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
5
DataTAG: gli obiettivi
• In particolare, il primo e piu’ importante requisito per
garantire l’interoperabilita’ e’ la necessita’ di accedere alle
risorse sulla griglia utilizzando:
– protocolli comuni
– meccanismi base di sicurezza, autenticazione e
autorizzazione comuni
– un modo omogeneo di descrivere le informazioni relative
alle risorse grid
• Il Globus Toolkit fornisce protocolli di accesso (GRAM),
di pubblicazione delle informazioni (GIS) e una
infrastruttura di sicurezza basata su chiavi pubbliche
(PKI), la Globus Security Infrastructure (GSI).
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
6
DataTAG:
il programma di WP4
L’attivita’ di WP4 si divide in:
• Resource discovery and GLUE schema (task 4.1)
• Resource access policy, authentication, authorization and
security (task 4.2)
• Collective services : evaluation/selection/integration (task 4.3)
Distribution and Configuration Conventions and Tools
•Application GRID integration (task 4.4)
•First testbed prototypes and demos
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
7
DataTAG:
autenticazione e autorizzazione
• I Tools EDG sono stati proposti per l’uso ai collaboratori iVDGL
• EDG Certification Authorities
• VO LDAP server
• VO GroupMAN
• edg-mkgridmap
Questi tools (sviluppati dall’INFN) sono ora parte della distributione
ufficiale VDT.
• VOMS e’ studiato dai collaboratori americani iVDGL.
•VOMS architettura definita
•Accordo sulla struttura del database (MYSQL)
•Accordo sulle ACLs per gli amministratori del database
• i dati ritornati contengono il soggetto del certificato utente e gli
attributi(user's role...) e informazioni membership (VO, group, subgroup..)
che vengono aggiunti alla proxy.
•Pronta prima versione del VOMS server.
• Collaborazione INFN - FNAL su KCA/X509
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
8
DataTAG:
Resource discovery e GLUE schema
CE : la struttura logica e’ stabile
 SE: la struttura logica e’ stabile
 L’implementazione LDAP e’ stata rilasciata!
 Lo Schema Glue e’ incluso in Globus MDS 2.2
 Gli Information Providers Globus e EDG Info Providers sono
inclusi in VDT.

Primo testbed di test transatlantico con TOP GIIS
 Testato con successo il Resource Broker “Glue-aware”!

Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
9
DataTAG:
Middleware selection
Per il primo prototipo di testbed intercontinentale e’
stato condotto uno studio per identificare il middleware
che permette di far interoperare I domini GRID americano
(iVDGL) e Europeo (EDG):
Componenti Globus standard
 Resource Broker e EDG User Interface
 Replica Manager e Replica Catalogue
 EDG Schema e Information Providers
 EDG Authorization and Authentication system

Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
10
DataTAG:
Distribution and Configuration Tools
Goals:
Contribuire a una distribuzione che :
E’ “conforme” a entrambe le distribuzioni EDG e VDT
Include componenti EDG e VDT
Permette l’interoperabilita’ dei testbeds
Stabilisce regole di configurazione comuni e flessibili.
Cosa e’ stato fatto:
? Creato una software repository comune per la creazione di rpms e PACMAN.
? La repository WorldGrid cache contiene una distribuzione stabile che puo’
essere assorbita da VDT e EDG.
?
?
?
Proposta una strategia di configurazione a VDT e EDG
Lavoriamo su una strategia comune per il versioning EDG-VDT
Cerchiamo di convergere su un tool di distribuzione “comune”
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
11
DataTAG:
First testbed prototypes and demos
IST2002 4-6 November, Copenhagen
SC2002 16-22 November, Baltimore
Goals: Dimostrare:
 Collaborazione tra progetti Grid Europei e US.
 Interoperability tra domini grid per applicazioni sottomesse da utenti di
diverse “organizzazioni virtuali”.
 Uso controllato di resorse condivise soggette a una policy stabilita
 Uso integrato di risorse eterogenee di domini testbed iVDGL e EDG
Infrastructure:
? WEB site:
http://datatag-demo.pi.infn.it, http://www.ivdgl.org/demo
? GLUE testbed with common schema
? VO (DataTAG and iVDGL) LDAP Servers in EU and US
? Central Repository with software distribution (DataTAG or iVDGL)
? Planning document outline
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
12
DataTAG:
First testbed prototypes and demos
IST2002 4-6 November, Copenhagen
SC2002 16-22 November, Baltimore
La demo IST2002 ha riscosso un notevole successo.
Centinaia di applicazioni di simulazione di CMS e ATLAS sono state sottomesse
ed eseguite con successo.
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
13
DataTAG:
Application GRID integration
L’attivita’ di WP4 deve tenere conto quello che e’ stato gia’ adottato e
usato dagli esperimenti LHC e delle loro necessita’.
 Un piano coordinato deve essere stabilito per integrare e sviluppare
ulteriormente i tools disponibili (che vengono sia dai Progetti GRID e
sia dal software degli esperimenti specifici) in soluzioni comuni.
Piani individuali sono stati discussi con ogni esperimento ed e’ stata
adottata una strategia comune. Necessita’ ad alto livello e aree di
intervento sono state identificate attraverso svariate discussioni e
riunioni con tutti gli esperimenti LHC.
Esistono testbed operanti gia’ per CMS e ATLAS. Anche ALICE sta
per seguire.
Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
14
DataTAG:
Conclusioni
L’attivita’ di DataTAG nel campo della interoperabilita’ dei domini
GRID e’ fondamentale.
 La sperimentazione in corso viene seguita con particolare interesse a
livello internazionale e presa come punto di partenza per il deployment
del testbed di produzione LCG.
 Molte delle attivita’ in corso parte del programma GLUE verranno
assorbite da LCG in fase di produzione.
 L’INFN, responsabile per il WP4, ha svolto un ottimo lavoro con
risultati tangibili.
 Il testbed internazionale oggi operante conta 137 CPUs e circa 20 siti
in Europa e America. LCG intende collaborare all’esperimento con un
prototipo di tale testbed al CERN e intende partecipare alle produzioni
CMS in programma.

Flavia Donno
Commissione I, Perugia 11-12
Novembre 2002
15