Valutazione del Globus
Toolkit
Massimo Sgaravatto
INFN Padova
Grid




“Hardware and software infrastructure that
provides dependable, consistent and pervasive
access to resources”
DB
Dependable: garanzia di funzionalita` e
performance
Consistent: interfaccia uniforme
a molte risorse di tipo diverso
DB
Pervasive: possibilita` di “plug in” da
qualsiasi posto
Massimo Sgaravatto
DB
DB
GRID: Problemi

Resource Management


Data Management




Come si fa lo staging dell’eseguibile nel nodo remoto ?
Come si fa partire la computazione remotamente ?
Come si gestisce ?
Security



Come si accede a data set remoti ?
Computation Management


Come si localizzano e si richiedono le risorse ?
...
Come si fa il “log in” nella Grid ?
Come si gestiscono le autorizzazioni ?
Massimo Sgaravatto
Globus




Progetto guidato da Ian Foster e
Carl Kesselman
Ricerca di base su GRID (resource management,
security, QoS, ...)
Sviluppo del Globus Toolkit
 Core service per tool e
applicazioni in GRID
GUSTO Testbed (~ 40 siti)
Massimo Sgaravatto
Globus Architecture
Applications
Testbed Status
High-level Services and
Tools CC++
MPI
MPI-IO
Nimrod/G
globusrun
GlobusView
DUROC
Core Services
Nexus
Metacomputing
Directory
Service
Gloperf
Condor
MPI
LSF
Easy
NQE
Globus
Security
Interface
Local
Services
Massimo Sgaravatto
GRAM
Heartbeat
Monitor
AIX
GASS
TCP
UDP
Irix
Solaris
Core Services








Communication infrastructure (Nexus)
Resource Management (GRAM)
Remote Data Access (GASS)
Executable Management (GEM)
Security (GSI)
Information Service (MDS)
Network Performance Monitor (GLOPERF)
Fault detection (HBM)
Massimo Sgaravatto
High Level Services





Librerie di I/O (MPICH, RIO, ....)
Linguaggi paralleli (CC++, HPC++)
Resource broker e co-allocator (DUROC,
Nimrod, ...)
Tool di monitoring (GlobusView, MDS
browser, ....)
...
Massimo Sgaravatto
Globus Security Infrastructure

Unica autenticazione



non bisogna gestire l’autenticazione sui
singoli nodi della GRID
Mapping tra GRID user-id e local user-id
Tecnologia a chiave pubblica (certificati
X.509)
Massimo Sgaravatto
Metacomputing Directory
Service

Gestione di informazioni (statiche e dinamiche)
su:



Interfaccia e protocollo standard (LDAP)


Risorse (host, sw configuration, load, resource
manager, ...)
Network (bandwidth, latenza)
Unico MDS server in USA
Informazioni:


Organizzate gerarchicamente in DIT (Directory
Information Tree)
Nuovi attributi definibili
Massimo Sgaravatto
MDS

Informazioni aggiornate da:




Globus (es. GRAM Reporter)
Utenti
Altri “provider” (es. SNMP)
Informazioni accedibili via:



comandi
applicazioni (API)
tool grafici
Massimo Sgaravatto
Resource Management



GRAM (Globus Resource Allocation Manager):
gestisce un insieme di risorse locali
Interfaccia uniforme a diversi sistemi di resource
management (Condor, LSF, PBS, fork, ...)
Resource Specification Language (RSL) per definire:


resource requirement (machine type, memoria, ...)
job definition (eseguibile, parametri, ...)
Es: & (ResourceManagementContact =
“cond.pd.infn.it:/C=US/.../CN=cond.pd.infn.itcondor”) (count=100) (executable=myapp)
Massimo Sgaravatto
Resource Management Architecture
Application
Resource and
Job specification
MDS
Resource
discovery
Data
discovery
Broker
Data
Catalog
Create
jobs
Site1
GRAM
GRAM
GRAM
CONDOR
LSF
fork
Site2
Massimo Sgaravatto
Site3
Remote Data Access


GASS (Global Access to Secondary Storage)
Naming attraverso URL:


Possibilita` di accedere a file da nodi remoti



Es: x-gass://host1.pd.infn.it:1234/filename
Caching
Necessita` di modificare il codice:
 open()  globus_gass_open()
 close()  globus_gass_close()
Possibilita` di spostare file a/da nodi remoti
Massimo Sgaravatto
Executable Management



Possibilita` di staging degli eseguibili sui
nodi remoti
stdin/stdout/stderr da un nodo remoto
Es:
& (executable=x-gass://host1.pd.infn.it:1234/~/myexe)
(stdin=ftp://ftp.pd.infn.it/inputs/myinp)
(stdout=/disk1/outputs/myout)
Massimo Sgaravatto
Altri servizi

Nexus Communication Library


HBM (Heartbeat Monitor)


Utilizzabile in diversi modelli di programmazione
(message passing, RPC, ecc…)
Rileva e notifica malfunzionamenti
GLOPERF (Globus Network Performance
Measurement Tool)

Misure di throughput e latency tra coppie di nodi
Massimo Sgaravatto
Use Case: studi HLT di CMS
Massimo Sgaravatto
First steps


Creazione di un testbed tra 5 siti (Bologna,
CNAF, LNL, Padova, Roma1)
Applicazione:


Resource Management





MC Prod.  Tutta la catena HLT
Submit di job su tutte le risorse del testbed
Implementazione broker
Resource manager locali: fork  Condor/LSF/…
Book-keeping
Globus MDS server italiano
Massimo Sgaravatto
People

INFN









Bologna
CNAF
LNL
Milano
Padova
Roma1
CERN (Fabrizio Gagliardi)
Universita` di Lecce (HPC Lab)
Universita` di Venezia (DI)
[email protected]
Massimo Sgaravatto