La grande ragnatela del GRID computin
Informatics Division
INFO
Coordinatore Calcolo Scientifico
Ing. Silvio Migliori
([email protected])
(12-2003)
The Grid: The Web on Steroids
Ian Foster
http://
Web: Uniform
access to HTML
documents
http://
Software
catalogs
Grid: Flexible,
high-perf access
to all significant
resources
Computers
Sensor
nets
Colleagues
Data archives
On-demand creation of powerful virtual computing systems
Layered Grid Architecture
(By Analogy to Internet Architecture)
Ian Foster
SC2000
Application
“Managing multiple resources”:
ubiquitous infrastructure services
User
Collective
Application
“Sharing single resources”:
negotiating access, controlling use
Resource
“Talking to things”: communication
(Internet protocols) & security
Connectivity
Transport
Internet
“Controlling things locally”: Access
to, & control of, resources
Fabric
Link
Internet Protocol Architecture
“Specialized services”: user- or
appln-specific distributed services
Architettura --- > Funzioni
Application
Software
catalogs
User
Collective
?
Resource
Connectivity
Fabric
Colleagues
Computers
Sen
sor
net
s
Data archives
Alcuni Criteri di scelta di una GRID
Funzioni da realizzare (calcolo, DB, dimostrativi..)
 Utenza (ricercatori generici, ricercatori tematici, produzione,..)
 Applicativi (disponibilità del sorgente, commerciali, paralleli, seriali,

interattivi..)
Risorse economiche
 Qualità di servizio
 Interazione con altre GRID

Cosa definire
Tecnologia ---- > Utente
I servizi dell’utente finale
 Il patrimonio conoscitivo dell’utente
 Le modalità di lavoro dell’utente
 I Servizi del GRID
 Protocollo di comunicazione su cui basare i
servizi ( Globus, Condor, Legion…)
 Risorse Software/Hardware

Alcune difficoltà nascoste
(non tecniche)


Impatto psicologico
– Utenti
– Amministratori
– Responsabili
– …….
(Sensazione della perdita del controllo/potere..)
Criteri di amministrazione
Distribuiti,
Coinvolgimento costante di
tutti (U., A.,R, …)
Impatto culturale
–
Lavorare in termini funzionali e logici e non fisici
(mi collego alla macchina pippo.enea.it --- > ho necessità di
una macchina Linux )
Formazione costante
Tempo per la crescita
culturale
Alcune difficoltà nascoste
(tecniche)






Gestione delle licenze software
Gestione delle variabili di ambiente per software complessi
Gestione delle installazioni multipiattaforma
Proprietà concettuale dei dati e programmi
Gestione delle conoscenze dell’utente
Velocità di crescita e aggiornamento
GRID to GRID

Ogni organizzazione/Progetto, gruppo di utenza virtuale o
reale tende ad avere una propria GRID

La comunicazione fra i servizi di GRID diverse è
fondamentale per lo sviluppo in questo settore

Gli standard attuali sono una base ma non esauriscono le
necessità
ENEA GRID
Main Service
•CPUs : 500 GFlops
•Main Computational Code :
Nuclear, FEM, CFD, Electromagnetic,
…….
•Virtual reality environments
•Parallel environment for user code
•Integration GRID to GRID: (DATAGRID,
SPACI, EGEE)
CNR
Tor Vergata
DataGrid
at
Graphic Interface
ESA\ESRIN
•Collegamenti Internazionali (linee viola sulla
mappa)
•MI-GEANT 2.5 Gbps
•MI-GX 2.5 Gbps
•RM-KQ 622 Mbps (in attivazione)
•Back bone (linee blu a 2.5 Gbps e rosse a 155
Mbps sulla mappa)
•backbone a magliatura completa tra i nodi di
trasporto MI, BO, RM, NA.
•Collegamenti tra Backbone e POP di accesso
(linee arancione sulla mappa)
•MI-MI 155 Mbps
•MI-TO 155 Mbps
•MI-TS 2 x 34 Mbps
•MI-GE 2 x 34 Mbps
•BO-BO 155 Mbps
•MI-PD 155 Mbps
•BO-PI 2 x 34 Mbps
•BO-FI 155 Mbps
•RM-RM 155 Mbps
•RM-Fra 155 Mbps
•RM-AQ 2 x 34 Mbps
•RM-CA 2 x 34 Mbps
•NA-NA 155 Mbps
•NA-BA 2 x 34 Mbps
•NA-PA 34 Mbps
•NA-CT 2 x 34 Mbps
•RM-PG 34 Mbps (in attivazione)
•NA-CS 34 Mbps (in attivazione)
•Peering Nazionali (linee azzurre sulla mappa)
•MIX Milano 155 Mbps
•NAMEX Roma 100 Mbps
2.5 Gbps =>10 Gbits
GEANT
boquad.bologna.enea.it
dafne.casaccia.enea.it
power3.frascati.enea.it
grid0007
infocal.trisia.enea.it
CNR
Tor Vergata
DataGrid
at
Citrix
Nfuse
ESA\ESRIN
WEB(ICA)
ICA
Citrix
Metafram
e
ENEA
INFO
8
622 Mbps
25
Gflops
Cray 39 Gflops
PORTICI
New
IBM Power4
16 CPU
70 GFlops
17
0
12
0
Cluster Linux 50 Gflops
NEW
Software Conceptual Structure
WEB
NEW
WEB
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load LevelerTelnet
LSF
WEB
ICA
ICA
Load Leveler
Telnet
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Cluster 5° ( Portici)
NEW
Graphic User Interface
LSF
Load Leveler
& File System
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 6° ( Brindisi)
WEB
Cluster 2° (Nord Rome)
ICA
WEB
ICA
WEB
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 1° ( Bologna)
Cluster 3° (Frascati)
Cluster 4° (Trisaia )
ITALIAN NATIONAL AGENCY FOR
NEW TECHNOLOGY ,ENERGY AND
THE ENVIRONMENT
Fig 6
Software Conceptual Structure
Monitoring di sistema e d’utilizzo, Recupero
e Segnalazione Automatico anomalie, pianificazione
sviluppo
Qualità di servizio
WEB
ICA
Application Portal (Metaframe/Nfuse)
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
LSF
XTERM
RMS
Load Leveler
AFS Geographical cross platform & File System
AIX
ITALIAN NATIONAL AGENCY FOR
NEW TECHNOLOGY ,ENERGY AND
THE ENVIRONMENT
SGI
SUN
Compa
q
NT
Linux
Quadric
s
…
DNA Sequence system
( ABI Prism 3700)
Electronic Microscope
(Brindisi)
300 Kev
Sensors
&
Computational GRID
DB_1 DB_4
“GOME”
ENEA GRID
DB_2
CPUS
DB_3
WEB
ICA
SSH
Lavorare in GRID

L’utilizzo efficace delle risorse in rete richiede una crescita
nel modo di lavorare
– Utente
 Capire come funziona ‘’logicamente’’ la propria applicazione
 Avere un’idea del flusso dei dati
 Sapere se esistono versioni per più piattaforme
 Provare nuovi modi di lavorare

……...
– Amministratore
 Installare l’applicazione in modo efficiente sfruttando le informazioni
fornite dall’utente e dai fornitori dei codici in relazione alla propria
GRID
 Ottimizzare le configurazioni del sistema ( Code, associazione codicicalcolatore,…..)

……
Nuovi modi di lavorare
Es. 1 (IGNITOR)
ANSALDO
(GE)
ORNL
(USA)
CRIOTEC
(TO)
ENEA
(ISPRA)
ENEA GRID
Funzioni :
•Condivisione Dati su area
geografica
•Utilizzo software applicativo
•…..
Nuovi modi di lavorare
Es. 2 (Yann Pouillon )
( Louvain la Neuve
)
Nuovi modi di lavorare
Es. 2 (Yann Pouillon )
Es. 3 Test Program “GOME”
Output File
LIV2
List of path
Input File
LIV1
IDL “GOME”
Program
.jpg
Image
Input File
LIV1
List of
path
Input File
LIV1
Case-1
ENEA-Geographic
SUBMITION PROCEDURE
Case_2
List of path
Input File
LIV1
Case n
IDL Program
“GOME”
Output File
LIV2
User afs/home
WEB
Input File
LIV1
Input Files
LIV1
.jpg Image
Graphic environment under
AFS
new
Cray
Octane 2Proc
Casaccia
Octane 2Proc
Bologna
INFO Graphic
Developers
Users
Robotica
new
IBM SP
Onyx2 4Proc
Casaccia
new
CATIA User
(AIX)
FUS Project
Users
ITALIAN NATIONAL AGENCY FOR
NEW TECHNOLOGY ,ENERGY AND
THE ENVIRONMENT
Onyx3 4Proc
Frascati
new
User
Interferometri
a
Oligrafia
Simulazione Robotica
Fig 2a
WEB access
“ Direct to the applications ”
ACCESSO AI SERVIZI DELLA CELLA afs fusione.enea.it
Brindisi
National and International
GRIDs
New
ENEA
Main activities & resources for EGEE
•Integration of EGEE-GRID to ENEA-GRID;
•100 CPUs at 20% of time
ENEA-GRID
DataGrid
EGEE
at
GRID
ESA\ESRIN
S-PACI
GRID
[email protected]
ENEA
INFO
8
622 Mbps
25
Gflops
Cray 39 Gflops
17
0
12
0
Cluster Linux 50 Gflops
NEW
HPCC
Hpcc-w10
(Cosenza)
RESEARCH AND
TECHNOLOGY
AT THE NATION’S
SERVICE
ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT