ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
CRESCO, Workshop GRISU, Catania 13/12/2005
workshop per la promozione di collaborazioni tra i Progetti CRESCO,
CYBERSAR, PI2S2, e SCOPE, recentemente finanziati dal bando
PON n. 1575
Centro computazionale di RicErca sui Sistemi COmplessi
CRESCO
S. Migliori, A. Quintiliani, V. Rosato, S. Bologna, S. Taglienti
ENEA GRID TEAM
R. Guadagni, G. Bracco, S. Podda, P. D’Angelo, G. Mencuccini, F. Simoni, A.
Perozziello, A. De Gaetano, S. Pecoraro, D. Giammattei, M. De Rosa, M.
Caiazzo, A. Palumbo, G. Elmo, S. Pierattini,G. Furini, C. Zini, V. Guastella, M
Steffè
ENEA INFO [Servizio Centralizzato Informatica e Reti], Roma
CRESCO, Workshop GRISU, Catania 13/12/2005
Agenda
L’ENEA &
GRID
– Cenni storici
– L’infrastruttura attuale
– I progetti Telegrid & Campus
Il
progetto CRESCO
– Principali Obiettivi
– La struttura del progetto & Partner
– Le aree applicative
Coordinamento
con gli altri progetti
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA
Italian Agency for New Tecnologies,
Energy and Environment.
12 research centers in Italy
Centro
di Brindisi
A Central Computer and Network
Service (INFO)
6 Computer Centres
Casaccia, Frascati, Bologna,Trisaia,
Portici, Brindisi
Multiplatform resources for serial &
parallel computation and graphical
post-processing.
Others computer resources in ENEA:
departments & individuals
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA Network connection
ENEA computational resources are distributed over
WAN, connected by GARR, the Italian Academic &
Research Network
ENEA-GARR
9 PoP, 4-32 Mbps
Brindisi
Bologna
Casaccia
Frascati
Portici
Trisaia
Palermo
Pisa
Roma Sede
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID
ENEA GRID è un sistema integrato capace di rispondere ai
seguenti obbiettivi:
•mettere a disposizione un sistema di produzione capace di
offrire i servizi necessari al calcolo scientifico
•integrare l'insieme di risorse informatiche di ENEA-INFO,
distribuite su WAN
•fornire un ambiente di lavoro unificato e metodi di accesso
omogenei per tutti i ricercatori dell'ENEA indipendentemente
dalla loro sede di lavoro.
•mettere a disposizione strumenti capaci di permettere
l'integrazione delle risorse informatiche dipartimentali ed
individuali e di fornire supporto alle attività sperimentali
CRESCO, Workshop GRISU, Catania 13/12/2005
I servizi di ENEA GRID
Servizi per il calcolo scientifico:
• Sistemi paralleli/seriali multipiattaforma
• AIX, Linux (Alpha,x86,x86_64,IA64), IRIX, Mac OS X, Solaris
• Risorse 3D e il post-processamento grafico
• SGI + 3D immersivo
• Risorse Software:
• Codici commerciali: Fluent, Gambit, Abacus, Catia, Ansys
• Codici di “ricerca”: mcnp/x, eranos, fluka,....
• Ambienti di sviluppo & analisi: IDL, Matlab, Mathematica, SAS
• Applicazioni Windows
CRESCO, Workshop GRISU, Catania 13/12/2005
Risorse di Calcolo in ENEA-GRID
OS
#cpu
Gflops
AIX
188
~1000
Linux x86 32/64
96
200
Linux Alpha
30
40
Casaccia
IRIX
27
40
Frascati(8), Casaccia(4),
Portici(1),Trisaia(8), Brindisi(1),
Bologna(5)
Solaris
8
10
Trisaia(4), Casaccia(2), Bologna(?)
Windows
18
50
Frascati(6), Portici(4),Trisaia(4),
Brindisi(4)
Mac OS X
27
100
Frascati(160),Bologna(8), Portici(18),
Brindisi (2)
Frascati(28), Casaccia(54),
Portici(4),Trisaia(4), Brindisi(4)
Frascati(1), Trisaia(13)
Le risorse di Portici, Brindisi & Trisaia sono state aumentate nel quadro del progetto
PON TELEGRID
CRESCO, Workshop GRISU, Catania 13/12/2005
L'architettura di ENEA GRID
La scelta di componenti maturi come garanzia di affidabilità e
semplicità di gestione:
File system distribuito: AFS/OpenAFS
Gestore delle risorse: LSF Multicluster
Interfaccia grafica: Java and Citrix Technologies
Sistema di monitoring: Patrol
Server di licenze
Strumenti per l'integrazione delle risorse dipartimentali ed
individuali
File sistem distribuito: AFS per software e dati
Condivisione del parco licenze
CRESCO, Workshop GRISU, Catania 13/12/2005
Architettura di ENEA GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
Struttura Software concettuale
WEB
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load LevelerTelnet
LSF
WEB
WEB
ICA
ICA
Load Leveler
Telnet
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Cluster 5° ( Portici)
Graphic User Interface
LSF
Load Leveler
& File System
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 6° ( Brindisi)
WEB
Cluster 2° (Casaccia)
ICA
WEB
ICA
WEB
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 1° ( Bologna)
Cluster 3° (Frascati)
Cluster 4° (Trisaia )
CRESCO, Workshop GRISU, Catania 13/12/2005
Interfaccia utente
Accesso utente unificato tramite Citrix Presentation Center [ex
Metaframe], java e script di shell:
Prestazioni ottimizate su WAN e metodi di comunicazione sicuri
Accesso gestito da 6 server Citrix UNIX [ Bologna, Casaccia,
Frascati, Trisaia, Portici, Brindisi]
4 server Citrix Windows forniscono accesso alle applicazioni
Windows tramite Web(Frascati, Portici, Trisaia, Brindisi).
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID and experimental facilities
DNA Sequence
system
( ABI Prism 3700)
Trisaia
DB_2
ENEA GRID
Controlled Nuclear Fusion:
FTU
Frascati Tokamak Upgrade
Video Acquisition
CPUS
DB_1
DB_3
Electron Microscope
(Brindisi)
300 KeV (sept. 2004)
CRESCO, Workshop GRISU, Catania 13/12/2005
WEB
ICA
SSH
Schema di integrazione di apparati sperimentali nel
GRID ENEA
Electronic Microscope
(Brindisi)
300 KeV (sept. 2004)
TEM Room
Remote User
Remote Controlled
Web-cam
Mtaframe
Special Driver for TEM
Local
Operation
Remote
Local
Operation
AFS
Local Data
AFS Data Integration
> 4 TByte
Local GRID Cluster
CRESCO, Workshop GRISU, Catania 13/12/2005
Integrazione con altri progetti di GRID
L'obbiettivo della partecipazione di ENEA INFO in altri
progetti di GRID è concentrato sulla interoperabilità.
Ogni progetto di GRID è caratterizzato da una propria
architettura/middleware e l'accesso alle risorse deve risultare
compatibile con l'infrastruttura interna:
==> realizzazione di gateway
Progetti:
●
Datagrid
●
FIRB/Grid.it : WP13 Chimica Computazionale
●
EGEE
●
EGEE-2
E-DAISA ( In corso di approvazione )
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID e il progetto DATAGRID
ENEA ha partecipato (unfunded) in DATAGRID (finito 2004)
collaborando con ESRIN [ESA] Frascati dove è stato realizzato un
gateway DATAGRID ==> ENEA-GRID con funzionalità limitate
[sottomissione, pubblicazione dei risultati]
Test con l'analisi dei dati satellitari di GOME (livelli di Ozono)
[IDL/multicase/multipiattaforma]
List of
path
Input File
LIV1
Case-1
Case_2
ENEA-Geographic
SUBMISSION PROCEDURE
List of path
Input File
LIV1
IDL Program
“GOME”
Input File
LIV1
Case n
CRESCO, Workshop GRISU, Catania 13/12/2005
Input Files
LIV1
Output File
LIV2
User afs/home
WEB
ENEA-GRID e il WP13 GRID.it/Chemgrid
Il progetto FIRB GRID.IT nel suo WP13, Chimica Computazionale,
comprende un gruppo di ricercatori di ENEA Casaccia. WP13 ha
realizzato una piccola GRID sperimentale basata su Globus 3.2 che
comprende siti a PG, MI, BO, PD, BA e ENEA Frascati.
Il contributo ENEA: un gateway [chemgrid.frascati.enea.it] che
permette l'accesso a 16 nodi Linux condivisi con ENEA-GRID.
I componenti installati:
Server: gatekeeper [compatibile con AFS ed LSF; MPICH-G2]
gsiftp [compatibile con AFS]
gssklogd [traduce certificato X509 in token kerberos AFS]
Client: globus 3.2 installato in AFS ed utilizzabile da ogni server
Linux di ENEA-GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
EGEE/ENEA Linux Cluster
LCG 2.6 Middle-ware has been patched for compatibility with ENEA-GRID
architecture, AFS and LSF:
•Pool account users are pre-defined as standard AFS user of ENEA GRID with AFS
homes: e.g. for dteam VO $HOME=/afs/enea.it/grd_egee/user/dteam001...
•lcmaps has been modified to acquire an AFS token using gssklog.
•gssklogd daemon has been modified for compatibility with VO security.
•lsf job manager is used and JobManager.pm and lsf.pm have been modified for
compatibility with AFS file system and ENEA LSF configuration.
In this approach CE and WN share the same file system via AFS.
Jobs can be submitted by edg-job-submit using INFN certification RB and
setting explicitly CE: egce.frascati.enea.it.
Implementing the gateway: one of the Linux WNs was modified and tested
● 1) /etc/grid-security and /opt/ directories were completely removed.
● 2) a new /opt/globus has been created with 2 subdirectories: bin and etc.
● 3) /opt/globus/etc/globus-user-env.sh is a link to the usual file in an AFS location
● 4) /opt/globus/bin/globus-url-copy & grid-proxy-info are links to wrappers in AFS
● e.g.: globus-url-copy -> wrapper
● wrapper: lsrun -m egce.frascati.enea.it globus-url-copy $*
CRESCO, Workshop GRISU, Catania 13/12/2005
where lsrun is the LSF command for immediate execution on a
remote host. As a result all data transfer between WN and RB are
effectively done by the CE which shares $HOME with WN (AFS).
EGEE/ENEA gateway to AIX
With the described approach, a similar /opt/globus has been created on
IBM SP hosts and the CE egceaix.frascati.enea.it differs from the Linux CE
only for the name of the resource where LSF submits are performed.
Successful tests have been performed with the same approach also with
submissions to SGI/Irix 6.5 , to Apple/MacOSX and SGI/Altix IA64 : hosts
located at 3 different sites Frascati , Trisaia (Southern Italy), Casaccia
Advantage of this approach: easy WN firewall configuration!
Limitations: on WN monitoring and accounting middle-ware is not yet available
ENEA-INFO site status: site certification in progress
Conclusion: successful job submission and result retrieval to AIX,
MacOSX,IRIX and Altix IA64 Worker Nodes has been demonstrated
using a Linux gateway between EGEE LCG 2.6 and ENEA-GRID.
CRESCO, Workshop GRISU, Catania 13/12/2005
Servizi Base
Gestione & Erogazione della formazione Sincrona, Asincrona e Mista
Scelta
Pianificazione
Accesso
Corsi on Line
Corsi Aula
Aule Virtuali
CRESCO, Workshop GRISU, Catania 13/12/2005
Brreze
Fruizione
Servizi GRID
Accesso software applicativi e risorse di calcolo
Scelta
Accesso
Software
Lavoro Collaborativo
Brreze
Supercomputing
CRESCO, Workshop GRISU, Catania 13/12/2005
Fruizione
Il Progetto CRESCO
Centro computazionale di RicErca sui Sistemi COmplessi

Principali Obiettivi



Realizzazione del Polo di calcolo e sviluppo di
nuove funzionalità di GRID Computing
Sviluppo di tecnologie e modelli computazionali
per la descrizione di sistemi complessi di origine
biologica e di materiali innovativi
Sviluppo di modelli di simulazione ed analisi
delle Reti Tecnologiche complesse e delle loro
interdipendenze
CRESCO, Workshop GRISU, Catania 13/12/2005
Il Progetto CRESCO
Centro computazionale di RicErca sui Sistemi COmplessi

Potenziamento delle funzioni tradizionali dell’ENEA

la ricerca – sarà fornito supporto (di tipo sia capacity che

la formazione – potranno essere potenziate le attività di
capability), attraverso l’utilizzo dell’infrastruttura di calcolo, ad
attività di ricerca già in corso di svolgimento nell’Ente nell’ambito
delle linee programmatiche esistenti; tali attività potranno anche
avere una focalizzazione di natura industriale;
formazione, in collaborazione con alcune sedi universitarie, al fine
di supportare la diffusione delle metodologie sviluppate all’interno
del Polo Multidisciplinare negli ambiti tematici oggetto di studio e
ricerca, con positive ricadute anche nella creazione di percorsi
formativi adatti al successivo reclutamento di personale;

il trasferimento tecnologico – verranno istituiti percorsi ed
attivati idonei strumenti per favorire l’applicazione industriale delle
tecnologie sviluppate, anche ricorrendo alla collaborazione di
idonei partner (“industrial-exploitation partner”).
CRESCO, Workshop GRISU, Catania 13/12/2005
Schema Concettuale
CRESCO, Workshop GRISU, Catania 13/12/2005
NEW ?
Il Laboratorio Virtuale
Per le applicazioni finali all’utenza
ENEA
Li
Università e
altri Enti di
ricerca
Imprese
Schema concettuale dei Laboratori Virtuali di CRESCO
inseriti nell’infrastruttura ENEA-GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
Macrostruttura del progetto
Sandro TAGLIENTI
Direttore INFO
Comitato Scientifico
Silvio MIGLIORI
Resp. Scientifico
Andrea QUINTILIANI
Resp. Amministrativo
Silvio MIGLIORI
Coord. LA1
CRESCO, Workshop GRISU, Catania 13/12/2005
Comunicazione e Mktg
(TBD)
Vittorio ROSATO
Coord. LA2
Sandro BOLOGNA
Coord. LA3
Prof. Jack Dongarra
Prof. Umberto Ferrari
Prof. Agostino Mathis
…TBD LA2
….TBD LA3
Le tre linee di attività di CRESCO
Sviluppo software per i servizi finali all’utenza
SP I Realizzazione del Polo di calcolo e sviluppo di nuove
funzionalità di GRID Computing
SP II Sviluppo di tecnologie e modelli computazionali per la
descrizione di sistemi complessi di origine biologica e di
materiali innovativi
SP III Sviluppo di modelli di simulazione ed analisi delle Reti
Tecnologiche complesse e delle loro interdipendenze
CRESCO, Workshop GRISU, Catania 13/12/2005
SP I Realizzazione del Polo di calcolo e sviluppo di nuove
funzionalità di GRID Computing.
Sottoprogetti
SP I.1 Realizzazione dell’infrastruttura HPCN
SP I.2 Sviluppo ed integrazione dell’architettura GRID e di
grafica 3D
SP I.3 Sviluppo ed ottimizzazione di codici applicativi in
settori di R&S di punta.
SP I.4 Progettazione e sviluppo di librerie per
l’implementazione efficiente e parallela di nuclei
computazionali su dispositivi “Field Programmable
Gate Arrays” (FPGA) integrati in un ambiente
GRID.
SP I.5 Web archivi
CRESCO, Workshop GRISU, Catania 13/12/2005
Alcuni aspetti tecnologici del GRID ENEA
 Integrazione
di apparati sperimentali rilevanti
(Microscopio Elettronico, …)
 Integrazione con altre GRID (EGEE,…)
CRESCO, Workshop GRISU, Catania 13/12/2005
SP II Sviluppo di tecnologie e modelli computazionali per la descrizione
di sistemi complessi di origine biologica e di materiali innovativi
Sottoprogetti
SP II.1 Simulazioni di reti biochimiche
SP II.2 Bioinformatica PTPS
SP II.3 Ricerca polimorfismi
SP II.4 Sviluppo di modelli numerici per analisi strutturali
complesse e processi di sinterizzazione
SP II.5 Modelling molecolare
CRESCO, Workshop GRISU, Catania 13/12/2005
SP III Sviluppo di modelli di simulazione ed analisi delle
Reti Tecnologiche complesse e delle loro interdipendenze
Sottoprogetti
SP II.1 Fisica delle Reti Complesse
SP II.2 Analisi di Vulnerabilità delle Reti Complesse
SP II.3 Modelli e Strumenti di Supporto alla
Ottimizzazione e Riconfigurazione delle Reti
SP II.4 Modellistica delle Reti Complesse viste come
aggregati Socio-Tecnologici
SP II.5 Interdipendenza tra Reti Complesse
SP II.6 Sistema Informativo per la Salvaguardia delle
Infrastrutture e della Popolazione
CRESCO, Workshop GRISU, Catania 13/12/2005
Partner

Partner:














Università di Salerno
Università di Catania
Università di Lecce
Università di Palermo
Università del Sannio
Università del Piemonte Orientale
Università di Roma “Tor Vergata”
Università di Roma “La Sapienza”
Cons. Interuniversitario ECONA
CRIAI – Consorzio Campano di Ricerca per l’Informatica e l’Automazione
Industriale
Consorzio BioTekNet (Centro Regionale di Competenza in Biotecnologie
Industriali)
Parco Scientifico e Tecnologico della Sicilia
Consorzio CETMA
Soc. Ylichron (spin-off ENEA)
CRESCO, Workshop GRISU, Catania 13/12/2005
Collaborazioni dichiarate nel progetto
 Collaborazioni:
Politecnico di Milano – Dipartimento di
Elettrotecnica
United States Department of State, USA
Oak Ridge National Laboratories, USA
CRESCO, Workshop GRISU, Catania 13/12/2005
Nuove collaborazioni
 CYBERSAR
?
 PI2S2
?
 SCOPE ?
 SPACI ?
 ………………….
CRESCO, Workshop GRISU, Catania 13/12/2005
Una proposta di armonizzazione
 Reciproca
visibilità sull’evoluzione dei
progetti
 Costituzione di un comitato di raccordo
 Una filosofia di integrazione basata su
gateway
Invito al prossimo incontro di GRISU a
NAPOLI Aprile 2006
(Organizzato da CRESCO & ..FII)
CRESCO, Workshop GRISU, Catania 13/12/2005
CRESCO, Workshop GRISU, Catania 13/12/2005
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID
ENEA-GRID has been developed since 1998 and now it
is an integrated infrastructure:
• offering a production quality, service oriented system
• covering most of the computational resources
belonging to ENEA INFO Scientific Computation
Service, connected in a Wide Area Network.
• providing a unified user environment and an
homogenous access method for all ENEA researchers
irrespective of their location
• implementing tools to facilitate the integration of
department and individual resources and support to
experimental facilities
CRESCO, Workshop GRISU, Catania 13/12/2005
LSF
Load Sharing Facility con l'estensione MultiCluster
[www.platform.com]
Ambiente maturo e multipiattaforma
Alta scalabilità (ENEA GRID ~300 cpu)
WAN: multicluster.
Certificato dai vendor principali (IBM, SGI,..) e integrato
con il software commerciale.
Integrazione con AFS.
Flessibile: ad. es. gestione delle licenze.
ENEA GRID 6 LSF clusters:
Frascati, Bologna, Casaccia, Trisaia, Portici, Brindisi
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID Services
Services for research activity in ENEA
• Multiplatform Parallel systems:
• AIX, Linux (Alpha,x86), IRIX, [Unicos (Cray)]
• Graphical simulation & code result post-processing:
• SGI + 3D immersive facilities
• Software resources:
• Commercial Codes: Fluent, Gambit, Abacus, Catia, Ansys
• Research codes: mcpn/x, eranos, fluka,…
• Elaboration environments: IDL, Matlab, Mathematica, SAS
• Windows applications
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID Computational resources
OS
#cpu
Gflops
154
1000
Linux x86 32/64
96
200
Frascati(28), Casaccia(54),
Portici(4),Trisaia(4), Brindisi(4)
Linux Alpha
80
100
Casaccia
IRIX
26
40
Frascati(8), Casaccia(4),
Portici(1),Trisaia(8), Brindisi(1),
Bologna(5)
Solaris
8
10
Trisaia(4), Casaccia(2), Bologna(2)
Windows
18
50
Frascati(6), Portici(4),Trisaia(4),
Brindisi(4)
Mac OS X
14
60
Frascati(1), Trisaia(13)
AIX
Frascati(128), Bologna(8), Portici(18)
Portici, Brindisi & Trisaia resources increased in the framework of
TELEGRID Project
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID Graphics and 3D resources
SGI systems are coupled with
3D immersive facilities together
with 3D modelling and
rendering software as
CAVELIB, DV-Mockup, AVS
C.R. Casaccia
C.R. Frascati
CRESCO, Workshop GRISU, Catania 13/12/2005
C.R. Bologna
ENEA GRID ARCHITECTURE
A choice of mature components for reliability and easiness of
support and maintenance:
Distributed File System: AFS
Job and resources manager: LSF Multicluster
Unified GUI access: Java and Citrix Technologies
Quality monitoring system: Patrol
Licence Servers
Integration with department and individual resources
Distributed File System: AFS for software and data
Licence pool sharing
Possible integration with other institutions
CRESCO, Workshop GRISU, Catania 13/12/2005
AFS: enea.it cell
AFS (Andrew File System), the distributed file system developed
at Carnegie-Mellow University, commercialized by Transarc & IBM,
Open Source dal 2001, www.openafs.org
A mature Client/Server Architecture [scalable, multiplatform].
Optimized for WAN operation: native data replication on server, data
cache transparent to the user on client.
Security: Kerberos authentication, native authorization management.
UNIFORM USER ENVIRONMENT
The user HOME directory is the same on all UNIX/Linux platform
and it’s also accessible by Windows system.
UNIFORM SOFTWARE DISTRIBUTION
Easy multiplatform management of WAN software installation.
CRESCO, Workshop GRISU, Catania 13/12/2005
LSF
Load Sharing Facility MultiCluster version
[www.platform.com]
Mature and supported multiplatform environment.
High scalability (ENEA GRID >200 cpu)
WAN enabled: multicluster.
Certified by main vendors (IBM, SGI,..) and integrated
with commercial software.
Integration with AFS.
ENEA GRID 6 LSF clusters:
Frascati, Bologna, Casaccia, Trisaia, Portici, Brindisi
CRESCO, Workshop GRISU, Catania 13/12/2005
CITRIX (1)
Citrix Metaframe , now Citrix Presentation Center, has been used
in ENEA-GRID to provide a unified GUI to all resources.
Citrix is a leader company in providing multiplatform access to
remote computer resources using a client /server approach.
Citrix technology assures WAN optimized performances and
secure communication methods.
ENEA GRID access is managed by 6 Citrix UNIX servers, one for
each of the main computer centers: Bologna, Casaccia, Frascati,
Trisaia, Portici, Brindisi. 4 Windows Citrix servers provide access
to Windows applications (Frascati, Portici, Trisaia, Brindisi).
Citrix technology is also used to provide Web access to ENEA
GRID offering a user/application oriented environment
CRESCO, Workshop GRISU, Catania 13/12/2005
CITRIX (2)
ENEA GRID makes use of Citrix Metaframe to publish an
application providing a unified GUI interface all the available
resources
Application components:
● Java (GUI)
● shell scripts
● EnginFrame
CRESCO, Workshop GRISU, Catania 13/12/2005
CITRIX: ENEA GRID Web Access
http://www.afs.enea.it
Windows services
CRESCO, Workshop GRISU, Catania 13/12/2005
Unix/Linux Services
ENEA GRID Architecture
WEB
ICA
Monitoring service quality
Web Portal Citrix
Graphical User Interface
User programs and commercial codes
LSF multi-cluster as integrator
LSF
XTERM
RMS
Load Leveler
AFS Geographical multiplatform File System
AIX
SGI
CRESCO, Workshop GRISU, Catania 13/12/2005
SUN
HP
Win
Linux
Linux
Alpha
…
GRID usage, examples and some case studies
650 registered users
2 TB stored software/data out of 4 TB available in enea.it AFS cell
Examples and cases studies
●
Running FLUENT on ENEA GRID
●
Support to department experimental research:
• Biotechnology
• Electron microscopy
• Nuclear fusion research
CRESCO, Workshop GRISU, Catania 13/12/2005
FLUENT (CFD) code batch submission
A FLUENT case can be
run from a dedicated GUI
for submission
LSF Options
-o filename.%J - output file
-w “done(idjob)”
- start after idjob
-u e-mail userid - output by E-mail
-b begintime
- job start time
….
CRESCO, Workshop GRISU, Catania 13/12/2005
Monitoring job status by xlsbatch (LSF)
xlsbatch information
Jobid
Users
Job status
Queues
Submission host
Run host
Submission time
Submission command
…..
Job status:
CRESCO, Workshop GRISU, Catania 13/12/2005
Monitoring host status by xlsmon (LSF)
Status of sp3-1 host using
xlsmon utility
CRESCO, Workshop GRISU, Catania 13/12/2005
3D CFD Simulation on Aircraft Axial Turbin Stage with Wake &
Vortex Shedding Analysis on Turbine Blades [FLUENT]
Large Eddy Simulation
(LES) provides high
resonable results on wake
analysis and turbine
Pressure traces on stator trailing edge
stage performance.
195000
190000
pressure (Pa)
Max, min and time average Cp for the vane
0.5
0
185000
180000
175000
Cp
-0.5
Temperature contours on
Stator blades & Cp
experimental data comparison
-1
170000
-1.5
165000
isolated stator
-2
-2.5
-0.01
0
0.01
0.02
0.03
stage stator
0.04
x (m)
Secondary flow prevision and
3D Path Lines analysis
Mesh: 1 million cells
CPU Time: 6000 hours
Elapsed Time:
525 hours on
12 IBM SP3 platforms
CRESCO, Workshop GRISU, Catania 13/12/2005
Temperature & wakes
interactions
Mesh: 600,000 cells
CPU Time: 960 hours
Elapsed Time: 130 hours
on 8 Linux platforms
CFD Analysis of a fluid dumper [FLUENT]
Secondary flux
Primary Flux
Vortex stagnation
Pressure jump (Pa)
Pressure losses
Serie1
Punto di progetto (apertura
valvola)
3000000
2500000
2000000
1500000
1000000
500000
0
0
0.2
0.4
0.6
0.8
1
1.2
velocity (m/s)
Caratteristica parabolica dello smorzatore con valvola
aperta fino a 3 mm
CRESCO, Workshop GRISU, Catania 13/12/2005
FLUENT performance on different platforms in ENEA GRID
#CPU
GHz
Sp3-1
16
.375
Sp4-1
32
1.1
Ostro
16
1.3
Pace
8
1.3
C..03
4
3
bw
8
1.8
8
0.4
AIX
Linux
IRIX
Onyx.
Scaling with #CPU & platform type
CRESCO, Workshop GRISU, Catania 13/12/2005
Cpu time normalized to
the case: Sp4-1, 2 CPUs
ENEA GRID and experimental facilities
DNA Sequence
system
( ABI Prism 3700)
Trisaia
DB_
2
ENEA GRID
Controlled Nuclear Fusion:
FTU
Frascati Tokamak Upgrade
Video Acquisition
DB_
1
CPUS
DB_3
Electronic Microscope
(Brindisi)
300 Kev (sept. 2004)
CRESCO, Workshop GRISU, Catania 13/12/2005
WEB
ICA
SSH
ENEA GRID: FTU video acquisition data
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID & GRID PARADIGM
“GRID concept: coordinated resource sharing and problem
solving in dynamic, multi-institutional virtual organizations”
Foster & Kesselman, The Anatomy of the Grid, 2001
ENEA GRID infrastructure has been designed to provide a multisite
resource sharing inside ENEA, both to optimize the utilization of
Central Computer Service (ENEA INFO) resources and to integrate
the other resources available inside the organization.
VO concept can not be fully developed inside an unique
organization but similarities can be found with Project Groups
sharing specific resources and ENEA GRID components can
provide support to this (AFS groups, LSF resources).
There are cases where ENEA GRID infrastructure has been used in
support to the collaboration with other institutions (+ other GRID
projects)
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA IGNITOR/Pellet Collaboration Activity
ANSALDO
(GE)
ORNL
(USA)
ENEA GRID
• DATA sharing
• Applications in ENEA GRID
• Sharing Working Sessions (Citrix)
CRESCO, Workshop GRISU, Catania 13/12/2005
CRIOTEC
(TO)
ENEA
(ISPRA)
ENEA GRID & GRID PARADIGM
ENEA GRID architecture answers to many of the challenges posed
by the “GRID Problem” : “unique authentication, authorization,
resource access and resource discovery”, Foster & Kesselman 2001
Software
catalogs
Computers
Sensor
nets
Colleagues
Data archives
by Ian Foster
The choice of mature components (LSF & Citrix - proprietary, AFS opensource project since 2000) reduce the generality of ENEA GRID
as a GRID model but improves greatly the reliability and the easiness
of update & management: production quality infrastructure.
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID EXPERIENCE
Some consideration can be drawn from the analysis of the
operation of ENEA GRID infrastructure in the last years.
User acceptance of GRID working mode requires a new
cultural approach to the access to computational
resources and depends strongly on the service quality:
●
“Value” of the accessed resources
●
Efficient networking and system faults monitoring
●
Support of user customization for GRID environment
The administration of a distributed & integrated resource
system is a technical, cultural and organization challenge
in a diversified structure as ENEA.
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID improvements in progress
Increasing resources: AIX +32 SP nodes/Frascati, Cluster
16 AMD 64bit/Casaccia, Cluster 8 G5/Trisaia, 2 CPU
AIX/Brindisi (TELEGRID Project).
Extending Windows services.
AFS optimization.
Studies in collaboration with CASPUR to manage the
replication of large amount of data over WAN with better
performances than AFS.
Participation in CASPUR storage technology tracking
activity (SAN systems and file systems testing and
evaluation, AFS implementation for parallel systems [IPP
Garching]=> DEISA Grid Project)
CRESCO, Workshop GRISU, Catania 13/12/2005
Connection with other GRID Projects
Each GRID project is characterized by its own architectural
design and middleware.
The focus of the partecipation of ENEA INFO in other GRID
projects is GRID interoperability
Access to ENEA GRID through other GRID models should
be compatible with ENEA GRID architecture: gateway
implementation.
Current GRID projects:
●
●
EGEE [Datagrid]
FIRB/Grid.it : WP13, Computational Chemistry
(CHEMGRID), Perugia Univ., ENEA Casaccia, et al.
ENEA activity starting July 2004 at Frascati
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID and DATAGRID PROJECT
ENEA has partecipated (unfunded) in DATAGRID project
(ended 3/2004) through the collaboration with ESA, ESRIN
Laboratory in Frascati.
A gateway bewteen DATAGRID infrastructure and ENEAGRID has been set-up at ESRIN enabling the submission of
jobs from DATAGRID to ENEA-GRID
The gateway has been tested running the analysis of the
data from the GOME satellite (Ozone level) using IDL codes
which can be easily run in a multiplatform environment.
The gateway provided a limited integration between the
different GRID environment: EGEE should a attain a full
integration
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID/DATAGRID Test case: GOME data analysis
Output File
LIV2
List of path
Input File
LIV1
IDL “GOME”
Program
.jpg
Image
Input File
LIV1
List of
path
Input File
LIV1
Case-1
Case_2
ENEA-Geographic
SUBMISSION PROCEDURE
IDL Program
“GOME”
List of path
Input File
LIV1
User afs/home
WEB
Input File
LIV1
Case n
Output File
LIV2
Input Files
LIV1
CRESCO, Workshop GRISU, Catania 13/12/2005
.jpg Image
ENEA GRID/DATAGRID : GOME run cases in ENEA
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID/DATAGRID: GOME results on Web
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA-GRID and EGEE Project
EGEE (Enabling GRID for e-science in Europe) is a project
in the 6th EU framework program, with the mission to
deliver production level GRID services [www.eu-egee.org].
ENEA is one of the funded partners in the project, inside
the Italian partecipation which is coordinated by INFN.
EGEE project is starting (April 2004); a kick-off Meeting
has been hold in Cork, April 2004.
The installation of a small testing environment (7 Linux
boxes) with standard EGEE middleware is currently in
progress at ENEA Frascati.
The development of a gateway to ENEA-GRID will follow.
CRESCO, Workshop GRISU, Catania 13/12/2005
CRESCO, Workshop GRISU, Catania 13/12/2005
Conferenza GARR 2005 “La rete daPERtutto”
Pisa 10-13 maggio 2005
L'architettura di ENEA-GRID, infrastruttura
distribuita per la condivisione di risorse
informatiche dedicate al calcolo scientifico
S. Migliori, G. Bracco, P. D'Angelo
ENEA INFO [Servizio Centralizzato Informatica e Reti], Roma
[email protected], [email protected]
Contenuto
• Che cosa è ENEA-GRID
• Il paradigma di GRID & ENEA-GRID
• Integrazione con altre infrastrutture di GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA
Ente per le Nuove Tecnologie
l'Energia e l'Ambiente
12 centri di ricerca
ENEA-INFO: il servizio Centralizzato
di Informatica e Reti
Centro
di Brindisi
6 Centri di Calcolo
Casaccia, Frascati, Bologna,Trisaia,
Portici, Brindisi
Risorse Multipiattaforma per il calcolo
seriale/parallelo e per il post
processamento grafico.
Risorse di calcolo dipartimentali ed
individuali
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA
Ente per le Nuove Tecnologie
l'Energia e l'Ambiente
BOL
12 centri di ricerca
FRA
ENEA-INFO: il servizio Centralizzato
di Informatica e Reti
CAS
BRI
POR
TRI
6 Centri di Calcolo
Casaccia, Frascati, Bologna,Trisaia,
Portici, Brindisi
Risorse Multipiattaforma per il calcolo
seriale/parallelo e per il post
processamento grafico.
Risorse di calcolo dipartimentali ed
individuali
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID: perchè
ENEA GRID è un sistema integrato capace di rispondere ai
seguenti obbiettivi:
•mettere a disposizione un sistema di produzione capace di
offrire i servizi necessari al calcolo scientifico
•integrare l'insieme di risorse informatiche di ENEA-INFO,
distribuite su WAN
•fornire un ambiente di lavoro unificato e metodi di accesso
omogenei per tutti i ricercatori dell'ENEA indipendentemente
dalla loro sede di lavoro.
•mettere a disposizione strumenti capaci di permettere
l'integrazione delle risorse informatiche dipartimentali ed
individuali e di fornire supporto alle attività sperimentali
CRESCO, Workshop GRISU, Catania 13/12/2005
I servizi di ENEA GRID
Servizi per il calcolo scientifico:
• Sistemi paralleli/seriali multipiattaforma
• AIX, Linux (Alpha,x86,x86_64,IA64), IRIX, Mac OS X, Solaris
• Risorse 3D e il post-processamento grafico
• SGI + 3D immersivo
• Risorse Software:
• Codici commerciali: Fluent, Gambit, Abacus, Catia, Ansys
• Codici di “ricerca”: mcnp/x, eranos, fluka,....
• Ambienti di sviluppo & analisi: IDL, Matlab, Mathematica, SAS
• Applicazioni Windows
CRESCO, Workshop GRISU, Catania 13/12/2005
Risorse di Calcolo in ENEA-GRID
OS
#cpu
Gflops
AIX
188
~1000
Linux x86 32/64
96
200
Linux Alpha
30
40
Casaccia
IRIX
27
40
Frascati(8), Casaccia(4),
Portici(1),Trisaia(8), Brindisi(1),
Bologna(5)
Solaris
8
10
Trisaia(4), Casaccia(2), Bologna(?)
Windows
18
50
Frascati(6), Portici(4),Trisaia(4),
Brindisi(4)
Mac OS X
27
100
Frascati(160),Bologna(8), Portici(18),
Brindisi (2)
Frascati(28), Casaccia(54),
Portici(4),Trisaia(4), Brindisi(4)
Frascati(1), Trisaia(13)
Le risorse di Portici, Brindisi & Trisaia sono state aumentate nel quadro del progetto
PON TELEGRID
CRESCO, Workshop GRISU, Catania 13/12/2005
L'architettura di ENEA GRID
La scelta di componenti maturi come garanzia di affidabilità e
semplicità di gestione:
File system distribuito: AFS/OpenAFS
Gestore delle risorse: LSF Multicluster
Interfaccia grafica: Java and Citrix Technologies
Sistema di monitoring: Patrol
Server di licenze
Strumenti per l'integrazione delle risorse dipartimentali ed
individuali
File sistem distribuito: AFS per software e dati
Condivisione del parco licenze
CRESCO, Workshop GRISU, Catania 13/12/2005
AFS: cella enea.it
AFS (Andrew File System), sviluppato presso Carnegie-Mellow
University, commercializato da Transarc & IBM, Open Source dal
2000, www.openafs.org.
Una architetture Client/Server matura [scalabile, multipiattaforma].
Ottimizzato per funzionamento su WAN: replicazione dei dati su
server, cache trasparente all'utente sul client.
Sicurezza: Kerberos, gestione nativa dell'autorizzazione.
AMBIENTE UNIFORME per l'utente
La HOME directory è la stessa su tutte le piattaforme UNIX/Linux ed
essa è accessibile anche da Windows.
DISTRIBUZIONE UNIFORME del software anche multipiattaforma
Semplificazione della gestione/distribuzione dell software su WAN.
CRESCO, Workshop GRISU, Catania 13/12/2005
LSF
Load Sharing Facility con l'estensione MultiCluster
[www.platform.com]
Ambiente maturo e multipiattaforma
Alta scalabilità (ENEA GRID ~300 cpu)
WAN: multicluster.
Certificato dai vendor principali (IBM, SGI,..) e integrato
con il software commerciale.
Integrazione con AFS.
Flessibile: ad. es. gestione delle licenze.
ENEA GRID 6 LSF clusters:
Frascati, Bologna, Casaccia, Trisaia, Portici, Brindisi
CRESCO, Workshop GRISU, Catania 13/12/2005
Interfaccia utente
Accesso utente unificato tramite Citrix Presentation Center [ex
Metaframe], java e script di shell:
Prestazioni ottimizate su WAN e metodi di comunicazione sicuri
Accesso gestito da 6 server Citrix UNIX [ Bologna, Casaccia,
Frascati, Trisaia, Portici, Brindisi]
4 server Citrix Windows forniscono accesso alle applicazioni
Windows tramite Web(Frascati, Portici, Trisaia, Brindisi).
CRESCO, Workshop GRISU, Catania 13/12/2005
Architettura di ENEA GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID & il paradigma di GRID (1)
“GRID concept: coordinated resource sharing and problem solving
in dynamic, multi-institutional virtual organizations (VO)”
Foster & Kesselman, The Anatomy of the Grid, 2001
Il concetto di VO concept non può essere sviluppato a fondo in una
singola organizzazione ma la complessità dell'ENEA costringe a
ricercare strumenti con funzioni tipiche da VO (ad es. gruppi AFS,
risorse LSF).
ENEA-GRID fornisce comunque la condivisione coordinata delle
risorse, ottimizzando l'utilizzo di quanto messo a disposizione da
ENEA INFO e promuovendo l'integrazione delle altre risorse interne
all'ente.
Le funzionalità garantite dai componenti di ENEA GRID sono quelle
tipiche del mondo GRID ed alcune ne costituiscono delle estensioni
[ad es. gestione licenze]
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID & il paradigma di GRID (2)
Quindi ENEA GRID fornisce una possibile risposta al “GRID
Problem” : “unique authentication, authorization, resource access
and resource discovery”, Foster & Kesselman 2001
Software
catalogs
Computers
Sensor
nets
Colleagues
Data archives
by Ian Foster
La scelta di componenti maturi (LSF & Citrix - proprietari, AFS –
progetto opensource dal 2000) riduce la generalità di ENEA GRID
come modello di architettura di GRID ma ne aumenta l' affidabilità e
la facilità di gestione.
CRESCO, Workshop GRISU, Catania 13/12/2005
L'esperienza di ENEA GRID
ENEA GRID è in produzione dal 1998
Attualmente ~650 utenti registrati e ~2 TB di software e dati
Le nuove risorse vengono sistematicamente integrate
L'utilizzo da parte dell'utente di modalità tipiche di GRID richiede un
cambiamento di approccio all'accesso alle risorse di calcolo e
l'accettazione dipende fortemente dalla qualità del servizio:
• “Valore” delle risorse messe a disposizione
• Efficienza della rete
• Monitoraggio del funzionamento complessivo
• Supporto all'utente per l'utlizzo dell'ambiente
La gestione di un sistema distribuito ma integrato in una
organizzazione complessa come l'ENEA costituisce una sfida
organizzativa, tecnica e culturale.
CRESCO, Workshop GRISU, Catania 13/12/2005
Integrazione con altri progetti di GRID
L'obbiettivo della partecipazione di ENEA INFO in altri
progetti di GRID è concentrato sulla interoperabilità.
Ogni progetto di GRID è caratterizzato da una propria
architettura/middleware e l'accesso alle risorse deve risultare
compatibile con l'infrastruttura interna:
==> realizzazione di gateway
Progetti:
●
Datagrid
●
FIRB/Grid.it : WP13 Chimica Computazionale
●
EGEE
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID e il progetto DATAGRID
ENEA ha partecipato (unfunded) in DATAGRID (finito 2004)
collaborando con ESRIN [ESA] Frascati dove è stato realizzato un
gateway DATAGRID ==> ENEA-GRID con funzionalità limitate
[sottomissione, pubblicazione dei risultati]
Test con l'analisi dei dati satellitari di GOME (livelli di Ozono)
[IDL/multicase/multipiattaforma]
List of
path
Input File
LIV1
Case-1
Case_2
ENEA-Geographic
SUBMISSION PROCEDURE
List of path
Input File
LIV1
IDL Program
“GOME”
Input File
LIV1
Case n
CRESCO, Workshop GRISU, Catania 13/12/2005
Input Files
LIV1
Output File
LIV2
User afs/home
WEB
ENEA-GRID e il WP13 GRID.it/Chemgrid
Il progetto FIRB GRID.IT nel suo WP13, Chimica Computazionale,
comprende un gruppo di ricercatori di ENEA Casaccia. WP13 ha
realizzato una piccola GRID sperimentale basata su Globus 3.2 che
comprende siti a PG, MI, BO, PD, BA e ENEA Frascati.
Il contributo ENEA: un gateway [chemgrid.frascati.enea.it] che
permette l'accesso a 16 nodi Linux condivisi con ENEA-GRID.
I componenti installati:
Server: gatekeeper [compatibile con AFS ed LSF; MPICH-G2]
gsiftp [compatibile con AFS]
gssklogd [traduce certificato X509 in token kerberos AFS]
Client: globus 3.2 installato in AFS ed utilizzabile da ogni server
Linux di ENEA-GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA-GRID e il progetto EGEE
EGEE (Enabling GRID for e-science in Europe) è un
progetto del 6° programma quadro europeo che ha la
missione di fornire servizi GRID come sistema di
produzione [www.eu-egee.org]; inizio Aprile 2004.
ENEA è una dei partner [funded] all'interno della
partecipazione italiana che è coordinata da INFN.
Impegno di ENEA: ~100 cpu ( 20%), seconda metà 2005.
Attualmente il middleware di EGEE è in corso di
installazione a Frascati 4 macchine di servizio e 16 nodi di
calcolo [Linux].
Si prevede l'accesso anche a risorse AIX tramite un
gateway Linux
CRESCO, Workshop GRISU, Catania 13/12/2005
Ringraziamenti
L'attività di ENEA GRID è resa possibile da molti attori
in ENEA:
S. Taglienti, R. Guadagni, F. Simoni, A. Perozziello, A. De
Gaetano, S. Pecoraro, D. Giammattei, M. De Rosa, M. Caiazzo,
A. Palumbo, G. Elmo, S. Pierattini, M. Impara, G. Furini, C. Zini, V.
Guastella, A. Quintiliani,...
da Ditte supporto software:
Nice, SysMan, Esse3Esse, CRIAI, BMC, Infordata,..
che hanno contribuito con l'attività di:
A. Secco, A. Falzone, C. Sciò, M. Fina, V. Pirone, A. Borelli, A.
Brancaccio, L. Murianni,..
CRESCO, Workshop GRISU, Catania 13/12/2005