ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
CRESCO, Portici 23-10-2006
Centro computazionale di RicErca sui Sistemi COmplessi
CRESCO
Linea Attività I
Polo di Calcolo e nuove funzionalità di GRID Computing
S. Migliori
ENEA GRID TEAM
R. Guadagni, G. Bracco, S. Podda, P. D’Angelo, G. Mencuccini, F. Simoni, A.
Perozziello, A. De Gaetano, S. Pecoraro, D. Giammattei, M. De Rosa, M. Caiazzo,
A. Palumbo, G. Elmo, S. Pierattini, G. Furini, C. Zini, V. Guastella, M Steffè, R. De
Angelis
Nuove Risorse
Diparimentali
Asegni di ricerca
Contratti di ricerca
ENEA FIM
CRESCO, Portici 23-10-2006
Contenuto
L’ENEA &
GRID
– L’infrastruttura attuale
LA1 Realizzazione del Polo di Calcolo e
sviluppo di nuove funzionalità di GRID
Computing.
– Principali Obiettivi
– Descrizione sintetica dei sottoprogetti (SP 1:5)
CRESCO, Portici 23-10-2006
ENEA
Italian Agency for New Tecnologies,
Energy and Environment.
12 research centers in Italy
CENTRO
DI BRINDISI
A Central Computer and Network
Service (INFO)
6 Computer Centres
Casaccia, Frascati, Bologna,Trisaia,
Portici, Brindisi
Multiplatform resources for serial &
parallel computation and graphical
post-processing.
Others computer resources in ENEA:
departments & individuals
CRESCO, Portici 23-10-2006
ENEA Network connection
ENEA computational resources are distributed over
WAN, connected by GARR, the Italian Academic &
Research Network
ENEA-GARR
9 PoP, 4-32 Mbps
Brindisi
Bologna
Casaccia
Frascati
Portici
Trisaia
Palermo
Pisa
Roma Sede
CRESCO, Portici 23-10-2006
ENEA GRID
ENEA GRID è un sistema integrato capace di rispondere ai
seguenti obbiettivi:
•mettere a disposizione un sistema di produzione capace di
offrire i servizi necessari al calcolo scientifico
•integrare l'insieme di risorse informatiche di ENEA-INFO,
distribuite su WAN
•fornire un ambiente di lavoro unificato e metodi di accesso
omogenei per tutti i ricercatori dell'ENEA indipendentemente
dalla loro sede di lavoro.
•mettere a disposizione strumenti capaci di permettere
l'integrazione delle risorse informatiche dipartimentali ed
individuali e di fornire supporto alle attività sperimentali
CRESCO, Portici 23-10-2006
GEANT
boquad.bologna.enea.it (30 Gflops)
dafne.casaccia.enea.it
(200 GFlops)
power3.frascati.enea.it (1200 GFLOPS9
Portici
Kleos.portici.enea.it (50 GFlops)
infocal.trisia.enea.it ( 100 GFlops)
Brindisi
Citrix
Nfuse
WEB(ICA)
CRESCO, Portici 23-10-2006
ICA
Citrix
Metaframe
hermes.brindisi.enea.it ( 10 GFlops)
I servizi di ENEA GRID
Servizi per il calcolo scientifico:
• Sistemi paralleli/seriali multipiattaforma
• AIX, Linux (Alpha,x86,x86_64,IA64), IRIX, Mac OS X, Solaris
• Risorse 3D e il post-processamento grafico
• SGI + 3D immersivo
• Risorse Software:
• Codici commerciali: Fluent, Gambit, Abacus, Catia, Ansys
• Codici di “ricerca”: mcnp/x, eranos, fluka,....
• Ambienti di sviluppo & analisi: IDL, Matlab, Mathematica, SAS
• Applicazioni Windows
CRESCO, Portici 23-10-2006
Risorse di Calcolo in ENEA-GRID
OS
#cpu
Gflops
AIX
188
~1000
Linux x86 32/64
96
200
Linux Alpha
30
40
Casaccia
IRIX
27
40
Frascati(8), Casaccia(4),
Portici(1),Trisaia(8), Brindisi(1),
Bologna(5)
Solaris
8
10
Trisaia(4), Casaccia(2), Bologna(?)
Windows
18
50
Frascati(6), Portici(4),Trisaia(4),
Brindisi(4)
Mac OS X
27
100
Frascati(160),Bologna(8), Portici(18),
Brindisi (2)
Frascati(28), Casaccia(54),
Portici(4),Trisaia(4), Brindisi(4)
Frascati(1), Trisaia(13)
Le risorse di Portici, Brindisi & Trisaia sono state incrementate nel quadro del
progetto PON TELEGRID
CRESCO, Portici 23-10-2006
L'architettura di ENEA GRID
La scelta di componenti maturi come garanzia di affidabilità e
semplicità di gestione:
File system distribuito: AFS/OpenAFS
Gestore delle risorse: LSF Multicluster
Interfaccia grafica: Java and Citrix Technologies
Sistema di monitoring: Patrol
Server di licenze
Strumenti per l'integrazione delle risorse dipartimentali ed
individuali
File sistem distribuito: AFS per software e dati
Condivisione del parco licenze
CRESCO, Portici 23-10-2006
Architettura di ENEA GRID
CRESCO, Portici 23-10-2006
Struttura Software concettuale
WEB
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load LevelerTelnet
LSF
WEB
WEB
ICA
ICA
Load Leveler
Telnet
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Cluster 5° ( Portici)
Graphic User Interface
LSF
Load Leveler
& File System
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 6° ( Brindisi)
WEB
Cluster 2° (Casaccia)
ICA
WEB
ICA
WEB
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 1° ( Bologna)
Cluster 3° (Frascati)
Cluster 4° (Trisaia )
CRESCO, Portici 23-10-2006
Interfaccia utente
Accesso utente unificato tramite Citrix Presentation Center [ex
Metaframe], java e script di shell:
Prestazioni ottimizzate su WAN e metodi di comunicazione sicuri
Accesso gestito da 6 server Citrix UNIX [ Bologna, Casaccia,
Frascati, Trisaia, Portici, Brindisi]
4 server Citrix Windows forniscono accesso alle applicazioni
Windows tramite Web(Frascati, Portici, Trisaia, Brindisi).
CRESCO, Portici 23-10-2006
Integrazione con altri progetti di GRID
La filosofia di partecipazione dell’ENEA ad altri progetti di
GRID è basata sul concetto di interoperabilità.
Ogni progetto di GRID è generalmente caratterizzato da una
propria architettura/middleware. L’interoperabilità fra questi
può essere assicurata attraverso
==> realizzazione di gateway
Progetti:
●
Datagrid
●
FIRB/Grid.it : WP13 Chimica Computazionale
●
EGEE
●
EGEE II
CRESCO, Portici 23-10-2006
ENEA
Main activities & resources for EGEE
•Integration of EGEE-GRID to ENEA-GRID;
•100 CPUs at 20% of time
ENEA-GRID
DataGrid
EGEE
at
GRID
ESA\ESRIN
CRESCO, Portici 23-10-2006
S-PACI
GRID
[email protected]
ENEA GRID and experimental facilities
DNA Sequence
system
( ABI Prism 3700)
Trisaia
DB_2
ENEA GRID
Controlled Nuclear Fusion:
FTU
Frascati Tokamak Upgrade
Video Acquisition
CPUS
DB_1
DB_3
Electron Microscope
(Brindisi)
300 KeV (sept. 2004)
CRESCO, Portici 23-10-2006
WEB
ICA
SSH
Il Progetto CRESCO
Centro computazionale di RicErca sui Sistemi COmplessi

Principali Obiettivi
Infrastrutturali


Realizzazione di un Polo di calcolo di eccellenza presso il Centro
ENEA di Portici
Sviluppo di una nuova classe di funzionalità innovative di
GRID Computing
Applicativi



CRESCO, Portici 23-10-2006
Studio di oggetti biologici dal punto di vista “sistemico” e di
sistemi naturali secondo il paradigma dei sistemi complessi
Studio di sistemi tecnologici e sociali complessi e delle loro
mutue interazioni, realizzazione di strumenti per il modelling,
la simulazione e il controllo
Implementazione di soluzioni innovative di GRID computing
per le attività di R&S di punta dell’ENEA che richiedano
l’utilizzo di risorse computazionali estremamente importanti.
Il Laboratorio Virtuale
Schema concettuale dei Laboratori Virtuali di CRESCO
inseriti nell’infrastruttura ENEA-GRID
ENEA
Li
Università ed
Enti di ricerca
Imprese
CRESCO, Portici 23-10-2006
LA I Realizzazione del Polo di calcolo e sviluppo di
nuove funzionalità di GRID Computing
Sottoprogetti
SP I.1 Realizzazione dell’infrastruttura HPCN
SP I.2 Sviluppo ed integrazione dell’architettura GRID e di
grafica 3D
SP I.3 Sviluppo ed ottimizzazione di codici applicativi in
settori di R&S di punta
SP I.4 Progettazione e sviluppo di librerie per
l’implementazione efficiente e parallela di nuclei
computazionali su dispositivi FPGA integrati in un
ambiente GRID
SP I.5 Web archives
CRESCO, Portici 23-10-2006
SP I.1 Realizzazione dell’infrastruttura HPCN




un sistema di supercalcolo con una un’architettura
interna di tipo SMP o di integrazioni di nodi SMP,
dotato di sezoni specili (FPGA, CELL,..)
Un sistema di storage SAN (Storage Area Network) di
ultima generazione collegato in fibra ottica con la rete
di interconnessione dei nodi;
Un sistema di backup connesso alla SAN tramite un
link in fibra ottica dotato del suo server ed hardware di
storage ;
Impiantistica di servizio indispensabili per tali sistemi
CRESCO, Portici 23-10-2006
Sala Calcolo CRESCO
CRESCO, Portici 23-10-2006
SP I.2 Sviluppo ed integrazione dell’architettura
GRID e di grafica 3D




Integrazione ENEA-GRID con altre architetture di
GRID computing
Tools per l’utilizzo di sistemi di Grafica Virtuale ed
immersiva con sistemi di supercalcolo remoto e per il
lavoro cooperativo a livello geografico
Integrazione del controllo remoto di un microscopio
TEM mediante visualizzazione integrata in tempo reale
dei differenti aspetti legati alla determinazione delle
caratteristiche locali del campione attraverso immagini
e mappature ad elevata risoluzione spaziale
Analisi e Realizzazione di Tool innovativi a supporto
delle funzionalità GRID
CRESCO, Portici 23-10-2006
Schema Concettuale
CRESCO, Portici 23-10-2006
NEW ?
Textile Grid Infrastructure
– Esperimento all'interno del progetto BeinGRID:
Business Experiments in Grid.
http://www.beingrid.eu
– Obiettivi del progetto : Adozione di tecnologie
grid da parte della piccola e media impresa.
– Obiettivi dell'esperimento: organizzare
un'infrastruttura di grid tra Enea ed industria
tessile per migliorare le prestazioni ed i risultati
di alcuni software esistenti:
CRESCO, Portici 23-10-2006

schedulatore di produzione (simulatore)

allocazione di risorse industriali (database distribuito)

negozio virtuale (rendering di immagini e filmati)
Textile Grid Infrastructure
– Durata: 18 mesi
– Tecnologie adottate:
– UNICORE (GS) – calcolo distribuito
 OGSA
DAI – interfaccia di accesso a database
– IL TUTTO INTEGRATO NELL'
INFRASTRUTTURA ENEA
ESISTENTE
CRESCO, Portici 23-10-2006
SP I.2 Sviluppo ed integrazione dell’architettura GRID
e di grafica 3D
RV on GRID
CRESCO, Portici 23-10-2006
SP I.2 Sviluppo ed integrazione dell’architettura
GRID e di grafica 3D
Conceptual structure from a
remote user’s point of view
Unix Metaframe
“Softgrid” server
WEB A. S.
Linux A.S.
Windows A.S.
& Metaframe
File server
Local Data
AFS Data Integration
> 4 TByte
Local GRID Cluster
CRESCO, Portici 23-10-2006
Special Driver for TEM
Streaming server
ENEA GRID SOFTWARE INFRASTRUCTURE
Microscopia remota
Main service
Classroom
•View of TEM image
•Programs & Data
•E-learning tools
Remote Application Users
•View of TEM image
•Programs & Data
•Supercomputing
•3D Display
•E-learning tools
+
Remote operation
Remote Operation Users
ICA protocol
FCS Tools Flash technologies
SP I.3 Sviluppo ed ottimizzazione di codici
applicativi in settori di R&S di punta

Codici della ricerca modificati dai ricercatori
–
–
–
–

Fusione
Fissione
Combustione
Materiali
Codici di ricerca utilizzati dai ricercatori
– MCNP
– MCNPX
– ……

Codici commerciali
–
–
–
–
CRESCO, Portici 23-10-2006
Fluent
Abacus
Ansys
…
SP I.4 Progettazione e sviluppo di librerie per l’implementazione
efficiente e parallela di nuclei computazionali su dispositivi FPGA
integrati in un ambiente GRID




Analisi dei benefici all’interno di no specifico codice
nell’utilizzo di accelletatori tio FPGA
Implementazione di librerie per funzionalità specifiche
tip FFT
Integrazione delle librerie con il codice di riferimento
Integrazione del codice con il GRID ENEA. (ovvero
una risorsa del grid avra le funzionalità FPGA.
CRESCO, Portici 23-10-2006
SP I.4 Progettazione e sviluppo di librerie per l’implementazione
efficiente e parallela di nuclei computazionali su dispositivi FPGA
integrati in un ambiente GRID




Analisi dei benefici all’interno di no specifico codice
nell’utilizzo di accelletatori tio FPGA
Implementazione di librerie per funzionalità specifiche
tip FFT
Integrazione delle librerie con il codice di riferimento
Integrazione del codice con il GRID ENEA. (ovvero
una risorsa del grid avra le funzionalità FPGA.
CRESCO, Portici 23-10-2006
SP I.5 Web archives


L'attività è volta a fornire un servizio alla comunità scientifica
e industriale italiana consistente in un archivio storico delle
pagine web dei domini .it.
Le principali attività previste sono:
– attivazione dei programmi di "crawler" che indagheranno la rete
e estrarranno i contenuti dei siti del dominio .it
– compressione e archiviazione dei dati dei testi;
– disponibilità del file di rete sul sito web previsto per l'archivio
CRESCO, Portici 23-10-2006
ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
CRESCO, Portici 23-10-2006
Infrastruttura e-learning ENEA
Servizi Base
Gestione & Erogazione della formazione Sincrona, Asincrona e Mista
Scelta
Pianificazione
Accesso
Corsi on Line
Corsi Aula
Aule Virtuali
CRESCO, Portici 23-10-2006
Breeze
Fruizione
Infrastruttura e-learning ENEA
Servizi GRID
Accesso software applicativi e risorse di calcolo
Scelta
Accesso
Fruizione
Software
Lavoro Collaborativo
Breeze
Supercomputing
CRESCO, Portici 23-10-2006