ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Programma Operativo Nazionale 2000-2006
“Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione”
Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale”
Azione a – Sistemi di calcolo e simulazione ad alte prestazioni
CRESCO – Centro Computazionale di
RicErca sui Sistemi Complessi
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Il Progetto CRESCO
Centro computazionale di RicErca sui Sistemi COmplessi
Obiettivi infrastrutturali
•Realizzazione di un Polo di calcolo di eccellenza presso il
Centro ENEA di Portici
•Sviluppo di una nuova classe di funzionalità innovative di
GRID Computing
Obiettivi applicativi
•Implementazione di soluzioni innovative di GRID computing
per le attività di R&S di punta dell’ENEA che richiedano
l’utilizzo di risorse computazionali estremamente importanti.
•Studio di oggetti biologici dal punto di vista “sistemico” e di
sistemi naturali secondo il paradigma dei sistemi complessi
•Studio di sistemi tecnologici e sociali complessi e delle loro
mutue interazioni, realizzazione di strumenti per il modelling, la
simulazione e il controllo
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Macrostruttura del progetto
Prof. Jack Dongarra
Sandro TAGLIENTI
Direttore INFO
Direttore CAMO
Comitato Scientifico
Prof. Umberto Ferrari
Prof. Agostino Mathis
Prof. Salvatore Tucci
Prof. Samuel Varnado
Silvio MIGLIORI
Resp. Scientifico
Andrea QUINTILIANI
Resp. Amministrativo
Silvio MIGLIORI
Coord. LA1
Comunicazione e Mktg
(TBD)
Vittorio ROSATO
Coord. LA2
CRESCO ENEA Portici: MIUR 22 Aprile 2009
Sandro BOLOGNA
Coord. LA3
[email protected]
Cronogramma
1 aprile 2006 – 31 marzo 2009
Mesi
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
SP I.1 “Realizzazione del Polo di
calcolo”
Progettazione
degli
interventi
definizione delle specifiche
e
Acquisizione ed installazione di sistemi
HW/SW
Implementazione dei sistemi HW/SW,
avvio sperimentazione
Collaudo finale dell’intera infrastruttura
Tutti gli altri Sottoprogetti
Progettazione delle attività di R&S nella
tematica applicativa
Sviluppo
di
modelli
e
codici,
realizzazione di Software applicativi
Implementazione di modelli, codici,
ecc. per l’utilizzo sulla piattaforma
Produzione,
elaborazione
pubblicazione dei risultati di R&S
e
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
32
33
36
Le tre linee di attività di CRESCO
LA I Realizzazione del Polo di calcolo e sviluppo di nuove
funzionalità di GRID Computing
LA II Sviluppo di tecnologie e modelli computazionali per
la descrizione di sistemi complessi di origine
biologica e di materiali innovativi
LA III Sviluppo di modelli di simulazione ed analisi delle
reti tecnologiche complesse e delle loro
interdipendenze
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
ENEA-GRID
• Born in 1998 with 6 Italian geographic clusters
• Main aim
– Give to ENEA researchers a unified environment to use in an
easy way heterogeneous computers and applications software
– Build an homogeneous ICT infrastructure but with a distributed
and delegated control
– Integrate the ENEA-GRID with National and International GRIDS
Application
Software
User
Collective
Resource
Computers
catalogs
ENEA-GRID
www.afs.enea.it/project/enea
grid
Sensor nets
Connectivity
Fabric
CRESCO ENEA Portici: MIUR 22 Aprile 2009
Colleagues & 3D
Data archives
[email protected]
ENEA-GRID from the user point of view
ENEA-GRID
Main feature:
– Access from any kind of connection
– Sharing data in world wide areas (geographical file system AFS)
– Access to the data from any kind of digital device client
– Running any kind of programs
– Access to National and International GRIDS
Computers
Computers
Computers
Computers
Data archives
Computers
Sensor nets
Sensor nets
Software catalogs
Trisaia
Brindisi
Portici
CRESCO ENEA Portici: MIUR 22 Aprile 2009
Roma-1
Roma-2
Bologna
EU…
[email protected]
ENEA-GRID from application point of view
Potentiality:
–
–
–
–
–
Running all Software Model for any kind of computer architecture
Only one installation for each software for all geographical computers
All authorized users can have access the software from local site
Any application can share the data in the common geographical file system
All sensors can share the data easily using the geographical file systems
ENEA-GRID
Computers
Software Model 1
Computers
Computers
Software Model 2
Rules
Software Model 3
Computers
Sensor nets
Sensor nets
Software Model ..
Software catalogs
Trisaia
Brindisi
Portici
CRESCO ENEA Portici: MIUR 22 Aprile 2009
Roma-1
Roma-2
Bologna
EU…
[email protected]
ENEA GRID
WEB
ICA
Application Portal (ICA-Protocol)
User programs and commercial codes
Accaunting
Monitoring, Automatic recovery
Quality of service
Graphical User Interface
LSF multi-cluster as integrator
XTERM
LSF
AFS Geographical cross platform & File System
AIX
SGI
SUN
CRESCO ENEA Portici: MIUR 22 Aprile 2009
HP
Win
Linux
Linux
Alpha
[email protected]
…
A Simple view of ENEA GRID
WEB
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load LevelerTelnet
LSF
WEB
WEB
ICA
ICA
Cluster 5° ( Portici)
Graphic User Interface
Load Leveler
Telnet
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
LSF
Load Leveler
& File System
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 6° ( Brindisi)
WEB
Cluster 2° (Casaccia)
ICA
WEB
ICA
WEB
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
ICA
User programs & commercial code
Graphic User Interface
LSF multi-cluster as integrator
Load Leveler
Telnet
LSF
AFS Geographical cross platform& File System
Cluster 1° ( Bologna)
Cluster 3° (Frascati)
Cluster 4° (Trisaia )
CRESCO ENEA Portici: MIUR 22 Aprile 2009
11
[email protected]
LA I
Realizzazione del Polo di calcolo e sviluppo
di nuove funzionalità di GRID Computing
Sottoprogetti
SP I.1 Realizzazione dell’infrastruttura HPCN
SP I.2 Sviluppo ed integrazione dell’architettura GRID
e di grafica 3D
SP I.3 Sviluppo ed ottimizzazione di codici applicativi
in settori di R&S di punta
SP I.4 Progettazione e sviluppo di librerie per
l’implementazione efficiente e parallela di nuclei
computazionali su dispositivi FPGA integrati in
un ambiente GRID
SP I.5 Web archives
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
HPC CRESCO INFRASTRUCTURE
Backup system
CRESCO
300 TByte
SERVERS BACKUP
17 TFlops
Interconnections InfiniBand
4XDDR
IB
IB
FC
3 Nodi IBM 3650
IBM Tape Library TS3500
with 4 drives
SERVERS GPFS
High speed disc
FC
4 Nodi IBM 3650
2 GByte/s
160 TByte IBM/DDN 9550
Section 1
Section 2
Section 3
(Large memory)
(MPP)
(Special)
256 Nodi blades
IBM HS21 with 2
Xeon Quad-Core
Clovertown
E5345
(2.33GHz/1333M
Hz/8MB L2), 16
GB RAM total
2048 cores Intel
Clovertown
4 Nodi blades IBM
42 Nodi SMP
IBM x3850-M2
with 4 Xeon
Quad-Core
Tigerton E7330
(32/64 GByte
RAM 2.4GHz/
1066MHz/6MB
L2) total 672
cores Intel
Tigerton
35 Node for services
QS21 con 2 Cell BE
Processors 3.2 Ghz
each.
Servers for :
•Front-end
6 Nodi IBM x3755,
•installations
8 Core AMD 8222
FPGA VIRTEX5
•AFS
4 Nodi IBM x 3755,
8 core AMD 8222
with NVIDIA Quadro
FX 4500 X2
•…
4 Nodi windows 8
core 16 Byte RAM
Double interconnection at 1 Gbit
4x10 Gbits
& 1 network at 1 Gbit for management
CRESCO ENEA Portici: MIUR 22 Aprile 2009
Portici
LAN
1000 Mbits
GARR
(WAN)
1000 Mbits
[email protected]
CRESCO HPC hall
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
CRESCO HPC details
Sections 1 & 3
Corridor hot
Section 2 & DDN
Sections 1 &2
Control room
network: IB/GB
CRESCO ENEA Portici: MIUR 22 Aprile 2009
backup system
[email protected]
ENEA-GRID Computational & 3D Centers
Ispra
Saluggia
30
BOLOGNA
S.Teresa
#CPU/Core
CASACCIA 140
FRASCATI
Manfredonia
400
PORTICI
2750
90
45
CRESCO ENEA Portici: MIUR 22 Aprile 2009
BRINDISI
TRISAIA
[email protected]
ENEA-GRID Computational Resources
OS
#CPU/Core
Gflops
AIX
>300
3000
Linux x86 32/64
>3000
25000
Linux IA64 (Altix)
64
300
IRIX
26
40
Frascati(8), Casaccia(4),
Portici(1),Trisaia(8), Brindisi(1),
Bologna(5)
Solaris
8
10
Trisaia(4), Casaccia(2), Bologna(2)
Windows 32/64
46
100
Mac OS X
14
60
Frascati(258), Bologna(24),
Portici(18),Brindisi(2)
Frascati(140), Casaccia(54),
Portici(2700),Trisaia(20), Brindisi(84)
Casaccia
Frascati(4), Portici(34),Trisaia(4),
Brindisi(4)
Frascati(1), Trisaia(13)
Computational resources of Portici (NA) , Brindisi e Trisaia (MT) have been
financed by Ministry of Research PON TELEGRID (Avv. MIUR 68) CRESCO (Avv.
MUR 1575)
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Computational ability
ENEA-GRID & CRESCO
An heterogeneous system with more than 3000
CPU/cores
Code
Risorsa
Serial
Section 1 & ENEA-GRID
Parallel hardly coupled
Section 2
Embarrassing parallel
Section 1, 2, ENEA-GRID
System with several parallel
codes
Section 1, 2, Section 1+2
Special ( FPGA, GB, CELL)
Section 3
windows (serial and parallel)
Section 3
Not LINUX
ENEA-GRID
Large date “Data Base”
Section 1,2,3 e GPFS
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
ICT – SCENARIO EVOLUTIVO
ENEA (CRESCO 125°)
ENEA
Previsione 500°
Evoluzione nel tempo dei computer ad alte prestazioni
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
CRESCO in the Top500 List June 2008
Italy (06/2008)
90
CINECA
125
ENEA
131
ENI
135
CILEA
156
CINECA
226
Telecom
Jack Dongarra 2002
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
ENEA CRESCO Supercomputer
N° 125 Top500 June 2008
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
ENEA GRID and experimental facilities
DNA Sequence system
( ABI Prism 3700)
Trisaia
DB_2
ENEA GRID
CPUS
WEB
ICA
DB_1
SSH
Controlled Nuclear Fusion:
FTU
DB_3
Frascati Tokamak Upgrade
Video Acquisition
Electron Microscope
(Brindisi)
300 KeV (sept. 2004)
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Stato reale di utilizzo
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
CRESCO for EUROPEAN FUSION
IB
Cresco 25 Tflops peak
System for development and test
of computational codes for
ITER (EFDA contract)
1 Tflops peak
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
GEANT
2008
boquad.bologna.enea.it
dafne.casaccia.enea.it
sp5-1.frascati.enea.it
Kleos.portici.enea.it
Portici
infocal.trisia.enea.it
Gateway
Brindisi
ercules.brindisi.enea.it
to
EGEE & GRISU
Accesso
Accesso
WEB
Client
www.afs.enea.it/project/enea
CRESCO ENEA Portici: MIUR 22 Aprile 2009
grid
Accesso
Diretto
[email protected]
ENEA-GRID & CRESCO
CRESCO is totally
integrate
in ENEA-GRID
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Sicurezza ENEA
External Users
Sicurezza industriale
Example of use of FLUENT on
ENEA-GRID
Submissions options
Fluent options
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
ENEA-GRID & Virtual Lab
architecture
ENEA
University
and research
institute
Li
Enterprise
New collaborations
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Per lavorare con CRESCO
www.cresco.enea.it
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2 Sviluppo ed integrazione dell’architettura
GRID e di grafica 3D
• Compilazione multi-piattaforma di programmi seriali e
paralleli (MPI).
• Lanciatori su GRID di programmi seriali e paralleli.
• Interfaccia Java alla GRID per la personalizzazione
dell'ambiente di lavoro.
• Test RSH: E' stato realizzato un programma che permette di
testare, sull’ENEA-GRID, il funzionamento del comando rsh.
• Network Monitoring: E' stato sviluppato un software
(NeTWork RESPONSE TIME TEST) di supporto alle funzionalità di
network dell'ENEA-GRID.
• Test HPL per misurare la potenza di calcolo di una macchina in
termini di numero di operazioni floating point che si possono fare in
un secondo.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2
Struttura generale dati CRESCO
(operativa)
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2
WARC: amministratori “super” e di Sito
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2

AMACA
(AFS Memorize And Check Application)
Strumento integrato di monitoraggio, controllo e storicizzazione di
componenti ed eventi di Andrew File System (cardine dell’infrastruttura
ENEA-Grid)





Realizzato nell’ambito del contratto CRESCO di ricerca tra ENEA e CASPUR per “analisi e
realizzazione di tool innovativi a supporto delle funzionalità GRID” (SPI.2)

Alessio Rocchi (CASPUR)

Ludovico Giammarino (CASPUR)
Sicuro:

protezione delle informazioni tramite due layer dedicati in cascata (openSSL e
libreria crittografica mcrypt)

Esecuzione di operazioni critiche concessa solo agli appartenenti a gruppi
prestabiliti
Integrato: accesso garantito tramite credenziali AFS.
Accessibile: fornisce numerosi strumenti user-friendly di supporto ai task di
amministrazione
Adattativo: consente di concentrare la visualizzazione dello stato sul solo dominio di
appartenenza dell’amministratore
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Software Tools for Monitoring ENEA GRID with
CRESCO Cluster Integration
Agostino Funel, Guido Guarnieri, Salvatore Raia, Silvio Migliori
CRESCO - SP I.2
From each host is possible to test
the status of ENEA GRID.
ENEA - FIM Department
The purpose of a GRID network is to collect a large variety
of computational resources to achieve high power
computing. ENEA GRID is a heterogeneous environment
with many architectures and operative systems. As the
CRESCO supercomputer has been fully integrated in ENEA
GRID it is essential to have tools for monitorning the
status of the main functionalities.
NETWORKING
JOB LAUNCHERS
Parallel and serial job launchers make the user
comfortable with the many architecture present in
ENEA GRID.
CRESCO MONITORING
Tool designed for a fast
Tools for testing TCP/IP and UDP
protocols.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
and efficient diagnostic of
the main funcionalities of
the CRESCO HPC system:
high speed interconnection,
authentication
protocols,
memory, scheduler. Web
archive for easy consulting.
[email protected]
SPI.2
Integrazione nella GRID ENEA di sistemi Windows
LSF NON offre supporto per AFS in ambiente Windows
•Per integrare sono state sviluppate
•gettok_win (visualizza sullo standard output il token AFS)
•puttok_win (scrive nel kernel il token prelevato dalla standard input)
•E’ in corso di installazione litegrazione completa con ENEA GRID
•Principali risultati:
•Interoperabilità delle routine prototipali con quelle fornite dal kit
LSF per AFS
•Accesso al volume AFS su sistema operativo Windows con token
originato da sistema UNIX
•Accesso al volume AFS su sistema operativo UNIX con token
originato da sistema Windows
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2.1 Integrazione ENEA-GRID con altre
GRID
Interoperabilità
4 PON 1575
attività in corso
Integrazione con
•EGEE
•GRID.IT
Middleware LCG
CRESCO ENEA Portici: MIUR 22 Aprile 2009
Integrazione con BEinGRID
Middleware UNICORE
[email protected]
La ENEA-GRID interoperability with others GRID
EGEE
?
EFDA
ENEA has been developing the
“shared proxy” solution
•Maintain the GRID internal
architecture and autonomy
•Allow multiplatform
impementations
•Under production on
EGEE
•Under production on
GRISU
GARR
GARR
Others Entity
PI2S2
•Required by EFDA for
EGEE
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
ENEA-GRID & GRISU & IGI
IGI
Ispra
Saluggia
Italian GRID
BOLOGNA
Infrastructure
S.Teresa
CASACCIA
Manfredonia
FRASCATI
PORTICI
BRINDISI
TRISAIA
GRISU
CRESCO ENEA Portici: MIUR 22 Aprile 2009
SPACI
[email protected]
SPI.2 Sviluppo ed integrazione dell’architettura
GRID e di grafica 3D
•
Tools per analisi immagine
Sono stati sviluppati e sono in corso di sviluppo tools per l’analisi delle immagini dei plasmi termonucleari
provenienti dalle telecamere FTU ( Frascati Tokamack Upgrade). L’insieme dei tools e la relativa documentazione
è stata inserita nelle pagine web specifiche del sottoproggetto. Tutti gli applicativi sono stati sviluppati utilizzando il
linguaggio ad alto livello IDL. Questi applicativi sono stati inseriti nella GRID ENEA e sono state sviluppate le
procedure per sottometterli in modalità GRID ENEA.
•
•
Integrazione librerie grafiche open-source
Integrazione di un modulo per il Distributed Rendering
Il modulo di Distributed Rendering consente di sviluppare ed eseguire applicazioni “multiple channel” sincronizzate
che utilizzino più piattaforme di calcolo connesse in rete per il rendering e display multipli contigui o non contigui
per la restituzione di una scena virtuale. Allo stato attuale è in fase di test un applicativo della Multigen-Paradigm,
integrato nell’ambiente di visualizzazione VegaPrime, in rete sia locale che geografica.
•
RV Customizing tools
E’ in corso l’integrazione in AFS dell’applicativo sviluppato, nell’ambito dell’attività di progettazione e sviluppo di
Customizing tools per applicazioni di Realta’ Virtuale che basandosi su d una architettura Client-Server, è in
grado di comunicare con una scena grafica a run-time e modificarne i parametri di navigazione (path e
sincronismo con file audio), senza interrompere l’esecuzione della scena virtuale. Si dovrà procedere alla sua
installazione nella GRID-ENEA, nell’area del progetto CRESCO, e quindi configurare e testare l’applicativo per la
distribuzione agli utenti.
•
•
Applicazioni per visualizzazione scientifica 3D
Film dati
Le immagini e i filmati prodotti mediante applicazioni di visualizzazione scientifica saranno raccolti in un archivio
visivo delle attivita’ svolte e saranno diffusi tramite pagine Web. L’obiettivo è quello di creare contenuti
dimostrativi, delle applicazione e dei dati sviluppati, tramite filmati, anche in modalità stereoscopica, in modo da
non utilizzare direttamente l’applicativo.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Laser scanner technologies and 3D models integration:
analysis and methodological approach
Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini
ENEA - FIM Department
The objective: the “Virtual Museum”
The scanning laser systems available at ENEA allow to fullfil a wide range of diagnostic and monitoring
requirements in the artistic and cultural heritage field and to produce 3D models. A test case was adopted, in
order to define a methodology allowing to include 3D models in a Virtual Reality application.The objective was
to develop a “Virtual Museum” in which to inser/remove 3D models produced by different laser scanner system
and to navigate the 3D graphical scene by means of the VegaPrime environment orthe OpenSceneGraph toolkit
available by means of the ENEA-Grid.
3D models
Laser Scanner Systems in ENEA
 ITR (Imaging Topological Radar) developed by ArtVisLab-ENEA
 HDS3000 by Leica-Geosystem
 VIVID 900 by MINOLTA
 Desktop 3D Scanner by NextEngine
Conversion to OpenFlightFormat
Since each scanning device is provided with proper output file formats
and software packages to integrate in a VR application, through format
conversion, the 3D modelspreserving all the detected information.
The Open Flight format (.flt) is supported by both VegaPrime and OpenSceneGraph;
from the analysis of the 3D models proprietary file formats and the format conversion tools, it was possibile to define the following conversion methods:
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Visualization of 3D laser scanner data from an
archaeological site using OpenSceneGraph in ENEA
Grid environment
Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini
ENEA - FIM Department
Laser scanning Juvanum by HDS3000
•19 Scansioni
•16.589.664 punti
•Valori di XYZ riflettenza e colore
•Acquisizione di coord.GPS
Point cloud elaboration
After the post processing phase
(manual elimination and filtering
algorithms application), results a data
set of 5.665.282 points
VISUALIZATION OF A SET OF MILLIONS OF POINTS
Accordingly with the archaeologists needs, the final database
requires a processing application capable to:
•display a large amount of data in a relatively short time;
•performe mathematical operations on the points coordinates
(distances between points, plant views, sections, etc.)
OSG viewer: Currently there are commercial software capable to display
a large amount of data in “near realtime”, but we were oriented to an
“open source” solution using our ENEA-GRID, the OpenSceneGraph
libraries and the powerful viewer.
Distances evaluation: Integrating the ANN library in the OSG viewer
code, it was possible to impolement a tool for evaluating distances
between points in the 3D scene.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2 Analisi ed ottimizzazione di strumenti
Software per l'utilizzo di IDL sulla GRID ENEA
Sono stati sviluppati tools per l’analisi delle immagini dei plasmi termonucleari provenienti dalle telecamere FTU (Frascati Tokamack Upgrade).
Tools
• Applicazioni IDL realizzate in ENEA
(Falsecolor, Brightzone, Volume rendering, Database).
Tutorial
•
IDL: gestione di batch files e esecuzione di programmi in
modalità non interattiva
•
IDL: gestione di programmi in broadcasting attraverso
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2 Analisi ed ottimizzazione di strumenti
Software per l'utilizzo di IDL sulla GRID ENEA
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
LA 1 - SP I.2.2: Tools per l’utilizzo di sistemi di Grafica Virtuale ed immersiva con sistemi di supercalcolo
remoto e per il lavoro cooperativo a livello geografico.
Oggetto

Studio e sviluppo di tools e tutorial per l’analisi delle immagini dei plasmi termonucleari provenienti dalle telecamere
FTU (Frascati Tokamack Upgrade) – sviluppo del SOFTWARE TOKAMAK
Obiettivo

L’obiettivo del lavoro è quello di realizzare un tool installabile che crea un database per la gestione e l’elaborazione delle
immagini presenti su ENEA-GRID. L'elaborazione prevede in dettaglio: riduzione del rumore, bilanciamento
dell’istogramma, identificazione dei contorni. La necessità di creare un database delle immagini di FTU nasce
dall’esigenza di avere a disposizione tutte le immagini, nonché le informazioni ad esse relative, in modo da poter
classificare gli scatti in base a specifici criteri. La classificazione è utile per eliminare classi di immagini che, nonostante
operazioni di miglioramento (equalizzazione, restaurazione, segmentazione), non possono contribuire a ricostruire alcuni
fenomeni del plasma.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Struttura Data Base
Sopra viene riportata la struttura del data base utilizzando il DBMS MySQL. Le tabelle che rappresentano la struttura sono:
Tabelle relative alle immagini
•Gli oggetti che sono compresi in cams sono i Port. Ogni Port è identificato univocamente dal nome della camera;
•Gli oggetti che sono compresi in folders sono le cartelle distribuite all’interno dei diversi Port;
•Gli oggetti che sono compresi in images sono le immagini su cui effettivamente vengono fatte le operazioni;
Tabelle relative alle operazioni effettuate sulle immagini
•Gli oggetti compresi in tab_res sono le immagini restaurate;
•Gli oggetti compresi in tab_gray sono le immagini in scala di grigi e le immagini equalizzate;
•Gli oggetti compresi in tab_seg sono le immagini segmentate.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Interfaccia utente (GUI) ed elaborazione delle immagini
Il software è stato sviluppato attraverso il linguaggio C++ integrando il codice con le
librerie open source di Qt, noto tool per la realizzazione di interfacce utente (GUI).
L’elaborazione delle immagini è stata gestita con MATLAB attraverso l’esecuzione di Mfile creati appositamente per le operazioni richieste.
• Software tokamak in
esecuzione:
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.2.3 Integrazione del controllo remoto
di un microscopio TEM
Realizzata l’integrazione di base, è in corso un’attività di ricerca e sviluppo per
realizzare un laboratorio virtuale per la microscopia
TEM
Videocomunicazione
Visualizzazione
delle Immagini TEM
Accesso remoto
per il controllo
CRESCO ENEA Portici: MIUR 22 Aprile 2009
Visualizzazione
Ambientale
Tool di allineamento
dati locali/dati AFS
[email protected]
SPI.3 Sviluppo ed ottimizzazione di codici
applicativi in settori di R&S di punta
• Realizzata un’analisi dei codici di massimo
interesse di tipo commerciale
• Individuato come prioritari:
–
–
–
–
–
FLUENT**
ANSYS,ABACUS **
MpCCI **
NASTRAN
OpenFOAM
Fluidodinamica
Strutturale
Interazione fluido struttura
Strutturale
Fluidodinamica
Codici tutti in Produzione
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.3 Sviluppo ed ottimizzazione di codici
applicativi in settori di R&S di punta
MpCCI (Mesh-based parallel Code Coupling Interface):
Viene utilizzato per affrontare problemi di interazione fluido-struttura
accoppiando diversi tipi di codici presenti in ENEA-GRID;
I codici da accoppiare sono attualmente Fluent per l'analisi
fluidodinamica e Ansys per l'analisi strutturale.
OpenFOAM: software opensource di analisi fluidodinamica.
E' in corso uno studio di OpenFOAM ed in particolare:
• compatibilità di installazione sulle diverse macchine della GRID
• confronto con Fluent (software commerciale generalmente impiegato
sia nel settore industriale che di ricerca) in termini di accuratezza dei
risultati.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.3: Sviluppo ed ottimizzazione di codici
applicativi in settori di R&S di punta
• Simulazioni
Fluidodinamiche:
– l'uso di Fluent è stato necessario
per studiare l'evoluzione dei
fenomeni di combustione di diversi
combustibili. Viene portato avanti
uno studio di ottimizzazione delle
prestazioni dell’ENEA-GRID per
condurre questo tipo di analisi
– E' in corso uno studio di
condizionamento termico della
configurazione finale della sala di
calcolo CRESCO in Portici. Tale
studio riguarda sia la modellistica
geometrica della sala calcolo sia
la fenomenologia di scambio
termico nella stessa attraverso i
sistemi di refrigerazione presenti
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SP I.3 Sviluppo ed ottimizzazione di codici applicativi
in settori di R&S di punta
Numerical Simulation of Turbulent Combustion on CRESCO Platform
Supercomputing makes
feasible using powerful
CFD approaches like LES
(Large Eddy Simulations),
which is able to meet
demands for accurate
models and advanced
numerical methods
3D istantaneous field showing some
isosurfaces of temperature
Speed-up (right triangle) and efficency of the HeaRT code
on CRESCO platform
Turbulent combustion results obtained by means of
the ENEA HeaRT code run on CRESCO. HeaRT
(Heat Release and Turbulence) is a fully
compressible, reactive, unsteady flow solver that
implements an original LES subgrid scale model,
named Fractal Model.
Simulation details on different platforms
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
OpenFOAM and Fluent Features in CFD
Simulations on CRESCO High Power Computing System
Fiorenzo Ambrosino, Agostino Funel, Silvio Migliori
ENEA - FIM Department
CRESCO - SP I.3
Industrial
collaborations:
OpenFOAM
Parallel and scalable CFD Solver
It is available on CRESCO cluster with Infiniband
interconnection. It solves CFD complex simulations
using even more 1000 cores giving good scalability
and efficiency performances.
Fluent (top) and OpenFOAM (bottom)
contour map of the static pressure field
on a simple passenger sedan (Fluent
Benchmark).
Open source
It can simulate a lot of CFD problems and its
implementation is growning.
Elasis in automotive
research and
development.
It hasn’t any license cost.
It has a great support network composed of
developers and users around the world.
Avio Group: OpenFOAM
applications in
supersonic CFD
simulations.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
OpenFOAMFluent speedup
comparison
for the
passenger
sedan
benchmark.
[email protected]
SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di
R&S di punta
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.3 Sviluppo ed ottimizzazione di codici
applicativi in settori di R&S di punta
Programmazione parallela in ambiente Matlab (Libreria MatlabMPI del M.I.T)
• E’ stata installata su AFS per la versione 7.0.1 (R14) di Matlab.
• Permette l’attivazione parallella di diverse sessioni Matlab su più processori.
•I nodi coinvolti eseguono parallelamente lo stesso programma (SPMD).
•Lo scambio dei dati viene fatto tramite operazioni di lettura e scrittura da/su file.
• Per il funzionamento sulle macchine linux della griglia la modalità di lancio remoto (rsh/ssh) è stata
sostituita con lsrun.
Di seguito sono riportati i risultati di un test effettuato con le funzioni della libreria MatlabMPI che misura
la velocità di comunicazione, al variare delle dimensioni dei pacchetti inviati, tra le macchine ‘Bw305-2’ e ‘Lin4p’.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
Parallel programming in Matlab environment on
CRESCO cluster,interactive and batch mode
Authors: G. Guarnieri, S. Migliori, S. Podda
ENEA - FIM Department
Matlab (MATrix LABoratory) provides an environment for numeric elaboration and an interpreted programming language widely used in science and technology.
The package is equipped with specialized libraries (toolboxes) which can solve problems in several fields. For some years the implementation of parallel
programming in Matlab environment has been under study. Mathworks, the producer of Matlab, distributes toolboxes with this target, but there are also third party
projects with the same aim. Among them is the “MatlabMPI” library developed by Lincoln Laboratories of the Massachusetts Institute of Technology. ENEA GRID,
by the introduction of CRESCO machines, has achieved a very high computational power. So, the possibility of parallel programming in Matlab on this structure
becomes a meaningful aim. We have chosen to modify and install the “MatlabMPI” library for Linux machines of ENEA GRID and particularly for CRESCO cluster.
The MatlabMPI functions library, written in pure Matlab
language, implements a subset of the functions defined in the
MPI standard and allows to run, at the same time, several
Matlab processes both on multicore machines and computer
clusters. Data exchange among the processes does not happen
by real message sending and receiving, but via file system
access operations. Some code changes were required to install
MatlabMPI on ENEA GRID and to adapt the use of the library to
CRESCO submission mode. To enable the launching of Matlab
jobs on remote machines in interactive such as in batch mode
we have resorted to the ENEA GRID submission tool.
Graphic description of a message
exchange between two parallel Matlab
processes using MatlabMPI functions
“MPI_Send” and “MPI_Recv”. The use
of OpenAFS distributed file system,
which allows users to access their
home directory from every point of the
grid, well supports the use of
MatlabMPI because the parallel Matlab
processes can simply share a common
working directory.
In order to adapt MatlabMPI library to submit jobs on CRESCO cluster in batch mode it
was necessary to further modify the code. We have created some scripts to interface the
library with the scheduler environment. Users can perform parallel Matlab jobs in batch
using MatlabMPI submitting the script “matMPIlauncher.sh” by the LFS command “bsub”
which also allows full expression of the resource request. An example of batch submission
on CRESCO cluster is the following:
MatlabMPI
in
batch mode on
CRESCO cluster.
Software interface
between LSF and
MatlabMPI
environment.
bsub –q small_10m -o %J.out –e %J.err –R cresco1 –n 32 matMPIlauncher.sh
The script “matMPIlauncher.sh” reads some LSF environmental variables in which the
scheduled resources for the request expressed in the previous command line are
contained and launch Matlab with the M-File “matMPIscript.m”. The latter passes the
scheduled resources and the Matlab script to be executed in parallel as arguments to
MatlabMPI functions. In batch mode the launch of the parallel Matlab jobs happens by
means of “blaunch” command.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.4
Progettazione e sviluppo di librerie per l’implementazione efficiente e parallela di nuclei
computazionali su dispositivi , per la sezione speciale di CRESCO
•
Sono stati effettuati porting di codici su CELL ed è stata definita una
procedura per usarli in modalità parallela fa macchine cell, è un corso
di sviluppo l’integrazione con il resto dell’architettura CRSCO. In
particolare è stato fatto il porting di una componente del codice di
climatologia usato da ENEA.
•
Sono state integrate le schede CELL con l’architettura GRID-ENEA in
particolare per quanto riguarda la rete IB, GPFS, AFS, LSF.
•
Sono stati implementati e resi operative librerie grafiche in grado di
fare rendering parallelo sulle schede grafiche della sezione speciale di
CRESCO.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SPI.5 Web archive
Sono continuati i test di UbiCrawler
sviluppato ed integrato in ENEA-GRID: è
operativa un’ installazione definitiva
integrata ed in grado di adoperare più sist
ENEA
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
SP I.5 Web archives
Ubi Crawler software architecture and its integration on ENEA Grid.
UbiCrawler is a scalable, fault-tolerant and fully distributed web crawler.
UbiCrawler architecture is complex and to set a crawler session, we use
a launcher that accepts a hosts list.
High Performance of large scale crawling on ENEA Grid network:
Network bandwidth is the main limit to improve performance. We
let vary the number of agents and a parameter, called “URL delay”,
that set the rate which any thread send http requests to web hosts.
While the number of agents is arranged at bootstrap, http rate
request parameter can be changed at run time. We can take
snapshots of sizeable portions of the web, in reasonable time,
using about 20 agents with the above mentioned requisites. Others
snapshots of the web were taken spanning the agents across
different hosts on ENEA Grid.
Web Archive in WARC format: web pages gathered during crawling are
stored in WARC (Web ARChive) format. Each agent will write data in
one store file. Large scale crawling, using 20-25 agents, generate few
large file of 50-60 GigaB. We combine LSF framework utilities and LAW
(Laboratory for Web Algorithmics) packages to manage and retrieve
informations from WARC files.
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]
ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
CRESCO ENEA Portici: MIUR 22 Aprile 2009
[email protected]