ITALIAN NATIONAL AGENCY
FOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Programma Operativo Nazionale 2000-2006
“Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione”
Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale”
Azione a – Sistemi di calcolo e simulazione ad alte prestazioni
CRESCO – Centro Computazionale di
RicErca sui Sistemi Complessi
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
ENEA - GRID 2 0 0 7
GEANT
30 CPU
boquad.bologna.enea.it
dafne.casaccia.enea.it
150 CPU
sp4_-1.frascati.enea.it
400 CPU
Portici
25 CPU (CRESCO >2500 cpu)
Kleos.portici.enea.it
50 CPU
Gateway
to
EGEE
Brindisi
Citrix
Nfuse
WEB(ICA)
15 CPU
infocal.trisia.enea.it
ercules.brindisi.enea.it
Citrix
Metafram
e
ICA
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Infrastruttura HPC Cresco
GARA Europea
www.cresco.enea.it
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Caratteristiche codici CRESCO
•
•
•
•
•
•
•
•
Codici seriali ( UNIX)
Codici paralleli fortemente accoppiati
Codici paralleli debolmente accoppiati
Più codici paralleli fortemente accoppiati che
interagiscono fra loro ( es. accoppiamento fluido
struttura)
Codici particolari con funzioni molto spinte su alcuni
algoritmi ( es. analisi immagini, genomica)
Data base grandi dimensione
Codici seriali ( windows)
…….
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Caratteristiche dei dati dei codici
CRESCO
• Accesso ai file di input ed output
– frequenza
– flusso per accesso
• Dimensione della memoria RAM
– visibile direttamente dal singolo nodo
– totale su tutti i nodi
• Data base grandi dimensione
• File grandi dimensioni (maggiori 20GB)
• …..
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Infrastruttura HPC Cresco
•
•
•
sistema di supercalcolo HPC
sistema di storage ad alte prestazioni
sistema software
–
–
–
–
–
–
•
rete di interconnessione
–
–
–
•
•
•
•
•
software di sistema
software di gestione
middleware ENEA-GRID
software di monitoring
ambienti per lo sviluppo applicativi ad alto parallelismo
software applicativo
alta banda e bassa latenza
alta banda
interconnessioni di servizio
rete di interconnessione alla rete locale
sistema di backup
sistema di sicurezza
sistema di alimentazione e di continuità
adeguamento sistema condizionamento
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Sistema di supercalcolo HPC (1)
struttura in funzione dei codici
• Codici seriali ( UNIX)
• Sezione 1 ( dimensionamento preliminare)
•
Codici seriali che necessitano di memoria RAM maggiore di 4 GByte
– Una sezione con almeno 512 core organizzata ad uno o più nodi ad
immagine unica di ciascuno di tipo SMP con almeno 16 Core per
nodo.
– doppia interconnessi in fibra per il calcolo con una rete di almeno
1 Gbit/s;
– una memoria ram di almeno 2 GByte per core;
– due dischi almeno da 73GByte;
– predisposizione connessione InfiniBand
• Sezione GRID
•
•
Codici seriali che necessitano di memoria RAM minore di 2 GByte
Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione 1 ( AIX,
SGI, LinuxSGI)
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Sistema di supercalcolo HPC (2)
struttura in funzione dei codici
• Codici paralleli fortemente accoppiati
• Sezione 2 ( dimensionamento minimo)
– Una sezione con almeno 2048 core organizzata con nodi ad
immagine unica ciascuno di tipo SMP con almeno 8 Core per
nodo, con configurazione 2 socket quad-core
– doppia connessione Gbit ( per ogni 8 core )
– doppia connessione Infiniband 4X ( per ogni 8 core ) ( reti
proprietarie per immagini uniche SMP maggiori di 16 core)
– 1 GByte per core
– Un disco da 73GB SAS (per 8 core)
• Sezione GRID
•
Su GRID si trovano alcune macchine che soddisfano le condizioni della
Sezione 2 ( AIX, LinuxSGI, LinuxCRAY) per parallelismo fino ad un massimo di
192 proc.
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Sistema di supercalcolo HPC (4)
struttura in funzione dei codici
• Codici paralleli debolmente accoppiati
• Sezione 1 + Sezione 2
–
–
–
–
Una sistema totale con almeno 2560 core
doppia connessione Gbit ( per ogni 8/16 core)
1/2 GByte per core
Un disco da 73GB SAS (per 8 core)
• Sezione GRID
• Per codici fortemente disaccoppiati si possono sperimentare
anche casi con circa 3000 core.
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Sistema di supercalcolo HPC (3)
struttura in funzione dei codici
• Più codici paralleli fortemente accoppiati che
interagiscono fra loro ( es. accoppiamento
fluido struttura)
• Soluzioni possibili:
– Partizionando la Sezione 2 (2 codici fortemente
accoppiati)
– Sezione 1 ( codice poco scalabile) Sezione 2
(codice scalabile)
– Sezione GRID codici su più site
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Sistema di supercalcolo HPC (4)
struttura in funzione dei codici
• Codici particolari con funzioni molto
spinte su alcuni algoritmi ( es. analisi
immagini, genomica)
• Piccola sezione integrata CELLBE ( 8 CPU)
• Data base grandi dimensione
• Storage ad alte performance
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Sistema di supercalcolo HPC (4)
struttura in funzione dei codici
•
•
•
Codici particolari con funzioni molto spinte
su alcuni algoritmi ( es. analisi immagini,
genomica)
Piccola sezione integrata CELLBE ( 8 CPU)
Data base grandi dimensione
Dischi ad alte performance
Codici seriali ( windows)
4-5 nodi 4 core 64 bit 16 GByte RAM insieme a
nodi di servizio ( Fuori gara)
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Sistema di supercalcolo HPC (5)
Dischi ad alte prestazioni
• Caratteristiche Funzionali
Il sistema dischi che ha come riferimento una capacità di circa 100 TByte
nominali dovrà avere al minimo le seguenti caratteristiche:
–
–
–
–
–
Capacità nominale minima 120 TByte
Capacita con in configurazione RAID6 96 TByte ( ovvero con due dischi di parità)
Prestazioni di picco minime 3 GByte/s
Prestazioni sostenute minime, con File system GPFS, 2GByte/s
Interfaccie minime: (preliminare)
• n. 8 FC4
• supporto nativo InfiniteBand (IB)
• IB e FC4 devono poter essere inteconnesse allo stesso controller
– Caratteristiche di merito
• Velocità di scrittura e lettura uguali;
• Verifica della parità in scrittura e lettura ( questo è estremamente
significativo per avere un’affidabilità nelle fasi di lettura)
• Livello di degrado delle prestazioni nella fase di ricostruzione del dato
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Configurazione fisica di massima
Sala Calcolo Portici
Condizionamento 4 x 50 K watt + 1 predisposizione
Dischi (1 Rack)
Rete e servizi ( 3 Rack)
Sezione 1 (4-5 Rack)
Rete
HPC
Rete
LAN
Rete
HPC
Sezione 2 (4-5 Rack)
Backup (1 Rack)
Ingresso
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
SP I.1 Realizzazione dell’infrastruttura
HPCN
• Sala Calcolo CRESCO Portici
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
SP I.1 Realizzazione dell’infrastruttura
HPCN
Nuovi Uffici CRESCO
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Struttura dati SPX.X CRESCO
I Lanciatori multipiattaforma anno una
visibilità globale unica
\afs\enea.it\project\cresco\.......
AIX
Linux
Tool GRID
Portale GRID
SGI
Dati Sottoprogetto SP Cresco
Dati Utente Cresco
Frascatii
Portici
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
AFS enea.it
[email protected]
Menu
MENU
Ordinare
per campo
Tabella
con i dati
dei campi
• Questo tool consente la gestione del DB dei
codici generati dagli utenti nell’ambito del
progetto CRESCO in ENEA
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Tutorial Utilizzo Folder Viewer
Questo tool consente la navigazione nelle cartelle ‘’public_html’’
AFS in modalità grafica via Web, permettendo inoltre l’aggiunta di
una descrizione dei contenuti.
Requisiti:
•AFS Client
•Utenza AFS
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Utilizzo file .htaccess generale
•Consente l’accesso a una pagina web protetta
da login a tutti gli utenti AFS ENEA.
• Consente l’accesso a una pagina web protetta
da login a una lista idi utenti AFS ENEA.
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Struttura generale dati CRESCO
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Struttura dati SPX.X CRESCO
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Cronogramma
1 aprile 2006 – 31 dicembre 2008
Mesi
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
SP I.1 “Realizzazione del Polo di
calcolo”
Progettazione
degli
interventi
definizione delle specifiche
e
Acquisizione ed installazione di sistemi
HW/SW
Implementazione dei sistemi HW/SW,
avvio sperimentazione
Collaudo finale dell’intera infrastruttura
Tutti gli altri Sottoprogetti
Progettazione delle attività di R&S nella
tematica applicativa
Sviluppo
di
modelli
e
codici,
realizzazione di Software applicativi
Implementazione di modelli, codici,
ecc. per l’utilizzo sulla piattaforma
Produzione,
elaborazione
pubblicazione dei risultati di R&S
e
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
32
33
F
Integrazione con gli altri progetti
Definire un gateway ed una VO per ognuno dei
progetti
CYBERSAR - Cyberinfrastructure per la ricerca scientifica e
tecnologica in Sardegna – Cons. COSMOLAB /CRS4
PI2S2 - Progetto per l'implementazione e lo sviluppo di una einfrastruttura in Sicilia basata sul paradigma della GRID –
Cons. COMETA/INFN
SCOPE - Sistema cooperativo distribuito ad alte prestazioni per
elaborazioni scientifiche multidisciplinari – Univ. Federico
II Napoli
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Collaborazioni di CRESCO (unfunded)
Iniziati i contatti per definire i temi operativi
della collaborazione
Politecnico di Milano – Dipartimento di
Elettrotecnica
United States Department of State, USA
Oak Ridge National Laboratories, USA
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
CRESCO
Centro Computazionale di RicErca sui
Sistemi COmplessi
www.cresco.enea.it
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Struttura dati SPX.X CRESCO
I Lanciatori multipiattaforma anno una
visibilità globale unica
\afs\enea.it\project\cresco\.......
AIX
Linux
Tool GRID
Portale GRID
SGI
Dati Sottoprogetto SP Cresco
Dati Utente Cresco
Frascatii
Portici
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
AFS enea.it
[email protected]
WARC: amministratori “super” e di Sito
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
WARC: amministratori di progetto
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Attività di supporto e formazione
• Create delle utenze esterne ENEA-GRID
dedicate al progetto (circa 20)
• Creazione dei tutorial per l’utilizzo della
GRID;
• I primi ricercatori esterni hanno iniziato a
sviluppare e lavorare nell’ambiente
generato;
• Creazione del sito web di progetto
www.cresco.enea.it
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
WARC: amministratori di progetto
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]
Ambiente GRID per CRESCO
• Progettata la struttura dati per le aree
progettuali e iniziata dell’ implementazione
• Progettate le la modalità di inserimento dei
software e della documentazione relativi al
progetto
• Progettato e realizzato un di un tool di
amministrazione capace di delegare la
gestione delle aree progettuali
CRESCO–workshop
SPIII–
CRESCO
– Kick-off meeting
LAENEA
II – 2306Luglio
maggio 2007
2006
[email protected]