Casaccia 4 Febbraio 2013
UTICT e UTTEI e il calcolo scientifico
G.Bracco
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Contenuto
• ENEAGRID
– L'architettura,l'utenza e le applicazioni
– Le interfaccia utente e i laboratori virtuali
– I Cluster CRESCO
• I nuovi progetti PON 2007-2013
– IT@CHA, TEDAT, LAMRECOR
• Le nuove infrastrutture
– CRESCO3
– CRESCO4
• L'utilizzo di ENEAGRID/CRESCO da parte di UTTEI
– cpu, storage,licenze...
– commenti..
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Architettura di ENEAGRID
Componenti strutturali “maturi” per garanzia di affidabilità e
semplicità di gestione, interfaccie Web sviluppate/customizzate
per una ambiente utente amichevole:
– Authenticazione Kerberos 5
ENE
– File systems:
• AFS/OpenAFS file system geografico
• GPFS: file system parallelo anche WAN
– Gestore delle risorse: LSF Multicluster
– Interfaccie grafiche Web per l'utente:
• NX/FARO
• Jobrama: Stato dei job & Accounting
– Sistema di monitoring: Zabbix
– Gestione Web utenze e progetti: WARC
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENEAGRID : le risorse di calcolo
Le piattaforme di calcolo offerte all'utenza sono attualmente i
sistemi Linux x86_64, (i cluster CRESCO ~ 5000 cores), i sistemi
AIX SP5, (~256 cpu), sistemi speciali dedicati ( ad es. GPU),
risorse virtualizzate. Le risorse sono distribuite su 6 centri.
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
L'utenza e le applicazioni
L'utenza di ENEAGRID
~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50
utenti che sottomettono job HPC altamente paralleli.
ENE
Gli ambiti applicativi
a cui afferiscono i principali utenti sono:
– fluidodinamica della combustione
– chimica computazionale
– simulazioni climatiche
– analisi della diffusione degli inquinanti nell'atmosfera
– tecnologie nucleari
– fluidodinamica per l'aereospazio
– fisica della fusione nucleare
– bioinformatica
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
FARO -
Fast Access to Remote Objects
Accesso WEB a
dati,applicazioni,
macchine virtuali
realizzato con una
integrazione di NX
e applicazioni java
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
FARO e Laboratori Virtuali
Portali tematici che
integrano l'accesso ai
dati e alle applicazioni
specifici del settore
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Laboratori Virtuali
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
FARO: la visualizzazione 3D
Rendering 3D Remoto
Total
displacement
(mm
)
Pos Processo
t
r
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
I cluster CRESCO
I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 20002006 (Portici,Brindisi,Trisaia) o con risorse interne negli ultimi due anni
(Casaccia,Frascati)
ENE
>Portici CRESCO1(672
cores 4U) CRESCO2(2720 blades)
IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere
>Casaccia CRESCOC (192 cores, twin 1U)
IB Qlogic Silverstorm DDR, AMD 2427 Istanbul
>Frascati CRESCOF (480 cores twin square 2U, GPFS)
IB Qlogic 12300 QDR, AMD 6172 Magnycours
>Brindisi CRESCOB (80 cores, 4 U, GPFS)
GEthernet, Intel Tigerton
>Trisaia CRESCOT (16 cores,4U)
Intel Tigerton
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
CRESCO Portici - Rete IB e storage
SM (ACTIVE)
SM (standby
SFS 7000D
SFS-7000D (e)
SFS-7000D(D)
4
(4)
(2)
4
ENE
20 TB
20 TB
20 TB
20 TB
2)
2)
4
4
Server
Server
STORAGE
Server
STORAGE
Server
STORAGE
STORAGE
2)
4
2)
4
2)
SFS 7000D
SFS 7000D
4)
4 X FRONT END
GRAFICI
SFS 7012-144-P
4 X FRONT END
GRAFICI
SFS-7024-288P
4X FRONT END
4
4
4X FRONT END
42 X 3850M2
10 X 3755
340 X HS21
SECTION 2
BACK-UP
4
(2)
2X GPFS NODE
2X GPFS NODE
FC
IB 24 ports
DDN S2A9900 120TB
FC
2X GPFS NODE
4
IBM DCS 9550 -180TB
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
PON 2007-2013
• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010
– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali
– LAMRECOR - Logistica avanzata per la Mobilità di persone e merci
– DIRECTFOOD - Gestione integrata filiere alimentari e canali innovativi
produttore -consumatore
• PON/2 Distretti/Laboratori Pubblico Privati DDR MIUR 713/Ric
29/10/2010
– VIS4FACTORY - Sistemi Informativi Visuali per i processi di fabbrica nel
settore dei trasporti
– DATABENC - Distretto ad ALta Tecnologia per i beni culturali nella regione
Campania
• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011
– TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel
settore dei trasporti
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Progetto TEDAT
Centro di Eccellenza per le TEcnologie e la Diagnostica
Avanzata nel settore dei Trasporti
Il progetto è dedicato al potenziamento delle tecnologie e della
strumentazione per i processi, le analisi e la diagnostica
avanzata dei materiali e componenti nell'ambito del settore dei
trasporti (aerospaziale, automotive, ferroviario, navale)
Progetto Infrastrutture interamente ENEA, localizzato
principalmente a Brindisi ed in parte a Portici
Quota ENEA-UTICT 2.221.000 € + 200.000 per opere edili e
infrastrutturali
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
PON 2007-2013 Progetti operativi
Investimenti:
• IT@CHA [Ricerca industriale] ENEA-UTICT 320 k€
(UTAPRAD,UTICT)
• LAMRECOR [Ricerca industriale] ENEA-UTICT 548 k€
(UTICT)
• TEDAT [Infrastrutture] ENEA-UTICT 2.221 k€
(UTTMAT,UTTP,UTICT)
– Portici (2.056 k€)
– Brindisi (165 k€)
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Portici: CRESCO3
Con risorse dai progetti IT@CHA,LAMRECOR e DIRECTFOOD è stato
acquisito su Portici un cluster AMD basato su macchine Twin Square
SuperMicro & Acer
2 Rack (modello wide) in sala CED CRESCO + Rack di rete
ENE
Sono stati installati 84 nodi per un totale di 2016 cores; in produzione
entro febbraio 2013
Infiniband QDR QLogic 12800-040 (96 porte)
Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag
specifiche, Intel 12 specifiche flag librerie ACML)
Storage: DDN S2A9900 espanso ora a 600 TB
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
CRESCO3 : twin square
AMD Iterlagos 6234 2.4 GHz, 64 GB,24 cores,84 nodi, 2016 cores
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Portici: CRESCO4
Le risorse del progetto TEDAT sono più importanti e permettono di
programmare l'acquisizione di un cluster di taglia ~80 Tflops utilizzando la
tecnologia Twin Square
Il sistema èENE
attualmente in fase di acquisizione (Bando
europeo,aggiudicazione provvisoria) Estate 2013?
Schema di principio
– ~4 Rack di nodi di calcolo per un totale di 256 nodi (4096 cores Intel) 1 rack di
servizio.
– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3
– Infiniband QDR ad es. QLogic/Intel 12800-180 (max 528 porte)
– Nuova sala CED; nuovo UPS
– Sistema di condizionamento con free-cooling
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Portici: CRESCO4 - rete IB
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Locali CRESCO e CRESCO4
ENE
CED nuovo
CRESCO4
CED CRESCO attuale
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
CED CRESCO
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
CED CRESCO
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Locale CRESCO4
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Schema di possibile installazione
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Test effettuati con Ansys FLUENT
Processori
– Intel(R) E5620 @ 2.40GHz (Westmere) CRESCO2
– AMD 6234 @ 2.40Ghz (Interlagos) CRESCO3
– Intel(R)
ENEE5-2680 @ 2.70GHz (SandyBridge) ClusterINTEL
Test ANSYS FLUENT
M2: circa 250000 celle flusso turbolento, stazionario
M3: circa 350000 celle flusso turbolento, stazionario, trasporto di speci
chimiche
L1: circa 850000 celle flusso turbolento, compressibile
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Test effettuati con Ansys FLUENT
T(s)
8 cores
Norm
GHz
M2
M3
L1
M2
M3
L1
2.4
15.3
62.8
124
0.69
0.66
0.64
2.4
22.2
95.3
194.8
1
1
1
SandyBridge
2.7
9.8
39.1
77.3
0.5
0.46
0.45
24 cores
GHz
M2
M3
L1
M2
M3
L1
Interlagos
2.4
9.6
41
81.6
1
1
1
SandyBridge
2.7
7.14
30
55.2
0.84
0.82
0.76
Westmere
Interlagos
ENE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Altri elementi
Coda LSF privilegiata “combustione”
(eugenio,dcecere) alta priorità 128 core
Contributo ENE
UTTEI
– licenze ANSYS annuale ~26k€
– sistema blade CRESCO2 2011 69Keuro ~136 cores
Il gruppo della combustione è uno dei pochi gruppi in ENEA che ha una
attività significativa di sviluppo codici
Contributi UTTEI ai rapporti annuali CRESCO:
– 2008-2009 - 2 contributi
– 2009-2010 - 3 contributi
– 2010-2011 - 2 contributi
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Alcuni spunti di attività sul campo
– Feed back sulla qualità di servizio,suggerimenti,
osservazioni,criticità?
– Esigenze di supporto numerico?
– Richieste
ENE hardware specifiche (RAM? SSD? GPU?..)
– Chiusura sistemi SP5/AIX: un problema?
– Modalità di uso degli storage e della gestione dati: analisi comune
delle esigenze.
– E' in elaborazione un documento che formalizza un po' il rapporto tra
gli utenti dei sistemi HPC ed UTICT: sarebbe utile un contributo di
review e commento.
– Rapporto CRESCO, che modifiche? [formato (LateX?), note su
scalabilità?, lista delle pubblicazioni?,...]
– Accesso ad altri sistemi HPC? CINECA,PRACE,...
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Conclusioni
Date le note condizioni al contorno per poter garantire la disponibilità in
ENEA di risorse di calcolo allo stato dell'arte è importante coinvolgere
UTICT nei meccanismi coi quali le altre unità tecniche riescono a procurarsi
i fondi per le attività che loro competono.
ENE
La disponibilità di sistemi HPC interni all'ENEA garantisce l'accesso a risorse
indispensabili per le attività di simulazione avvanzata in modo semplice e
flessibile.
E' importante per UTICT che venga riconosciuto in ogni sede il contributo
fornito dall'utilizzo dei sistemi di calcolo e dell'eventuale supporto dedicato
al fine del raggiungimento dei risultati specifici raggiunti.
G. Bracco UTTEI/UTICT - 4 Febbraio 2013