Inaugurazione CRESCO4
Portici 12 Marzo 2014
CRESCO4 & ENEAGRID per TEDAT e per il calcolo
scientifico in ENEA
G.Bracco
[email protected]
S.Migliori,A.Quintiliani,R.Guadagni,F.Ambrosino,G.Aprea,F.Beone,M.Caporicci,
P.DAngelo,A.Funel,G.Guarnieri,S.Podda,G.Ponti,F.Palombi,G.Furini,A.Mariano,
G.Mencuccini,P.Ornelli,A.Perozziello,S.Pierattini,F.Poggi,D.Giammattei,M.DeRosa,
B.Calosso,M.Chinnici,C.Ferrelli,S.Pecoraro,F.Simoni,R.Bertini,S.Magagnino,D.Abate,
P.DeMichele,S.Giusepponi,A.Rocchi,C.Sciò,A.Italiano,A.Colavincenzo,B.Mastroianni
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Contenuto
• ENEAGRID ospita le risorse HPC di ENEA
– L'architettura
– Le interfacce utente e i laboratori virtuali
– L'utenza e le applicazioni
– I cluster CRESCO
• I nuovi progetti PON 2007-2013
– TEDAT, (IT@CHA, LAMRECOR)
• Le nuove infrastrutture 2013/2014
– CRESCO4 (TEDAT)
– CRESCO3 (IT@CHA, LAMRECOR)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Architettura di ENEAGRID
Componenti strutturali “maturi” per garanzia di affidabilità e
semplicità di gestione, interfacce Web sviluppate/customizzate
per un ambiente utente amichevole:
– Autenticazione Kerberos 5
ENE
– File systems:
• AFS/OpenAFS: file system geografico
• GPFS: file system parallelo, anche su WAN
– Gestore delle risorse: LSF Multicluster
– Interfacce grafiche Web per l'utente:
• NX/FARO
• Jobrama: Stato dei job & Accounting
– Sistema di monitoring: Zabbix
– Gestione Web utenze e progetti: WARC
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENEAGRID: risorse di calcolo e storage
Le risorse di calcolo offerte all'utenza sono attualmente i sistemi
Linux x86_64
(i cluster CRESCO ~10000 cores) e sistemi
speciali dedicati (ad es. GPU). Storage
AFS e GPFS.
Le risorse sono distribuite su 6 Centri di Ricerca ENEA.
ENE
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
FARO -
Fast Access to Remote Objects
Accesso WEB a
dati,applicazioni,
macchine virtuali
realizzato con una
integrazione di NX
e applicazioni java
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
FARO e Laboratori Virtuali
Portali tematici che
integrano l'accesso ai
dati e alle applicazioni
specifici del settore
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
FARO: la visualizzazione 3D
Rendering 3D Remoto
Tota
l
displacemen
t (m
m)
Pos Processo
t
r
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
L'utenza e le applicazioni
~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti
che sottomettono job HPC altamente paralleli.
Gli ambiti applicativi a cui afferiscono i principali utenti sono:
– fluidodinamica della combustione
ENE
– chimica computazionale
– simulazioni climatiche
– analisi della diffusione degli inquinanti nell'atmosfera
– tecnologie nucleari
– fluidodinamica per l'aerospazio
– fisica della fusione nucleare
– bioinformatica
– sistemi complessi
– ….
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Utilizzo CRESCO 2012 : ~2200 year*core
ENE
z
Ripartizione per Aree Applicative
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Utilizzo CRESCO 2012 : ~2200 year*core
ENE
Ripartizione per Applicazioni
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Utilizzo CRESCO 2012 : ~2200 year*core
ENE
Ripartizione per Unità Tecniche ENEA
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Utilizzo CRESCO 2012 : ~2200 year*core
ENE
Utenze esterne ad ENEA impegnate in collaborazioni & progetti:
648 year*core (29.4%)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Tempo macchina 2013 x le Unità Tecniche
CoreYear
ENE
UTTMAT
UTICT
UTRINN
UTTEI
UTFUS
UTMEA
UTFISST
UTFISSM
METR
UTVALAMB
UTTRI
UTAGRI
UTTP
Totale
972.242
512.868
413.754
351.034
255.877
253.18
40.97
40.582
28.9
27.674
14.113
1.108
0.356
2912.664
%
33.38
17.61
14.21
12.05
8.78
8.69
1.41
1.39
0.99
0.95
0.48
0.04
0.01
100.00
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
I cluster CRESCO pre 2013
I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 20002006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012
(Casaccia,Frascati)
> Portici CRESCO1
(672 cores) CRESCO2 (2720 cores)
ENE
IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere
> Casaccia CRESCOC (192 cores, twin 1U)
IB Qlogic Silverstorm DDR, AMD 2427 Istanbul
> Frascati CRESCOF (480 cores twin square 2U, GPFS)
IB Qlogic 12300 QDR, AMD 6172 Magnycours
> Brindisi CRESCOB (80 cores, 4 U, GPFS)
GEthernet, Intel Tigerton
Attualmente i nodi di CRESCO1 e CRESCO2 sono parte in dismissione e riuso per i
servizi ICT di base
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
PON 2007-2013
• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011
– TEDAT - Centro di eccellenza per le Tecnologie e la
diagnostica avanzata nel settore dei trasporti (2200 k€)
• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010
– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei
Beni Culturali (~300 k€)
– LAMRECOR - Logistica avanzata per la Mobilità di persone e
merci (~550 k€)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
CRESCO3 : in produzione estate 2013
Dai progetti LAMRECOR e IT@CHA:
84 nodi dual
CPU AMD
Interlagos 6234
ENE
2.4 GHz
64 GB RAM
24 cores
Totale:
2016 cores
20 TFlops
Storage:
DDN S2A9900
600 TB
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
CRESCO4
Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di
acquisire il cluster CRESCO4, 100 Tflops
– 5 RackENE
di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di
servizio per switch IB
– Processore Intel E5-2670, 2.6 GHz, 8 cores
– 64 GB RAM/nodo 4 GB RAM/Core
– Nodi di tipo Fat Twin (Chassis 4U con 8 nodi)
– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3
– Infiniband QDR QLogic/Intel 12800-180 (432 porte)
– Nuova sala CED; UPS, nuove batterie
– Sistema di condizionamento con free-cooling
– ~100KW potenza elettrica assorbita a pieno carico (HPL)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Rete infiniband CRESCO3/CRESCO4
4xDDR
20 Gbps
4xQDR
40 Gbps
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Locali CRESCO e CRESCO4
ENE
CED nuovo
CRESCO4
CED CRESCO dal 2008
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
CED CRESCO
ENE
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
CED CRESCO : in primo piano CRESCO2
ENE
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Locale CRESCO4 primavera 2013
ENE
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Progetto dell'installazione
ENE
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
CRESCO4 collaudato ottobre 2013
ENE
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
CRESCO4 : in produzione dal 20/1/2014
ENE
Ore di calcolo erogate
da
ENEAGRID dal
20/1/2014 al
28/2/2014
710 anni*core
in 40 giorni
riportati all'anno
~6500 anni*core
Utenza CRESCO4: le applicazioni di area TEDAT (scienza dei materiali/CFD) e
progetti numerici concordati con alcune unità ENEA: UTTEI, UTMEA, UTFUS,
METR, UTVALAMB
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014