Casaccia 29 Ottobre 2014
UTICT - UTRINN e il calcolo scientifico
G.Bracco
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Contenuto
• ENEAGRID
– L'architettura,l'utenza e le applicazioni
– Le interfacce utente e i laboratori virtuali
– I cluster CRESCO
• I nuovi progetti PON 2007-2013
– IT@CHA, TEDAT, LAMRECOR
• Le nuove infrastrutture 2013/2014
– CRESCO3
– CRESCO4
• L'accesso a CRESCO4
• L'utilizzo UTRINN di ENEAGRID/CRESCO nel 2013
• Spunti di discussione e conclusioni
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Architettura di ENEAGRID
Componenti strutturali “maturi” per garanzia di affidabilità e
semplicità di gestione, interfacce Web sviluppate/customizzate
per una ambiente utente amichevole:
– Autenticazione Kerberos 5
ENE
– File systems:
• AFS/OpenAFS file system geografico
• GPFS: file system parallelo anche WAN
– Gestore delle risorse: LSF Multicluster
– Interfacce grafiche Web per l'utente:
• NX/FARO
• Jobrama: Stato dei job & Accounting
– Sistema di monitoring: Zabbix
– Gestione Web utenze e progetti: WARC
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
ENEAGRID: risorse di calcolo e storage
Le risorse di calcolo offerte all'utenza sono attualmente i sistemi
Linux x86_64
(i cluster CRESCO ~ 9000 cores) e sistemi
speciali dedicati ( ad es. GPU). Storage
AFS e GPFS. Le
risorse sono distribuite su 6 centri.
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
L'utenza e le applicazioni
~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti
che sottomettono job HPC altamente paralleli.
Gli ambiti applicativi a cui afferiscono i principali utenti sono:
– fluidodinamica della combustione
ENE
– chimica computazionale
– simulazioni climatiche
– analisi della diffusione degli inquinanti nell'atmosfera
– tecnologie nucleari
– fluidodinamica per l'aerospazio
– fisica della fusione nucleare
– bioinformatica
– sistemi complessi
– ….
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
FARO -
Fast Access to Remote Objects
Accesso WEB a
dati,applicazioni,
macchine virtuali
realizzato con una
integrazione di NX
e applicazioni java
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
FARO e Laboratori Virtuali
Portali tematici che
integrano l'accesso ai
dati e alle applicazioni
specifici del settore
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
FARO: la visualizzazione 3D
Rendering 3D Remoto
Tota
l
displacemen
t (m
m)
Pos Processo
t
r
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
I cluster CRESCO pre 2013
I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 20002006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012
(Casaccia,Frascati)
ENE
>Portici CRESCO1(672
cores 4U) CRESCO2(2720 blades)
IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere
>Casaccia CRESCOC (192 cores, twin 1U)
IB Qlogic Silverstorm DDR, AMD 2427 Istanbul
>Frascati CRESCOF (480 cores twin square 2U, GPFS)
IB Qlogic 12300 QDR, AMD 6172 Magnycours
>Brindisi CRESCOB (80 cores, 4 U, GPFS)
GEthernet, Intel Tigerton
CRESCO1/2 parte in dismissione e riuso per i servizi ICT di base
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
PON 2007-2013
• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010
– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali
– LAMRECOR - Logistica avanzata per la Mobilità di persone e merci
– DIRECTFOOD - Gestione integrata filiere alimentari e canali innovativi
produttore -consumatore
• PON/2 Distretti/Laboratori Pubblico Privati DDR MIUR 713/Ric
29/10/2010
– VIS4FACTORY - Sistemi Informativi Visuali per i processi di fabbrica nel
settore dei trasporti
• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011
– TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel
settore dei trasporti
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Progetto TEDAT
Centro di Eccellenza per le TEcnologie e la Diagnostica
Avanzata nel settore dei Trasporti
Il progetto è dedicato al potenziamento delle tecnologie e della
strumentazione per i processi, le analisi e la diagnostica
avanzata dei materiali e componenti nell'ambito del settore dei
trasporti (aerospaziale, automotive, ferroviario, navale)
Progetto Infrastrutture interamente ENEA, localizzato
principalmente a Brindisi ed in parte a Portici
Quota ENEA-UTICT 2.221.000 € + 200.000 per opere edili e
infrastrutturali
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
PON 2007-2013 Progetti operativi
Investimenti:
• IT@CHA [Ricerca industriale] ENEA-UTICT 320 k€
(UTAPRAD,UTICT)
• LAMRECOR [Ricerca industriale] ENEA-UTICT 548 k€
(UTICT)
• TEDAT [Infrastrutture] ENEA-UTICT 2.221 k€
(UTTMAT,UTTP,UTICT)
– Portici (2.056 k€)
– Brindisi (165 k€)
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
CRESCO3
Con risorse dai progetti IT@CHA, LAMRECOR è stato acquisito su Portici un
cluster AMD basato su macchine Twin Square SuperMicro & Acer
2 Rack (modello wide) in sala CED CRESCO + Rack di rete
ENE
84 nodi 2016 cores in produzione nel 2013.
Infiniband QDR QLogic 12800-040 (96 porte)
Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag
specifiche, Intel 12 specifiche flag librerie ACML)
Storage: DDN S2A9900 espanso ora a 600 TB
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
CRESCO3
AMD Iterlagos 6234 2.4 GHz, RAM 64 GB, 24 cores,
84 nodi, 2016 cores, 20 TFlops
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
CRESCO4
Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di
acquisire il cluster CRESCO4, 100 Tflops
– 5 RackENE
di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di
servizio per switch IB
– Processore Intel E5-2670, 2.6 GHz, 8 cores
– 64 GB RAM/nodo 4 GB RAM/Core
– Nodi di tipo Fat Twin (Chassis 4U con 8 nodi)
– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3
– Infiniband QDR QLogic/Intel 12800-180 (432 porte)
– Nuova sala CED; UPS, nuove batterie
– Sistema di condizionamento con free-cooling
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Rete infiniband CRESCO3/CRESCO4
4xDDR
20 Gbps
4xQDR
40 Gbps
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Locali CRESCO e CRESCO4
ENE
CED nuovo
CRESCO4
CED CRESCO dal 2008
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
CED CRESCO
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
CED CRESCO : in primo piano CRESCO2
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Locale CRESCO4 primavera 2013
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Progetto dell'installazione
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
CRESCO4 collaudato ottobre 2013
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
CRESCO4
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Accesso a CRESCO4
– Politica di accesso a CRESCO4:
• Attività specifiche TEDAT (UTTMAT)
• attività prioritarie/strategiche per le UT di ENEA
• applicazioni e casi ad alto parallelismo
ENE sezione (256 cores dei 4848 disponibili) è aperta a tutti per
– Una piccola
porting/test (non produzione!).
– L'accesso alla coda > 256 cores alta priorità è ristretto ad esperimenti
numerici concordati tra UTICT e le Unità Tecniche. Da settembre 2014 è
disponibile una coda a priorità inferiore aperta a tutti.
– UTICT ha chiesto alle altre Unità di concordare un programma di attività e le
risorse necessarie.
• UTTMAT, UTMEA, UTTEI, UTVALAMB,METR,UTFUS
http://www.utict.enea.it/it/laboratori-virtuali/prime-pagine/tedat-hpccartella/progetti-numerici-cresco-2014
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Tempo macchina 2013 x le Unità Tecniche
CoreYear
%
UTTMAT
972.242
33.38
UTICT
512.868
17.61
UTRINN
413.754
14.21
UTTEI
351.034
12.05
UTFUS
255.877
8.78
UTMEA
253.18
8.69
UTFISST
40.97
1.41
UTFISSM
40.582
1.39
METR
28.9
0.99
UTVALAMB
27.674
0.95
UTTRI
14.113
0.48
UTAGRI
1.108
0.04
UTTP
0.356
0.01
Totale
2912.664
100.00
ENE
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Spunti di discussione/collaborazione
– ...
– Contributo al rapporto annuale CRESCO
– Feed back sulla qualità di servizio,suggerimenti,
osservazioni,criticità?
ENE
– Esigenze di collaborazione nell'area del supporto numerico?
– Modalità di uso degli storage, collaborazione su esigenze e soluzioni
– Esigenze di hardware specifico (GPU,SSD,RAM,PHI..)
– Possibilità di hosting/contributo all'infrastruttura
– ...
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014
Conclusioni
Date le note condizioni al contorno per poter garantire la disponibilità in
ENEA di risorse di calcolo allo stato dell'arte è importante coinvolgere
UTICT nei meccanismi coi quali le altre unità tecniche riescono a procurarsi
i fondi per le attività che loro competono.
ENE
La disponibilità di sistemi HPC interni all'ENEA garantisce competenza
specifica HPC e accesso a risorse indispensabili per le attività di
simulazione avanzata in modo semplice e flessibile.
E' importante per UTICT che venga riconosciuto in ogni sede il contributo
fornito dall'utilizzo dei sistemi di calcolo e dell'eventuale supporto dedicato
al fine del raggiungimento dei risultati specifici raggiunti.
G. Bracco UTRINN/UTICT - Casaccia 29 Ottobre 2014