Incontro ENEA/UTICT e MM Portici 12 Febbraio 2014 ENEAGRID e Cluster CRESCO per il calcolo scientifico in ENEA G.Bracco [email protected] ENEA Centro Ricerche Frascati V. Enrico Fermi 45, Frascati (ROMA) S.Migliori,A.Quintiliani,S.Podda,R.Guadagni,F.Ambrosino,F.Beone, M.Caporicci,P.D'Angelo,A.Funel,G.Ponti,F.Palombi,G.Furini,A.Mariano, G.Mencuccini,P.Ornelli,A.Perozziello,S.Pierattini,P.De Michele,D.Abate,F.Poggi, D.Giammattei,M.DeRosa,S.Pecoraro,F.Simoni,S.Giusepponi, G.Guarnieri,C.Sciò,A.Italiano, A.Colavincenzo G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Contenuto • ENEAGRID – L'architettura,l'utenza e le applicazioni – Le interfacce utente e i laboratori virtuali – I cluster CRESCO • L'utenza • I nuovi progetti PON 2007-2013 – IT@CHA, TEDAT, LAMRECOR • Le nuove infrastrutture 2013/2014 – CRESCO3 – CRESCO4 G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Architettura di ENEAGRID Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per una ambiente utente amichevole: – Autenticazione Kerberos 5 ENE – File systems: • AFS/OpenAFS file system geografico • GPFS: file system parallelo anche WAN – Gestore delle risorse: LSF Multicluster – Interfacce grafiche Web per l'utente: • NX/FARO • Jobrama: Stato dei job & Accounting – Sistema di monitoring: Zabbix – Gestione Web utenze e progetti: WARC G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 ENEAGRID: risorse di calcolo e storage Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~ 9000 cores) e sistemi speciali dedicati ( ad es. GPU). Storage AFS e GPFS. Le risorse sono distribuite su 6 centri. ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 FARO - Fast Access to Remote Objects Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 FARO e Laboratori Virtuali Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Laboratori Virtuali http://utict.enea.it/it/laboratori-virtuali/virtual-labs G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Laboratori Virtuali http://utict.enea.it/it/laboratori-virtuali/virtual-labs G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 FARO: la visualizzazione 3D Rendering 3D Remoto Total displacement (m m) Pos Processo t r G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 L'utenza e le applicazioni ~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli. Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione ENE – chimica computazionale – simulazioni climatiche – analisi della diffusione degli inquinanti nell'atmosfera – tecnologie nucleari – fluidodinamica per l'aerospazio – fisica della fusione nucleare – bioinformatica – sistemi complessi – …. G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE z Ripartizione per Aree Applicative G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE Ripartizione per Applicazioni G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE Ripartizione per Unità Tecniche ENEA G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE Utenze esterne ad ENEA collaborazioni & progetti: 648 year*core (29.4%) G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Tempo macchina 2013 x le Unità Tecniche CoreYear % UTTMAT 972.242 33.38 UTICT 512.868 17.61 413.754 14.21 UTTEI 351.034 12.05 UTFUS 255.877 8.78 UTMEA 253.18 8.69 UTFISST 40.97 1.41 UTFISSM 40.582 1.39 METR 28.9 0.99 UTVALAMB 27.674 0.95 UTTRI 14.113 0.48 ENE UTRINN UTAGRI 1.108 G. Bracco Incontro MM/UTICT - Portici 12 Febbraio0.04 2014 I cluster CRESCO pre 2013 I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 20002006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012 (Casaccia,Frascati) ENE >Portici CRESCO1(672 cores 4U) CRESCO2(2720 blades) IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere >Casaccia CRESCOC (192 cores, twin 1U) IB Qlogic Silverstorm DDR, AMD 2427 Istanbul >Frascati CRESCOF (480 cores twin square 2U, GPFS) IB Qlogic 12300 QDR, AMD 6172 Magnycours >Brindisi CRESCOB (80 cores, 4 U, GPFS) GEthernet, Intel Tigerton CRESCO1 parte in dismissione e riuso per i servizi ICT di base G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 PON 2007-2013 • PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010 – IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali (~300 k€) – LAMRECOR - Logistica avanzata per la Mobilità di persone e merci (~550 k€) • PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011 – TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel settore dei trasporti (2200 k€) G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 CRESCO3 Con risorse dai progetti IT@CHA, LAMRECOR è stato acquisito su Portici un cluster AMD basato su macchine Twin Square SuperMicro & Acer 2 Rack (modello wide) in sala CED CRESCO + Rack di rete ENE 84 nodi 2016 cores in produzione nel 2013. Infiniband QDR QLogic 12800-040 (96 porte) Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag specifiche, Intel 12 specifiche flag librerie ACML) Storage: DDN S2A9900 espanso ora a 600 TB G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 CRESCO3 AMD Iterlagos 6234 2.4 GHz, RAM 64 GB, 24 cores, 84 nodi, 2016 cores, 20 TFlops ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 CRESCO4 Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di acquisire il cluster CRESCO4, 100 Tflops – 5 RackENE di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB – Processore Intel E5-2670, 2.6 GHz, 8 cores – 64 GB RAM/nodo 4 GB RAM/Core – Nodi di tipo Fat Twin (Chassis 4U con 8 nodi) – Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3 – Infiniband QDR QLogic/Intel 12800-180 (432 porte) – Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Rete infiniband CRESCO3/CRESCO4 4xDDR 20 Gbps 4xQDR 40 Gbps G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Locali CRESCO e CRESCO4 ENE CED nuovo CRESCO4 CED CRESCO dal 2008 G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 CED CRESCO ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 CED CRESCO : in primo piano CRESCO2 ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Locale CRESCO4 primavera 2013 ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 Progetto dell'installazione ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 CRESCO4 collaudato ottobre 2013 ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014 CRESCO4 ENE G. Bracco Incontro MM/UTICT - Portici 12 Febbraio 2014