LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco [email protected] http://www.utict.enea.it http://www.eneagrid.enea.it http://www.cresco.enea.it G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Contenuto • Il calcolo scientifico ad alte prestazioni (HPC) • ENEAGRID ospita le risorse HPC di ENEA – L'architettura,le interfacce utente e i laboratori virtuali – L'utenza e le applicazioni • Le risorse di calcolo – Il progetto CRESCO 2008: Portici – I cluster CRESCO – I progetti PON 2007-2013 • I sistemi più recenti CRESCO3, CRESCO4 • Conclusioni G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Il calcolo scientifico HPC in ENEA Negli ultimi 50 anni l'evoluzione esponenziale delle tecnologie informatiche ha messo a disposizione sistemi di calcolo sempre più potenti e complessi, largamente paralleli. Un sistema HPC si caratterizza per la disponibilità di una interconnesione tra i nodi di calcolo allo stato dell'arte della tecnologia (40-56 Gbps) e di risorse adeguate di storage. Nel mondo il sistema più potente è una macchina cinese Tianhe-2, ~34 Pflops (10^15), in Italia Cineca 1.8 Pflops, in ENEA il cluster maggiore 85 Tflops e ~300 nodi di calcolo,di taglia significativa a livello nazionale. Il laboratorio UTICT-HPC sviluppa e gestisce le risorse HPC di ENEA con una ventina di persone, di 6 laureati assunti negli ultimi anni e ha in Portici il sito più importante. G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 ENEAGRID: risorse di calcolo e storage Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~10000 cores) e sistemi speciali dedicati (ad es. GPU). Storage AFS e GPFS. Le risorse sono distribuite su 6 Centri di Ricerca ENEA. ENE GARR UTICT-RETE G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Architettura di ENEAGRID Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per un ambiente utente amichevole: – Autenticazione Kerberos 5 ENE – File systems: • AFS/OpenAFS: file system geografico • GPFS: file system parallelo, anche su WAN – Gestore delle risorse: LSF Multicluster – Interfacce grafiche Web per l'utente: • NX/FARO • Jobrama: Stato dei job & Accounting – Sistema di monitoring: Zabbix – Gestione Web utenze e progetti: WARC G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 FARO - Fast Access to Remote Objects Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 FARO e Laboratori Virtuali Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Laboratori Virtuali http://utict.enea.it/it/laboratori-virtuali/virtual-labs G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Laboratori Virtuali http://utict.enea.it/it/laboratori-virtuali/virtual-labs G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 FARO: la visualizzazione 3D Rendering 3D Remoto Tota l displacemen t (m m) Pos Processo t r G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 L'utenza e le applicazioni ~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli. Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione ENE – chimica computazionale – simulazioni climatiche – analisi della diffusione degli inquinanti nell'atmosfera – tecnologie nucleari – fluidodinamica per l'aerospazio – fisica della fusione nucleare – bioinformatica – sistemi complessi – …. G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE z Ripartizione per Aree Applicative G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE Ripartizione per Applicazioni G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE Ripartizione per Unità Tecniche ENEA G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Utilizzo CRESCO 2012 : ~2200 year*core ENE Utenze esterne ad ENEA impegnate in collaborazioni & progetti: 648 year*core (29.4%) G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 ENEAGRID: CRESCO a Portici CR ENEA Portici edifici progettati da Vittorio Gregotti, 1982/86 ENE G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 I cluster CRESCO pre 2013 I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 20002006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012 (Casaccia,Frascati) > Portici CRESCO1 (672 cores) CRESCO2 (2720 cores) ENE IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere > Casaccia CRESCOC (192 cores, twin 1U) IB Qlogic Silverstorm DDR, AMD 2427 Istanbul > Frascati CRESCOF (480 cores twin square 2U, GPFS) IB Qlogic 12300 QDR, AMD 6172 Magnycours > Brindisi CRESCOB (96 cores, 4 U, GPFS) GEthernet, Intel Tigerton Attualmente i nodi di CRESCO1 e CRESCO2 sono parte in dismissione e riuso per i servizi ICT di base G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Le risorse di calcolo e i progetti Le risorse di calcolo sono state acquisite nell'ambito dei finanziamenti MIUR PON, le più recenti nel PON 2007-2013. • PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011 – TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel settore dei trasporti (2200 k€) • PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010 – IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali (~300 k€) – LAMRECOR - Logistica avanzata per la Mobilità di persone e merci (~550 k€) L'attività di UTICT-PRA nella ideazione e gestione delle attività progettuali è la base per l'acquisizione delle risorse. Contributi alle infrastrutture provengono anche da risorse di altre Unità e da collaborazioni esterne. G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 CRESCO3 : in produzione estate 2013 Dai progetti LAMRECOR e IT@CHA: 84 nodi dual CPU AMD Interlagos 6234 ENE 2.4 GHz 64 GB RAM 24 cores Totale: 2016 cores 20 TFlops Storage: DDN S2A9900 600 TB G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 CRESCO4 Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di acquisire il cluster CRESCO4, 100 Tflops – 5 RackENE di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB – Processore Intel E5-2670, 2.6 GHz, 8 cores – 64 GB RAM/nodo 4 GB RAM/Core – Nodi di tipo Fat Twin (Chassis 4U con 8 nodi) – Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3 – Infiniband QDR QLogic/Intel 12800-180 (432 porte) – Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling – ~100KW potenza elettrica assorbita a pieno carico (HPL) G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Rete infiniband CRESCO3/CRESCO4 4xDDR 20 Gbps 4xQDR 40 Gbps G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Locali CRESCO e CRESCO4 ENE CED nuovo CRESCO4 2013/2014 CED CRESCO dal 2008 G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 CED CRESCO ENE G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 CED CRESCO : in primo piano CRESCO2 ENE G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Locale CRESCO4 primavera 2013 ENE G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Progetto dell'installazione ENE G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 CRESCO4 collaudato ottobre 2013 ENE G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 CRESCO4 : in produzione dal 20/1/2014 Ore di calcolo erogate da ENEAGRID dal 20/1/2014 al 31/5/2014 ENE 2350 anni*core in ~4.3 mesi riportati all'anno ~6500 anni*core Utenza CRESCO4: le applicazioni di area TEDAT (scienza dei materiali/CFD) e progetti numerici concordati con alcune unità ENEA: UTTEI, UTMEA, UTFUS, METR, UTVALAMB G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 Conclusioni ENEA ha risorse di calcolo scientifico significative nell'ambito nazionale. L'accesso è aperto a tutti i ricercatori e tecnologi dell'agenzia e ai loro collaboratori esterni UTICT cura le relazioni con le altre unità in modo da garantire la qualità dell'utilizzo delle risorse e le prospettive del loro aggiornamento nel tempo. www.eneagrid.enea.it: l'infrastruttura www.cresco.enea.it: il portale Richiesta di account Istruzioni per l'utilizzo Accesso web ai sistemi www.utict.enea.it/it/hpc: il laboratorio HPC G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014