Sviluppi internazionali e nazionali di GRID La grid Europea: EGI La grid nazionale: IGI Il Middleware Europeo:gLite e EMI Consiglio di Sezione INFN-PD Padova 10 Febbraio 2010 Mirco Mazzucato Coordinatore INFN Grid Direttore CNAF Mirco Mazzucato CD INFN 1 EGI e Sostenibilita’ • Le attivita’ dei progetti correnti (EGEE) vengono progressivamente trasformate in servizi che EGI offre a pagamento ai propri utenti/Istituzioni – Utenti di EGI sono le comunita’/Istituzioni scientifiche e chiunque voglia usare i servizi di EGI (ad. Es Protezione Civile, PA etc…) • All’interno di EGI vale lo stesso modello: – EGI.eu si sostiene a regime in buona parte con il pagamento dei servizi che offre alle NGIs – Le NGIs’ si sostengono con i servizi che offrono a pagamento alle proprie comunita’/Istituzioni di utenti (come per la rete) • Un’eccezione: – Le attivita’ di coordinamento di EGI.eu sono finanziate inizialmente con la quota contributiva in modo da garantire il controllo politico di EGI.eu da parte del Council di EGI • Il contributo EC: un incentivo necessario – Per estendere ed incentivare l’innovazione e la condivisione di risorse a livello pan Europeo . – La Ricerca deve essere fonte d’innovazione per I paesi Mirco Mazzucato CD INFN 3 La struttura di EGI EGI.eu 2. EGI_DS Review www.eu-egi.eu 4 Mirco Mazzucato CD INFN 4 L‘EGI Council • 9 July 2009: 1mo EGI Council Meeting, Amsterdam • Composto di NGIs and EIROs, che hanno firmato l‘ EGI MoU (Incluso INFN come coordinatore IGI) – 8 July 2009: 23 NGIs + CERN – 16 Sept 2009: 28 NGIs + CERN + EMBL – 24 Ottobre 2009 33 NGIs + CERN + EMBL http://web.eu-egi.eu/partners/ egi-council-members/ • 2do e 3zo EGI Council Meeting, Barcelona e Bruxelles • Preparazione progetto Europeo EGI InSPIRE (25 M€) • Discussione statuti EGI.eu 2. EGI_DS Review www.eu-egi.eu 5 Mirco Mazzucato CD INFN 5 EGI Council Members (16-Sett-2009) 2. EGI_DS Review www.eu-egi.eu 6 Mirco Mazzucato CD INFN 6 Stato di EGI.eu • Lo statuto di EGI.eu che definisce la nuova organizzazione europea ha preso forma – Approvato nell’ultimo EGI Council di Amsterdam il 3-2-2010 – V7 trasmessa agli uffici legali dei paesi membri – Da firmare per adesione entro il 3 Marzo 2010 per gestire EGI.eu • Fondazione no profit di diritto Olandese denominata • “Stichting” European Grid Initiative • Un Council formato dai rappresentanti dei paesi membri agisce come un’Autorita’ di supervisione e controllo • Un Executive Board costituito da membri eletti dal Council gestisce le attivita’ – Sono I Fondatori della Fondazione per la legge Olandese Mirco Mazzucato CD INFN 7 Le National Grid Initiatives • Una NGI: – Gestisce la grid nazionale ed il suo aggiornamento – Ha un mandato politico dalla comunita’ grid nazionale di parlare a nome di questa ied e’ la sola organizzazione che ha questo mandato e che quindi rappresenta il solo punto di contatto a livello europeo per un paese – Ha la capacita’ di firmare gli statuti di EGI e di prendere con questo i relativi impegni finanziari NGI -> a regime nuova Entita’ Legale (Consorzio, Associazione…) – Ha un budget che consente di pagare la quota associativa e gli eventuali servizi che richiede a EGI se ne ha bisogno . – Ha una struttura sostenibile a livello nazionale in modo da prendere impegni a lungo termine con EGI – Fornisce direttamente o indirettamente (ad es. attraverso i suoi membri) le risorse di calcolo e storage assieme ai servizi necessari per poterle condividere e usare a livello Europeo – Stabilizza il nucleo di competenze sviluppato con la serie di progetti Europei Mirco Mazzucato CD INFN 8 Grid e “Cloud Computing” • “Cloud Computing” indica un’offerta via un WEB service di risorse di calcolo e storage con un ambiente virtuale creato secondo le esigenze degli utenti in un dominio amministrativo unico • Amazon, Google, IBM…. offrono gia’ in pratica questo servizio con software proprietario che fidelizza gli utenti • Cloud: Rende semplice e flessibile l’accesso a hardware, software e storage grazie a una nuova interfaccia WEB e l’offerta di ambienti virtuali • Infrastruttura GRID = Servizi per condividire risorse ICT (anche virtuali) e/o strumenti posti in domini amministrativi diversi (tipici dell’Europa) . Supporto attivita’ collaborative e-Science (WLCG) • Servizi basati su Protocolli Generali e Standard e Open Source: • GRID e Cloud: una sfida ancora formidabile • La Grid Integrata con Cloud e Virtualizzazione permette l’allargamento dell’uso dell’infrastruttura dalla Ricerca a potenzialemente ogni utente (PA e Aziende) Mirco Mazzucato CD INFN 9 Funzionalita’ del Cloud • La funzionalita’ nei servizi clouds puo’ essere descritta in molti modi e dipende dai tipi di astrazione • Tipicamente queste astrazioni sono: – Hardware as a Service (HaaS), focusing on making hardware available to customers. – Software as a Service (SaaS), focusing on providing ready-touse software services. – Data as a Service (DaaS), focusing on the provisioning of access to data, available from various sources • Queste astrazioni possono essere viste collettivamente come l’offerta di una Platform as a Service (Paas), o, piu’ in generale, di una Infrastructure as a Service (IaaS) • L’infrastruttura (come IGI) diventa un servizio che si compra e si vende facilmente via WEB Mirco Mazzucato CD INFN 10 Uno sviluppo recente: INFN WNOD Worker Node on Demand (WNOD) WNOD: Selezione dinamica di risorse virtuali via grid Jobs L’utente puo’ scegliere l’ambiente di lavoro Mirco Mazzucato CD INFN 11 La proposta INFN Convergenza di Grid and Cloud Services su Dynamically Provisioned Resources New USER PC, PA IGI diventa un’ IaaS Mirco Mazzucato CD INFN 12 La NGI Italiana : IGI • L’Italian Grid Infrastructure (IGI) – Oggi e’ una EU Joint Research Unit – Costituita con un MoU firmato da tutti i partner in dicembre 2007 Aperto al contributo di nuovi partner – – – – Riconosciuta e sostenuta con lettera dal MUR Riconosciuta dalla Commissione Europea Interfaccia unica verso l’EU a livello Italiano Governance comune dell’e-Infrastruttura Italiana • Deve al piu’ presto diventare un’entita’ legale per firmare lo statuto di EGI.eu • Deve stabilizzare le competenze grid disponibili Mirco Mazzucato CD INFN 13 I partners attuali di IGI • Istituto Nazionale di Fisica Nucleare (INFN), • Ente per le Nuove tecnologie, l’Energia e l’Ambiente (ENEA), • Consiglio Nazionale delle Ricerche (CNR) • Istituto Nazionale di Astrofisica (INAF), • Istituto Nazionale di Geofisica e Vulcanologia (INGV), • Università degli Studi di Napoli Federico II, • Università degli Studi della Calabria, • Sincrotrone Trieste S.C.p.A. (ELETTRA), • Consorzi PON COMETA, COSMOLAB, SPACI, • Consortium GARR • L’Universita’ di Perugia • L’Universita’ del Piemonte Orientale • Caspur, Sissa + Cilea, CERM… • 51 centri; 15.000 cores; INFN 60-70% Mirco Mazzucato CD INFN 14 Il Nuovo Consorzio IGI • OBIETTVO 1: • Gestione, controllo, e supporto del'infrastuttura Grid nazionale (risorse e servizi) • Servizi di supporto agli utenti • Supporto e sviluppo del middleware e servizi aggiuntivi • Gestione amministrativa della struttura IGI e disseminaz. • OBIETTIVO 2 • Avviare la sperimentazione e la realizzazione di un servizo di “Cloud pubblico Nazionale” IaaS su larga scala che possa ospitare on demand i servizi necessari per l’informatizzazione delle Pubblica Amministrazione e di tutto il settore pubblico, • Bozza di statuto approvata dai partner della JRU in corso di finalizzazione con INFN e MIUR Mirco Mazzucato CD INFN 15 I bisogni attività Personale necessario (FTE) Gestione infrastruttura (gruppo 1) 30 Servizi per gli utenti (gruppo 2) 10 Sviluppo e pianificazione (gruppo 3) 8 Amministrazione e disseminazione (gruppo 4) 3 TOTALE 51 Supporto del MIUR per procedere celermente in modo da poter firmare lo statuto di EGI entro il 3 marzo Delega del MIUR all’INFN per costituire di IGI Consorzio entro 1 anno Mirco Mazzucato CD INFN 16 Il MWare in EGI: EMI • Uno dei compiti principali di EGI e’ quello di offrire come servizio generale alle NGIs la release, il mantenimento ed il supporto delle componenti di middelware in una – Unified Middleware Distribution (UMD) • UMD conterra’ quanto necessario per abilitare le NGIs a condividere le proprie risorse a livello Europeo ed Internazionale • Lo sviluppo e il mantenimento di UMD e’ fatto dai 3 Consorzi (EGI, UNICORE e ARC) + teams di sviluppatori di prodotti addizionali richiesti da EGI che insieme costituiscono: • L’European Middleware Inititiave (EMI) Mirco Mazzucato CD INFN 17 EMI • • • • • EMI mette insieme: gLite (EGEE:250 centri), UNICORE( 11 Centri HPC) e ARC (30 Centri Nord Europa) Cioe’ i teams appartenenti all’Accademia e alla Ricerca che hanno sviluppato I prodotti in uso con un co-finanziamento della Commissione Europea • Non e’ prevedibile che nessun prodotto commerciale con le funzionalita’ richieste possa apparire in un futuro prossimo sul mercato mondiale • EMI si pone come un’aggregatore dei produttori di middleware Open Source rilasciato sotto una licenza molto aperta • Potrebbe divenire in futuro una fondazione per l’Open Source in Europa Mirco Mazzucato CD INFN 18 La nuova Collaborazione “gLite” Un’opportunita’ per le Istituzioni di ricerca e le imprese Europee Gli Obiettivi • Creare un’organizzazione autonoma a sostegno del software base Open Source gLite e della sua evoluzione dopo EGEE • Creare un soggetto a cui aziende e individui possano contribuire risorse con la certezza che queste vengano usate per l’interesse comune • Proteggere il marchio gLite, applicato ai propri prodotti software, dall’abuso da parte di altre organizzazioni • Definire una doppia struttura tipica Open Source: – gLite Collaborazione no-profit – gLite Services for profit (srl) Mirco Mazzucato CD INFN 20 Il modello di riferimento Institution Institution Enti di ricerca Consorzio No-profit Institution Institution Aziende Nuovi Servizi Generali Internet Licenza Open Source Institution Institution Comunità Sviluppatori Institution Institution Servizi per Imprese • Un Consorzio no-profit – Con partner Profit e no-profit • Alcune attività di sviluppo comuni e-Infrastructures • Una licenza open source Mirco Mazzucato CD INFN 21 Stato Collaborazione gLite • Collaboration Agreement firmato da parte delle attuali Istituzioni di gLite • Entita’ che hanno firmato il CA: • Sviluppatori: • CERN, INFN/IT , CESNET/CZ , SWITCH/CH , NIKHEF/NL, UH-HIP/FI, STFC-RAL/UK • Certificatori di qualita’ e testers: • PNPI/RU, CESGA /SP, CSIC/SP , ASGC/TW, TCD/IE, GRNET/GR, KISTI/KR. UCY/Cyprus, UAB/SP • Prevede Collaboration Board e Technical Board • Il CB costituito dalle Istituzioni che hanno firmato il CA ha eletto il 6 Novembre M.Mazzucato Chair Mirco Mazzucato CD INFN 22 Conclusioni • In Europa si sta costruendo un unico eco-sistema che comprende risorse HTC-EGI e HPC-DEISA/PRACE e Archivi di dati che fornira’ un’infrastruttura generale per il mondo della ricerca e oltre con governance sostenibile • EGI.eu fornisce il framework di coordinamento europeo per la gestione di questa infrastruttura – Statuto di EGI eu in fase di discussione e approvazione • Le NGI come IGI devono trasformarsi in organizzazioni legali per consolidare le competenze esistenti e diventare sostenibili allargando l’offerta (PA, PC..) – Bozza di Statuto IGI concordata tra I partners – Necessario supporto MIUR al piu’ presto altrimenti dovra’ essere l’INFN che firma lo statuto di EGI.eu come coordinatore JRU • Il CA di Glite e’ stato fimato – Nuovo progetto Europeo EMI con ARC e UNICORE agli hearings Mirco Mazzucato CD INFN 23