Progetto EGEE
“Enabling GRID for E-Science in Europe”
(6° Progr. Quadro UE)
Leonardo Merola
Riunione di gr. I NAPOLI
-
18/12/2002
1
GRID ( “La Griglia” )
Una soluzione su scala mondiale per:
Calcolo distribuito
Accesso a grandi moli di dati
Nata in ambito scientifico, si sta
evolvendo anche verso il campo
industriale, commerciale, governativo
World Wide WEB
World Wide GRID
2
Collegameno di una qualunque
apparecchiatura alla presa
elettrica in modo
“trasparente” all’utente
Accesso a Computers e Dati
in modo “trasparente”
all’utente
3
Modello di calcolo distribuito
per gli esperimenti a LHC
Multi-level Regional Center hierarchy
CERN
Tier 0
desktop
CPU Server
CPU Server
CPU Server
CPU Server
desktop
desktop
Data Server
Data Server
Tier 1
Data Server
Tier 2
desktop
CPU Server
Tier 3-4
Il “Middleware”, una via di mezzo tra hardware e software,
4
deve assicurare la compatibilità fra i vari ambienti.
Struttura a Tiers di ATLAS
US
CNAF
MI
PV
GE
RM1
NA
…
Il numero e la localizzazione dei Tier3 è in fase di discussione
5
THE
EUROPEAN PROJECT
Progetto triennale (2001-2003) “DataGRID”
finanziato per 9.8 milioni di Euro, da utilizzare
sopratutto per contratti di personale qualificato allo
scopo di realizzare il ”Middleware” e realizzare
“Testbed” su casi reali.
Il CERN è il coordinatore del progetto
6
Struttura del progetto DataGRID:
10 Workpackages
Application Areas
Physics Appl. (WP8)
Earth Observation Appl. (WP9)
Biology Appl. (WP10)
Data Grid Services
Workload Management (WP1)
Monitoring Services (WP3)
Data Management (WP2)
Core Middleware
Globus Middleware Services (Information, Security, ...)
Physical Fabric
Fabric Management (WP4)
Networking (WP7)
Mass Storage Management (WP5)
7
Il Progetto INFN-GRID
• Programma triennale per lo sviluppo dell’infrastruttura di
GRID per le sue 26 unità operative.
• Stessa struttura a workpackages di DATAGRID
• L’obiettivo è realizzare entro la seconda metà del 2003
prototipi di “Tier1,2,3” per il calcolo a LHC, nella misura del
10-20% della realizzazione da completare per il 2006.
8
La collaborazione IG-BIGEST
The Italian Grid for
eBusiness eIndustry eGovernment
EScience and Technology
Scopi:
Provide coordination to research, study, design,
deploy and operate the Grid components needed
to support the modern scientific, business and
government colloborative activities in Italy and to
integrate this infrastructure with similar ones in
Europe and the rest of the world
• Create Italian Research Area (IRA)
9
•
Partecipanti IG-BIGEST
10
11
Il progetto GRID.IT
FIRB 2001/03 – Fondo per gli Investimenti della
Ricerca di Base:
Progetto GRID.IT:
PIATTAFORME ABILITANTI PER GRIGLIE
COMPUTAZIONALI A ELEVATE PRESTAZIONI
ORIENTATE A ORGANIZZAZIONI VIRTUALI
SCALABILI
TOT: 8 M€ funded, of which 1.1 M€ for young researchers
All’INFN: 1580 k€ funded, of which 300 k€
for young researchers
12
• CNR: Agenzia 2000, Strategic projects
“5%”, …
• ASI: ASI-PQE2000, Cosmo-SkyMed,
National Space Program (PSN),
• E-Science (PON): Centri di Eccellenza
per l’e-Learning UniSA-UniBN
• SPACI (PON): Southern Partnership for
Advanced Computational Infrastructures
UniLe ISUFI, ICAR-CNR Na (Murli),
UniCal
13
Modello di Grid FIRB
INGV
Risorse
E servizi
INAF
Risorse
E servizi
Risorse
E servizi
comuni
Grid comune
Bio
Risorse
E servizi
Altri
Risorse
E servizi
INFN-LCG
Risorse
E servizi
14
Atività di Ricerca
• Astrophysics
• Geophysics
• High Energy Physics
• Comp. Chemistry
• Earth Observation
• Bio-informatics
• High-perf. Components
• Cost models
• Scientific Libraries
• Resource Management
Knowledge
Services
Security
Resource
Brokers
• Problem
Solving
Environments
Applications for
E-Science&Engineering
Programming Tools
and Environment
Grid
Portals
Middleware
Data Intensive
core services
Scheduling
GARR
Monitoring
Commmunic.
Large-bandwidth Optical Net High-perf. Networks
15
Coinvolgimento INFN in GRID.IT
o Responsabilita’ della gestione dell’Unita’ di
Ricerca (UR) n.4 che comprende anche INAF,
INGV e la biologia con le Universita’ di PD e GE e
il CNR di Milano
o Responsabilita’ della gestione del WP3 della UR
n.4, cui compete l’implementazione dei servizi
Grid per tutte le applicazioni
o Responsabilita’ della gestione del WP5 della UR n.
4, che deve estendere le funzionalita’ del Data
Management secondo le necessita’ dei nuovi
16
settori coinvolti.
Le attivita’ del WP3 sono focalizzate sul
deployment e management di una grid di
produzione per la comunita’ scientifica
nazionale, saranno coordinate con quelle del
WP6, che sara’ invece focalizzato sul
deployment e management di una grid di
produzione per LCG.
Tutte le risorse della grid INFN dovranno
essere gestite in modo uniforme e il piu’
possibile condiviso, rispettando le priorita’
dei singoli esperimenti.
17
La sezione di Napoli sarà uno dei 4 nodi
infrastrutturali principali (con Padova,
Bologna/CNAF e Catania)
Risorse: 25 nodi biprocessori, 1 art.2222
Partecipanti: L.M., Mastroserio, Tortone,
Esposito
Attività principale: Monitoring e testing
18
ATLAS Data Size
• Raw Data (anche generati con MC):
2 MB/evento.
• ESD, Event Summary Data, output della
ricostruzione: 500 KB/evento
• AOD, Analysis Object Data, formato "pubblico" di
analisi: 10 KB/evento
• DPD, Derived Physics Data, formato privato di
analisi, tipo ntupla: 1 KB/evento
19
Tempi di CPU
(PIII 500 MHz @ 20 SI95)
• Ricostruzione di un evento:
640 SpecInt95*sec
• Simulazione di un evento:
3000 SpecInt95*sec
• Generazione di un evento AOD:
25 SpecInt95*sec
• Generazione di un evento DPD:
5 SpecInt95*sec
• Analisi di un evento AOD o DPD:
3 SpecInt95*sec
20
Risorse HW ATLAS
a regime (2006)
CERN
(T0+T1)
Each RC
`6`Ext.
RC‘s
Total
1 T2: @ 10-20% RC
CPU
Tape
(MSI95) (PB)
Disk
(PB)
0,4
6,7
0,5
0,2
1,2
0,2
1,2
0,4
2,4
1,6
7,9
2,9
2003: @ 10% delle risorse a regime
21
@ 50 CPU + 4 TB
Funzioni dei Tiers
• In linea con le posizioni di ATLAS internazionale,
si assegna in esclusiva al Tier1 tutto cio' che ha
Raw come input (reprocessing etc.) e tutto cio'
che ha ESD come input.
• I Tier2 hanno storage completo degli AOD, e sono
usati per l'analisi e la produzione MC.
• I Tier3 producono MC nei cicli spare e storano i
dati che servono per le analisi "locali".
22
D
US
grid tools used at 11 sites
CERN
CPUs:
46 RM1
40 CNAF
16 NA
10 LNF
J
I
F
23
• DC1 : Phase II Q4/2001 – Q2/2003:
– Goals
• Pile-Up Production (High and Low Luminosity)
• Large scale Grid test in November/December in preparation
for reconstruction
• Reconstruction start March 2003
• DC2: Q3/2003 – Q2/2004:
– Goals
• Full deployment of Event Data Model & Detector
Description
• Geant4 replacing Geant3 (fully?)
• Pile-up in Athena
• Test the calibration and alignment procedures
• Use LCG common software
• Use widely GRID middleware
• Perform large scale physics analysis
• Further tests of the computing model
– Scale
• As for DC1: ~ 10**7 fully simulated events
24
• Risorse INFN-ATLAS Tier1+Tier2 da 120 CPU’s a
300 per assicurare share 10% in DC2
• A regime ATLAS e la sua parte italiana intendono
conferire tutte le loro risorse Tier1 e Tier2 a LCG.
• ~ 60% risorse in Tier1, ~ 30% diviso equamente fra i
Tier2.
• DC3: Q3/2004 – Q2/2005:
– Goals to be defined; Scale: 5 x DC2
• DC4: Q3/2005 – Q2/2006:
– Goals to be defined; Scale: 2 X DC3
25
FP6 2002: Il Progetto EGEE
6° Programma Quadro Europeo:
Allocati 300 M€ per supportare l’integrazione
delle GRID nazionali in una infrastruttura
generale europea (con 5 Centri Operativi GRID e
50 Centri operativi nazionali) e collaborare con:
l’ US Cyber Infrastructure (1020 M$)
e la Japan Asian-Pacific Grid (500 M$)
26
Creation and support
E-Science centres
European
Infrastructure
Modulable
Testbeds
R&D Agenda
Semantic GRID
Database
Security
Deployment with
IT Industry
S/W Hardening
GLOBUS
EuroGrid, Gridlab etc.
National
eScience
Centres
Integrated Project
ENABLING GRIDS
ESCIENCE EUROPE
EGEE
Science
Outreach
Consulting
Prototyping
Deployment
Industry
Applications
Industry Outreach
Consulting
Training Courses
Dissemination
Forum
SMEs developing
Grid-enabled Applications
Tools and
Service Development
Applications in
Other Sciences
EIROforum
27
Procedures
Research
Infrastructures
IST
Programme
665 MEuro
GÉANT, GRIDs,
other ICT-RI
100 + 200 MEuro
Structuring
the ERA
Programme
2.655 MEuro
3.825 MEuro
•Integrated Projects
•Networks of Excellence
•Specific Targeted
Projects
•Coordinated actions
•Support actions
•Integrated Infrastructure
Initiatives
•Coordinated actions
•Support actions
Separate calls for proposals!
28
Budget overview
€300m for Géant, Grids, other ICT
Research Infrastructures in FP6
• ICT RI-Budget in FP5 (to compare): €161m
• Additional budget for Grids in other IST areas
Geant:
€80m
Grids: €30m
Others: €41m
(including admin.
Costs)
29
30
GARR-B Fase 4 (Nov. 2002)
• Backbone
– 3*155Mbps (RM-NAMI-BO)
– 3*2.5Gbps (MI-BORM-MI)
– 1*2.5Gbps+4*155M
inter BB
• 22 PoP di accesso dei siti
GARR
• Accessi:
~300 siti @2M-1Gbps
• Peering di Ricerca (su
Milano-G)
- [email protected]
31
Indicative roadmap of calls
1. Budget from Structuring the ERA Programme (€200m)
Year 2003
€ 50m
Year 2004
€100m
Year 2005
Year 2006
€ 50m
2. Budget from IST (€100m)
Year 2003
€ ?m
Year 2004
Year 2005
Year 2006
€ ?m
32
• 1a Call per Integrated Infrastructure Initiative:
17 Dicembre 2002
• Richiesta:
~35 M€
• Cost sharing:
Interessi NA:
– Overall management: 10%
– Interface to applications: 10%
V
– Hardware infrastructure 10%
– Middleware re-engineering: 35%
– Grid deployment and operation centers: 35%
V
• Call successive (3 in tutto):
~100 M€
33
Progetti INFN collegati
PROGETTI GRID:
EDG, EDT,
GLUE (EU-US)
FIRB
FP6
EU
GARR
CALCOLO ESPERIMENTI:
LHC, VIRGO,APE, BABAR…
INFN
GRID
TIER1/2/3
INFN
PROGETTO
LHC
COMPUTING
GRID
In rosso :
Attività in cui sono coinvolti la sezione INFN e il gruppo I
34
Appendice:
GARR e GEANT
35
La Storia della Rete GARR
• 1973-1990: reti indipendenti di CNR,
ENEA,INFN e Universita’.
• 1990-1994: rete GARR1, prima rete
unitaria di Universita’ e Ricerca
• 1994-1998: rete GARR2, evoluzione di
GARR1
• 1998-2002: rete GARR-B (Broadband)
• 2003-2006: rete GARR-G (Giganet)
36
GARR-B Fase 4 (Nov. 2002)
• Backbone
– 3*155Mbps (RM-NAMI-BO)
– 3*2.5Gbps (MI-BORM-MI)
– 1*2.5Gbps+4*155M
inter BB
• 22 PoP di accesso dei siti
GARR
• Accessi:
~300 siti @2M-1Gbps
• Peering di Ricerca (su
Milano-G)
- [email protected]
37
La Rete della Ricerca Europea
GÉANT (2001-2004)
• Progetto e Rete GÉANT
(evoluzione della rete TEN155)
• Cofinanziamento CE (5th FPIST-RN1) per 80M€ su un
costo di ~170M€
• Durata 48 mesi (1/12/00 –
30/11/04)
• Peculiarita’ di GÉANT:
– Backbone a 10Gbit/sec
– Accesso iniziale fino a 2.5
Gbit/sec
• Accesso GARR a 2.5Gbit/sec
38
39
40