Calcolo CMS
Per dettagli sulle attività svolte, vedi CSN1 di Pisa (22 Giugno 04)
Due attività dominanti nel 2005:
 Computing TDR
 Physics TDR
Entrambe richiedono:
 Simulazione (“produzione”)
 Analisi (“distribuita”)
Evoluzione da una attività a “Data Challenges” ad
una “Permanent Production and Analysis effort”
P. Capiluppi - CSN1 Assisi
22/09/2004
CMS Computing schedule
 2004
 Oct
RRB for MoUs structures agreement
 Dec
Computing TDR in initial draft form
 2005
 April
RRB Comp MoUs (Exps and LCG) final document
[to be signed in June]
 July
LCG TDR and CMS Computing TDR submission
 Dec
Physics TDR submission
[Based on “steady state” prod and analysis]

2006
 ~Spring
 Dec
(Final) Data Challenge 06
Computing Systems Operational
2
P. Capiluppi - CSN1 Assisi
22/09/2004
Organizzazione del Computing di CMS
(Computing-and-Core-Software e PhysicsReconstruction-and-Selection)

CCS new tasks arrangement:
1)
Computing and Software Infrastructure:
Nick Sinanis
Core Software (Architecture, framework
and toolkits): Vincenzo Innocente
Production: Tony Wildish and Luciano
Barone
2)
3)

4)
5)
Subtasks: Operation and Tools
Data Management: Lothar Bauerdick
Workload Management: Stefano
Lacaprara

PRS Groups:
1)
2)
3)
4)
5)
6)
7)
8)
E-gamma/ECAL: Chris Seez & Yves Sirois
B-tau/Tracker: Marcello Mannelli & Lucia
Silvestris
Muons/Muon: Ugo Gasparini & Darin
Acosta
Jet-met/HCAL: Jim Rohlf & Chris Tully
Higgs: Sasha Nikitenko
Standard Model: Joachim Mnich
SUSY: Luc Pape
Heavy Ions: Bolec Wyslouch
“Cross” CCS and PRS (+TriDAS) PROjects Management





RPROM (Reconstruction Software): Stephan Wynhoff
SPROM (Simulation Software): Albert de Roeck
APROM (Analysis Software): Lucia Silvestris
CMSCCC (Computing Coordinating Committee): a CMS Collaboration Board
sub-committee

One computing expert and one senior physicist per major Agency/Country
contributing to Computing (CERN, France, Germany, Italy, Spain, UK, USA, Taipei) +
CPT managers + CB chair: Roberto Tenchini & Paolo Capiluppi
3
P. Capiluppi - CSN1 Assisi
22/09/2004
Attivita’ svolte 2004(03)
Produzione (simulazione) di ~ 15 M eventi
 Di interesse dei Gruppi di Fisica (PRS) italiani
 Usando le Farm in locale e via Grid (LCG)
Partecipazione al DC04 in maniera sostanziale
 Responsabilita’ della implementazione in LCG per il DC04
 Tier1 del CNAF e Tier2 di LNL
 Miglior
rate di trasferimento dei files (insieme a PIC-Barcellona)
 Coinvolgimento del Tier2 LNL (unico altro Tier2: CIEMAT-Madrid)
 Real-time analysis realizzata al Tier1 e Tier2 (Bari, Bologna, Padova)
 Tutti
i tools e setup di “marca”italiana
Misure e feed-back dal DC04 per il Computing Model
 Prestazioni
 L’archietteura del software
Sviluppo del software di ricostruzione (e simulazione) e
partecipazione all’analisi per i PRS sostanziale dall’INFN :






Muons
Tracker
E-gamma
Higgs
SUSY/BSM
SM
P. Capiluppi - CSN1 Assisi
4
22/09/2004
Physics TDR

Outline





“Special” chapters go to corresponding piece




Volume I: one person to provide overall coherence, etc. Parts split to
the detector PRS group responsibles.
Volume II, part I: given all that is presented in Volume I, a detailed
expose of early procedures and physics. A first-run, explanation of
deployment of various tools, turning CMS from a 12,500-ton object to
a detector – and last the 1fb-1 physics reach.
Volume II, part II: full analyses, given Vol I and all that will have been
achieved in Vol II part I.
Volume II, part III: the physics of 10 and 30 fb-1. Include a chapter on
asymptotic (300 fb-1) reach.
Diffractive Physics – the CMS-TOTEM combination – goes to Vol I (detectors), Vol 2.1, 2.2,
2.3
Luminosity measurement (and monitor): in Vol I. Also in Vol II.1
Startup scenario/procedure: this is now a whole “part” in Vol II (II.1)
Heavy Ions

Include it directly in Phys-TDR. Means special mention for heavy-ion response in Vol I and
a special section (part?) in Vol II

Decision: add a part IV to Vol II
P. Sphicas
PRS Status and Plan of Work
P. Capiluppi - CSN1 Assisi
22/09/2004
5
Attivita’ italiane 2005(04) di CMS
Calcolo (1/2)
Le due attivita’ 2005 dominanti richiedono:
 Analisi distribuita dei dati simulati durante (PCP incluso) e dopo il
DC04
 Inclusi
gli studi di calibrazione/allineamento
 Produzione (simulazione) dei nuovi dati necessari per il Physics
TDR (inclusa la High Luminosity) e la preparazione al
commissioning
 Distribuzione dei dati e accesso ad essi in modo distribuito
Questa attivita’ portera’ a:
 Definire un CMS Computing Model, “misurato” anche nella parte
dell’analisi
 Definire l’uso delle componenti di “Grid” (LCG)
 Produrre il Computing TDR di CMS e contribuire a quello di LCG
 Definire i contenuti dei Computing MoUs
 Produrre il Physics TDR
6
P. Capiluppi - CSN1 Assisi
22/09/2004
Attivita’ italiane 2005(04) di CMS
Calcolo (2/2)
E’ intenzione di CMS (e di CMS Italia) di usare il piu’
possibile LCG:
 Sia per l’Analisi (anche con “ARDA/GLite”) che per la Produzione
Attivita’ di Analisi “continua” (PRS in cui gli italiani
sono coinvolti, vedi dopo):
 Accesso attraverso User Interfaces (LCG-UI) dei Tier2/3
 Dati principalmente presso il Tier1-CNAF e il Tier2-LNL (e altri Tier2,
Pisa, Bari, etc.)
 Data
samples completi (MC truth, Digi, DST, EOD, …)
 Dati parzialmente replicati presso i Tier2/3
 In
funzione delle responsabilita’ nei PRS
Attivita’ di Produzione “continua” (privilegiati i canali
di interesse italiano)
 Il target di CMS e’ ~10M eventi/mese (dall’Autunno 2004 al Settembre
2005):
upper-limit ~2M eventi/mese in Italia
 Tier1-CNAF, Tier2 LNL/Pi/etc. dominanti, ma contributo sostanziale di
“alcuni” Tier2/3 sia nella produzione (via LCG/Grid-it o meno) che nello
sviluppo dei Tools
7
P. Capiluppi - CSN1 Assisi
22/09/2004
Attivita’ delle sedi italiane (1/2)
Attivita’ locali in TUTTE le sedi:
 simulazioni, studi dei detectors, sviluppo software, tools, Farm system
admin, Grid a vario livello
 per il supporto a laureandi, dottorandi, costruzione degli apparati
 usando l’environment comune di CMS
Leading support nell’analisi dei dati da Test Beams
 Pd, Bo, To: Muons DC
 Ba, Pi, Fi, Pg: Tracker
 Rm1, Mi: ECAL
Leading nel supporto al “early commissioning” dei Detectors
(dall’allineamento, alla calibrazione al commissioning)
 Tracker, Muons, ECAL
Leading nel supporto e sviluppo del sw di ricostruzione (ORCA)
 To, Pd, Bo: Muons DC
 Pi, Ba: Tracker
 Ba, Na: Muons RPC
Leading nel supporto e sviluppo dei tools di Computing:
 Bo: core tools e architettura distribuita
 Pd, Bo, Ba: tools e integrazione nel calcolo distribuito (Grid)
 Pd, Bo, Ba, RM1: integrazione e sviluppo dei tools di job submission e production
 Na, To, Fi: sviluppo di algoritmi OO di ricostruzione
 Ba, Bo, Pd: sviluppo di tools di analisi distribuita
 CNAF, LNL, Rm1, Ba, Bo: supporto alle produzioni
P. Capiluppi - CSN1 Assisi
22/09/2004
8
Attivita’ delle sedi italiane (2/2)
Coinvolgimento in varie attivita’ di analisi nei PRS, inclusi quelli di
“Physics reach”:







e-gamma: Rm1, Mi
b-tau: Ba, Fi, Pg, Pi
Muons: Bo, Pd, To
Higgs: Ba, Bo
SUSY/BSM: Ct, To
SM: Pi, To, …
Etc.
Principali servizi di accesso, distribuzione e archivio dati:
 CNAF verso e da tutti i Tier2/3 e verso/dal Tier0-CERN (e altri Tier1)
 LNL verso/dal CNAF e i Tier2
 CNAF per archivio di tutti i dati su Nastro
Supporto al Tier1-CNAF da parte di CMS Italia
 Contributo principale di Bo
Supporto al Tier2-LNL da parte di CMS Italia
 Contributo principale di Pd
Contributo alla definizione del Computing Model di CMS (C-TDR) e
LCG
 Principalmente: Ba, Bo, …
9
P. Capiluppi - CSN1 Assisi
22/09/2004
Computing Memoranda of Understanding
1) LCG MoU and 2) Addendum to M&O
 LCG Computing MoU
Annual Review
CCS
– Covers CERN + major Computing Centres for 4 expts
– Dedicated task force (I. Willers for CMS)
David Stickland
CPT-AR
19 Sept 2004
Page 10/60
 Addendum to CMS M&O MoU
– Covers CMS-specific efforts – Categories A and B
– Mostly manpower, small amount of hardware
– Addendum annexes cover
•
WBS tasks (CCS + CPT_TriDAS) for Cat A and B
•
Institutes and responsibilities (snapshot – will evolve)
•
Resource needs (firm in short-term, rough projections to 2010)
•
Category A (FTE and CHF) by country
•
Category B voluntary commitments
Computing Memorandum of Understanding
L”RRB approva una
“Collaboration”?
 LCG phase II
Annual Review
CCS
– Collaboration in the Deployment and Exploitation of the LHC
Computing GRID
David Stickland
CPT-AR
19 Sept 2004
Page 11/60
 Partners are:
Experiments?
of LCGofas
a
– CERN as host laboratory, “Coordinator”
Tier0, Tier1 and coordinator
LCG
– Funding agencies/institutes qualifyingPartner!?
as Tier1 or Tier2 centers
 Aim to provide the computing resources needed to
process and analyze the data gathered by the LHC
experiments
Chi decide quali, dove e
quante risorse sono
necessarie?
Computing Memoranda of Understanding Computing
Manpower
(N.B. numbers are preliminary!)
M&O
category
WBS Tasks
Project
1. CCS
Annual Review
CCS
A
1.1.1 Project management
1.1.2 Liaison with non-CMS Projects
1.2.1 Central Computing Environment
Infrastructure & Services
1.2.2 User support
1.2.3 Software Process Service
1.2.4 Software Process Tools
Core Applications Software 1.3.1 Application Framework
1.3.2 Basic Toolkits
1.3.3 Development and integration of data / metadata systems
1.3.4 User Interfaces and Graphics
1.4.1 Production tools
Production
1.4.2 Production Operations
1.5.1 Architecture and basic services
Data Management
1.5.2 Integration with Production
1.6.1 Architecture and basic services
Workflow Management
1.6.2 Batch job management tools
1.6.3 User Tools
1.6.5 Validation of Grid for users
1.6.6 Integration with EGEE / ARDA
1.7.1 Editorial
Computing TDR
1.7.2 Computing Model
1.7.3 Validation of Computing Model
2.1.1 Coordination
Online Filter Framework
2.1.2 Input Data Handling
2.1.3 Output Data Handling
2.1.4 Control and Monitoring of filter system
2.1.5 Code guidelines, validation, quality control
2.1.6 Run condition and calibration tracking
2.2.1 Online Farm system management
Online Farm management / monitoring
2.2.2 Cluster Monitoring and Administration
1.3
1.4
1.5
1.6
1.7
2. TRIDAS 2.1
2.2
David Stickland
CPT-AR
19 Sept 2004
B
2.4
0.9
1.1 Management
1.2
Page 12/60
Subtask
Task
 Category A
– General support and
infrastructure tasks
“category”
III (ilon scope with
– Agreement
Mancano la
manpower nei Centri• Regionali)
ATLAS (in detail)
e il manpower distribuito
per
i
• ALICE
(in principle)
tools di computing • LHCb has no Cat A
6.0
2.0
3.9
3.4
2.5
4.3
2.7
1.5
4.4
4.1
1.9
2.8
1.3
1.4
4.1
2.4
1.5
0.4
2.5
1.0
0.5
1.0
0.0
1.9
0.7
0.7
1.1
0.5
 Note: We are still chasing much
of our promised manpower
– Pro-rata cost sharing
•
~17 FTE’s needed
•
~8 FTE’s missing
 Category B
– Voluntary adoption of
responsibilities
•
~58 FTE’s needed
• ~13 FTE’s missing
Inclusi i due FTE “in arrivo”
dall’INFN per CMS
Stato delle risorse CMS Italia
Stato al Settembre 2004
Tier
Bari
Bologna
Catania
Firenze
Legnaro
Milano
Napoli
Padova
Pavia
Perugia
Pisa
Roma1
Torino
Tier2
Tier2
Tier3
Tier3
Tier2+
Tier3
Tier3
Tier2
Tier3
Tier3
Tier2
Tier2
Tier3
Total
LNL LCG
Tier1 CNAF
LCG
Tier1
Grand Total
Boxes
#
16
15
9
6
72
12
5
32
SI2000
13600
13200
10800
7200
73000
12400
6000
35000
Disks
TBs
4.0
5.8
1.0
5.2
24.0
1.0
1.0
3.8
12
9
13
11
14400
16800
12400
10400
2.4
5.0
5.0
2.8
212
225200
61.0
40
120
54000
164000
22.0
60
372
443200
143
Comments
?? ~80 kSI2000 e 20 TB disk ??
13
P. Capiluppi - CSN1 Assisi
22/09/2004
Hardware
Annual Review
CCS
 CPUs are not an issue
– we have done similar amounts during PCP and now we have more
and more powerful
– although relevant resources (T1s etc.) are now under LCG (see
below)
 Storage may be more critical
– depends on the model of data distribution to T1s
– if all DSTs everywhere, then needs at least 3 new TB/site/month
– is a matter of money and procurement
Necessita’ di spazio disco!
David Stickland
CPT-AR
19 Sept 2004
Page 14/60
E accesso distribuito ai dati con “qualche” CPU!
Milestones 2005: specifiche
 CMS Computing TDR (e TDR-LCG) [Luglio 2005]
 Definizione delle risorse del Tier1 e dei Tier2 che partecipano al Computing
Model [Febbraio 2005]
 Definizione dei servizi (dati, software, LCG) disponibili in Italia [Febbraio
2005]
 Definizione della partecipazione di CMS Italia a LCG e INFN Grid [Maggio
2005]

Produzione ed analisi dei dati per il P-TDR [Gennaio 2006]
Gruppi di fisica di responsabilità e interesse italiano: b-tau, muon, e-gamma,
Higgs, SYSY, SM
Partecipano il Tier1 e almeno metà dei Tier2/3 [Luglio 2005]
Produzione di ~2 M eventi/mese [Gennaio 2005]
Analisi preliminare di almeno 4 canali (es. H->WW->2mu2nu) [Febbraio 2005]
Partecipano il Tier1, tutti i Tier2 e piu’ della metà dei Tier3 [Ottobre 2005]
Produzione di ~ 20 M eventi [Dicembre 2005]
Analisi di almeno 8 canali per il P-TDR [Dicembre 2005]






 Deployment di un prototipo di sistema di analisi distribuito su LCG
[Aprile 2005]



Definizione delle componenti [Gennaio 2005]
Definizione e implementazione dell’infrastruttura organizzativa italiana
[Febbraio 2005]
Data
Challenge 05 completato (~20% INFN) [Dicembre 2005]
===========================================
15
P. Capiluppi - CSN1 Assisi
22/09/2004
Milestones 2004: specifiche (1/2)
Partecipazione di almeno tre sedi al DC04 [Marzo]
 Importare in Italia (Tier1-CNAF) tutti gli eventi ricostruiti al T0
 Distribuire gli streams
selezionati
almeno
sedi (~ 6 streams, ~ 20 M
Fine
del DC04su
slittata
adtre
Aprile
eventi, ~ 5TB di AOD)
Sedi: Ba,
Bo, Fi, di
LNL,
Pd, Pi,
Pg, CNAF-Tier1
 La selezione riguarda
l’analisi
almeno
4 canali
di segnale e relativi fondi,
ai quali vanno aggiunti
gli studima
di calibrazione
2 Streams,
4 canali di analisi
 Deliverable: contributo italianoDONE,
al report
DC04, in funzione del C-TDR e
100%
della “preparazione” del P-TDR. Risultati dell'analisi dei canali assegnati
all'Italia (almeno 3 stream e 4 canali di segnale)
Integrazione del sistema di calcolo CMS Italia in LCG [Giugno]
 Il Tier1, meta’ dei Tier2 (LNL, Ba, Bo, Pd, Pi, Rm1) e un terzo dei Tier3 (Ct,
Sedihanno
integrate
in LCG:diCNAF-Tier1,
LNL,
Ba,
Fi, Mi, Na, Pg, To)
il software
LCG installato
e hanno
la capacita’
Bo, Pi, Fi
di lavorare nell’environment diPd,
LCG
 Comporta la installazione
dei
pacchetti dei
software
provenienti
Il prolungarsi
dell’analisi
risultati
del DC04 da LCG AA e
da LCG GDA (da Pool a fa
RLS
etc.) di almeno 4 mesi
slittare
 Completamento analisi utilizzando
infrastruttura
LCG e ulteriori produzioni
In progress,
60%
per circa 2 M di eventi
 Deliverable: CMS Italia e’ integrata in LCG per piu’ della meta’ delle risorse
16
P. Capiluppi - CSN1 Assisi
22/09/2004
Milestones 2004: specifiche (2/2)
Partecipazione al C-TDR [Ottobre]
 Include la definizione della partecipazione italiana al C-TDR in termini di:
Il Computing
TDR
e’ ora dovuto per Luglio 2005
 Risorse e sedi
(possibilmente
tutte)
 Man-power
 Finanziamenti
La milestone slitta di conseguenza
e piano di Stand-by/progress,
interventi
20%
 Deliverable: drafts del C-TDR col contributo italiano
Partecipazione al PCP DC05 di almeno il Tier1 e i Tier2 [Dicembre]
 Il Tier1 e’ il CNAF e i Tier2 sono: LNL, Ba, Bo, Pd, Pi, Rm1
Data
05per
e’ stato
cancellato
e sostituito
 ProduzioneIldi
~ 20Challenge
M di eventi
lo studio
del P-TDR,
o equivalenti (lo
dallarichiedere
produzione
ed analisi
continua
per il P-TDR
studio potrebbe
fast-MC
o speciali
programmi)
La milestone
e’ annullata
 Contributo alla definizione
del LCG-TDR
0%
 Deliverable: produzione degli eventi
necessari alla validazione dei tools
di fast-simulation e allo studio dei P-TDR (~20 M eventi sul Tier1 + i
Tier2/3)
17
P. Capiluppi - CSN1 Assisi
22/09/2004
Conclusioni
Sequenza temporale non ottimale dei MoUs
 Computing TDR (inclusa la analisi)
 Approvazione scientifica
 MoUs
CMS “on track” per definire
 Computing Model
 Software/framework per l’analisi
 Componenti di Grid (LCG)
 Infrastruttura di Calcolo
 Physics TDR
CMS Calcolo Italia ha un ruolo proporzionato alla
partecipazione globale: ~20%
 Ed e’ leading in molti campi del Computing e dell’analisi
18
P. Capiluppi - CSN1 Assisi
22/09/2004
Additional slides
19
P. Capiluppi - CSN1 Assisi
22/09/2004
Computing Milestone Revisions
Annual Review
CCS
Identifier Task
Update Jan
04
v34.0 Revised: 21
May 04
Jun 04
CS-1039 Delivery of baseline core software for CCS and
Physics TDR's
CS-1041 DC04 (5%) data challenge complete
Level 1
1-Mar-04
31-Jul-04
1-Feb-05
Level 2
1-Apr-04
1-Jan-05
31-Aug-04
CS-1040 First Draft CCS Technical Design Report
Level 2
1-Apr-04
1-Jan-05
1-Jan-05
CS-1042 CCS TDR submission
Level 1
1-Oct-04
31-Jul-05
31-Jul-05
CS-1057 DC05 (10 %) Data challenge complete
Level 2
1-Apr-05
1-Dec-05
1-Dec-05
Cancelled
 DC04: challenge is complete and conclusions will be
presented at CHEP ‘04
 CCS TDR will be aligned with LCG TDR submission
David Stickland
CPT-AR
19 Sept 2004
Page 20/60
 DC05: cancelled
LCG e INFN-Grid
CMS Calcolo Italia continua a supportare e sviluppare la
integrazione del Calcolo in LCG, con ruolo leading





Produzione su CMS-LCG/0 worldwide (Stress Test)
Produzione PCP DC04 su LCG-1 EU-wide
DC04 su LCG-2 EU-wide
Unica misura realistica delle potenzialita’ di LCG-GRID ad oggi
Analisi coi tools LCG e collegamento con gLite/Arda
In LCG sono coinvolte (per CMS) le sedi di:




CNAF-Tier1 per (anche) CMS
LNL
Pisa dal 2005
Progressivamente le altre sedi (Tier2/3) si stanno aggiungendo
In INFN-Grid sono coinvolte le Farm di CMS di:




LNL, Pd, Ba, Pi da tempo
Bo dal Giugno 2004
Fi e Na tra la fine del 2004 e l’inizio del 2005
Altre si aggiungeranno …
21
P. Capiluppi - CSN1 Assisi
22/09/2004
Continuous Operation

Instead of DC05 we need to progressively bring up a full time operation
–
–

Generic GRID resources (for Generation/Simulation)
Annual Review
CCS
–

–
–
–

CPU means current generation ~2.4+GHz
CMS T1 resources (Grid with significant Disk and MSS)
Needed for data intensive Digitization and Reconstruction steps
~750 CPU Continuous
Now 60TB +20TB/month (Spread across T1 centers)
T1/T2 resources (probably not generic)
–
–
150C CPU Continuous
Now 40TB Analysis disk space to grow by about 2-5TB/month (T1+T2)
We intend to run all this within LCG
–
Page 22/60
~750 CPU Continuous
•

David Stickland
CPT-AR
19 Sept 2004
Not a test or a challenge.
Physicist access to data required.
“LCG” being all those resources available to CMS being steady migration from/between LCG2,
GRID3, gLite, …

We need to reach the 10M event/month level soon ( Autumn)

We need to make the resources available to a growing CMS user base in the same
time scale