TIER2: Update
Gruppo di referaggio: Forti (chair), Bossi,
Ferrari, Menasce, Morandin, Simone, Taiuti,
Zoccoli
F. Bossi, CSN1 Trieste 7/7/05
Cosa e’ avvenuto dal 17/5:
Incontro referees-esperimenti a Roma il 22/6: utile per avere
un primo scambio di idee sulla procedura e i costi previsti
Elaborato un “piano di attacco” per l’approvazione dei TIER2
Celebrati con buon successo alcuni test di sistema da parte
degli esperimenti (particolarmente LHCb)
Rilasciati i computing TDR degli esperimenti e di LCG
Piano di approvazione per i TIER2:
Luglio
Documento che descriva i requirements per la
realizzazione di 1 TIER1 (referees)
Piano TIER2 esperimenti (esperimenti)
Settembre
Progetto tecnico dei TIER2 (sezioni) in consultazione
con la commissione calcolo
Discussione dei piani: numero e dimensioni TIER2
(CSN1-CSN3)
Documento integrato che descriva i TIER2
Ottobre
Approvazione per i TIER2
Bozza di documento (comprensivo della dichiarazione per i
Direttori) preparato da M. Morandin, verra’ rilasciato a giorni
1. Caratteristiche generali
2. Risorse di calcolo, incluso il profilo di acquisizione
3. Infrastrutture
4. Ruoli di responsabilita’ operative, tecniche, gestionali
5. Personale tecnico
6. Piano di sviluppo, milestones e profilo di finanziamento
Ad oggi, solo ATLAS ha prodotto un draft di documento
proprio, gli altri hanno fornito + o  dettagliate presentazioni
in riunioni di CSN o con i referees
Personale
Un primo esercizio di valutazione costi e’ stato fatto con
risultati ‘interlocutori’:
Globalmente le cifre ottenute sono ragionevoli, anche se
possono essere ottimizzate
E’ importante la tempistica di acquisto che puo consentire
notevoli risparmi se ben pensata
Tutti gli esercizi si basano sulla legge di Moore che prevede un
abbattimento dei costi a parita’ di prestazioni ad ¼ nel corso
del periodo 2006-2010. Personalmente cercherei di valutare
l’impatto sulla fisica di un eventuale breakdown dello scaling.
ALICE TIER2: PRIMA
STIMA COSTI
T2 - Present ramp up (year = acquisition)
INTEGRATED ESTIMATES @ TIER-2
2006 2007 2008 2009 2010
CPU (KSI2K)
460 1070 2520 5000 6000
DISK (TB)
160 379 894 1773 2128
( M. Masera Roma, 22/6/05)
CPU/DISK
2.88 2.82 2.82 2.82 2.82
NEW RESOURCES (differential)
•In questa tabella e’ presentata una
2006 2007 2008 2009 2010
valutazione dei costi a partire da un
CPU (KSI2K)
160 610 1450 2480 1000
modello di “fair share” che prevede in
DISK (TB)
115 219 514 879 355
Italia il 30% dei T2 di Alice fuori dal Cern
REPLACEMENTS
2006 2007 2008 2009 2010
•Si e` tenuto conto che a Catania e a
CPU (KSI2K)
0
80
0 220 160
Torino a fine 2005 si avranno le seguenti DISK (TB)
0
15
0
30 115
dotazioni:
TOTAL ACQUISITIONS (PER YEAR)
2006 2007 2008 2009 2010
2005: resources in Ct and Torino at end 2005 CPU (KSI2K)
160 690 1450 2700 1160
CPU (KSI2K)
300
DISK (TB)
115 234 514 909 470
DISK (TB)
45
COSTS (P.Capiluppi & A. Masoni)
2006 2007 2008 2009 2010
CPU (kEur)
92 261 369 446 144
DISK (kEur)
258 329 450 498 160
Disponibilita’ prevista: 2.7 M€
Tot (kEur)
351 590 819 944 304
GrandTotal
3008 k€
ATLAS VALUTAZIONE COSTI
Tier2
INFN
2006
CPU
(kSI2K)
new 200
tot 450
K€
Dischi
(TB)
116
new 50
tot 80
2007
2008
( L.L. Roma, 22/6/05)
2009
2010
350
880
1782
2532
1420
3832
2709
6261
133
446
241
325
177
368
836
1212
847
2039
1334
3194
Tot. K€
1261
K€
113
248
736
466
454
2017
Tot. K€
229
381
1182
707
779
3278
Disponibilita’ prevista: 2.3 M€
LHCb VALUTAZIONE COSTI
Strictly according to
current LHCb Computing
Model
2006
( D.G. Roma, 22/6/05)
2007
2008
2009
2010
CPU [€/Si2k]
0.58
0.38
0.25
0.17
0.12
Disk [€/GB]
2.25
1.40
0.88
0.55
0.34
CPU running [MSi2k]
0.34
0.69
1.15
1.15
1.15
1
2
3
3
3
0.34
0.35
1
1
Disk running [TB]
CPU replacement [MSi2k]
Disk replacement [TB]
total
0.34
0.35
0.46
0.34
0.35
1
1
1
1
1
CPU cost [k€]
196.5
132.4
117.1
56.1
43.3
545.5
Disk cost [k€]
2.2
1.4
0.9
0.5
0.3
5.4
Total cost [k€]
198.7
133.8
118.0
56.7
43.7
550.9
CPU to be acquired
[MSi2k]
Disk to be acquired [TB]
Disponibilita’ prevista: 0.77 M€
CMS
Risorse disponibili nell'anno citato (integrale)
Bari
2005
2006
CPU (kSI2K)
20
50
Disk (TB)
10
20
Legnaro
CPU (kSI2K)
140
200
Disk (TB)
30
45
Pisa
CPU (kSI2K)
50
100
Disk (TB)
15
30
Roma1
CPU (kSI2K)
20
50
Disk (TB)
10
25
( P.C. CSN1, 17/5/05)
2007
300
120
2008
770
260
2009
1300
390
2010
2200
530
500
120
800
340
1350
470
2300
600
400
160
780
310
1300
460
2250
610
270
100
650
250
1100
400
1900
550
CMS All INFN Tier2s
CPU (kSI2K)
Disk (TB)
2005
230
65
2006
400
120
2007
1470
500
2008
3000
1160
2009
5050
1720
2010
8650
2290
CMS All INFN Tier2s
CPU (kEuro)
Disk (kEuro)
Total (kEuro)
2005
2006
94
127
221
2007
388
547
935
2008
374
592
966
2009
325
314
639
2010
448
219
667
Disponibilita’ prevista: 4.9 M€
Total
1629
1799
3428
La questione infrastrutture e’ delicata come dimostrato
dal recente mini-breakdown del TIER1 avvenuto il 30/5
• Il 30 Maggio sono successi eventi che hanno messo in
evidenza alcuni limiti della infrastruttura Tier1.
-E’ intervenuto il “differenziale” generale della sala T1
-Non rimaneva armato. Si è eliminato qualche carico e dopo
vari tentativi è rimasto ON
-A causa di queste interruzioni la temperatura della sala è
aumenta rapidamente. Il Gruppo Frigorifero ha cominciato
a funzionare al massimo con assorbimento in corrente di
circa 1000 A, con punte di 1100 A
-Il trasformatore, da 800 KVA, ha cominciato a
surriscaldarsi
-Alle 16.30 ha raggiunto la temperatura critica e si è messo
OFF
-Si è acceso il Gruppo Elettrogeno; dopo 30’ la temperatura
del TR è scesa sotto la soglia critica ed è stato reinserito
( M.M. Roma, 22/6/05)
Azioni
• Immediatamente: inserire un sistema di
ventilazione forzata al Trasformatore (entro
15gg in funzione)  Installato il 1 Luglio
• Indagini sulle “dispersioni”, sulla stabilità delle
tensioni e sull’impianto di terra
• Studio
sulla
resa
del
sistema
di
raffreddamento per cercare di migliorarne la
resa  Questa settimana?
• Necessario iniziare subito a studiare un
sistema di “potenziamento” della Sala T1
( M.M. Roma, 22/6/05)
…ma mentre scrivevo queste trasparenze…
Venerdi’ 1/7 verso le 24:00, nuovi problemi all’impianto
frigorifero hanno costretto lo spegnimento delle Farm e dello
Storage del TIER1 e le Farm di BaBar e CDF
Intervento tecnico richiesto per controllare il filtro
dell’impianto idraulico
Lunedi’ 4/7 alle 19:26, intervento terminato, inizio
riattivazione servizi
…to be continued…
Personale:
Sharing intelligente tra personale della sezione ( per lo piu’ gia’
esistente) e contributo attivo degli esperimenti (la GRID va
pensata come un pezzo di detector a tutti gli effetti)
Piano di sviluppo e Milestones:
E’ pensabile una partenza scaglionata dei vari TIER2? Avrebbe il
vantaggio di evitare di duplicare gli errori
E’ necessario definire una ‘metrica’ di giudizio, cioe’ le
prescrizioni tecniche per stabilire se e quanto si sta
progredendo ( vero in generale per tutto il progetto GRID)
Rilasciati i computing TDR degli esperimenti
Ottima lettura da spiaggia per i referees
ATLAS :
http://doc.cern.ch/archive/electronic/cern/preprints/lhcc/public/lhc
c-2005-0.22.pdf
CMS :
http://doc.cern.ch/archive/electronic/cern/preprints/lhcc/public/lhc
c-2005-0.23.pdf
LHCb :
http://lhcb.web.cern.ch/lhcb/TDR/lhcb-comp-050613+authors.pdf
ALICE :
http://pcaliweb02.cern.ch/NewAlicePortal/en/Collaboration/Docu
ments/TDR/Computing.html
LCG :
http://doc.cern.ch/archive/electronic/cern/preprints/lhcc/public/lhc
c-2005-0.24.pdf
Proposta di divisione lettura (F.F.):
ATLAS: Zoccoli, Carlin, Bossi, Taiuti
CMS: Morandin, Bozzi, Menasce, Simone
LHCb: Ferrari, Menasce, Simone
ALICE: Taiuti, Simone, Bossi
LCG: Taiuti, Bossi, Menasce
Obiettivo: lettura e discussione critica dei documenti entro
Settembre-Ottobre
E’ prevista una review formale dei CTDR con referees
esterni da parte di LHCC a Settembre
Proposta Sharing Risorse per il TIER1 05-06
Schema presentato in CSN1 il 17/5
Tenute in conto efficienza e sovrapposizioni. Assumiamo un uso
non continuativo la potenza di picco richiesta e dello spazio
disco. Da verificare sul campo
Il costo del materiale e’ stato calcolato con estrapolazione
PASTAIII al momento della conclusione delle gare
CPU (€/Si2K)
Disk (€/GB)
Tape (€/GB)
Costs By Pasta III + Bernd-Jul04
2004 2005 2006 2007 2008
1.2
0.8
0.6
0.4
0.2
5.9
3.7
2.3
1.4
0.9
0.5
0.5
0.5
0.5
0.3
2009
0.2
0.6
0.3
2010
0.1
0.3
0.3
Dettaglio suddivisioni previste
ALICE
ATLAS
CMS
LHCb
Totale LHC nudo
Contingenza LHC
Totale LHC con conting.
2005
CPU (KSI2K) Disk (TB)
220
30
320
45
350
110
110
50
1000
235
Tape
2006
CPU (KSI2K) Disk (TB)
330
132
480
192
525
210
165
66
1500
600
300
120
1800
720
1000
235
BABAR
CDF
AMS
MAGIC
ARGO
ZEUS
VIRGO
Tot NON LHC
375
740
32
20
47
40
50
1304
60
80
2
1
30
0
10
183
650
900
32
20
47
120
150
1919
187
90
3
1
30
Totale generale
Overlap/efficiency factor
Totale necessario
2304
20%
1843
418
0%
418
3719
20%
2975
1051
10%
946
Tape
20
331
Contingenza nel 2006 considerato l’andamento dell’utilizzo
Le risorse disponibili e quelle da acquistare sono le seguenti
Capacita' complessive al Tier1
Data
1-Jan-05
31-Jul-05
31-Jul-05
31-Dec-05
30-Jun-06
30-Jun-06
30-Jun-06
Item
Capacita' installata
Conclusione gara 04/05
Potenza 2005
Dismissione macchine obsolete
Conclusione gara 05/06
Contingenza 2006 (20% di LHC) acquisto 2006
Potenza 2006
CPU
Disco
Cumulat Increme
Cumula Increme
ivo
ntale Costo tivo
ntale Costo
KSI2K
kEuro
TB
kEuro
1443
265
400 344
200 460
1843
465
-100
-20
800 500
400 1000
300
2843
120
965
Pertanto ci sentiamo di autorizzare la partenza di due gare
TIER1 su fondo CNAF
1. Gara per CPU 800 KSI2K, ammontare 500 K€
2. Gara per spazio disco 400 TB, ammontare 1000 K€
Appendice
Draft di documento per la definizione dei TIER2
M. Morandin, DRAFT
M. Morandin, DRAFT
M. Morandin, DRAFT
M. Morandin, DRAFT