CSN1 – 7 febbraio 2006
Francesco Forti, INFN-Pisa
per il gruppo di referaggio
A cosa servono i Tier-2 ?
Computing TDR degli esperimenti:
• Tier 0 at CERN:
• 1st pass processing in quasi-real time after rapid calibration
• RAW data storage
• Tier 1s (6 for Alice,CMS, LHCb; 10 for Atlas):
• Reprocessing; Centrally organized analysis activities
• Copy of RAW data; some ESD; all AOD; some SIMU
• Tier 2s (14-30)
• User analysis (chaotic analysis); Simulation; detector studies
• Some AOD depending on user needs
• Central analysis facility (CAF) at CERN
• T1-T2 combination
• Detector studies, prompt calibration
F.Forti - Tier2
2
7/2/06
Le proposte degli esperimenti
• Presentati i progetti di massima
• Dimensione, infrastruttura,
personale
• 10 sedi per 13 centri
• Diversi livelli di maturità dei progetti
Bari
Catania
CNAF
LNF
LNL
Milano
Napoli
Pisa
Roma1
Torino
ALICE CMS
ALICE
LHCb
ATLAS
ALICE CMS
ATLAS
ATLAS
CMS
ATLAS CMS
ALICE
Risorse 2010
Bari
Catania CNAF LNF
(x2)
CPU (KSI2k)
3700
1500
Disco (TB)
1062
532
CPU (KSI2k)
Disco (TB)
Tier2
MoU
Tier1
MoU
11000
11500
3500
5800
LNL
Roma1
Milano Napoli Pisa
Torino
(x2)
(x2)
1150 1565 3800
3
810 1132
1565
810
1565 2250
810
610
3065
1360
Total
1500 21660
532
7661
1 box oggi = 5 kSI2K
1 box 2010 = 20 kSI2K ?
Fattore ~2 di sicurezza
F.Forti - Tier2
3
7/2/06
Piano finanziario
ATLAS
CMS
LHCb
TOTALE CSN1
ALICE
TOTALE INFN
Nostra proposta di
settembre 2005,
approvata in
commissione con
finanziamento 0
Tier2: acquisti per anno (k€)
Piani degli esperimenti (escluse infrastrutture)
2006 2007 2008 2009 2010 TOTALE
232
381 1182
707
779
3281
221
935
966
639
667
3428
199
134
118
57
44
551
652 1450 2266 1403 1490
7260
351
590
819
944
304
3008
1003 2040 3085 2347 1794
10268
TIER2 (k€)
Proposta referee
2006
200
ATLAS
CMS
200
100
LHCb
TOTALE CSN1
500
ALICE
250
TOTALE INFN
750
Costi infrastrutturali non
chiari: tra >1.5 e <5 M€ ?
F.Forti - Tier2
4
7/2/06
Princìpi del Tier2
• Il Tier2 serve una comunità di riferimento, ma è una risorsa per
l’intero esperimento
• Non è una farm di gruppo
• I fisici dell’esperimento devono impegnarsi fortemente per la costruzione
ed il running del Tier2 (come fanno per l’hardware)
• Le risorse del Tier2 devono essere condivise:
• Accessibilità tramite Grid per l’esperimento
• Sharing con altri esperimenti
• Devono essere considerate risorse per tutto l’INFN (e non solo...)
• Il direttore deve impegnarsi a supportare il Tier2:
• spazi: un Tier2 medio ospiterà a regime circa 120 Box CPU e 40 box
disco (600TB) per un totale di 6-8 racks
• infrastrutture: devono essere già largamente disponibili e supportate
dalla struttura (power+cooling)
• manpower: un minimo di 2 FTE spalmati su 4 persone
• deve trattarsi di personale strutturato o strutturabile.
F.Forti - Tier2
5
7/2/06
Percorso di referaggio
• Sono state visitate tutte le sedi proposte
•
•
•
•
•
U.Dosselli, F.F., M.Morandin + referee
Incontro con Direttore, Gruppo calcolo, Esperimenti
Visita ai locali presenti e futuri
Molto istruttivo e utile – grazie per l’accoglienza.
Grande variabilità di situazioni
• Elementi principali di indagine
• Quantità di risorse di computing richieste: sono giustificate
dalla prevista attività del Tier2 ?
• Supporto sistemistico e di manpower degli esperimenti:
esiste un supporto sufficiente da parte del gruppo calcolo,
esiste un gruppo sperimentale forte e motivato ?
• Aspetti infrastrutturali (spazio, potenza, raffreddamento):
quanto è costosa l’infrastruttura necessaria, e quanto di
questi costi è a carico INFN ?
F.Forti - Tier2
6
7/2/06
Percorso successivo
• Oggi
• Discussione dei criteri generali
• Febbraio-Marzo
• Preparazione di una proposta dettagliata da parte
dei referee
• Discussione con gli esperimenti per arrivare ad una
soluzione condivisa
• Aprile-Maggio
• Referaggio dei progetti dettagliati
• Presentazione in CSN1/CSN3 per l’approvazione
finanziaria
• Sometimes - finanziamento
F.Forti - Tier2
7
7/2/06
Incertezze
• Il modello di computing è ancora preliminare
• Target performance non sempre raggiunta
• Modello di analisi distribuita untested
• La quantità di risorse di calcolo richieste è solo un educated guess
• Lo share INFN del computing non è fissato a priori
• Dipenderà dall’effettivo coinvolgimento dei gruppi italiani e dalle risorse
disponibili
• Nessuno sa quanti dati verranno da LHC nei primi anni
• Ci potrebbe essere un ridimensionamento iniziale
• Per i computer, il tempo (di acquisto) è denaro
• L’evoluzione della tecnologia oltre il 2007-8 è estremamente
nebulosa
• Fine della corsa al GHz
• Avvento dei multi core
• Problema della potenza assorbita
F.Forti - Tier2
8
7/2/06
Numero di Tier2
• Nessun esperimento è in grado di dimostrare che gli
serve veramente la potenza di calcolo e quantità di
storage che chiede
• Nessun esperimento è in grado di dimostrare che gli
servono 4 Tier2 INFN
• Tuttavia le richieste non sono irragionevoli
• Dimensionamento dei centri in modo da essere gestibili da
una sezione di media grandezza
• In linea con i modelli di calcolo degli esperimenti
• Però avere molti Tier2 aumenta il livello di duplicazione
infrastrutture e dati
• (LHCb è un caso a parte)
• Necessità più contenute: un solo Tier2
• Forte collaborazione con il CNAF
F.Forti - Tier2
9
7/2/06
Entusiasmo
Abbiamo trovato grande entusiasmo
• Le sedi sono realmente desiderose di creare la
base strutturale per il calcolo di LHC
Ampiezza di offerta
• Ci fornisce il necessario buffer per far fronte alle
richieste future degli esperimenti
... purchè ...
... ci sia collaborazione
• I centri Tier2 e non-Tier2 devono e dovranno
collaborare fattivamente per la costruzione e
l’operazione delle strutture
F.Forti - Tier2
10
7/2/06
Princìpi guida
• Prudenza
• Partenza alla giusta velocità
• Flessibilità
• Prevedere contingenza e scalabilità per adattarsi ai
prevedibili mutamenti
• Adiabaticità
• Prevedere una crescita continua e modulare
• Ottimizzazione delle risorse disponibili
• Risorse umane distribuite
• Strutture esistenti
• Finanziamenti esterni all’INFN
F.Forti - Tier2
11
7/2/06
Non tutti
• Non vogliamo far partire tutti Tier2 adesso
• Le incertezze di cui sopra impongono prudenza
• quantità di calcolo, modello distribuito, quantità dati LHC
• Non esiste una chiara e documentata necessità
• I costi non sarebbero assorbibili sul bilancio 2006
• Questioni
• Quanti e quali centri iniziano nel 2006 ?
• Con che tempistica e velocità ?
• Cosa succede degli altri centri ?
• Bocciati o rimandati ?
• Quando si ridiscute ?
• Quali criteri ?
F.Forti - Tier2
12
7/2/06
Criteri
• Gli elementi principali sono
• Motivazione del gruppo dell’esperimento e quantità di
manpower dedicata
• Esistenza di una chiara e consistente comunità di riferimento
nell’esperimento
• Manpower reperibile nel gruppo calcolo
• Capacità della sede di gestire il sistema ed esperienza
pregressa su farm e grid
• Maturità e completezza del progetto
• Complessità e costo dell’intervento infrastrutturale
necessario
• Finanziamento infrastrutturale esterno all’INFN
• Seguono alcune riflessioni...
F.Forti - Tier2
13
7/2/06
Tier2 ed esperimento
• I Tier2 sono pezzi di esperimento
• Vanno considerati alla stregua di sottorivelatori che i fisici
dell’esperimento progettano, costruiscono ed operano
avvalendosi del supporto tecnico di sezione
• Non si possono considerare un servizio che il gruppo calcolo
fornisce e l’esperimento utilizza
• I Tier2 hanno bisogno di un gruppo di fisici motivati
che li costruisca ed operi
• Le responsabilità dovrebbero essere assegnate a personale
strutturato
• Incoraggiamo a trovare collaborazioni tra sezioni per
costituire i gruppi di supporto ai Tier2
• Abbiamo motivato le sezioni non candidate Tier2 a seguire questa
strada non assegnando nessun finanziamento per i Tier3.
• Abbiamo notato una certa confusione tra utenti del centro e
persone che lo fanno funzionare: da chiarire
F.Forti - Tier2
14
7/2/06
Comunità di riferimento
• I Tier2 devono servire alla comunità dei fisici
INFN ad essere competitivi negli esperimenti
• e poi forniscono la potenza di calcolo globalmente
necessaria all’esperimento
• E’ importante identificare la comunità di fisici
che fa riferimento ad ogni Tier2:
• uso prioritario
• contributo al funzionamento del centro
• evitare duplicazioni di centri che servono la stessa
comunità
F.Forti - Tier2
15
7/2/06
GRID
• D’altra parte i meccanismi di GRID permettono
uno sharing delle risorse su grande scala
• I Tier2 sono utilizzabili da una comunità più vasta,
che può persino vantare qualche diritto se ha
contribuito a finanziare l’infrastruttura
• Gli esperimenti hanno accesso a risorse finanziate
con altri progetti
• Un guadagno per tutti...
• ... se funziona fino in fondo e se al momento del
bisogno ottengo quel che mi serve.
F.Forti - Tier2
16
7/2/06
Manpower
• Quante persone servono per un Tier2 ?
• Poche ma buone
• Non è necessario uno stuolo di persone, ma
servono invece forze specifiche dedicate, con
buona esperienza di farm e grid
• Le persone devono essere già strutturate o
strutturabili nel piano di sviluppo della sezione
• Non è pensabile avere personale in più per il Tier2
• I Tier2 dovranno operare per lungo tempo, ed il personale
a tempo determinato non garantisce la continuità
F.Forti - Tier2
17
7/2/06
Infrastruttura
• Coordinamento progetti da parte della CCR
• Workshop 3-4 ottobre 2005
• Linee guida per la progettazione
• Gruppo di lavoro per la definizione di specifiche
comuni
• Gruppo di esperti nominati dalla CCR
• R.Gomezel, R.Pegoraro, L.Pellegrino, R.Stroili,
M.Morandin (chair)
F.Forti - Tier2
18
7/2/06
Infrastruttura
• Spazio, Potenza elettrica, UPS, gruppo elettrogeno,
raffreddamento, network.
• Casistica tecnica
• Ristrutturazione della sala esistente
• Allargamento della sala esistente a locali più o meno vicini
• Creazione di una nuova sala macchine distante dalla
esistente
• Casistica finanziaria
• Finanziamento integrale INFN
• Finanziamento INFN utilizzando in parte fondi di dotazione o
fondi CCR già assegnati
• Finanziamento parziale di altri enti o progetti
• Finanziamento totale di altri enti o progetti
• Il costo per l’INFN può essere molto diverso
nei vari casi
F.Forti - Tier2
19
7/2/06
Catalano
E’ meglio....
.... un Tier2 dove esiste una larga comunità coinvolta,
un gruppo calcolo forte e con grossa esperienza di
grid, con la sala già pronta ed i cui costi
infrastrutturali sono sostenuti integralmente da altri
enti ....
...che...
...un Tier2 con una comunità piccola e non
interessata, un gruppo calcolo sottodimensionato e
senza esperienza, una sala calcolo da rifare da
capo, ed i cui costi infrastrutturali sono a totale
carico INFN.
F.Forti - Tier2
20
7/2/06
Come si decide ?
• Stiamo preparando una struttura per il ranking
complessivo delle proposte di Tier2
• da discutere poi con gli esperimenti
• Nessuna sede è ovviamente sotto soglia e
cancellabile tout court
• ma tutte presentano degli elementi di debolezza su cui
lavorare
• Ci sono dubbi sui Tier2 doppi che comportino
interventi infrastrutturali più significativi
• Le sedi che sono riuscite a finanziare le infrastrutture
sono avvantaggiate
• ma non può essere ovviamente l’unico criterio.
F.Forti - Tier2
21
7/2/06
Tabellona
Servizio Calcolo
Personale
a tempo indet.
a tempo det.
Utenti servizio
dipendenti+ associati
dichiarati
FTE dedicati a Tier 2
a tempo indet.
a tempo det.
Personale dell'esperimento
Ricercatori sede
Ricercatori comunita' riferimento
Fisici dirett. coinvolti
Staff
Post-doc
Altri
Tecnologi dirett. coinvolti
Staff
Pos. temp.
Tecnici dirett. coinvolti
Staff
Pers. Temp.
Attività farming e GRID
macchine farm esistenti
anni di attività in GRID
personale GRID
partecip. SC2
partecip. SC3
Ricercatori/tecnologi dei gruppi coinvolti
Progetto nuovi impianti
KW da rimuovere
KW imp. continuita'
costo stimato totale
finanziato esterno
finanziato INFN
da finanziare INFN
Sala calcolo
individuazione locale
nuovo locale
superficie per Tier2
ristrutturazione locali
superficie per espansione
adeguatezza
Costi funzionamento
costi complessivi
finanz. esterno
da finanziare INFN
Compilazione quasi completata.
Da verificare con gli esperimenti
F.Forti - Tier2
22
7/2/06
E quelli che rimangono fuori ?
• non si tratta nè di una approvazione preventiva nè di
una bocciatura definitiva
• si deve fare un piano con gli esperimenti
• momenti di verifica, di cui il primo nel 2007
• per far partire ulteriori Tier2 si devono verificare
alcune condizioni, tutte necessarie:
• la sede rimane attiva in grid e nei SC, DC, possibilmente
collaborando con i Tier2 alla soluzione dei problemi comuni
• i Tier2 finanziati dell’esperimento funzionano con alta
efficienza
• si capisce che il modello di analisi distribuita degli
esperimenti LHC funziona
• si dimostra che la potenza di calcolo addizionale è
effettivamente necessaria e che conviene far partire nuovi
centri piuttosto che utilizzare quelli esistenti
F.Forti - Tier2
23
7/2/06
Conclusioni
• Lo sviluppo dell’infrastruttura per i Tier2 è una grande
occasione per l’INFN per:
• fornire il calcolo che serve agli esperimenti LHC
• sviluppare competenze e costruire un’infrastruttura di calcolo
per tutto l’ente
• permettere alle sezioni di partecipare attivamente allo
sviluppo della infrastruttura di GRID
• E’ anche una sfida:
• necessità di stretta collaborazione per la scelta delle
soluzioni infrastrutturali
• le grandi incertezze rendono difficile l’ottimizzazione delle
risorse umane e materiali
• delicato bilancio tra le esigenze locali, di esperimento e
complessive
• Bisogna procedere con passo sicuro e regolare,
senza fermarsi ma senza correre.
F.Forti - Tier2
24
7/2/06