INFN-BOLOGNA-T3
L. Rinaldi
• I siti Tier-3 nel modello di calcolo di Atlas
• Configurazione del sito INFN-BOLOGNA-T3
• Attività di Analisi e Produzione
• Attività di Ricerca Tecnologica
• Richieste e supporto
Light explosion in datacenter
By P. Ricci
I siti Tier-3 nel modello di calcolo di Atlas
Tier-0
Tier-1
Tier-1
Cloud
Tier-1
Tier-2
Tier-3
Tier-2
Tier-3
Cloud
Tier-2D
Tier-2
Tier-3
Tier-2
Cloud
• T0T1 Dati primari (RAW, ESD, AOD) T0  T2 Calibration stream
•Trasferimenti tra le cloud
• Tier1  Tier1: Dati riprocessati (ESD, AOD, dESD per l’analisi)
• Tier 1/2  Tier2/3: Output analisi utente su storage area locale
• Trasferimenti nella cloud
• Tier1  Tier2: distribuzione nei Tier2 dei dati per l’analisi e cancellazione dal Tier1
• Tier1  Tier2/3: simulazioni Monte Carlo
• Tier1/2  Tier2/3: Output analisi utente su storage area locale
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
2
I siti Tier-3 nel modello di calcolo di Atlas
Tier-0 (CERN)
Tier-2
• Archivio dei RAW data ricevuti dal detector e
distribuzione ai Tier1
• Prompt Reconstruction delle calibration e
express streams e dei physics streams
• Distribuzione output ricostruzione (ESD,
AOD,TAG) ai Tier-1
• Simulazione Monte Carlo
• Archivio di una frazione di AOD e TAG data
• Archivio dati utenti
• Analisi utente e di gruppo e sviluppo di codice
• Calibrazione e allineamento per sub-detectors di
interesse locale
Tier-1
Tier-3
• Accesso a lungo termine e archivio su tape di
un subset di RAW data
• Copia dei RAW data di un altro Tier-1
• Reprocessing della ricostruzione dei propri
RAW data con parametri di calibrazioni e
allineamenti finali e distribuzione AOD ai Tier-2
• Archivio su disco di tutti gli AOD e TAG data e
di una frazione di ESD data
• Archivio dati simulati prodotti nei Tier-2
• Simulazione Monte Carlo
• Analisi di gruppo
• Analisi locale e sviluppo di codice
• Archivio dati utenti
• (produzione e simulazione)
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
3
Configurazione del sito INFN-BOLOGNA-T3
Sito co-locato al Tier1 del CNAF
Stessa infrastruttura (elettricità, cooling, … )
Stessa rete (connessione esterna 20Gb)
Sito utilizzato da Atlas, CMS e LHCb
condivisione di Computing Element, Storage Element, servizi grid
Storage partizionato per esperimento, Worker Nodes condivisi
Storage:
150 TB su sistema StoRM/GPFS File System
Farm:
39 Worker Nodes 8-core di ultima generazione con batch system LSF
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
4
Attività di produzione e analisi (GRID)
Atlas SiteStatusBoard
Status delle code di analisi dei T3 italiani
Code testate con software HammerCloud (invio costante di jobs di tipo analisi)
La coda viene esclusa automaticamente se ci sono 3 fallimenti consecutivi in un’ora
Monitor costante. In caso di problemi, vengono inviate alert-email
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
5
5-Jun
12-Jun
19-Jun
26-Jun
3-Jul
10-Jul
17-Jul
24-Jul
31-Jul
7-Aug
14-Aug
21-Aug
28-Aug
4-Sep
11-Sep
18-Sep
2-Sep
2-Oct
9-Oct
16-Oct
23-Oct
3-Oct
06-nov
13-nov
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
13-nov
06-nov
3-Oct
23-Oct
16-Oct
9-Oct
5-Jun
12-Jun
19-Jun
26-Jun
3-Jul
10-Jul
17-Jul
24-Jul
31-Jul
7-Aug
14-Aug
21-Aug
28-Aug
4-Sep
11-Sep
18-Sep
2-Sep
2-Oct
WCT (K sec)
Attività di produzione e analisi (GRID)
140000
120000
100000
80000
produzione (sim MC)
60000
40000
analisi (prun)
20000
0
test (HC)
100%
40%
20%
0%
Mancano jobs local (bsub)!!
80%
60%
Da Ottobre:
modifica share 30-70
tra produzione e analisi
6
Attività di produzione e analisi (GRID)
0%
39%
20%
Share di utilizzo delle risorse
(tempo di running dei jobs) fra
i tier-3 della cloud italiana
1%
INFN-GENOVA
ZA-WITS-CORE
INFN-BOLOGNA-T3
T3-BO è il più performante in
Italia
(media giugno-novembre)
INFN-ROMA3
ZA-UJ
40%
11%
ZA-UJ
0%
6%
48%
INFN-T1
INFN-GENOVA
Share di tutti i siti della cloud
italiana
ZA-WITS-CORE
INFN-BOLOGNA-T3
17%
INFN-ROMA3
INFN-MILANO-ATLASC
BO-T3 detiene il 3%
INFN-NAPOLI-ATLAS
11%
(T1+T2s = 93%)
18/11/2011
INFN-FRASCATI
3%
3%
0%
INFN-BOLOGNA-T3 L. Rinaldi
1%
INFN-ROMA1
7
Traffico dati e utilizzo del disco
TRAFFICO IN USCITA
TRAFFICO IN ENTRATA
Occupazione spazio disco
Site ▾
Used(GB)
Free(GB)
Total(GB)
%
HOTDISK (DBReleases)
433
2865
3298
13
LOCALGROUPDISK (permanent storage)
3855
12637
16492
23
PRODDISK (output jobs production)
133
10862
10995
1
1334
9661
10995
12
SCRATCHDISK (output jobs analysis)
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
8
Attività di analisi (LOCAL)
Numero di jobs in locale
(Include jobs CMS)
Job eff. CPT/WCT e
utilizzo delle risorse
locali (WCT)
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
9
Attività di Ricerca Tecnologica
Abstract per conferenza CHEP2012:
Exploiting the WNoDeS framework to support local communities at the
CNAF Computing Center
WNoDeS: piattaforma per instanziazione di macchine virtuali, sviluppato al
CNAF
• Ottimizzazione e test con diverse modalità di accesso ai dati da VM
• Sviluppo e test di applicazioni su WNoDeS Virtual Interactive Pool (VIP)
interface (CMS)
• Test di PROOF-on-Demand su piattaforme WNoDeS (creazione dinamica
di farm virtuali per applicazioni di calcolo parallelo ottimizzate per l’analisi
dati)
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
10
Attività di Ricerca Tecnologica
Macchine reali
Macchine virtuali
Test HammerCloud (standard analisi su MC) su due code con nodi reali e virtuali,
Accesso ai dati senza copia sul nodo locale, file system montato sul nodo
Macchine virtuali mediamente 10% meno performanti, in programma test per ridurre il gap
Calo delle performance delle VM compensato da maggiore flessibilità nell’uso delle risorse
(es. T1 + T3  maggior numero di VM a disposizione degli utenti)
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
11
Richieste e Supporto
Per richieste (installazioni) e segnalazioni di problemi sulle macchine
Contattare [email protected]
Per problemi specifici atlas/grid/panda/DQ2
Usare le liste [email protected] (locale)
[email protected] (atlas-IT)
Lavori in corso:
o Priorità nelle code:
• riservate 4 slot per jobs interattivi (bsub)
• abilitazione del ruolo atlas/it (automatico quando si inizializza il proxy)
• incrementare priorità dei job “italiani” e limitazione sui jobs altri utenti
o Monitoring (mancano le statistiche di utilizzo grid vs local e per singoli exp)
o Migrazione progressiva ad ambiente virtuale (da concordare con CNAF e altri
esperimenti)
Grazie a tutti gli utenti per le continue interazioni, fondamentale per configurare
il sito in base alle esigenze degli utenti
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
12
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
13
Back Up
18/11/2011
INFN-BOLOGNA-T3 L. Rinaldi
14