Computing Model
ATLAS & CMS
Federica Fanzago (CMS) & Monica Verducci (ATLAS)
III Workshop Italiano della Fisica
di ATLAS e CMS
Bari, 20-22 Ottobre 2005
Sommario
„
„
„
„
„
„
„
„
Introduzione ad LHC
Descrizione del Computing Model
Data Flow
Trigger e Streams
Work Flow
Data e service challenges
Conclusioni
Items di discussione
Fanzago-Verducci
Computing Model Atlas & CMS
2
Large Hadron Collider LHC
Collisioni protone-protone
Energia fascio: 7 TeV
Luminosita': 1034 cm-2 s-1
(2007: 0.5*1033 cm-2 s-1; 2008/09: 2*1033 cm-2 s-1)
Sezione d’urto totale anelastica pp σtot(pp) = 70 mb
Frequenza bunch-crossing : 40 MHz
~ 20 collisioni p-p per bunch crossing
109 eventi/s =>1GHz
1 evento ~ 1MB
~PB/sec
Fanzago-Verducci
Sistema gerarchico di trigger
per riduzione dati
Sistema gerarchico di
calcolo per gestione dati
~MB/sec
~PB/anno raw data
Computing Model Atlas & CMS
3
Computing Model: perche’
„
Per far fronte ai problemi di gestione di questa grande quantita’ di dati
„
„
archiviarli (grande capacita’ di storage)
distribuirli
„
per garantire l’accesso ai dati ai fisici della collaborazione indipendentemente
dalla loro locazione
„
definire policy locali e globali per l’utilizzo delle risorse
„
per avere sufficiente capacita’ di calcolo
„
„
„
processing dati
analisi
produzioni dati simulati
Gli esperimenti LHC hanno deciso di utilizzare una architettura distribuita
basata sulla grid.
I servizi grid sono forniti da World Wide LCG Computing Grid (WLCG) che utilizza software di
EGEE (Enabling Grids for E-sciencE), di American Open Science Grid (OSG) e
NorduGrid
Fanzago-Verducci
Computing Model Atlas & CMS
4
Computing Model: cos’e’
Il Computing Model definisce:
„
„
„
„
„
„
„
„
„
Modello dei dati e come questi vengono distribuiti dalla presa dati all’analisi
finale
Architettura e gerarchia delle risorse
Policies di accesso dati e risorse dislocati geograficamente nei vari centri
Procedure di calibrazione e allineamento,
Processing e reprocessing dati reali
Come fare la produzione dei dati simulati in ambiente distribuito
Come fare l’analisi in ambiente distribuito
Tools che si interfacciano ai servizi grid
Come e quando fare i test dell’architettura, dei servizi e del modello dati
Il Computing Model stabilisce inoltre le performances che si vogliono
ottenere dal Computing System in ambiente distribuito, per permettere un
accesso veloce sia ai dati ricostruiti per effettuare le analisi durante la presa
dati sia ai RawData per servizi di monitoring, calibrazione e allineamento.
Fanzago-Verducci
Computing Model Atlas & CMS
5
CMS
Computing Model: architettura
distribuita
40 Mhz
40 Mhz
(1000 TB/s)
“bunch crossing” 25 nsecs.
Online System
(1000 TB/s)
Offline Processor Farm
1 evento ~ 1 MB
1 TIPS is ~ 25,000
Tier 0
SpecInt95 equivalents
ATLAS
CERN Computer
Centre
Alcuni dati usati per la
calibrazione e il monitoring
vanno ai centri Tier1 dedicati, e
poi ritornano al Tier0
Tier 1
France
Regional
Centre ~4 TIPS
Tier 2
Tier 3
Italy Regional
Centre ~4 TIPS
US Regional
Centre ~4 TIPS
Tier2 Centre
LNL ~1 TIPS Tier2 Centre
Tier2 Centre
Tier2 Centre
~1 TIPS~1 TIPS ~1 TIPS ~1 TIPS
I Tiers comunicano fra
di loro attraverso la
GRID!
Institute
Institute Institute Institute
~0.25TIPS
100-1000
MB/s
Physicist
workstations
Fanzago-Verducci
Computing Model Atlas & CMS
6
Online system: il Trigger
Scopo: ridurre la quantita' di dati filtrando gli eventi “non interessanti”
~PB/sec
ATLAS
••
••
••
••
40 MHz
Primary
Primary stream
stream
(tutto
(tutto l’evento
l’evento
dall’EF)
dall’EF)
Stream
Stream calibrazione
calibrazione
ed
ed allineamento
allineamento
Physics
Physics trigger
trigger
(tuning(tuning- express
express
line)
line)
Pathological
Pathological events
events
(evts
(evts non
non accettati
accettati
dall’EF)
dall’EF)
25ns
LVL 1
Detectors
Front end
pipelines
40 MHz
LVL 1
105 Hz
µsec
µsec
LVL 2
ms
3
10 Hz
105 Hz
••
Readout
buffers
••
Switching
network
••
LVL 3
Processor
farms
HLT
102 Hz
sec
Fanzago-Verducci
CMS
25ns
~MB/sec
~PB/anno
Computing Model Atlas & CMS
102 Hz
sec
10
10 Primary
Primary stream
stream
(50
(50 dataset)
dataset)
Stream
Stream di
di
calibrazione
calibrazione
Express-line
Express-line
stream
stream (contiene
(contiene
dati
dati da
da processare
processare
con
con alta
alta priorita’)
priorita’)
7
Calibrazione ed Allineamento
„
I processi di calibrazione e allineamento generano “non-event
data” necessari per la ricostruzione degli “event-data”.
„
Esistono diversi processi di calibrazione ed allineamento:
ATLAS
•Input Raw data possono
provenire direttamente
dall’event stream o essere
processati nel sub-detector
read-out system.
•A livello dei RODs (subdetector read-out system)
•All’interno dell’event filter
•Dopo l’event filter ma prima
della “prompt reconstruction”
•Offline dopo la “prompt
reconstruction”
Fanzago-Verducci
CMS
•Test di precalibrazione al Local
DAQ
Dagli event data:
•A livello di sub-detector
•Dopo DDU (Detector
Dependent Unit ) Readout
system
•Dopo event-filter farm
•Off-line
Computing Model Atlas & CMS
8
ATLAS Databases
Configuration Database e Condition Database
FrontEnd
ATLAS
Detector
Level1
Trigger
VME Crate
RODs
Detector Con. Sys.
•HV, LV
•Temperatura
•Allinemaneto
TCord
db
ROD
CONFIGURATION DB
ROSs
DCS
Manual
Input
Level2
Trigger
Configuration
Database
Conditions
Database
HLT/
DAQ
Monitor
data
DCS
Calib
Calib
ROD
CONDITION DB
Setup
Setup
DCS
System
Online
Calib.
farm
DCS
System
Geom.
Geom.
Event
Filter
HLT/D
AQ
Monitor
queries
Reco.
farms
Offline
analysis
ByteStream
Files
ATHENA code
Fanzago-Verducci
Computing Model Atlas & CMS
9
CMS Databases
Calibrazione / allineamento Stima = 90 TB /anno
Dati da usare nell’HLT
Poi copiati sul Tier 0 e replicati ai Tier1: necessari nei
riprocessamenti e nell’analisi
Online
Online Master
Master
Data
Data Storage
Storage
Sincronizzazione sulle
conditions
Offline
Offline Reconstruction
Reconstruction
Conditions
Conditions DB
DB
ONline
ONline subset
subset
Conditions
Calibration
Conditions
Configuration
Master Copy
no “event data”
al Tier0
Offline Reconstruction
Conditions DB
OFFline subset
Fanzago-Verducci
Computing Model Atlas & CMS
10
Ruolo dei Tiers
TIER 0
Trigger
Trigger
Event
Event Filter
Filter
ATLAS ~ 10
TIER 1
CMS ~ 6
CER
CER
N
N
Tier-0 al CERN: archivia tutti i dati
dell'online (RAW) e ne fa una prima
ricostruzione (RECO/ESD). Conserva i
dati per la calibrazione. Dal Tier 0 i
RECO+RAW vengono distribuiti ai
Tier-1’s
CNAF
Tier-1: archiviano i dati e forniscono
servizi per la simulazione, ricostruzione,
calibrazione e skimming (AOD).
Gli AOD vengono trasferiti ai Tier2
ATLAS ~ 40
TIER 2
CMS ~ 25
TIER 3
Rate
[Hz]
RAW
ESD AOD Monte
RECO
Carlo
[MB] [MB] [kB] [MB/evt]
ATLAS
200
1.6
0.5
100
2
CMS
150
1.5
0.25
50
2
Fanzago-Verducci
Tier-2: simulazione per computing system
commissiong, copia degli AOD per analisi
con diversi sistemi di streaming, campioni di
eventi in formato RAW e ESD per calibrazioni
e sviluppo algoritmi di ricostruzione,
calibration centers
Tier-3: Analisi dati utenti
Computing Model Atlas & CMS
11
La grid: middleware LCG
UI
Job submission
tools
Principali componenti del
middleware lcg
„
„
„
„
„
„
„
Virtual Organizations
(CMS,ATLAS,ecc)
Resource Broker (RB)
Replica Manager
(RLS)
Computing Elements
(CEs)
Storage Elements
(SEs)
Worker nodes (WNs)
User Interfaces (UIs)
Query for
Information matchmaking
Service
collector
Resource Broker (RB)
Query for
data
Data location
system
CE
SE
SE
Fanzago-Verducci
Workload
Management
System
SE
Computing Model Atlas & CMS
12
Tool di esperimento interfacciati ai
servizi grid
Gli esperimenti stanno sviluppando i propri tools per la produzione dei dati
simulati (MC) e per l'analisi distribuita interfacciandosi ai servizi forniti dalla grid
CMS
ATLAS
DATA MANAGEMENT
DDM e DQ2
RefDB/PubDB->DBS/DLS
AMI
MCRunJob
AtCom, GANGA, RAT
Distributed Software
Installation
XCMSI
No UI, ProdSys
Analysis Job Submission Tool
CRAB
AtCom, GANGA, RAT
BOSS
MDS, AtCom
Monalisa
P. manager, Monalisa
PRODUCTION
Production Job Submission
Tool
ANALYSIS
MONITORING
Application Monitoring
Dashbord
Fanzago-Verducci
Computing Model Atlas & CMS
In via di
Data Publication service
sviluppo
PhEDEx
Data Transfer service
13
Computing Model Commissioning
E’ importante per gli esperimenti verificare più volte nel tempo la
fattibilità e la scalabilità dell’intero sistema (infrastruttura,
software, data management, data workflow), con livelli di
complessità via via sempre più prossimi alle condizioni che si
avranno allo startup di LHC.
„
Gli esperimenti, con i data e service challenges, vogliono
valutare la robustezza e la scalabilita' dell'intero sistema
„
Data Challenges
Service Challenges
„
Fanzago-Verducci
Computing Model Atlas & CMS
14
Data Challenges Passati: ATLAS
„
ATLAS DC 1
Lug 2002-Mag 2003
„
Organizzazione delle risorse disponibili (hardware e
persone): primo approccio all’uso della grid
„
„
„
„
„
„
Mostrato la necessità di un sistema integrato
Richiesta di più manpower
Tests sul software grid
Massiccia produzione di dati per HLT e Physics Workshop
Dimostrata la possibilità di poter simulare, ricostruire e
salvare su disco all’interno di una struttura distribuita.
Circa 15M eventi sono stati generati con Geant3 (fortran),
40 M di eventi ‘single-particle’ per un volume totale di
70TB.
Fanzago-Verducci
Computing Model Atlas & CMS
15
ATLAS DC 2 Mag 2004-Gen 2005
ƒ
ƒ
ƒ
SCOPO:
ƒ Largo uso del GRID middleware e dei suoi tools (Tier 0 exercise)
ƒ Analisi di fisica a grande scala
ƒ Studio del computing model (fine 2004)
ƒ Produzione intensiva su LCG-2
RISULTATI:
ƒ Circa 15M eventi generati con Geant4, ovvero 40TB di dati
raccolti in 200000 files. Sono state usate le tre GRIDS:
LCG/Grid3/NorduGrid nel rapporto 40/30/30% con un’efficienza
globale del 60%.
ƒ Il trasferimento dati al CERN è stato effettuato via DQ, con una
media di 2-3000 files al giorno, 50 GB/giorno, che è stata poi
portata a 100000 files al giorno (1.5 TB/giorno).
PROBLEMI:
ƒ
ƒ
ƒ
ƒ
Tier 0 exercise ridotto per mancanza di risorse software
Problemi di Stagein/out, trasferimenti di files
Il Central Production database Oracle, lenta risposta
Problemi con LCG information system, connessioni perse ,
lentezza del Resource Broker (limitati jobs per giorno)
Fanzago-Verducci
Computing Model Atlas & CMS
16
Rome Workshop & Test Beam (2004)
Simulazione di ATLAS e 2004 Combined Test Beam
„
„
Produzione per l’ATLAS Physics Workshop
Fanzago-Verducci
8000
prod
e
Rom
7000
DC2
6000
5000
4000
3000
2000
1000
Computing Model Atlas & CMS
7/25/2005
6/25/2005
5/25/2005
4/25/2005
3/25/2005
2/25/2005
1/25/2005
12/25/2004
11/25/2004
0
10/25/2004
„
Jobs per
day
jobs per
day on the LCG-2
infrastructure
9/25/2004
„
Circa 5 M di eventi sono stati
generati, simulati, digitizzati ed
infine ricostuiti (AOD, ESD),
173 differenti canali di fisica
alcuni con pile-up.
Problemi umani connessi alla
registrazione manuale all’interno
del Production System, limitato
trasferimento di files dovuto a
Castor (mass storage system).
Differenze con il DC2: Condor G
(esecutore LCG) -> 12000 jobs
8/25/2004
„
7/25/2004
„
Test delle procedure di calibrazione e allineamento
Circa 9 M di eventi (50 kB per evento) per un totale di 4.5
TB collocati in Castor
6/25/2004
„
17
CMS EDG stress test 2002
Primo tentativo di produzione dati in ambiente grid (EDG 1.3.4)
„
Scopo:
„
„
„
„
valutare il livello di maturità del middleware EDG
capire se EDG risponde alle esigenze di produzione dell’esperimento
scoprire problematiche, misurare prestazioni
valutare tool per interfaccia utente e per monitoring risorse e job
„
Risultato: sono stati prodotti ~260K eventi MC in tre settimane
(10500 job sottomessi). Efficienza grid ~50-90% a seconda del
tipo di job (durata, input-output)
„
Problemi evidenziati: il test è stato “difficile” perché il primo in
ambiente distribuito. Molti parametri in gioco, persone non molto
esperte
„
„
Eccessivo bisogno di supporto alle risorse e servizi
Particolarmente debole RB ed Information Service
Fanzago-Verducci
Computing Model Atlas & CMS
18
CMS DC04 marzo-aprile 2004
„
Scopo: dimostrare la fattibilita’ della catena:
Ricostruzione dati al T0, 25Hz (25% del rate previsto allo startup)Æ 35 M ev.simulati
(PCP)
„ Registrazione dati nel Replica Catalog (RLS)
„ Trasferimento dati ai T1 e T2
In ambiente
„ Analisi dati sincrona con il trasferimento
grid (LCG)
„ Pubblicazione nel catalog degli output dell’analisi
„
„
Risultato: DC04 ha raggiunto l’obiettivo della ricostruzione e dell’analisi sincrona al rate di
25Hz . In particolare:
„
25 M eventi ricostruiti (DST) ~6TB dati; 10M eventi analizzati
15000 job di analisi sottomessi in due settimane; 90-95% efficienza grid
„ 20 minuti tra ricostruzione T0 e inizio analisi T1
„ 2 minuti ritardo introdotto dalla grid nell’esecuzione job
„
„
Problemi evidenziati:
„ catalogo centrale (RLS) troppo lento in scrittura e lettura, non soddisfa le esigenze
dell’esperimento.
„ Risorse e servizi necessitano controllo costante.
„ Sistema in generale complesso per essere utilizzato da un utente non esperto
Fanzago-Verducci
Computing Model Atlas & CMS
19
Data and Service Challenges Futuri:
ATLAS
„
Durante questo autunno, si testerà (SC3) il Production System
„
„
„
„
A fine anno, comincerà la “pre-production” per il DC3 (CSC)
„
„
„
„
„
Produzione nel Tier0 con trasferimento dati ai Tier1
Produzione MonteCarlo distribuita che permetterà di testare il
trasferimento dal tier1 al Tier2 in entrambe le direzioni.
DQ->DQ2: Dataset Selection Catalog + Logical Replica Catalog
La mole di dati sarà di un ordine di grandezza maggiore di quella del
DC2
Tests su: scalabilità del Tier-0, distribuzione dei dati, e analisi
distribuita, offline trigger software
Molti users
Ultima possibilità per validare il software e il computing system prima
dei dati veri
Cosmic rays a fine anno:
„
„
Test di calibrazione e accesso ai database
Simulazione di eventi di cosmici per analisi
Fanzago-Verducci
Computing Model Atlas & CMS
20
CMS e LCG SC3: challenge in corso
LCG SC3 e’ un service challenge a cui partecipano tutti gli
esperimenti LHC.
E’ divisa in due fasi:
„
fase “throughput” (luglio 05): test trasferimento dati tra T0 - T1
- T2.
CMS usa PhEDEx come tool di trasferimento
„
„
„
fase “service” (da settembre fino fine anno): non solo
trasferimento dati ma anche test sui tools e sul computing
model di esperimento
„
„
„
„
PhEDEx si interfaccia con diversi protocolli di
trasferimento:GSIFTP e SRM (nasconde varie tecnologie di
storage, dpm, castor, dcache)
PhEDEx scrive su un LCG-POOL catalog locale,backend
MySQL, per creare cataloghi file
data management con pubblicazione dati su PubDB e RefDB
workload management con creazione e sottomissione job analisi
(via CRAB) e produzione
test integrazione PhEDEx con LFC (catalogo grid) per
pubblicazione dati
Problemi: e’ stato necessario debugging del servizio castor-2 al
CERN.
Fanzago-Verducci
Computing Model Atlas & CMS
21
CMS Challenge futuri
Cosmic challenge (06):servirà a testare i moduli installati
acquisendo i dati dei cosmici.
Dal punto di vista del computing:
„
„ Verra’
usato il nuovo framework
„ Possibile test sul data management e job workflow Æ ricostruzione
dati, trasferimento ai Tiers e pubblicazione sui DB per futura analisi.
L’obiettivo principale è il test dei rivelatori.
„
SC4 (06): service challenge di tutti i servizi che verranno usati allo
startup. Le produzioni MC e l’analisi fatte nel challenge serviranno
per il P-TDR.
„
CSA (06) Computing, Software, Analysis: test completo di tutta la
catena del computing dalla presa dati all’analisi finale. Si vuole
verificare che software e servizi siano pronti per la presa dati.
Verranno prodotti milioni di eventi. I Tier1e2 dovranno girare job di
analisi sui dati trasferiti e calibrazioni.
Fanzago-Verducci
Computing Model Atlas & CMS
22
Attività prevista nei centri italiani
(ATLAS)
ƒ Ricostruzione:
ƒ Muon Detector (LE, NA, PV), Calorimetri (MI, PI), Pixel Detector (MI)
ƒ
Calibrazioni/allineamento/detector data:
ƒ MDT (LNF, RM1-3), RPC (LE, NA, RM2), Calorimetri (MI, PI), Pixel
Detector (MI)
ƒ Cond. DB (CS), Det. Descr. DB (LE, PI), Det. Mon. (CS, NA, UD)
ƒ Studi di performance:
ƒ Muoni (CS, LE, LNF, NA, PI, PV, RM1-2-3)
ƒ Tau/jet/EtMiss/egamma (GE, MI, PI)
ƒ Analisi:
ƒ Higgs sia SM che MSSM (CS, LNF, MI, PI, PV, RM1)
ƒ Susy (LE, MI, NA)
ƒ Top (PI, UD)
ƒ Fisica del B (CS, GE, PI)
Tier 1: CNAF
Tier 2: Milano, Roma
1, Frascati, Napoli
Tier1
ƒ Simulazioni connesse alle attività suddette
ƒ Studi sul modello di analisi
ƒ VOMS e Lexor sono prodotti italiani!
Fanzago-Verducci
Computing Model Atlas & CMS
23
Attività prevista nei centri italiani
ƒ
ƒ
ƒ
ƒ
(CMS)
Ricostruzione:
ƒ
ƒ
ƒ
Muon DT - Torino, Padova, Bologna
Muon RPC - Bari, Napoli Ecal - Roma1, MilanoB
Tracker - Pisa, Firenze, Perugia, Catania, Bari
Tier 1: CNAF
Tier 2: Legnaro, Pisa, Roma, Bari
Calibrazioni/allineamento/detector data:
ƒ
ƒ
ƒ
ƒ
ƒ
Muon DT - Padova, Torino
Muon RPC - Ecal - Roma1, MilanoB
Tracker - Bari, Pisa, Firenze
Condition DBs : ECAL - Roma1
Detector monitoring :Tracker - Pisa, Bari : Muon - Bologna : Ecal - Trieste, MilanoB
Studi di performance:
ƒ
ƒ
ƒ
Muon (DT + RPC) - Padova, Torino, Bologna, Bari, Napoli
Ecal - Roma1, MilanoB
Tracker - Pisa, Firenze, Bari, Perugia
Analisi:
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
Higgs sia SM che MSSM - Firenze, Bari, Roma1, Padova, Bologna, MilanoB, Perugia,
Napoli, Pavia, Pisa, Torino
Susy - Catania, MilanoB, Bari, Pisa
Top - Pisa, Bologna
b-physics - Firenze, Napoli, Pisa, Perugia
SM Z/W - MilanoB, Roma1
QCD - Perugia, Bologna
Fanzago-Verducci
Computing Model Atlas & CMS
24
Conclusioni
„
„
„
„
„
L’enorme quantità di dati che verranno prodotti dagli
esperimenti LHC quando entreranno in funzione
richiederanno un sistema di calcolo gerarchico e
distribuito basato sulla grid.
Gli esperimenti stanno testando con challenges di
complessità crescente la solidità e la maturità del
computing model per arrivare pronti allo startup.
I challenges finora fatti, mettendo in evidenza
problematiche e colli di bottiglia, hanno permesso
al sistema di evolvere e di ridurre gli errori di
sistema ed umani che avevano caratterizzato i primi
tests.
Alcuni aspetti sono ancora in fase di studio …
Discussione Æ
Fanzago-Verducci
Computing Model Atlas & CMS
25
Items di discussione
„
„
„
„
„
CMS ed ATLAS sono due progetti molto simili fra loro, le
differenza esistenti appartengono ai diversi usi che hanno
fatto della grid: CMS ha sviluppato alcuni propri tools,
soprattutto interfaccia utente, contrariamente ad ATLAS
che si affida ‘quasi’ completamente ad LCG
Da un punto di vista dell’utente finale: e’ veramente ‘userfriendly’ usare la grid?
Alla luce dei risultati dei challenges, un punto problematico
per entrambi gli esperimenti sembra essere il datadiscovery. Come viene affrontato nelle due realtà.
Quanto devono essere associati i challenges di computing
con quelli di fisica, ad esempio nel prossimo cosmic
challenge?
Quando e’ giusto fare un service challenge? A che livello
di maturità dei tools, per evitare debugging o vero e
proprio sviluppo?
Fanzago-Verducci
Computing Model Atlas & CMS
26
Back up
Fanzago-Verducci
Computing Model Atlas & CMS
27
Fanzago-Verducci
Computing Model Atlas & CMS
28
CMS data movement
‰ Data vengono spostati dal Tier 0 ai Tier
1 e Tier 2 con PhEDEx
~100 MBytes/sec
RefDB
CERN Computer Centre
Tier 0
PhEDEx
France Regional
Centre
Germany
Regional Centre
Italy Regional
Centre (CNAF)
FermiLab
PhEDEx
ValidationTools
Tier 2
Bari
Bologna LNL Padova
PubDB
Local
catalogues
Fanzago-Verducci
Una volta trasferiti i dati vengono validati
e pubblicati nei catalogo locale
Computing Model Atlas & CMS
29
What is PhEDEx?
A data distribution management
system
„ Used by CMS
„
Blends traditional HEP data
distribution practice with more
recent technologies
„ Grid and peer-to-peer
filesharing
„
Scalable infrastructure for managing
dataset replication
„ Automates low-level activity
„ Allows manager to work with
high level dataset concepts
rather than low level file
operations
„
Technology agnostic
„ Overlies Grid components
„ Currently couples LCG, OSG,
NorduGrid, standalone sites
•Two principle use cases- push and pull of data
„
‚Raw data is pushed onto the regional centres
‚Simulated and analysis data is pulled to a
subscribing site
Fanzago-Verducci
Computing Model Atlas & CMS
By T.Barrass
30
ruolo dei tiers negli esperimenti
CMS CAF Functionality:
CERN Analysis Facility: development of the CERN Tier-1 / Tier-2
Integrates services associated with Tier-1/2 centers
Primary: provide latency-critical services not possible elsewhere
Detector studies required for efficient operation (e.g. trigger)
Prompt calibration ; ‘hot’ channels
Secondary: provide additional analysis capability at CERN
Fanzago-Verducci
Computing Model Atlas & CMS
By P.Capiluppi
31
CRAB analisi distribuita...
Fanzago-Verducci
Computing Model Atlas & CMS
32
CMS:analisi distribuita…come sara’
CRAB
CRAB: tool per la creazione e la
sottomissione di job di analisi.Permette
agli utenti di girare il proprio codice di
analisi su dati remoti come se fossero in
locale
Dataset Bookkeeping System: sa che dati
esistono. Contiene descrizione dati
specifiche di CMS. Non contiene
informazioni sulla locazione dei dati
Completa responsabilita di CMS
Data Location Service: sa dove sono I dati.
Mappaggio tra file-blocks (data location
unit) e SE.
Local File Catalog: sa dove sono
fisicamente i dati e con quale protocollo
accederli.
Fanzago-Verducci
Computing Model Atlas & CMS
33
CMS Production System
Yes! Here’s what I
want:
1.
Cross section
2.
N events
3.
Ntpl size
4.
Ntpl location
RefDB
I want to monitor
1.
Cross section
2.
N events
3.
Ntpl size
4.
Ntpl location
So, here’s my
template
Template.sh
Script
generator
(MCRunJob)
Job Monitoring
Std output
CE
Fanzago-Verducci
Computing Model Atlas & CMS
By M.Corvo
34
ATLAS production System
Data Man.
System
ProdDB
AMI
Don Quijote2
Eowyn
LCG
exe
Condor
exe
NG
exe
Panda
Dulcinea
Lexor
RLS
LCG
Fanzago-Verducci
RLS
NG
OSG
exe
(Grid3)
OSG
Computing Model Atlas & CMS
LSF
exe
RLS
LSF
35
Data Management System ATLAS
Fanzago-Verducci
Computing Model Atlas & CMS
36