ATLAS High Level Trigger/DAQ
INFN and Univ. di Genova, Lecce, LNF, Napoli, Pavia, Pisa, Roma1, Roma2, Roma3
S.Falciano - INFN Roma1
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Outline
•
Breve status report del TDAQ di ATLAS con particolare riferimento al
progetto HLT/DAQ e ai contributi italiani.
•
Attività del 2004
•
Attività prevista per il 2005
• Aggiornamento sul lavoro svolto
• Milestones 2004
• Piano finanziario : richiesta di sblocco s.j. CORE
•
•
•
•
Sviluppi HLT/DAQ
Commissioning
Milestones 2005
Richieste finanziarie
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Attività prevista nel 2004
•
Integrazione completa di tutte le componenti del LVL1 ad H8 (Muon+MUCTPI,
Calo, CTP)
•
Integrazione del LVL2 e EF nel Test Beam Combinato ad H8
•
Integrazione ad H8 di LVL1+LVL2+EF con elx dei rivelatori e il DAQ; run a 25 ns
con trigger di primo livello generato dall’elettronica che funzionerà in ATLAS
(LVL1 Calo+Muon + CTP) (“pipelined” mode).
•
ROD Crate DAQ per tutti i rivelatori (H8 e Commissioning)
•
Monitoring dei rivelatori e del trigger : infrastruttura e applicazioni
•
Test del software e delle configurazioni di trigger in laboratorio utilizzando i
Testbed
•
Definizione e acquisto della “pre-serie” di HLT/DAQ ossia il “Modulo-0”.
In parallelo :
•
Sviluppi degli algoritmi di trigger per Muoni (Muon Slice) e Pixel
•
Studi di Trigger Performance (rates, capacità di reiezione del fondo, etc.)
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Attività svolta nel 2004
•
Per quanto riguarda il trigger di muoni di Livello-1 nel barrel, nel 2004 sono stati
prodotti e collaudati i prototipi finali delle PADs, e' iniziata la produzione finale delle
Splitter boards, e' stato realizzato, collaudato e integrato il prototipo finale di Link
ottico e infine completato il disegno finale della Sector Logic e del ROD backplane.
•
Per il sistema HLT/DAQ ci si e' concentrati sull'integrazione del trigger di Livello-2 e
dell'Event Filter nel Testbeam Combinato ad H8, lavoro attualmente in corso e gia'
funzionante a fine luglio per gli aspetti di Data Flow e di Online Software. E' in corso
l'integrazione degli algoritmi di trigger - con il meccanismo di steering previsto per
l'esperimento - e di quelli di monitoring e di calibrazione. Si e' infine integrato il
readout dei Pixel nel DAQ ad H8.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Portable HLT “mini” testbeds
L2+EF testbed
Input file
Contains the LVL2
result that
steers/seeds the
EF processing
ROSE
ROB ROB
L2SV
L2PU AthenaMT
pROS
ROB
LVL2 & EB
Networks
DFM
• EF testbed
• can be implemented in a single host
• used to test the EF algorithms
• L2+EF testbed
• requires 2 hosts
• used to test the pROS communication between L2
EF algos (the HLT slice online)
CSN1algos
Assisiand
- 23/09/2004
EF testbed
Input file
SFI
Emulator
SFI
EFD
SFO
AthenaPT
S.Falciano - INFN Roma1
Software HLT
•
Il software HLT combina 4 progetti software in uno, con complicate interdipendenze
– I due package DAQ (Online and Dataflow)
– “Offline” e “HLT” releases
•
Riuso del software offline negli HLT
•
Piani futuri
– Beneficia del framework flessibile, dei servizi e degli algoritmi comuni
– Stabilità versus nuove features
– Sono previsti ulteriori step di ottimizzazione basati sui risultati dei testbed di
larga scala e del testbeam
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
HLT Event Selection Software
HLT Data Flow Software
Event Filter
HLT Selection Software



HLTSSW
Processing
Task
Framework ATHENA/GAUDI
Reuse offline components
Common to Level-2 and EF
HLT Core Software
Steering
Level2
Monitoring
Service
HLT Algorithms
L2PU
Application
Data
Manager
ROB Data
Collector
HLT
Algorithms
Event Data
Model
<<import>>
Athena/
Gaudi
<<import>>
<<import>>
<<import>>
StoreGate
Event Data
Model
Reconstr.
Algorithms
Offline Core Software
CSN1 Assisi - 23/09/2004
MetaData
Service
Offline Reconstruction
Offline algorithms used in
EF
Package
Interface
Dependency
S.Falciano - INFN Roma1
LVL2 Muon Trigger:
mFast speed
increase
Av. total
time 2 ms
•
Main improvement comes from RPC and MDT data preparation:
•
Small improvement in algorithm time too
•
Data preparation and mFast now take about 1 ms each, total time about 2 ms.
– Better use of roads defined by LVL1 trigger
– total data-preparation time reduced to ~800 ms
– fewer MDT hits to handle and process saves ~60 ms
– Network data access time an additional ~0.2ms
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
EF muon trigger: Trig•
Nuovo rispetto ai risultati del TDR
•
Validata la ricostruzione di nuovi dati G4
con Trig-Moore (EF)
•
Esempio di algoritmo di ricostruzione
offline adattato dagli autori per lavorare
in una regione di interesse guidata dai
risultati del LVL2 (“seed”)
•
Intera slice LVL1-LVL2-EF validata con
“seeding” :
• LVL1 RoIs seeds LVL2
• LVL2 result (LVL2 muon track
encoded in raw “byte stream”
format and appended to event
data) seeds EF
• EF unpacks this as part of the
raw event and creates the seed
objects
CSN1 Assisi - 23/09/2004
Pt = 100 GeV
h < 2.7
•
pT resolution from Geant4 simulation
•
Timing: ~150/280 ms (20/200 GeV muon)
S.Falciano - INFN Roma1
HLT at the Combined Test Beam
•
Two roles:
•
Aim
•
Status
•
New ATLAS DB project set up : trigger and DAQ part of it.
– Service
• Run monitoring algorithms in the LVL2 and EF farm.
• Coherent histogram monitoring across the HLT system
– Client
• Aim to have the 2 slices (muon and e/) running from LVL1 to LVL2 and EF
– Test as many aspects of the system as possible and collect enough information to
evaluate the integration issues ahead of us
– LVL2 muon trigger being tested on simulated TB data (June)
– LVL2 dataflow integrated into the test beam muon readout chain (July)
– EF processing task running Athena (July-August)
• tested remotely in test bed at Barcelona and on testbeam data in Pavia
– Have a complete trigger dataflow test chain in place LVL1LVL2EF (End of
August)
– Full Muon slice in preparation : ready this week? Now a sort of “monitoring
algorithm” is collecting and decoding data, fills and display histograms of MDT and
RPCs
– Use of Muon ATLAS DB to exercise the access to configurations and conditions in
place from LVL1 to offline software.
CSN1 Assisione
- 23/09/2004
S.Falciano - INFN Roma1
LVL1-LVL2-EF-DAQ vertical slice
LVL2
L1 Muon
LVL1
HLT mini-rack
L1 Calo
FileServer
CTP
RoIB
L2 Supervisors
LVL1A
Detector
L2 Processors
pROS
R
C
C
R
O
D
…
R
O
D
ROL
…
ROL
R
C
C
R
O
D
…
ROL
R
O
D
Switch
EF Processors
ROL
ROS
ROS
DFM
SFI
SFO
Event Filter Control+ EB
EF
Event Filter
MAGNI
cluster
TB T/DAQ chain
LVL1
RoIB
ROD
ROD R
ROB
O
ROB S
ROD
ROD R
ROB
O
ROB S
L2SV
Contains the LVL2
result that
steers/seeds the
EF processing
pROS
ROB
L2PU AthenaMT
LVL2 & EB
Networks
L2PU AthenaMT
SFI
DFM
AthenaPT
AthenaPT
CSN1 Assisi - 23/09/2004
EFD
EFD
SFO
AthenaPT
AthenaPT
S.Falciano - INFN Roma1
EF Data Flow
LVL2 Processing Unit
EFP
SFI
Input
Task
EFD
Sorting
Task
LVL2 Processing Task
Event
Queue
LVL1
Result
Input
Handler
Event
Selection
Threads
LVL1
Result
PT
Counting
Task
PreProc.
Task
PT
ExtPTs
Task
ExtPTs
Task
Histogr.
Task
PostProc.
Task
LVL2Supervisor
PT
LVL2
Result
PT
PT
Output
Task
CSN1 Assisi - 23/09/2004
SFO
S.Falciano - INFN Roma1
CSN1 Assisi - 23/09/2004
DAQ Run Control showing the
L2 partition up and running
S.Falciano - INFN Roma1
with L1, RPC and MDT
Event Display
Data from TB Run 600610
Muon setup: RPC + MDT
Trigger: Hodoscope
C
o
u
nt
in
g
Distribution of the hit
MDT tube and RPC
strips in the Z-T plane
r
o
o
m
RPC Overlapping
geometry is seen
Hodoscope is positioned here
CSN1 Assisi - 23/09/2004
Beam
S.Falciano - INFN Roma1
Beam profile
• Beam profile in the
BML station.
• Correlation between
RPCs and MDT is
seen.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
MDT hit tube residual
m
(mFast MDT pattern recognition)
BIL chamber:
muon track hits are insid the peak
T
Z
Compute Z of the hit tube
centre; no use of drift time
measurement.
Z = (S Z
tube)/n.
hit tube
Then compute the hit tube
residual:
DZ = Z tube – Z
Commissione I - 3/5/2000
check the MDT data quality: electronic
noise will broad the
s =distribution.
Wire Pitch x
cos(15°)data
Check the MDT data decoding: MDT
with low noise, must have the residuals
peaked with the expected s.
RPC-MDT Z correlation
Compute the residuals between RPC and MDT clusters in BML and BOL.
Z RPC 2
m
m
Z RPC 3
Z MDT
T
T
Z MDT
Z RPC 1
Z
DZ
= Assisi
(Z RPC
CSN1
- 23/09/2004
2 + Z RPC 1)/2 – ZMDT
Z
DZ = Z RPC 3S.Falciano
– ZMDT
- INFN Roma1
RPC-MDT Z correlation
The s is better
thanks to the two
RPC stations.
cluster size
effects in the
third RPC.
Residuals distributions shows correlation between RPC and MDT clusters. mFast
CSN1
Assisi -recognition
23/09/2004 is working!
S.Falciano - INFN Roma1
pattern
Examples of Moore algs at the CTB
Moore Algs are being currently used
for the EF and TB data offline analysis:
s = 61 mm
Residuals of the segments fit
Barrel sagitta (average: misalignment,
width: resolution)
s(sag) 63 mm
CSN1 Assisi - 23/09/2004
mm
S.Falciano - INFN Roma1
DAQ nel Combined Test Beam
•
Items:
•
Aim
•
Status
– New Data Flow and Online Software releases
– Integration of LVL1 and HLT (configuration, control, data collection, etc.)
– Monitoring based on Information Service (Online Software) and Gatherer (for HLT
to handle histos from a farm)
– Test as many aspects of the system as possible and collect enough information to
evaluate the integration issues ahead of us
– Detector integration (ROD Crate DAQ)
•
•
•
•
•
•
•
•
•
•
Pixel
integrated
SCT
problems with ROD, expected to be solved soon
TRT
integrated
LAr
integrated
Tile
integrated
MDT
integrated
RPC
integrated
TGC
integrated
LVL1 muon integrated
LVL1 calo integrated in lab, partially integrated at H8 in August
– Detector Monitoring : done for Tile and MDT, RPC and Pixel in progress
– HLT integration done (Data Flow and Online control)
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
ROD Crate DAQ
• Read-out dei rivelatori splittato su due componenti viste dal DAQ :
– ROD Crate (responsabilità Hw/Sw : Rivelatore)
– ROS (responsabilità Hw/Sw : DAQ)
– Nuova implementazione Hw del ROS basata su PC invece che VME
– Nuova implementazione del Sw del ROD Crate (ROD Crate DAQ) ora di
responsabilità DAQ. Ciò uniforma la DAQ Locale nel ROD Crate per tutti i
Rivelatori (supporto centralizzato per local processing, configurazione, event
sampling, etc.)
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
RCD and ROS
F.E. Electronics
Event sampling &
Calibration data
R
C
P
LAN (GbEth.)
VME bus
Config & Control
Event sampling &
Calibration data
ROLs
ROD Crate
Workstation
ROS Fragments
ROD Fragments
NIC
PCI bus
…
ROBIN
ROBIN
•Total number of ROD crates:
90
•Total number of ROS PCs :
144
•Total number of racks :
~15”
==>All in USA15 (underground)
… ROD Crates
R R R R
O O O O
D D D D
ROBIN
Config & Control
Event Fragments
(Detector specific)
GbEth.
… ROS PCs
ROB Fragments
L2 & Event Builder Networks
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
CTB – Pixel Commissioning
Rod + TIM + SBC nel
crate VME
Modulo
PP0 con
Optoboard
Boc
S-Link
fibre ottiche I/O
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Pixel DAQ @ 100 kHz
Il firmware del ROD è stato
debuggato e molti problemi sono
stati capiti e risolti.
Il Pixel ROD è ora in grado di
gestire un flusso continuo di dati a
100 kHz e di gestire correttamente
la backpressure applicata dal ROS
Module readout link @ 40 Mb/s
Hits dal rivelatore
LVL1 accepts
ROD Busy – tempo morto
indotto dalla scrittura dati su
disco a livello del ROS
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
CTB – Pixel detector
Pixel Box contenente
sei moduli
beam
beam
On-line monitor
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Requirements on Monitoring System
Monitoring can be done at all trigger levels
ROD
LVL1
ROS
LVL2
EVFLT
SFI
SF0
Different monitored information
HW status
CSN1 Assisi - 23/09/2004
physics quantities
(invariant masses,
Eflow ...)
S.Falciano - INFN Roma1
ROD
EMS
LVL1
ROS
EMS
LVL2
SFI
EMS
Event Monitoring
Monitor overall structure
Event Filter
Event
Filter
Athena
Event
Filter
Athena
Athena
SF0
CSN1 Assisi - 23/09/2004
MP
MP
Commands to
MPs
OHistogram
Service
MP
MP
Operational
monitoring
display
(trigger
rates,...)
Gatherer
Info
Provider
Information
Service
S.Falciano - INFN Roma1
Strategy for Monitoring
MP
Event Monitoring
File on
disk
EFS
EMS
ROS
CORE
User lib
User lib
User lib
Commands to
MPs
OHistogram
Service
Monitoring
Process
File Sampler
Event Monitoring Sampler
Online
Histogramming
Service
Read Out System
Detector Groups
CSN1 Assisi - 23/09/2004
DAQ/Online SW
Group
Interactive
Presenter
Monitoring
S.FalcianoGroup
- INFN Roma1
Status of the project & people involved
 A first version of the complete chain is
working at the Combined Test Beam
 User Detector groups are Pixel,Tilecal,
MDT, RPC, Beam
Monitoring Developers : P.
Adragna, A. Dotti, R. Ferrari,
C. Roda, W. Vandelli, F.
Zema.
 Hope to integrate more detectors during
CBT (SCT,...)
DAQ support : M. Caprini, S.
Kolos.
 Ongoing developments on reference
histograms, trigger selection, automatic,
storing of histograms...
Users : M. Alviggi, I. Boyko,
M. Brinet, D. Dedovitch, M.
Della Pietra, L. Santi & people
from Monitoring Developers.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Monitoring demonstration
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Monitoring at CTB – Tile + Beam
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Milestones 2004
•
Le milestones scelte implicano lo svolgimento del lavoro della Collaborazione
italiana secondo :
– i piani del progetto globale TDAQ (e le sue milestones)
– step di complessità crescente e passaggi importanti sotto controllo
– sviluppi generali che facilitano il lavoro d’integrazione di componenti simili (ad
esempio i vari rivelatori)
•
Marzo 2004 : Integrazione Livello-2/Event Filter/DAQ su Testbed al CERN
con Livello-1 in emulazione (algoritmi di trigger e HLT software framework
descritti nel Technical Design Report) -> OK
•
Ottobre 2004 : Integrazione Detector/Livello-1/Livello-2/Event Filter/DAQ
su Testbeam in modalità combinata (Pixel+LAr+Tile+MDT+RPC)
-> In progress (~ 50%)
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Pre-series : When and where
•
LHCC milestone
– Pre-series system installed and ready to be used
--> Finalise technical specification
Purchase
Installation
31.03.2005
Now
4Q04
1Q05
•
Several locations considered
– Bdgs 32 - 40 - 513 and Point-1
•
Point-1 preferred
– The most realistic one (ROS rack in USA15, the rest in SDX1 as for final)
– No extra investment required
– Validate ALL functionality aspects, including real infrastructure
– Assess readiness of infrastructure ~ 6 months earlier than required
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Pre-series : purpose and scope
•
Pre-series System defined as
– Fully functional, small scale version of complete HLT/DAQ
– Made of components as specified for final system
•
Pre-commissioning phase
– Validate the complete, integrated, HLT/DAQ functionality
– Validate the infrastructure at Point-1
•
Commissioning phase
– Validate a component (e.g. a ROS) or a deliverable (e.g. a Level-2 rack) prior to
installation and commissioning
•
Post-commissioning phase
– Validate new components
– Validate new software elements or full releases prior to use on experiment
– As a TDAQ post-commissioning development system
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Pre-series - “Module-0” of final system - 7 racks
1
ROS
rack
USA15
SDX1
(10% of final dataflow)
1
L2
rack
One
ROS
rack
One
Full L2
rack
TC rack
+ horiz.
Cooling
DAQ rack
-
-
11 ROS
44 ROBINs
1
L2-misc
R rack
C
C
L2+EB
Switch
1
EFIO
rack
1
EvFilt
rack
5.5
-
One
L2-misc
rack
One
central
switch
Part of
EFIO
rack
Part of
EvFilt
rack
-
DAQ rack
DAQ rack
DAQ rack
DAQ rack
10 HE PC
12 HE PC
32 HE PC
1
ONLINE
rack
-
50% of
RoIB
-
3 LE PC
(1pROS -
-
128-port
Geth for
L2+EB
-
(6 SFI - 2SFO 2DFM)
-
Part of
ONLINE
rack
-
DAQ rack
-
4 HE PC
(monitoring)
-
2 LE PC
(control)
2L2SV)
All racks : one or more Local File Servers - One or more Local Switches
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Costing evaluation steps
•
Write technical specifications of components. Currently available specs :
– ROS and DAQ Racks (Rack and Cooler)
– Rack mountable PCs, two profiles :
• P1 – PCs for ROS racks, 6 PCI slots to host ROBins, 4U chassis
• P2 – PCs for Fileservers or for Operations & Control, 1U (in DAQ rack) chassis
– Local Fileserver and Control switch (not yet in formal way)
•
Market Survey to understand current costs vs technical specs
– Offers available today sometime are not exactly what we need but they help to
understand :
• If our costing profile is STILL reasonable
• How to proceed to have a product which matches exactly the technical specs (iterative process)
– For some items we have offers which already meet the technical specifications
– INFN has made a local price enquiry to contribute in finding products with the required
technical specs and potential companies to be included in the final tendering.
•
Purchasing
– We shall purchase via CERN but we can specify in detail our sharing (see “Summary”)
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
ATLAS HLT/DAQ Pre-series
For internal use only (page for the ATLAS Referees)
Informations on the HLT/DAQ Pre-Series
•Introduction
•Pre-series in a picture
•Pre-series deliverables
•INFN deliverables & costing ("ROS Rack" - Partially filled "Online Rack" - Miscellanea)
•Summary
Technical Specifications
•Rack-mountable PCs for ATLAS DAQ applications (Technical document, Market Survey Qualification
Criteria and Questionnaire)
•Local Fileserver
•Local Switch
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
ROS Rack (Prices are in kCHF)
Number
Rack (USA15)
1
Unit Cost
13 (*)
Cost
Description
Offers/Estimates
13
Standard TC
electronics rack
(52U), includes
cooling, power
distr., control,
etc.
Offer for Rack and
Cooler
Power distribution
and Control
Offer for a similar
PC having the main
required features
(we may have
better offers to
match the initial
price )
ROS PC
11
8
88
High end PC redundant PS,
multiple PCI slots,
etc. (see technical
specs)
ROBins
44
3
132
Custom ROB cards
Local Fileserver
1
5
5
Low-end PC + 0.5
TB disk space
Offer for a similar
PC (may have less
RPS)
8
24 port GbE
switch, managed
Offer from a
reliable company
(3COM SuperStack
3 Switch 3870 data sheet)
114
246
Cost without
ROBins
Cost with ROBins
Control Switch
1
8
Actual cost
3.4 k€ (offer)
6.6 k€ (offer)
4.6 k€ (offer)
3.8 k€
(*) Rack and Cooler (5 kCHF), Power distribution and Control (8 kCHF)
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Total costing (Prices are in kCHF and k€)
INFN contribution (~13% of Pre-series)
Item
Cost (kCHF)
Cost (k€)
ROS Rack (USA15)
DAQ Rack (SDX)
Miscellanea
104
27
12
69.3
18
8
Total
143
95.3
Richieste
140
89
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
INFN cost profile (unit is kCHF) for the
chosen categories
2004
2005
2006
2007
2008
2009
Total
140
0
0
0
0
0
140
0
275
275
0
0
0
550
LVL2 Proc
0
0
65
195
230
160
650
Event Builder
0
0
50
50
110
70
280
Event Filter
0
0
170
180
570
380
1300
Online
0
45
135
0
0
0
180
Infrastructure
0
0
80
80
20
20
200
INFN Total
140
320
775
505
930
630
3300
TDR Total
1048
3357
4087
4544
7522
4543
25101
INFN Percentage(%)
13.4
9.5
19.0
11.1
12.4
13.9
13.1
Pre-series
Detector R/O
*
(*) The funds for the staged part of the detectors (such as the Pixels) should fall in the year 2008. Therefore they might be subtracted
CSN1
Assisi
23/09/2004
S.Falciano - INFN Roma1
from
those
of the- years
2005-2006, which correspond to the full detector, and moved in 2008.
Attività prevista nel 2005
•
Per quanto riguarda il trigger di muoni di Livello-1 nel barrel, nel 2005 verrà sviluppata
la produzione dell'elettronica on-detector nella prima metà dell'anno e di quella offdetector nella seconda metà, sarà definito il sistema finale di basse tensioni e
inizieranno le procedure per la sua acquisizione.
•
Il sistema HLT/DAQ dovrà verificare le sue funzionalità e performance finali
utilizzando la cosiddetta "Pre-serie" (~ 10% TDAQ slice) e allo stesso tempo
sostenere le attività di commissioning dei rivelatori. A tale scopo verranno acquistati e
installati i ROS di Pixel, Tile e Muon, interfacciati ai ROD Crate di questi rivelatori e
integrati in una catena completa di acquisizione dati. Continueranno inoltre gli studi di
Trigger Performance utilizzando il software di selezione più aggiornato e i dati delle
nuove simulazioni in Geant4 con la geometria finale.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Milestones 2005
•
Le milestones sono state definite con i seguenti criteri :
– Devono rispecchiare le fasi principali del progetto globale TDAQ
– Devono accordarsi alle milestone interne (TDAQ) e a quelle esterne (LHCC)
– Devono rispecchiare il coinvolgimento finanziario dell’INFN nel progetto
30.09.2005 LVL1 : 100% elettronica on-detector disponibile
31.10.2005 LVL1 : definizione sistema finale low voltage
31.12.2005 LVL1 : 100% elettronica off-detector disponibile
30.06.2005
30.12.2005
HLT/DAQ : Installazione, test e uso della "Pre-serie"
(~ 10% TDAQ slice) -> milestone LHCC 30.03.2005 (install.)
HLT/DAQ : Installazione e test dei ROS di Pixel,
Tile, Muon (interfacciamento al ROD
Crate e integrazione nel DAQ)
-> milestone ATLAS 30.09.2005 (ROS ready)
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
tested
detector
(The way to start with a new component)
off-detector
readout
electronics
ROD
SBC
ROD crate
… as we do in test beam today:
from a minimal setup …
S-link
detector
TDAQ
Online
SW
ROS
• Readout Driver (ROD) is detectorspecific.
• ROD Crate DAQ: skeleton by TDAQ,
detector-specific parts by detector
DAQ experts.
• S-link connection to Readout System
(ROS). ROS is a TDAQ PC.
• Online Software for configuration,
control, monitoring.
disk
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
ROS
Calo
LVL2
farm in H8
LVL1 mu
ROS
RPC
TGC
ROS
ROS
CSC
Tile
ROS
ROS
ROS
LAr
ROS
data network (GbE)
Muon det. LVL1
LVL1 calo
MDT
Tracker
… to the maximum
multi-detector combination
pROS
monitoring
run control
MAGNI farm
in bdg. 513
DFM
storage
TRT
SCT
CASTOR (IT)
ROS
SFI
ROS
EF farm
SFO
Pixel
ROS
CSN1 Assisi - 23/09/2004
gateway
in bdg.513
S.Falciano
- INFN Roma1
remote
farms
HLT/DAQ commissioning is driven by detector
installation and commissioning, for which we have identified 3 phases:
1 - ROD-Crate DAQ
R
C
C
(Sub-detector FE commissioning)
– ROD read-out on VMEbus
by ROD Crate Controller
R
C
C
R
O
D
Ethernet
(Sub-detector commissioning)
ROL
ROS
3 - ROS Read-Out
R
O
…
D
2 - ROD Read-Out
R
O
…
D
ROL
VME
R
O
D
(Multiple partitions)
(Sub-detector/TDAQ commissioning)
– Multiple ROD-Crates read-out via
ROL-ROS with a minimal EvBuilding
– ROD read-out on Read-Out
Links with a minimal ROS
R
C
C
R
O
D
…
ROL
R
O
D
R
C
C
ROL
R
O
D
…
ROL
R
O
D
ROL
ROS
ROS
Event Building
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Piano finanziario 2005
CORE 2005 :
– Detector Read-Out (Rack based, PC based, un rack contiene 11 PCs, un local
file server, un local switch, un rack controller, power e cooling distribution.
Il costo di un rack è di 110 kCHF. Vogliamo finanziare :
• 11 ROSes per i Pixel
• 26 ROSes per lo Spettrometro a Muoni
• 8 ROSes per il Tile
Per un totale di 5 racks (5 x 110 kCHF = 550 kCHF, 13% del R/O totale) distribuito
su due anni.
– Online (include le farm di processori per l’Online software, ossia
Run_control, inizializzazione, etc. e dovrebbe rappresentare anche la
frazione di monitoring dei rivelatori. Contributo del 20%)
2005 : 214 k€ + 25 k€ + 4 fte x 4 mesi comm. = 239 k€ + 16 mu comm.
HLT/DAQ Roma1 :
invent.
7 k Upgrade testbed lab HLT/DAQ (PC, CPU VME,
Switch rete)
apparati 214 k (320 k CHF) come da piano finanziario
approvato da lla CSN1 (no deferral)
HLT/DAQ Genova :
invent.
10 k Schede DAQ (1 ROS + 1 ROBin)
5 k Single Board Computer per test con ROD
HLT/DAQ LNF :
invent.
3 k PC per sviluppi TDAQ
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
INFN cost profile (unit is kCHF) for the
chosen categories
2004
2005
2006
2007
2008
2009
Total
140
0
0
0
0
0
140
0
275
275
0
0
0
550
LVL2 Proc
0
0
65
195
230
160
650
Event Builder
0
0
50
50
110
70
280
Event Filter
0
0
170
180
570
380
1300
Online
0
45
135
0
0
0
180
Infrastructure
0
0
80
80
20
20
200
INFN Total
140
320
775
505
930
630
3300
TDR Total
1048
3357
4087
4544
7522
4543
25101
INFN Percentage(%)
13.4
9.5
19.0
11.1
12.4
13.9
13.1
Pre-series
Detector R/O
*
(*) The funds for the staged part of the detectors (such as the Pixels) should fall in the year 2008. Therefore they might be subtracted
CSN1
Assisi
23/09/2004
S.Falciano - INFN Roma1
from
those
of the- years
2005-2006, which correspond to the full detector, and moved in 2008.
Alcuni dettagli sui finanziamenti richiesti (1)
•
Genova : L'idea e' qualle di avere in laboratorio a Genova una fetta
completa del read-out dei pixel, diciamo dal rivelatore ai processori di
LVL2. Ovviamente il tutto serve sia per studiare il readout che per fare
esperienza con gli algoritmi di trigger, entrambe cose di cui Genova ha la
responsabilita' in ambito pixel.
•
Frascati : Il progetto e' di acquistare un PC da integrare nel rack della
farm di calcolo, collegato in gigabit al resto della farm.
•
Roma1 : Mantenere in vita il testbed che ci ha gia’ permesso di essere
pronti col DAQ dei Muoni lo scorso anno ad H8 e integrare gli algoritmi di
trigger nel sistema globale (sostituire i PC che muoiono o diventano vecchi
più qualche CPU VME per emulare i ROD dei rivelatori). Continuare le
riunioni nazionali sul trigger di muoni che si sono rivelate molto proficue.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Alcuni dettagli sui finanziamenti richiesti (2)
• Commissioning : Il DAQ e' coinvolto nel commissioning dei detector per
integrare i sistemi di lettura e leggere i dati comunque generati (test
pulse, cosmici, etc.). Le sezioni di Genova, LNF, Pavia e Roma1 partecipano
nel 2005 al DAQ per l'integrazione dei ROD e dei ROS, l'event sampling e
il Data Flow in generale.
Ricordo che l'installazione dei ROS e' anche nostro compito visto che e'
un acquisto CORE dell'INFN e riguarda i rivelatori che costruiamo.
Si pensa che ogni sezione possa fornire 1 fte per 4 mesi, quindi:
4 fte x 4 mesi = 16 mu di ME
Il lavoro si prevede inizi ad aprile e continui fino alla fine dell’anno.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Conclusioni
• Abbiamo raccolto in tempi brevi il frutto di una lunga preparazione
-> l’integrazione di Trigger/DAQ ad H8 è stato un successo (e non
e’ ancora finita!)
• Il lavoro è stato tanto e duro, ma ci siamo anche divertiti ...
… anche se il “commissioning” è dietro l’angolo.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Riserve
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Criteri per la scelta del profilo temporale di spesa
Abbiamo disegnato un sistema che evolve in funzione delle risorse disponibili,
che va da un sistema iniziale con una rate massima di LVL1 di circa 40 kHz ad
uno finale con una rate massima di 100 kHz
2004 : Acquisto e messa in opera della pre-serie fatta con le componenti finali del
TDAQ (commissioning del Tile?)
2005 : Inizia il commissioning dei detector e di HLT/DAQ. Ai detector serve il
75% dei Detector Readout.
2006 : Commissioning. Run di cosmici.
2007 : LHC start-up. 37% circa delle farm HLT disponibili. 37.5 kHz è la rate di
LVL1 sostenibile. Mancano il 25% dei ROD.
2008 : LHC alla luminosità nominale, 75 kHz di rate di LVL1. Questo è il momento
in cui cominciano a tornare indietro i deferral.
2009 : Sistema completo con le performance per cui è stato disegnato, ossia rate
di LVL1 di 100 kHz.
Nota : nella fase iniziale la priorità viene data agli aspetti DAQ perche’ essi
servono per il commissioning del rivelatore, mentre le farm HLT e in
particolare il LVL2, vengono dimensionate al minimo.
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Requested INFN funds for the
HLT/DAQ system (unit is kCHF)
TDR
Italy
Percentage
(%)
Pre-series
1048
140
13.4
Detector R/O
4060
550
13.5
Detector R/O - ROS racks only
LVL2 Proc
3596
650
18.1
LVL2 racks
Event Builder
2084
280
13.4
EB - EFIO (SFI, SFO)
Event Filter
11451
1300
11.4
EF racks
830
180
21.7
Online racks - Control &
Monitoring
Infrastructure
2032
200
9.8
~ 6% of total INFN funds
Total
25101
3300
13.1
HLT/DAQ (no DCS) is
26853 kCHF
Online
CSN1 Assisi - 23/09/2004
More details on funded items
S.Falciano - INFN Roma1
ROD crate and ROS all underground
(USA15System size - Full configuration)
ROD Rack
RRRRRRRRRRRRRRRR
COOOOOOOOOOOOOOO
DDDDDDDD
CDDDDDDD5.5
ROD
Crates
(links)
RRRRRRRRRRRRRRRR
COOOOOOOOOOOOOOO
DDDDDDDD
CDDDDDDD5.5
ROD
Racks
Indicative
12 links / ROS
ROS Rack
ROS
Units
ROS
Racks
Indicative
Pixel
SCT
TRT
LAr
Tile
Muon
LVL1
8
8
22
16
22
(92)
(232)
(64)
(272)
6
(120)
(764)
4
(56)
4
5
8
8
2
8
3
11
8
20
66
8
26
5
1
1
2
6
1
3
1
4U
CSN1 Assisi - 23/09/2004
~144 ROS units in total for final systemS.Falciano - INFN Roma1
Hardware components for Phase-2
• Availability of hardware components
Component
ROL (Link Source Card)
ROBIN
ROS
•
FDR
PRR
March ‘04
May. ‘04
Oct. ‘04
Tech spec’s under review
ROL production procedure started
– First batch (150 boards) : 4Q04 (Nov)
– Full production (1750 boards) : 1Q05 (Feb)
•
Production procedure for ROBIN identified
– Blanket purchase procedure of RAL
– Pre-production (50 cards) for pre-series
system : 1Q05
– Full production : 2Q05
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1
Relevant DAQ milestones
DAQ – Hardware
PRR/FDR of S-Link Source Card (LSC)
28-02-04
Done
ROBIN FDR completed
31-05-04
Done
Draft tech. Spec for ROS PCs
30-04-04
Done
LSC ready for detector use (1st batch)
31-10-04
On sched.
Installation of ROBIN in ROS (1st batch)
31-07-05
ROS ready for installation
30-09-05
DAQ - Software Releases
Combined test beam (improved control, configuration, monitoring)
30-04-04
Done
Sub-detector readout (final ROD Crate DAQ consolidated)
30-09-04
On sched.
HLT/DAQ installation (final control, config, monitoring + CondDB I/f)
30-09-05
Cosmic-ray run (final large scale perf and full support for partitioning)
30-09-06
LHC start-up (final implementation ready for tuning)
30-04-07
CSN1 Assisi - 23/09/2004
S.Falciano - INFN Roma1