Extra information on the
Upgrade of the
LHCb Muon Detector
16/05/2013
Alessandro Cardini
on behalf of
The (Italian part of the) LHCb Muon Group
Cagliari, Ferrara, Firenze, Frascati, Roma 1, Roma2
L’Upgrade in breve
• Phase 1: get ready for the 40 MHz readout
– Ready @ LS2
• Phase 2: new detectors for high-luminosity and new FEE
– prototypes ready @LS2
– then construction
– to be installed @ LS3
16MAY13
A. Cardini for the Muon Group
2
Architettura / 1
• Molti progressi nell’ultimo mese
• Meeting al CERN 9+10 aprile per riunione TELL40 al
working group sul firmware, discussi molti dettagli
• Alcuni incontri online con i marsigliesi per discutere
dell’impatto della nuova architettura su LLT
• Considerazioni nel design:
– Link hit e TDC: condiviso o no?  non condiviso
– GBT WideBus (112 bit) o no (80 bit)?  WideBus
– Modularità: un solo tipo di nODE, il cablaggio non si tocca  96
(compatibile solo con WideBus) + 16 bit per altro
 nSYNC a 32 canali
16MAY13
A. Cardini for the Muon Group
3
Architettura / 2
• Sistema attuale (ipotesi A)
– 104 nODE, 4 TELL40 per hit, 3 TELL40 per TDC
– Sistema molto compatto senza interscambi tra le AMC40 fuori dalle ATCA40
• Rimozione IB da M5R4 (ipotesi C)
– M5R4 servita da 2 IB/quadrante
– 108 nODE, 4 TELL40 per hit, 3 TELL40 per TDC
• Aggiunta camere alta granularità in M2R12 (ipotesi E)
– Vanno aggiunte 32 nODE equivalenti on-board alle camere per servire 12
camere M2R1 da 384 pad e 24 camere M2R2 da 192 pad
– 140 nODE (equiv.), 4 TELL40 per hit, 4 TELL40 per TDC
• Ancora da verificare tutti i dettagli con i marsigliesi
• Quanti spare di TELL40 sono necessari? 2?
• Quanti SOL40 (TELL40 speciali per il controllo) necessitiamo per
gestire nODE e nPDM? Ad una prima stima ~3
16MAY13
A. Cardini for the Muon Group
4
• L’uso del WideBus è assolutamente consigliabile (obbligatorio)
• Senza ricablare e volendo mantenere i dati di ogni TU nello stesso
link, poiché l’unica modularità possibile è 96 canali, è necessario
trasmettere hit e dati TDC su link differenti
ODE Upgrade
Conclusioni
– Troncamento clock per clock, con assegnazione fissa della banda dati a
ogni nSync
– Creazione di un buffer tampone dove formattare opportunamente i dati da
trasmettere anche su più frame successivi
Paolo Ciambrone INFN- LNF
• Occorre definire il tipo di ZS da utilizzare
47
16MAY13
A. Cardini for the Muon Group
5
•
Ipotesi A: senza sostituzione di IB con link separati per hit e dati TDC
•
Ipotesi B: senza sostituzione di IB con link comuni per hit e dati TDC
•
Ipotesi C: con sostituzione IB in M5R4 e link separati per hit e dati TDC
–
–
–
–
–
–
–
Senza ricablaggio
–
Ricablando la regione R2 (e quindi riducendo il numero di link necessari alla sua gestione) il numero totale di link
necessari per gestire un quadrante è di 96 per cui in linea di principio, avendo sufficienti risorse per l’interscambio delle
informazioni all’interno della motherboard, si potrebbe cablare l’intero quadrante su una TELL40… Sarebbe inoltre
possibile mandare i dati appartenenti a una stessa TU su un unico link
Per mandare i dati di ogni TU sullo stesso link occorrerebbe ricablare anche le regioni R3 e R4
•
•
Servono 28 AMC40 e 8(7) ATCA 40 per il trigger con interscambio tra le schede 20 AMC40 e 8(5) ATCA 40
In M2/M3 R2/R3/R4 i dati di una stessa TU viaggiano su link differenti
Ipotesi E: sostituzione IB in M5R4, uso di camere ad alta granularità in M2R1 e M2R2 e link separati per hit
e dati TDC
–
•
Alta flessibilità
Al massimo servono 4 TELL40 complete per il trigger (senza interscambi tra le schede) e 3 TELL40 complete per i dati
TDC
Ipotesi D: sostituzione di tutte le IB e link separati per hit e dati TDC
–
•
Con modularità 64 canali sono sufficienti solo 4 TELL40 ma la massima occupancy sostenibile varia tra il 12 e il 20%
Con modularità 32 canali occorrono 9 TELL40 complete, non si avrebbero problemi di occupancy (>50%), ma il sistema
diviene più articolato con interscambi tra le schede
Al massimo servono 4 TELL40 complete per il trigger (senza interscambi tra le schede) e 4 TELL40 complete per i dati
TDC
Ipotesi F: sostituzione di tutte le IB , uso di camere ad alta granularità in M2R1/R2 e M3R1/R2 e link
separati per hit e dati TDC
–
–
Servono 8 TELL40 complete per il trigger con interscambio tra le schede 6 TELL40 complete
Gli hit e i dati TDC di una stessa TU di M2/M3 R3/R4 viaggiano su link differenti a meno di ricablar
Paolo Ciambrone INFN- LNF
•
Alta flessibilità
Al massimo servono 4 TELL40 complete per il trigger (senza interscambi tra le schede) e 3 TELL40 complete per i dati
TDC
ODE Upgrade
Conclusioni
48
16MAY13
A. Cardini for the Muon Group
6
Bunch cross synchr.
Bunch cross synchr.
Bunch
crosssynchr.
synchr.
Bunch cross
Bunch cross synchr.
Bunch cross synchr.
nSYNC
nSYNC
nSYNC
nSYNC
nSYNC
Hit
GBT
nSYNC
Hit
GBT
LVDS Receivers
LVDS Receivers
LVDS
Receivers
Translators
LVDS
Receivers
Translators
LVDS
Receivers
Translators
LVDS
Receivers
Translators
Translators
Translators
Sync
Sync
Sync
Sync
Sync
Sync
192 Input
channels
Hit
GBT
format
interf.
Hit
GBT
format
interf.
Hit
GBT
format
interf.
Hit
GBT
format
interf.
format
interf.
Hist.
format
interf.
Hist.
Hist.
Hist.
Hist.
TDC
TDCHist.
TDC
TDC
Zero
GBT
TDC
Zero
TDC GBT
Zero
GBT
Supp.
interf.
Zero
GBT
Supp.
interf.
Zero
GBT
Supp.
Zero interf.
GBT
Supp.
interf.
Supp.
interf.
Supp.
interf.
ECS/TFC
GBTx
GBTx
Hit
HITdata
data
serializer
serializer
GBTx
GBTx
Hit
data
TDC
data
serializer
serializer
To Trigger
2 links
simplex
VTTx
Optical
transmitter
VTTx
To TELL40
2 links
simplex
Optical
transmitter
Clock management
GBTx
GBT-SCA
Data
Ser/Des
Control
Monitor
Clock recovery
Power up
sequencer
Voltage
regulators
VTRx
To/from TFC
1 link
duplex
DATA Path
Optical
transceiver
Phase
adjust
Clock
driver
Power section
DC/DC
converter
16MAY13
A. Cardini for the Muon Group
nODE
7
FROM FEE/IB
TDC
+
Hist
TDC
+
Hist
TDC
+
Hist
Hit + TDC
BX synchronization
Bxid + Hit + TDC
TFC
IF
TDC’s
Hits
Header
TO Trig. GBT
Frame Header Gen.
I2 C
TDC ZS
TDC’s
Header
Prog.
Buffer
TO TDC GBT
16MAY13
A. Cardini for the Muon Group
nSYNC block
diagram
8
• Mantenendo l’attualeolayoutg lgi co oni camera dovrebbe avere 348
pad da raggruppare in 4 TU da 87 pad logiche
– 2 nODE per camera
6 nODE per quadrante
– Ogni nODE ha 174 ingressi relativi a 2 TU da 87 pad logiche ciascuna
– Occorrono 12 link a quadrante
•
PAD physical ch. = X-Logical ch.
–
–
0
0
7
7
0
0
7
7
0
0
7
0
7
0
0
16MAY13
Out 0-7
Out 0-7
Out 0-7
Out 0-7
CARDIAC CARDIAC CARDIAC CARDIAC
Out 0-7
Out 0-7
Out 0-7
Out 0-7
CARDIAC CARDIAC CARDIAC CARDIAC
7
Wire physical ch. = Y-Logical ch.
–
–
•
–
–
•
6.3x31.3 mm2
348 Ch./chamber
Trigger sector
–
–
–
•
6.3x 253 mm2
48 ch./chamber
Logical pad
16 X-Logical ch.
12 Y-Logical ch.
4 TS/chamber
14 CARDIAC for readout
–
7
WIRE NUMBER
•
37.5x31.3 mm2
64 ch./chamber
Paolo Ciambrone INFN- LNF
Out 0-7
Out 0-7
Out 0-7
Out 0-7
Out 0-7
Out 0-7
CARDIAC CARDIAC CARDIAC CARDIAC CARDIAC CARDIAC
2 x 112 channels
47
A. Cardini for the Muon Group
ODE Upgrade
M2R1 alta granularità
9
35
• Mantenendo l’attualeolayoutg lgi co oni camera dovrebbe avere 192
pad da raggruppare in 4 TU da 48 pad logiche
– 1 nODE per camera
6 nODE per quadrante
– Ogni nODE ha 192 ingressi relativi a 4 TU da 48 pad logiche ciascuna
– Occorrono 12 link a quadrante
0
0
7
7
0
0
7
7
0
0
7
0
7
0
0
16MAY13
Out 0-7
Out 0-7
Out 0-7
Out 0-7
CARDIAC CARDIAC CARDIAC CARDIAC
Out 0-7
Out 0-7
Out 0-7
Out 0-7
CARDIAC CARDIAC CARDIAC CARDIAC
7
•
PAD physical ch.
•
X-logical channel
•
Wire physical ch. = Y-Logical ch.
47
–
–
–
–
–
•
•
A. Cardini for the Muon Group
OR of 4 PADs
150x62.6 mm2
16 ch./chamber
12.5 x 253 mm2
48 ch./chamber
12.5x62.6 mm2
192 Ch./chamber
Trigger sector
–
–
–
•
75x31.3 mm2
64 ch./chamber
Logical pad
–
–
7
WIRE NUMBER
–
–
Paolo Ciambrone INFN- LNF
Out 0Out 0Out 0Out 0Out 0Out 0CARDIAC
CARDIAC
CARDIAC
CARDIAC
CARDIAC
CARDIAC
7
7
7
7
7
7
4 X-Logical ch.
12 Y-Logical ch.
4 TS/chamber
14 CARDIAC for readout
–
ODE Upgrade
M2R2 alta granularità
2 x 112 channels
10
36
Controllo e impulsaggio camere
8 x Service Board Crate
For station M2,M3,M4,M5
Service Board
SB
ELMB
ELMB
Custom
Backplane
S
B
S
B
S
B
S
B
S
B
S
B
P S
D B
M
S
B
S
B
S
B
S
B
ELMB
S
B
ELMB
CANbus
16
Can
nodes
17
Can
nodes
16
Can
nodes
Pulse Distributor Module
PDM
ELMB
CANbus
Valerio Bocci
Sistema complesso di circa 600 microcontrollori e 150 flash-based FPGA,
gestito da 6 computer, per controllare più di 120k canali fisici sulle camere
16MAY13
A. Cardini for the Muon Group
11
Upgrade
• Finora era stata considerata solo la necessità di cambiare gli 8 PDM di
M2-M5 per
– Utilizzare la nuova distribuzione del clock via GBT
– Utilizzando GBT-SCA per comunicare con le vecchie SB attraverso una complicata
traslazione di protocollo (GBT <-> I2C <-> CANbus <-> I2C)
• Appare ora chiaro agli esperti che
–
–
–
–
Le attuali SB sono già vecchie (10 anni)
Sono basate su microcontrollori ancora più vecchi (ELMB)
La traslazione di protocollo sarebbe assolutamente inefficiente e complicatissima
Il bottleneck è il CANbus: non si migliorerebbe la situazione attuale dove sono
necessari 5 min. per configurare le camere e ~20 min. per leggere tutti gli scaler
• Si propone quindi di rifare anche le SB
– Tutta l’elettronica viene rinnovata e potrà funzionare fino al ~2030
– Si può usare l’alta velocità di comunicazione via GBT per una rapida
configurazione/riconfigurazione on-the-fly del rivelatore (che sappiamo essere
necessaria) e per un accurato monitoraggio in tempo reale delle front-end board
(che sarebbe auspicabile poter avere)
16MAY13
A. Cardini for the Muon Group
12
nPDM block diagram
16MAY13
A. Cardini for the Muon Group
13
nSB block diagram
Solution1:
New Service Board Module
(multiple GBT new Backplane)
I2C
FE
Flash
FPGA
16 x I2C
I2C
Matrix
Flash
FPGA
CLK40
BC Pulse
test
pulse
logic
2
3
I2C
FE
1
I2C
FE
Test/pulse
Flash
FPGA
1
Test/pulse
Test/pulse
SCL
SDA_IN
SDA_OUT
Test/Pulse
RESET
2
3
3x
LVDS I2c
each ELMB
1
2
3
I2C
FE
1
Test/pulse
3
2
ttl/lvds
converter
Valerio Bocci 2013 May
16MAY13
A. Cardini for the Muon Group
14
nPDM + nSB Preliminary Cost Estimate
• nPDM: 8 boards x 3500 euro/board
• nSB: 120 boards x 1000 euro/board
• Nuovi backplane: 8 x 3000 euro/bkp
• Totale: 172k euro + ~10k spare
• Riteniamo molto importante questa richiesta
aggiuntiva per completare il rinnovo dell’elettronica
di controllo e lettura dei muoni e il miglioramento
delle funzionalità
16MAY13
A. Cardini for the Muon Group
15
Conclusione
• La definizione dei dettagli dell’upgrade dei muoni
procede in modo spedito
• A breve meeting con i marsigliesi per avere un loro
feedback sulla nostra proposta di architettura
• Upgrade dei muoni già presentato all’interno di LHCb,
a giugno nuova presentazione alle LHCb week (4/6) e
al meeting sull’elettronica (13/6)
• La parte dei muoni nel documento del CTS è a buon
punto
16MAY13
A. Cardini for the Muon Group
16