Il caso delle misure
di eventi rari
Caterina Bloise
Incontri di Fisica
LNF-INFN, 2 ottobre 2007
Scelta degli argomenti






I risultati delle misure
Determinazione del livello di confidenza di un risultato
Il caso (molto comune) della ricerca di eventi rari
Estrazione del segnale in presenza di fondo
Trattamento delle fluttuazioni statistiche
Trattamento delle sistematiche
Motivazioni
 Sono tutte questioni ampiamente dibattute
 Facilmente esemplificabili
 Di interesse generale
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
2
I risultati delle misure
 Il risultato si vuole che contenga l’informazione del processo
di misura che lo determina, un processo complesso in cui sono
coinvolti la strumentazione e la capacità sperimentale di
controllo, i criteri per la selezione degli eventi di interesse, le
fluttuazioni statistiche del campione.
 Possiamo esemplificare bene la procedura che porta alla
determinazione del risultato focalizzando le argomentazioni al
caso della ricerca di eventi rari.
 Questa presuppone, schematicamente,




una procedura di selezione
la valutazione della composizione del campione selezionato
la determinazione del numero di eventi di cercati (segnale),
estratta dal conteggio del campione selezionato (s+b)
la valutazione degli intervalli di confidenza del risultato in
connessione alle fluttuazioni statistiche e alle sistematiche
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
3
Selezione degli eventi
 Bisogna definire un set di variabili
discriminanti in grado di separare
il segnale dal fondo e un set di
loro valori (tagli) in base ai quali
effettuare la selezione
 Il campione selezionato sarà
composto di un numero di eventi n
n = s + b = es S + eb B
es = P ( accept | s ), eb = P ( accept | b )
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
4
Un esempio di procedura selettiva




Le predizioni del Modello Standard sono confermate oggi con
incredibile precisione dagli esperimenti
L’aspetto insoddisfacente è l’incapacità di motivare il numero e la
massa di quark e leptoni
La ricerca di fenomeni di nuova fisica comprende una serie di
processi soppressi e calcolabili con precisione nell’ambito del Modello
Standard. Un risultato diverso indicherebbe effetti nuovi nel
settore indagato
La ricerca di decadimenti K  en (Ke2) ricade in questa classe, in
questo caso la frequenza aspettata è 1.4/105
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
5
Ricerca di nuova fisica: “Ke2” a KLOE


Sperimentalmente bisogna identificare questi eventi, isolandoli dal
canale 40,000 volte più frequente K  mn (Km2)
Gli eventi sono caratterizzati a KLOE da impulsi diversi dei secondari
carichi. L’ottima ma comunque finita precisione della misura
dell’impulso impone l’introduzione di ulteriori variabili discriminanti
Calorimeter
E5
MC Km2
MC Ke2
m
M2lep (MeV2)
M2lep= (EK-Plep)2 – (Plep)2
e
E2
E1
per Km2 ~1.1 104
per Ke2 ~0.2
Variabili discriminanti
Af
2
MC Ke2
Emax(MeV)
4
1
0
MC Km2
2
-0.8 -0.4 0
0.4 0.8
0
100
ERMS(MeV)
3
MC Ke2
MC Km2
2
1
0
0
0
40
80
120
200
300
Risultati della selezione


La procedura è in grado di selezionare il segnale con = 0.6, riducendo il
fondo allo 0.2% del valore iniziale
L’analisi di un ulteriore campione, K  p e n, permette di controllare le
incertezze dovute alla simulazione.
MC Km2 w/o PID
MC Km2 w PID
Data w/o PID
Data w PID
MC Ke2 w/o PID
MC Ke2 w PID
M2lep (MeV2)
M2lep (MeV2)
Conteggio del segnale
 Una procedura di fit del likelihood nel piano ERMS vs M2lep
permette, conosciute le p.d.f. di segnale e background, di
ottenere il conteggio di b e s (s = 8090±160)
ERMS (MeV)
Data
 Data
° MC Fit
 MC bkg
1200
800
400
0
40
80
ERMS (MeV)
120
800
Fit region
400
M2lep (MeV2)
LNF-INFN, Frascati
0
M2lep (MeV2)
-4000
C. Bloise- 2 ottobre 2007
-2000
0
2000
4000
9
Determinazione del livello di confidenza
 Data la distribuzione P(x|m) si
individuano i valori di x più
improbabili fino ad ottenere una
somma di probabilità
leggermente minore o uguale a
g: tali valori sono intesi come
utili a rigettare l’ipotesi che il
risultato della misura sia m
 L’operazione si ripete per ogni m
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
10
Intervalli di confidenza
e-m
 P(n|m) =
/n!
 Per ogni m la probabilità che n sia
m
compreso nell’intervallo centrale è del
68% o appena superiore per costruzione 16%
 Per ogni n, m è compreso tra [m-,,m+] con
livello di confidenza del 68%
 n = 3  [2.16, 3.38]  m = 3-0.84 +0.38
 La tecnica è la stessa per ogni C.L., sia
esso centrale, sia un limite superiore
[0, m+], o inferiore [m-, ∞]
mn
m+
68%
16%
m-
n
 Se la determinazione sperimentale di x è n, siamo in grado di
selezionare tra tutti i valori di m quelli “compatibili” con n, per cui n
non è compreso tra i valori individuati nell’operazione precedente
 L’intervallo di m ottenuto conterrà il valore del parametro misurato
con probabilità ≥ 1 - g.
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
11
Estrazione del segnale in presenza di fondo





P(n|s) = e-(s+b) (s+b)n /n!
Un’analoga regione, traslata di b, si
ottiene quando si vuole misurare un
segnale in presenza di fondo b
La costruzione indica zone scoperte,
con risultati nella regione di s non
fisica,in caso di sottofluttuazione nel
background
La costruzione degli intervalli per i
limiti superiori rimane indipendente e
diversa da quella degli intervalli
centrali
Questi aspetti sono inerenti la
costruzione degli intervalli di
confidenza che è indipendente dalla
prossimità della regione non fisica dei
valori dei parametri
LNF-INFN, Frascati
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
C. Bloise- 2 ottobre 2007
intervalli centrali,
di 90% C.L. con
fondo b = 3
12
Sottofluttuazioni del fondo


P(n|s) = e-(s+b) (s+b)n /n!
n = 5, b = 0.9  s = 4.1-2.16 +3.38



n = 5, b = 4.9  s = 0.1-2.16 +3.38 ?
n = 5, b = 6.9  s =-1.9-2.16 +3.38 ?
n = 5, b = 10.9  s = -5.9-2.16 +3.38 ?
 Corretto se si ricorda l’intera procedura e che ci si aspetta per
costruzione di rigettare l’ipotesi giusta sul parametro con
probabilità del 32%
 Un risultato che tenga conto della regione fisica del parametro
sarebbe comunque di più facile lettura
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
13
Ordinamento della p.d.f.
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
 P(n|s) = e-(s+b) (s+b)n /n!
 Feldman e Cousins hanno proposto un
diverso principio di ordinamento per la
costruzione degli intervalli di
confidenza
 Ad ogni n viene assegnato un rango in
base al rapporto P(n|s) / P(n|sbest)
 sbest nel caso della poissoniana è
max{0, n-b}
 Per costruire gli intervalli [n-(s), n+(s)]
si utilizzano gli n in ordine decrescente
di rango fino ad integrare una
probabilità pari al C.L.
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
intervalli centrali,
di 90% C.L. con
fondo b = 3
14
Limiti superiori sul segnale


P(n|s) = e-(s+b) (s+b)n /n!
n = 5, b = 0.9  s = 4.1-2.35 +2.71



n = 5, b = 4.9  s < 2.81 (5.0)
n = 5, b = 6.9  s < 1.23 (3.2)
n = 5, b = 10.9  s < 0.35 (1.7)
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
 Limiti sul segnale più stringenti
per sottofluttuazioni del
background più improbabili
 Situazione attesa. Quando la
sottofluttuazione è
estremamente improbabile la
valutazione del background
diventa sospetta
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
15
Evidenza di segnale
FC: Intervalli @90% C.L., b = 3
s
 Per n> 6 si passa da limiti
superiori a intervalli di
confidenza per s
 Per ottenere un livello di
falsi segnali inferiore all’1%
con b = 3 è richiesto n ≥ 9
n
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
16
Dal Report su Chernobyl

n = 19  [15,24] 68% C.L. ; [12.5,27.5] 90% C.L.; [11,29] 95% C.L.
indicativo della precisione del numero atteso o sovrafluttuazione di 2s ?




Intervalli di confidenza, C.L. a = 0.68, limiti
n = 22 b = 6.78
[10.6, 20.5]
n = 7 b = 4.87
< 7.6
n = 0 b = 2.59
< 0.1
LNF-INFN, Frascati
superiori per a = 0.90
b= 11.7-2.5 +3.1 [5.7, 15.6]
b= 8.4
< 4.2
b= 4.5
---
C. Bloise- 2 ottobre 2007
17
Trattamento Bayesiano



L’approccio alternativo proposto dagli statisti è quello di considerare
le grandezze da determinare variabili, alla stregua delle quantità
misurate
Assunzione insoddisfacente per molti
Il processo di misura è quindi schematizzabile in termini di estrazione
della p.d.f. delle grandezze da determinare a partire dalla p.d.f. delle
variabili misurate
P( m ; n)  P(n; m )  P( m )




L’operazione presuppone l’introduzione a priori della p.d.f. delle
grandezze P(m)
Anche la necessità di introdurre P(m) sembra insoddisfacente per
l’arbitrarietà della scelta
Da un altro punto di vista questo sembra praticamente inevitabile
La dipendenza del risultato dalla p.d.f. introdotta a priori va comunque
studiata e presentata
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
18
Intervalli credibili

Seguendo l’approccio bayesiano si arriva a definire gli intervalli di
credibilità [m-,,m+] per le grandezze misurate, corrispondenti ad un
livello di confidenza a, invertendo l’equazione
m
a =  rn P(n; m )  P( m )m
m
rn costante di normalizzazione

P(m) uniforme: tutti i valori di m hanno la stessa credibilità a priori

P(ln(m)) uniforme  P(m)1/m : tutti i valori di m hanno la stessa
credibilità a priori se sono della stessa scala, all’aumentare della scala
diventano proporzionalmente più improbabili
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
19
Intervalli credibili – prior uniforme
Se n=0
=
x
m
Posterior P( m )
m
P(0 events| m)
m
Prior: uniform
(Likelihood)
 P(m ) dm = 0.95
3
Stesso limite superiore del caso frequentista
0
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
20
Intervalli credibili, dipendenza da b

Se n=0 il limite superiore non dipende
da b
s
a =  rnorme
( s b )
Prior: uniform
m
( s  b) s
a =  rnorme  m m n m
n
0
0
s
a =  rnorme  s s
0





1.-s+ = a  s+ = -ln( 1.- a )
s+ = 2.3 @ 90% C.L.
s+ = 3.0 @ 95% C.L.
s+ = 4.6 @ 99% C.L.
Riflette il fatto che in questo caso
sappiamo precisamente che il valore
ottenuto nb = 0
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
21
Intervalli credibili – prior  1/m
Se n=0
=
x
m
Posterior P( m )
m
P(0 events| m)
m
Prior: uniform in ln m
(Likelihood)
 P(m ) dm » 0.95
3
0
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
22
Intervalli di confidenza usando le likelihood
 Si utilizzano i valori della grandezza da misurare corrispondenti a
log(L) = log(LMAX) – ½ : 68% C.L.
log(L) = log(LMAX) – 1.35 : 95% C.L.
 Se n = 5  m = 5.0-1.9 +2.6 @ 68% C.L.
m
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
23
Il caso di più parametri




Si fissa un parametro, b, e si trova l’intervallo per a usando ln L=-½
Si fissa a, e si trova l’intervallo per b usando ln L=-½
Il rettangolo individuato è relativo a un C.L.
0.682=46%
L’ellisse tangente è relativa a un C.L. a = 39%

In generale le curve di uguale
likelihood L circoscrivono una regione
nello spazio dei parametri relativa ad
un C.L. a dato da P(2 ,N) = a, con
2 = 2ln L e N numero di parametri
L(a,b)
b
a
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
24
Trattamento delle sistematiche

Si ripete la costruzione degli intervalli utilizzando la poissoniana o la
funzione di verosimiglianza, likelihood, convoluta con il prodotto delle
gaussiane che tengono conto delle incertezze sul valore del fondo e
delle sistematiche sull’efficienza nella selezione del segnale
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
25
Effetto degli errori sistematici
N_obs
b
Sys. Unc. %
Intervalli per m
2
2
0.0
[0,3.90]
0.2
[0,3.95]
0.3
[0,4.10]
0.4
[0,4.65]
0.0
[1.1,9.45]
0.2
[1.05,10.05]
0.3
[1,05,11.50]
0.4
[1.05,13.35]
6
LNF-INFN, Frascati
2
C. Bloise- 2 ottobre 2007
26
Ricerca di eventi Ksp0p0p0
 Previsto nel Modello Standard con
frequenza 2/109 in quanto può
avvenire solo attraverso processi
che violano CP
 Il fondo è costituito da Ksp0p0 che
è 150 milioni di volte più frequente

n = 4 b = 3.2±1.5
 b = 0 m < 5.3, 90% C.L.
 b/b = 0.4 m < 5.8, 90% C.L.
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
27
Ricerca di eventi t  mg a Belle
 Decadimento vietato nel Modello
Standard ma possibile in Modelli
Supersimmetrici, che prevedono la
violazione del numero leptonico

b = 13.9-4.8 +6.0
n=10
 b = 0 m < 3.3, 90% C.L.
 b/b = 0.4 m < 3.6, 90% C.L.

Usando la funzione di verosimiglianza
Belle ha pubblicato un limite
leggermente migliore, corrispondente a
m < 2.2, 90% C.L.
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
28
Il fenomeno delle oscillazioni di particella

Fenomeno quantomeccanico governato da
massa e vita medie delle
particelle coinvolte

Analisi che utilizza la
funzione di likelihood,
L= 1 -(+) A cos(ms t)
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
29
Conclusioni
 I risultati si vorrebbe compendiassero molteplici aspetti della
misura per garantire un confronto semplice e affidabile con
altri esperimenti e con le previsioni teoriche
 La costruzione degli intervalli di confidenza è cruciale da
questo punto di vista.
 Diverse procedure sono utilizzate per la definizione degli
intervalli di confidenza. Per essere accettabili devono
garantire la copertura dei valori compatibili con le variabili
misurate al livello di confidenza dichiarato.
 Le procedure più comunemente utilizzate vincolano i risultati
nella regione fisica
 La definizione degli intervalli attraverso le likelihood è
ampiamente utilizzata perché permette di includere
direttamente dettagli sperimentali e vincoli fisici
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
30
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
31
Χ2 approximation
Profile likelihood function
Chi2 = 2.71
sl
LNF-INFN, Frascati
su
C. Bloise- 2 ottobre 2007
2 log L(b_max …) ≈ Χ2
Constant for n
given
32
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
33
G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873
 kkkk
LNF-INFN, Frascati
C. Bloise- 2 ottobre 2007
34