IL TEST DEL χ2
CONFRONTO DI UN CAMPIONE CON UNA DISTRIBUZIONE DI PROBABILITÀ ASSEGNATA Spesso è necessario stabilire se i risultati di una serie di misure siano o meno compatibili con l’essere un campione estratto da una popolazione madre che segue una determinata distribuzione di probabilità f(x). VISUALIZZAZIONE Se la variabile aleatoria che descrive i valori dei risultati delle misure è discreta si può realizzare molto facilmente un istogramma (diagramma a bastoni): per ogni possibile valore di k compreso fra 0 e kMAX si riporta in ordinata la frequenza n(k). E’ utile considerare solo i valori di k (canali dell'istogramma) per i quali n(k)≠0: kMAX identifica l’ultimo valore con frequenza non nulla. Quindi, partendo da 0, l’istogramma è costituito da ν = kMAX + 1 canali di larghezza unitaria. k n(k) 0 127 150 1 82 100 2 47 3 20 50 4 7 5 2 0 6 4 0 1 2 3 4 5 6 7 kMAXà 7 1 8 0 N = 290 valori raggruppati in ν = 8 canali Qualora il numero di canali sia molto grande può essere utile raggruppare più valori k in un unico canale, cioè suddividere tutto il campione in classi disgiunte e contigue, di larghezza maggiore di 1 e rappresentate dal valore centrale della classe. Spesso, ma non sempre, si considerano ν classi tutte della stessa larghezza. i k da a n(k) 100 1 3 1 5 27 80 2 8 6 10 45 60 3 13 11 15 84 40 4 18 16 20 13 20 5 23 21 25 6 6 28 26 30 1 0 7 33 31 35 0 3 8 13 18 23 28 8 38 36 40 0 N = 176 valori raggruppati in ν = 6 canali Anche nel caso di variabili aleatorie continue è possibile visualizzare un istogramma: a causa della limitata precisione e quindi della sensibilità degli strumenti, le misure vengono "automaticamente" già raggruppate in classi discrete centrate intorno ai valori xi di larghezza ΔXi non inferiore alla sensibilità degli strumenti di misura. METODO Il test in esame si fonda sulla costruzione di una variabile U che segua una distribuzione del χ2 (da qui il nome del test) e quantifichi la differenza fra il campione di misure e la distribuzione ipotizzata. Per accettare o rifiutare l'ipotesi della particolare distribuzione è sufficiente controllare se il particolare valore di U ottenuto cada o meno all'interno di un opportuno intervallo di confidenza fissato a priori. Perché U abbia una distribuzione del χ2 occorre che sia pari alla somma dei quadrati di variabili aleatorie indipendenti con distribuzione gaussiana, media nulla e varianza unitaria:
U = Σ ui2. In questo caso si ipotizza di suddividere l'istogramma delle N misure effettuate in ν
canali. n − mi
Per ogni canale si costruisce una ui = i
dove: σ(n i )
-­‐ ni e σ(ni) rappresentano la frequenza e la deviazione standard della frequenza delle misure nel canale i-­‐mo -­‐ mi è la frequenza attesa per l'i-­‐mo canale. Nel dettaglio, le N misure che costituiscono il campione in esame hanno ciascuna una probabilità pi di cadere nel canale i-­‐mo e una probabilità 1-­‐pi di esserne fuori; pertanto la frequenza di misure del canale i-­‐mo segue una distribuzione binomiale di parametri N e pi e quindi con valore medio mi = N pi e varianza σ2 = N pi (1-­‐pi). 2
2
N #
n i − m i & N " n i − Np i %
''
Se le ni seguissero una distribuzione di Gauss allora U = ∑%
( = ∑$$
i=1 # Np i (1− p i ) &
i=1 $ σ(n i ) '
seguirebbe una distribuzione del χ2 con ν-­‐1 gradi di libertà (c'è il vincolo Σ ni = N che riduce di una unità le ν variabili indipendenti) . Per ottenere, anche se in modo approssimativo, un andamento gaussiano si può agire sulla larghezza, e quindi il numero, dei canali dell'istogramma. Occorre fare in modo che in ognuno di essi cada un numero sufficientemente elevato di misure ni tale da consentire l'approssimazione binomiale → gaussiana. Ma ni elevato si ottiene con N grande o realizzando un istogramma con pochi canali. In questo caso bisogna fare attenzione perché se i canali dell'istogramma fossero troppo pochi non sarebbe più possibile riconoscere la forma del campione (per esempio nel limite di 1 o 2 canali non sarebbe più possibile distinguere un andamento esponenziale da uno gaussiano). In pratica: la scelta delle larghezze delle ν classi (canali dell'istogramma) dovrà essere tale da produrre un numero di canali sufficientemente elevato per consentire la visualizzazione della distribuzione ma non eccessivamente elevato per far sì che ni>>1 e che quindi sia distribuito gaussianamente. 2
N "
n i − Np i %
'' seguirà una distribuzione del χ2 con ν -­‐1 gradi di libertà. Allora U = ∑$$
Np
(1−
p
)
i=1 #
i
i &
Non resta ora che determinare le pi. Rappresentano la probabilità, come detto, che ha ognuna delle N misure, ritenute indipendenti, di cadere nel canale i-­‐mo. Come calcolarle dipende dalla distribuzione di probabilità della variabile X della quale sono state effettuate le N misure: a seconda della distribuzione ipotizzata il calcolo delle pi produrrà valori diversi e quindi un diverso valore di U che quantificherà un diverso esito del test. Nei limiti sopra descritti, in cui la variabile aleatoria U segue la distribuzione del χ2, è possibile stabilire se il campione ottenuto da un insieme di misure provenga o meno da una popolazione con la distribuzione f(x) utilizzata per il calcolo delle pi. Infatti, scelto un opportuno intervallo di confidenza, basta confrontare il valore della variabile U con quello della variabile del χ 2 con ν-­‐1 gradi di libertà: se U è compreso all'interno dell'intervallo si può ritenere (con il relativo livello di confidenza) che il campione segua la distribuzione ipotizzata. ESEMPIO Applichiamo il test del χ2 per valutare se i conteggi ottenuti in intervalli di un secondo da un rivelatore di radiazione seguano la distribuzione di Poisson o quella di Gauss. Vengono analizzati 200 intervalli temporali. Riportiamo le frequenze osservate in una tabella e visualizziamole con un istogramma: k n(k) 60 0 5 1 14 50 2 48 40 3 34 30 4 43 20 5 26 10 6 15 7 7 0 8 6 0 1 2 3 4 5 6 7 8 9 9 2 > 9 0 Cominciamo con lo stimare dal campione il valore atteso e la deviazione standard di k: X = 3,595 σs = 1,868 Ipotizziamo ora che la distribuzione sia poissoniana. Con questa ipotesi possiamo calcolare (un foglio di calcolo elettronico può essere d’aiuto) le probabilità pi (che in questo caso sono le probabilità che la variabile aleatoria “conteggi in un secondo” assuma il valore k avendo in e−3,595 3, 595k
media il valore m = 3,595: P3,595(k) =
). k!
Per ogni canale i dell’istogramma riportiamo in una tabella: -­‐ il valore del numero k di conteggi -­‐ le frequenze ni (cioè il contenuto n(k) dell’i-­‐mo canale) -­‐ le probabilità pi = P3,595(k) -­‐ i valori attesi delle frequenze mi = N pi (cioè 200 x P3,595(k)) n − mi
-­‐ le variabili ui = i
con σ(ni) = N p i (1− p i ) σ(n i )
-­‐ i quadrati ui2 i k ni pi mi ui ui2 1 0 5 0,027 5,49 -­‐0,213 0,045 2 1 14 0,099 19,74 -­‐1,362 1,854 3 2 48 0,177 35,49 2,315 5,361 4 3 34 0,213 42,53 -­‐1,474 2,172 5 4 43 0,191 38,22 0,859 0,738 6 5 26 0,137 27,48 -­‐0,304 0,093 7 6 15 0,082 16,47 -­‐0,377 0,142 8 7 7 0,042 8,46 -­‐0,512 0,262 9 8 6 0,019 3,80 1,139 1,298 10 9 2 0,008 1,52 0,393 0,154 200 0,996 199,20 12,120 Come esempio fissiamo l’attenzione sul quinto canale della tabella: ognuno dei 200 intervalli analizzati ha una probabilità p = 19,1% di presentare una frequenza pari a 4 conteggi e quindi una probabilità q = 80,9% di avere un numero di conteggi diverso da 4: un tipico processo binomiale con E(k) = Np e σ2(k) = N p q. In media ci si attende quindi che dei 200 intervalli solo Np = 38,22 abbiano 4 conteggi. A fronte di questa aspettazione il numero di intervalli con 4 conteggi è stato 34. La variabile 34 − 38, 22
standardizzata ui vale quindi =0,859. 200x0,191x0,809
Dato che la variabile k della distribuzione di Poisson può assumere qualsiasi valore intero non negativo si noti come la somma delle probabilità per i soli valori di k compresi fra 0 e 10 sia, anche se di poco, minore dell’unità. Come già sottolineato è necessario che le variabili ui siano distribuite gaussianamente. Questo richiede che i valori attesi delle frequenze (mi = Npi) siano sufficientemente elevati. In pratica è sufficiente limitarsi a considerare solo i canali per i quali mi >5 (evidenziati in neretto nella tabella). La variabile U ottenuta sommando le ui2 da k=0 a k=7 vale 10,668 e segue sostanzialmente la distribuzione di probabilità del χ2. Va ora definito il numero di gradi di libertà di U. I canali considerati sono 8 ma ci sono due vincoli dovuti al fatto che alcuni valori utilizzati nell’espressione di U sono stati ottenuti a partire dai dati: la somma delle ni è pari a N; come valore atteso m della poissoniana è stata considerata la media aritmetica delle frequenze osservate. I due vincoli riducono di altrettante unità il numero di variabili indipendenti. Pertanto U segue una distribuzione del χ2 con ν = 8 -­‐ 2 = 6 gradi di libertà. Dato che E(χ2) = ν e σ2(χ2) = 2ν, è elevata la probabilità che U sia all'interno dell'intervallo 6 ± 12 = 6 ± 3, 5 : la differenza fra U = 10,668 e il valore atteso è ancora compatibile con la presenza di errori casuali dato che ne dista per poco più di una deviazione standard. Questo implica che l’ipotesi di distribuzione poissoniana dei dati (utilizzata per il calcolo delle pi nelle ui) è sostanzialmente, anche se non perfettamente, verificata dal test (più rigorosamente andrebbero utilizzate le tabelle che indicano gli intervalli di confidenza per i valori di U in funzione del numero di gradi di liberta e del livello di confidenza: con 6 gradi di libertà la probabilità di avere valori di U superiori a 10,6446 è solo del 10%). Ripetiamo ora il test ipotizzando che la distribuzione delle frequenze di conteggi sia una gaussiana di parametri m = X = 3,595 e σ = σs = 1,868. In questo caso, dato che la distribuzione gaussiana è continua, per il calcolo della probabilità di avere un determinato numero intero k di conteggi si dovrebbe ricorrere alle tabelle ERF (ERror Function: integrale della curva di Gauss) per conoscere la probabilità di avere eventi k+0,5
(k−m )2
−
1
2
nell’intervallo k-­‐0,5÷k+0,5: ∫
e 2σ dk k−0,5 2πσ
Più semplicemente, ma in modo meno rigoroso, si può ipotizzare che la probabilità di avere un intervallo con un numero di conteggi (considerato come variabile continua) contenuto (k−m )2
−
1
2
e 2σ moltiplicata per la larghezza del nell’intervallo k-­‐0,5÷k+0,5 sia pari alla f(k) = 2πσ
canale dell’istogramma (k+0,5)-­‐(k-­‐0,5) = 1. Con questa ipotesi semplificativa si ottiene la tabella: i k ni pi mi ui ui2 1 0 5 0,034 6,70 -­‐0,669 0,447 2 1 14 0,081 16,28 -­‐0,589 0,347 3 2 48 0,148 29,67 3,645 13,290 4 3 34 0,203 40,62 -­‐1,163 1,352 5 4 43 0,209 41,74 0,220 0,048 6 5 26 0,161 32,20 -­‐1,193 1,423 7 6 15 0,093 18,65 -­‐0,888 0,788 8 7 7 0,041 8,11 -­‐0,398 0,158 9 8 6 0,013 2,65 2,074 4,301 10 9 2 0,003 0,65 1,680 2,822 200 0,986 197,26 24,977 Analogamente al test precedente, dato che la variabile della distribuzione di Gauss può assumere qualsiasi valore reale, la somma delle probabilità per i soli valori di k compresi fra 0 e 10 è minore dell’unità. Anche in questo caso è ovviamente necessario che le variabili ui siano distribuite gaussianamente. Questo richiede che i valori attesi delle frequenze (mi = Npi) siano sufficientemente elevati. Limitandosi a considerare solo i canali per i quali mi >5 (evidenziati in neretto nella tabella) la variabile U ottenuta sommando le ui2 da k=0 a k=7 vale 17,854. Quanto al numero di gradi di libertà di U, i canali considerati sono sempre 8 ma ora ci sono tre vincoli: la somma delle ni è pari a N; come valore atteso m della gaussiana è stata considerata la media aritmetica delle frequenze osservate e come deviazione standard quella ottenuta dal campione di misure. Pertanto U segue una distribuzione del χ2 con ν = 8 -­‐ 3 = 5 gradi di libertà. Dato che E(χ2) = ν e σ2(χ2) = 2 ν, è elevata la probabilità che U sia all'interno dell'intervallo 5 ± 10 = 5 ± 3, 2 : la differenza fra U = 17,854 e il valore atteso 5 non è compatibile con la presenza di errori casuali dato che la distanza è di circa 4 deviazioni standard. Questo implica che l’ipotesi di distribuzione gaussiana dei dati (utilizzata per il calcolo delle pi nelle ui) non è verificata dal test (la probabilità di ottenere con 5 gradi di libertà U maggiore di 16,7496 è inferiore al 5 per mille… non è casuale: è infondata l’ipotesi di gaussianità) Funzione degli errori
Poiché in presenza di soli errori casuali i risultati di misure sono distribuiti secondo la curva di
z
Gauss, la funzione: ∫
0
1
2π
e
−
z '2
2
dz' (che è tabulata) è detta anche funzione degli errori (ERF).
0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09
0,0 0,0000 0,0040 0,0080 0,0120 0,0160 0,0199 0,0239 0,0279 0,0319 0,0359
0,1 0,0398 0,0438 0,0478 0,0517 0,0557 0,0596 0,0636 0,0675 0,0714 0,0754
0,2 0,0793 0,0832 0,0871 0,0910 0,0949 0,0987 0,1026 0,1064 0,1103 0,1141
0,3 0,1179 0,1217 0,1255 0,1293 0,1331 0,1369 0,1406 0,1443 0,1481 0,1518
0,4 0,1554 0,1591 0,1628 0,1664 0,1701 0,1737 0,1773 0,1808 0,1844 0,1880
0,5 0,1915 0,1950 0,1985 0,2020 0,2054 0,2089 0,2123 0,2157 0,2191 0,2224
0,6 0,2258 0,2291 0,2324 0,2357 0,2389 0,2422 0,2454 0,2486 0,2518 0,2549
0,7 0,2580 0,2612 0,2643 0,2673 0,2704 0,2734 0,2764 0,2794 0,2823 0,2853
0,8 0,2881 0,2911 0,2939 0,2968 0,2996 0,3024 0,3051 0,3079 0,3106 0,3133
0,9 0,3159 0,3186 0,3212 0,3238 0,3264 0,3290 0,3315 0,3340 0,3365 0,3389
1,0 0,3413 0,3438 0,3462 0,3485 0,3509 0,3532 0,3555 0,3577 0,3600 0,3622
1,1 0,3644 0,3665 0,3687 0,3708 0,3729 0,3750 0,3770 0,3790 0,3810 0,3830
1,2 0,3850 0,3869 0,3888 0,3907 0,3925 0,3944 0,3962 0,3980 0,3998 0,4015
1,3 0,4032 0,4049 0,4066 0,4083 0,4099 0,4115 0,4131 0,4147 0,4162 0,4178
1,4 0,4193 0,4208 0,4222 0,4237 0,4251 0,4265 0,4279 0,4292 0,4306 0,4319
1,5 0,4332 0,4345 0,4358 0,4370 0,4382 0,4395 0,4406 0,4418 0,4430 0,4441
1,6 0,4452 0,4463 0,4474 0,4485 0,4495 0,4506 0,4516 0,4526 0,4535 0,4545
1,7 0,4555 0,4564 0,4573 0,4582 0,4591 0,4600 0,4608 0,4617 0,4625 0,4633
1,8 0,4641 0,4649 0,4656 0,4664 0,4671 0,4679 0,4686 0,4693 0,4700 0,4706
1,9 0,4713 0,4720 0,4726 0,4732 0,4738 0,4744 0,4750 0,4756 0,4762 0,4767
2,0 0,4773 0,4778 0,4783 0,4788 0,4793 0,4798 0,4803 0,4808 0,4813 0,4817
2,1 0,4822 0,4826 0,4830 0,4834 0,4838 0,4842 0,4846 0,4850 0,4854 0,4858
2,2 0,4861 0,4865 0,4868 0,4872 0,4875 0,4878 0,4881 0,4884 0,4887 0,4890
2,3 0,4893 0,4896 0,4899 0,4901 0,4904 0,4906 0,4909 0,4911 0,4914 0,4916
2,4 0,4918 0,4920 0,4923 0,4925 0,4927 0,4929 0,4931 0,4933 0,4935 0,4936
2,5 0,4938 0,4940 0,4942 0,4943 0,4945 0,4946 0,4948 0,4949 0,4951 0,4952
2,6 0,4954 0,4955 0,4956 0,4958 0,4959 0,4960 0,4961 0,4962 0,4963 0,4965
2,7 0,4966 0,4967 0,4968 0,4969 0,4970 0,4970 0,4971 0,4972 0,4973 0,4974
2,8 0,4975 0,4975 0,4976 0,4977 0,4978 0,4978 0,4979 0,4980 0,4980 0,4981
2,9 0,4982 0,4982 0,4983 0,4983 0,4984 0,4984 0,4985 0,4985 0,4986 0,4986
3,0 0,4987 0,4987 0,4988 0,4988 0,4988 0,4989 0,4989 0,4990 0,4990 0,4990
3,5 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4999 0,4999
ESEMPIO: calcolare P(9,9 g ≤ M ≤ 10,2 g) con
la massa M distribuita secondo una gaussiana con
media m = 10,00 g e σ = 0,10 g.
za =
9,9 − 10
10,2 − 10
= -1 zb =
= 2 e quindi:
0,1
0,1
P(9,9 g ≤ M ≤ 10,2 g) = P(-1 ≤ z ≤ 2) =
= P(0 ≤ z ≤ 2) + P(-1 ≤ z ≤ 0) =
= P(0 ≤ z ≤ 2) + P( 0 ≤ z ≤ 1) = ERF(2) + ERF(1) = 0,4773 + 0,3413 = 82,86 %