Considerazioni statistiche
Prima di iniziare uno studio
• calcolo della potenza. Per evitare di fare uno studio
che abbia poca probabilità di dimostrare come
statisticamente significativo l'effetto vero di un
intervento
Alla fine dello studio
• analisi statistica dei dati. Una riduzione del tasso di
infortunio più grande nel gruppo di intervento che
nel gruppo di confronto basta per dimostrare che
l'intervento ha funzionato? No, perchè i dati nella
vita reale sono soggetti a variabilità casuale.
Errori del test statistico
Realtà
Vero
Test
statistico
Errore
tipo I
Vero
Falso
Falso
Errore
tipo II
Errori di I tipo e probabilità dell’errore
(p-value)
Realtà
Vero
Test
statistico
Errore
tipo I
Vero
Falso
Falso
Errore
tipo II
Probabilità α
p-value alfa (errore I tipo)
L'analisi statistica produce un p-value che può
essere interpretato come:
La probabilità che una differenza ampia almeno
quanto quella osservata si sarebbe potuta
produrre semplicemente per caso, se
veramente non ci fosse un effetto reale
dell'intervento.
p-value (errore alfa)
Realtà
Vero
Test
statistico
Errore
tipo I
Vero
Falso
Falso
Errore
tipo II
α < 0.05
Errore di II tipo e probabilità Beta
Se il programma ha in realtà un effetto
moderato, ma la differenza non è statisticamente
significativa, in tal caso non si rifiuta (cioè si
accetta) l’ipotesi iniziale di “nessuna differenza”
mentre in realtà questa differenza esiste.
Questo errore è conosciuto come errore tipo II.
La probabilità che si verifichi tale errore, cioè, la
probabilità che non riusciate a rifiutare l'ipotesi
quando è falsa, è conosciuta come β.
Errore II tipo e p-value di Beta
Realtà
Vero
Test
statistico
Errore
tipo I
Vero
Falso
Probabilità
β
Falso
Errore
tipo II
Errore II tipo e p-value di Beta
Realtà
Vero
Test
statistico
Errore
tipo I
Vero
Falso
β  0.10
Falso
Errore
tipo II
Potenza dello studio
La probabilità di rifiutare correttamente un'ipotesi
falsa, cioè di evidenziare l'efficacia del
programma quando questo ha avuto un effetto
vero, è 1- β.
Questo valore è conosciuto come potenza dello
studio.
Prima di intraprendere l'intervento è importante considerare
la potenza dello studio, per essere ragionevolmente sicuri di
concludere che esiste una differenza se veramente questa
esiste (e quindi evitare di fare uno studio che abbia poca
probabilità di dimostrare l'effetto vero di un intervento)
Ciò può essere fatto in due modi:
• prima decidere la potenza desiderata e poi calcolare la
dimensione del campione necessario
• oppure, disponendo di un determinato numero di operai
che potrebbero partecipare allo studio, valutare la
potenza che lo studio avrebbe con quel numero
Il primo metodo è preferibile. Tipicamente, i ricercatori
progettano le valutazioni in modo che la potenza sia
80% (a volte 90%); cioè se l'intervento è veramente
efficace, vi è una probabilità di 80% (90%) che i dati
raccolti e i test statistici usati vi permettano di
concludere che l'intervento è efficace.
Nella pratica, gli interventi nei posti di lavoro
coinvolgono solitamente un numero fisso di operai
(quelli di un impianto o di un reparto). Così non si può
decidere in anticipo la potenza, ma solo di controllare
con quale potenza si opera
Parecchi elementi entrano nel calcolo della potenza:
• la dimensione dell’effetto, quale effetto dovrebbe avere
l'intervento per valere la pena di fare l’intervento e di
riproporlo altrove
• dimensione del campione, numero di partecipanti alla
valutazione o, più formalmente, di unità sperimentali
• variabilità delle misure all'interno del campione
• valori assegnati per α e β.
• tipo di dati raccolti (quantitativi o qualitativi)
• disegno sperimentale
Calcolo della potenza
http://stat.ubc.ca/~rollin/stats/ssize/n2.html
Analisi statistica
C’è un certo numero di questioni da considerare:
• tipo di dati (variabili categoriche o continue)
• tipo di disegno di valutazione
• unità statistica dello studio
• dimensione del campione di studio
• aggiustamento per le caratteristiche dei diversi gruppi
Tipo di
disegno
Tipo di
misura del
risultato
Test
statistico
Before-and-after
Tasso
Test chi-quadrato
Pre-post con
gruppo di controllo
Tasso
Test z
Analisi statistica
Si può utilizzare un pc con un
pacchetto di programmi statistico
• Epi Info: http://www.cdc.gov/epo/epi/epiinfo.html
• PEPI: http://www.usd-inc.com/pepi.html
Alcuni esempi di analisi statistica
• Disegni before-and after (dati categorici)
– Rapporto di tassi
– Differenza di tassi
– Test chi-quadrato
• Disegni before-and-after con gruppo di
controllo (datai categorici)
– Rapporto di tassi
– Differenza di tassi
– Test z
Analisi di disegni before-and-after
con dati categorici
• Calcolo dei tassi
• Rapporto di tassi (rate ratio, RR)
– Intervallo di confidenza di RR
• Differenza tra tassi (rate difference, RD)
– Intervallo di confidenza di RD
• Test chi quadrato
– Calcolo eventi attesi
– Calcolo del chi quadrato
– Tavola del chi quadrato
Calcolo dei tassi (rate)
Prima dell’ Dopo l’
intervento intervento
N. infortuni
Ore lavorate
28
22
40 000
60 000
Tasso per 105
28 : 40 000 = 0.0007
Tasso per 10 5 = 0.0007 × 100 000 = 70
22 : 60 000 = 0.00037 Tasso per 105 = 0.00037 × 100 000 = 37
Rapporto di tassi (rate ratio, RR)
Prima dell’ Dopo l’
intervento intervento
N. infortuni
28
22
Ore lavorate
40 000
60 000
Tasso per 105
70
36.7
Rapporto di tassi (Rate Ratio, RR) = 36.7 / 70 = 0.52
Infortuni prevenuti = 1 – 0.52 = 0.48 (oppure 48%)
Intervallo di confidenza (IC) al 95% di RR
Prima dell’ Dopo l’
intervento intervento
N. infortuni
28
22
Ore lavorate
40 000
60 000
Tasso per 105
70
36.7
Trasforma RR in logaritmo: ln (0.52) = - 0.65
Varianza di ln(RR) = 1/28 + 1/22 = 0.08
Errore standard (SE) = (0.08)0.5 = 0.28
LnIC = lnRR ± z (SE) = -0.65 ± 1.96 (0.28) = -1.2 e -0.09
Trasfoma da logaritmo a numero = e-1.2 = 0.30; e- 0.09 =0.92
IC = da 0.30 a 0.92
Differenza di tassi (Rate Difference, RD)
Prima dell’ Dopo l’
intervento intervento
N. infortuni
28
22
Ore lavorate
40 000
60 000
Tasso per 105
70
36.7
Differenza di tassi = 70 – 36.7 = 33.3 per 100 000 ore lavorate
Intervallo di confidenza (IC) al 95% di RR
Prima dell’ Dopo l’
intervento intervento
N. infortuni
28
22
Ore lavorate
40 000
60 000
Tasso per 105
70
36.7
Calcola: ore lavorate/100 000; si ottiene 0.4 e 0.7
Varianza di RD = (28 / 0.4 2 + 22 / 0.6 2) = 236.11
Errore standard (SE) = (236.11) 0.5 = 15.37
IC = RD ± z (SE) = 33.3 ± 1.96 (15.37) = 3.22 e 63.45
Calcolo degli infortuni attesi (exp)
Prima dell’ Dopo l’
intervento intervento
N. infortuni
Ore lavorate
Totale
28
22
50
40 000
60 000
100 000
50 : 100 000 = exp1 : 40 000;
exp1 = (50×40 000)/100 000 = 20
50 : 100 000 = exp2 : 60 000;
exp2 = (50×60 000)/100 000 = 30
Calcolo del chi quadrato
Prima dell’ Dopo l’
intervento intervento
Totale
N. infortuni
28 (20)
22 (30)
50
Ore lavorate
40 000
60 000
100 000
(28 - 20) + (22 - 30) = 0
(28 - 20)2 + (22 - 30)2 = 32
Chi-quadrato = ((28-20)2/20) + ((22-30)2/30) = 5.33
Gradi di libertà = 1
Tavola del Chi-Quadrato
(α = probabilità errore I tipo; GdL = gradi di libertà)
α
0.995
0.99
0.975
0.95
0.90
0.10
0.05
0.025
0.01
GdL
1
---
---
0.001
0.004
0.016
2.706
3.841
5.024
6.635
2
0.010
0.020
0.051
0.103
0.211
4.605
5.991
7.378
9.210
3
0.072
0.115
0.216
0.352
0.584
6.251
7.815
9.348
11.345
4
0.207
0.297
0.484
0.711
1.064
7.779
9.488
11.143 13.277
5
0.412
0.554
0.831
1.145
1.610
9.236
11.070
12.833 15.086
Il chi-quadrato con un grado di libertà è 5.33
Livello di significatività =
Analisi di disegni before-and-after
con gruppo di controllo. Dati categorici
•
Rapporto di tassi
1.
2.
3.
4.
•
Calcolo dei tassi e di RR1 e RR2
Calcolo di D = differenza tra ln(RR1) e ln(RR2)
Calcolo di Standard Error (SD) della differenza D
Test statistico z = D/SD
Differenza di tassi
1.
2.
3.
4.
Calcolo delle differenze RD1 e RD2
Calcolo di D = differenza tra RD1 e RD2
Calcolo dello Standard Error (SD) della differenza D
Test stastico z = D/SD
1) Calcolo dei tassi e di RR1 e RR2
Pre-intervento Post-intervento
Infortuni
Controllo
Ore lavorate
Gruppo 1
Tasso x 100,000 ore
Infortuni
Intervento
Ore lavorate
Gruppo 2
Tasso x 100,000 ore
Calcola:
49
46
817000
801000
6
5.74
26
8
406000
394000
6.4
2.03
ln(RR1) = ln(5.74/6.00) = -0.043
ln(RR2) = ln(2.03/6.40) = -1.149
2) D = Differenza tra ln(RR1) e ln(RR2)
Pre-intervento Post-intervento
Controllo
(Gruppo 1)
Infortuni
49
46
Tasso
6
5.74
Intervento
(Gruppo 2)
Infortuni
26
8
Tasso
6.4
2.03
Calcola:
ln(RR1) = ln(5.74/6.00) = -0.043
ln(RR2) = ln(2.03/6.40) = -1.149
la differenza tra loro: D = ln(RR1) - ln(RR2) =
-0.043 -(-1.149) = 1.106
3) Standard Error della differenza D
Pre-intervento Post-intervento
Controllo
(Gruppo 1)
Infortuni
49
46
Tasso
6
5.74
Intervento
(Gruppo 2)
Infortuni
26
8
Tasso
6.4
2.03
Calcola:
Il reciproco dei numeri di infortunio 1/49, 1/46, 1/26, e 1/8
La somma = 0.206
La radice quadrata = 0.453.
4) Test statistico “z”
Pre-intervento Post-intervento
Controllo
(Gruppo 1)
Infortuni
49
46
Tasso
6
5.74
Intervento
(Gruppo 2)
Infortuni
26
8
Tasso
6.4
2.03
Calcola:
z = D / SE = 1.106 / 0.453 = 2.44.
Quando z > 1.96 p < 0.05
Quindi i dati mostrano che l’intervento ha funzionato.
1) Differenza tra RD1 e RD2
Infortuni
Controllo
Gruppo 1
Ore lavorate
Preintervento
49
Post-intervento
46
817000
801000
Tasso x 100,000 ore
6
5.74
Infortuni
26
8
406000
394000
6.4
2.03
Intervento
Ore lavorate
Gruppo 2
Tasso x 100,000 ore
RD1 = 6.00 - 5.74 = 0.26
RD2 = 6.40 - 2.03 = 4.37
2) D = differenza tra RD1 e RD2
Pre-intervento Post-intervento
Controllo
(Gruppo 1)
Infortuni
49
46
Tasso
6
5.74
Intervento
(Gruppo 2)
Infortuni
26
8
Tasso
6.4
2.03
RD1 = 6.00 - 5.74 = 0.26
RD2 = 6.40 - 2.03 = 4.37
Differenza fra gruppo di controllo e gruppo di intervento
D = RD2 - RD1 = 4.37 - 0.26 = 4.11
3a) Standard Error di D
Pre-intervento Post-intervento
Controllo
(Gruppo 1)
Infortuni
Intervento
(Gruppo 2)
Infortuni
Ore lavorate
Ore lavorate
49
46
817000
801000
26
8
406000
394000
Per ciascuna delle quattro categorie si calcola:
1) time units = (ore lavorate/100 000)2
2) numero infortuni / time units
3b) Standard Error di D
Pre-intervento Post-intervento
Controllo
(Gruppo 1)
Infortuni
Intervento
(Gruppo 2)
Infortuni
Ore lavorate
Ore lavorate
49
46
817000
801000
26
8
406000
394000
Numero infortuni / time units =
49/8.172 + 46/8.012 + 26/4.062 + 8/3.942
Somma = 3.54
Radice quadrata della somma = 1.8
4) Test statistico z
Pre-intervento Post-intervento
Controllo
(Gruppo 1)
Infortuni
Intervento
(Gruppo 2)
Infortuni
Ore lavorate
Ore lavorate
49
46
817000
801000
26
8
406000
394000
z = D / SE = 4.11/ 1.88 = 2.19
Se z > 1.96 allora p < 0.05
Anche questa analisi mostra che l'intervento ha funzionato
Se i valori di pre-intervento sono diversi
Esempio 1
Esempio 2
Controllo
(Gruppo 1)
Pre-intervento
12
12
Post-intervent
9
6
Intervento
(Gruppo 2)
Pre-intervento
6
6
Post-intervent
3
3
Esempio 1
differenza uguale (3) ma rapporti diversi (75% e 50%)
Esempio 2 =
rapporto uguale (50%) ma differenza diversa (6 e 3)
Se i valori di pre-intervento sono diversi
Esempio 1
Esempio 2
Controllo
(Gruppo 1)
Pre-intervento
12
12
Post-intervent
9
6
Intervento
(Gruppo 2)
Pre-intervento
6
6
Post-intervent
3
3
In tal caso i valori di z calcolati con i metodi RR e RD
possono non sono gli stessi; debbono essere calcolati
entrambi e per entrambi z dovrebbe essere più grande di
1.96 per fornire la prova che l'intervento ha funzionato.