Misura dei risultati
Discuteremo soltanto di metodi quantitativi cioè,
quelli che danno informazioni numeriche
Raccolta di dati amministrativi – statistiche di
infortuni
1.
•
2.
Osservazioni sui comportamenti e sul luogo di
lavoro
•
3.
Validità e attendibilità
Validità e attendibilità
Indagini sulla soggettività dei lavoratori
Raccolta di dati amministrativi
statistiche di infortuni
Tasso di frequenza di infortuni:
numero di infortuni per unità di esposizione
(numeratore / denominatore)
Raccolta di dati amministrativi
statistiche di infortuni
Numeratore del tasso (categorie di infortuni):
•
infortuni con uno o più giorni di lavoro persi
•
infortuni invalidanti
•
infortuni registrati (cioè quelli che la legge richiede
di registrare);
•
infortuni con trattamento medico
•
infortuni con prestazioni di pronto soccorso.
•
quasi-infortuni (sebbene questa sia una misura
meno frequentemente accettata e standardizzata)
Raccolta di dati amministrativi
statistiche di infortuni
Denominatore del tasso (categorie di unità di esposizione):
•
ore lavorate o lavoratore-ore. L’unità di esposizione,
solitamente 100,000 o 1,000,000 di ore lavorate,
fornisce una stima relativamente precisa del tasso di
frequenza
•
numero di lavoratori; è usata anche se è una misura
più grezza di esposizione
•
periodo di tempo di uguale lunghezza (per esempio,
un anno; tuttavia l’equivalenza con le ore lavorate
dovrebbe essere confermata)
Raccolta di dati amministrativi
statistiche di infortuni
Tasso di gravità di infortuni
(N. giorni di assenza dal lavoro / N. ore lavorate) x 1000
Tasso di gravità degli infortuni
Il tasso di gravità, ampiamente usato, è di
utile complemento al tasso di frequenza (vedi
oltre: rapporto tra infortuni minori e maggiori)
Attendibilità e validità delle misure
Un valore misurato consiste di due parti:
• il valore reale
• l’errore di misura (cioè, l'errore che
facciamo nella misurazione). L’errore di
misura rende un particolare valore
misurato maggiore o minore rispetto al
valore reale.
Attendibilità e validità delle misure
Attendibilità e validità delle misure
L'errore di misura consiste di due parti:
• errore sistematico, anche conosciuto come
bias. Questo tipo di errore compare
quando facciamo un errore costantemente
nello stesso “senso”. Questo tipo di errore
riduce la validità della misura
• errore casuale. Come dice il nome, varia a
caso, a volte conducendo a sovrastima e a
volte a sottostima. Questi tipo di errore
riduce l’attendibilità della misura.
Attendibilità e validità delle misure
Le misure valide hanno un basso grado di errore
sistematico e le misure attendibili hanno un basso
grado di errore casuale.
Se il metodo è valido vuol dire che stiamo misurando
ciò che avevamo sperato di misurare. Se il metodo è
attendibile le risposte sono costanti pur ripetendo
molte volte la misurazione (misurando la stessa
cosa). Se è sia valido che attendibile, il metodo di
misura è considerato accurato. Nella valutazione di
efficacia di un intervento, bisogna applicare metodi
che minimizzino entrambi i tipi di errori di misura, in
altre parole, bisogna usare metodi accurati.
Concetti di attendibilità e validità:
l'analogia del bersaglio
1
2
3
4
• La misura attendibile ha un basso grado di dispersione
dei valori (come nei pannelli ? e ?).
• La misura valida è concentrata sul valore reale (come
nei pannelli ? e ?).
Perché la validità è importante
Quando i metodi sono attendibili, ma
scarsamente validi, le conclusioni tratte dai
risultati della valutazione potrebbero essere
errate, particolarmente se ciò che è stato
misurato era diverso da quello che si era
pensato di misurare
Problemi di validità delle
statistiche di infortuni
Il punto principale da tenere in
considerazione quando si utilizzando dati
su infortuni è la presenza di reporting
bias, che può insorgere ad ogni livello dal
momento dell’infortunio a quando
l’infortunio diviene un dato statistico
nazionale.
Problemi di validità e attendibilità
delle statistiche di infortuni
La possibilità di risarcimenti o il tipo di
ambiente di lavoro possono spingere
a esagerare le segnalazioni di
infortunio. D'altra parte, gli incentivi
offerti ai singoli o ad organizzazioni
per ridurre gli infortuni possono
portare ad una sottostima degli eventi
o all’utilizzo di criteri meno severi nella
classificazione dell’infortunio.
Modello “filtro”
In questo modello, un filtro è qualche cosa che
impedisce ai dati di infortunio denunciabile di
passare da un livello di segnalazione all’altro.
Questo modello “filtro” può aiutare a
riconoscere dove e per quale ragione possono
insorgere bias che possono influenzare le
segnalazioni di infortuni
Il modello “Filtro”: sei livelli e cinque filtri
INAIL
Azienda
Centro medico aziendale
Supervisore
Lavoratore
Totali
Filtro 5
Filtro 4
Filtro 3
Filtro 2
Filtro 1
Persone
chiave
Filtro 1
Filtro 2
Lavoratore
Supervisore
Attitudini Invio al
Caratteris
verso la
centro
tica
salute
medico
Gravità e Attitudini
tipo di
carico di
Fattori
sintomi.
lavoro
chiave
Learned Company
pattern
policy
Vicinanz
Attitudini
centro
Altri fattori colleghi di medico
lavoro
Caratt
lavorat.
Filtro 3
Filtro 4
Filtro 5
Staff
centro
medico
Compilazione
modulo
Ufficio
aziend.
Stato
INAIL
Attitudini
Carico di
lavoro
Training
sicurezza
Registro Statistiche
infortuni
nazion.
Training
Rigore
nella
sorveglianza
Gravità e Company
Efficienza
tipo infor.
policy
raccolta
Caratt
Efficacia
dati
lavorat. sindacato
Modello “filtro”
• Il livello uno è considerato rappresentare il vero tasso di
infortunio
• il primo filtro è il processo decisionale del lavoratore che
decide se segnalare oppure no l’infortunio
• Il secondo, terzo e quarto filtro funzionano nel posto di
lavoro
• il quinto nella trasmissione dei dati dal livello aziendale
all’INAIL che, per legge, raccoglie e pubblica dati
aggregati
• I filtri funzionano diversamente per infortuni di differente
entità. Meno grave è l’infortunio, più efficaci sono i filtri e
meno validi sono i dati
Validità delle statistiche di infortuni
Un buon indicatore di under-reporting è il rapporto
tra infortuni minori e maggiori. Poiché le lesioni
non gravi sono quelle più probabilmente “filtrate
fuori" rispetto a quelle più importanti, un rapporto
costante indica la stabilità di qualche bias di
underreporting o la sua assenza.
Validità delle statistiche di infortuni
• Le verifiche di tipo amministrativo tendono ad aumentare
le segnalazioni, mentre i programmi che incentivano la
sicurezza con premi in denaro invogliano a non
segnalare infortunio.
• Un reporting bias è tollerato in una valutazione se
influenza i dati sempre nello stesso senso. Diventa un
problema se il reporting bias interferisce a livelli
differenti, o nel tempo o in maniera differenti fra i gruppi
Attendibilità delle statistiche di
infortuni: il problema dei piccoli
numeri
Purtroppo, i dati dei tassi di frequenza di infortuni
hanno spesso bassa attendibilità (eccetto che in grandi
fabbriche), perché sono numeri piccoli. Per questo, è
difficile dire se le variazioni delle misure dei risultati
siano dovuti all'intervento o semplicemente a
fluttuazioni casuali. Ciò significa che sarà più difficile da
rilevare l’effetto di un intervento, anche se l’intervento
era realmente efficace.
Misura di risultati intermedi:
liste di controllo (checklists) su
comportamento e luogo di lavoro
Un'alternativa ai “piccoli numeri”, è la misura di
risultati intermedi, per esempio, osservazioni
sulle pratiche di lavoro, sul posto di lavoro o sul
clima aziendale sulla sicurezza (safety climate).
La potenza probabilmente sarà maggiore usando
i test statistici su questi dati piuttosto che sui dati
di infortunio
Liste di controllo (checklists) su
comportamento e luogo di lavoro
Controllando le segnalazioni di infortunio si vede che
la maggior parte degli infortuni è associata a
comportamenti non sicuri.
Ciò non significa che la responsabilità per tali
infortuni sia solo dovuto al comportamento del
lavoratore. Le circostanze che portano a
comportamenti errati sono spesso di responsabilità
dell'amministrazione.
Studi sul comportamento
Per misurare l'effetto degli interventi di sicurezza, si
utilizzano sempre più spesso osservazioni sul
comportamento del lavoratore nei confronti della
sicurezza. Un osservatore (supervisore, esperto o
lavoratore formato) visita la zona di lavoro ad un'ora
selezionata a caso e fa le osservazioni per circa
mezz'ora. Per ogni tipo di comportamento, si può scrivere
“performed safely”, “performed unsafely” or “not
observed”.
La proporzione di comportamenti sicuri è calcolata dopo il
periodo di osservazione ed è dato dal rapporto tra
numero di azioni effettuate in sicurezza e numero di
azioni osservate.
Vantaggi delle misure di osservazione sul
comportamento e sul posto di lavoro
• In primo luogo, sono "leading indicators" anziché "
trailing indicators ", nel senso che questo tipo di misura
parte dall’inizio nella sequenza casuale degli
avvenimenti
• In secondo luogo, è possibile fare osservazioni frequenti,
parecchie volte alla settimana. Ciò rende i dati sensibili
ai cambiamenti causati dagli interventi e può essere
analizzata in relazione al trend temporale
• In terzo luogo, sembra che il comportamento possa
servire come valido surrogato per gli infortuni come
misura del risultato finale
Svantaggi delle misure di
osservazione sul comportamento e
sul posto di lavoro
Uno svantaggio delle osservazioni sul comportamento è
che talvolta chi è osservato non si sente a proprio agio,
e in alcuni ambienti può essere considerato non etico o
inaccettabile.
Le osservazioni del posto di lavoro danno meno
problemi, perché non ci si concentra sul comportamento
dei singoli. Inoltre, le osservazioni del posto di lavoro
possono essere effettuate in un modo meno intrusivo,
interferendo meno con la misura dell'effetto
dell'intervento.
Validità delle misure di risultati
intermedi
Il limite nell’utilizzo di misure intermedie al
posto dei risultati di infortunio è che deve
essere dimostrata la validità della misura
surrogata, dimostrando che esiste una
buona correlazione tra queste misure
surrogate e una misura di sicurezza più
consolidata, come gli infortuni
Liste di controllo (checklists) su
comportamento e luogo di lavoro:
altri problemi
• accordo tra osservatori (inter-rater reliability)
• effetto tetto (ceiling effects)
Accordo tra osservatori
(inter-rater reliability)
Ciò si verifica quando più di una persona osserva la stessa
area e registra gli eventi indipendentemente da altri. Tipiche
modalità per riportare l’accordo tra osservatori sono:
► la percentuale di concordanza (la percentuale di punti in
lista categorizzati nella stessa maniera)
► il coefficiente Kappa. Questa statistica considera la
percentuale di concordanza che ci sarebbe stata per puro
effetto del caso. Si riconoscono tre situazioni: kappa
moderato per valori fra 0.40 e 0.59, 0.60-0.79 sostanziale e
0.80-1.00 molto buono. Se l’accordo tra osservatori è basso,
si dovrebbe eliminare dal protocollo ogni ambiguità e si
dovrebbe specificare meglio i criteri
Effetto tetto (ceiling effects)
Ciò si riferisce alla situazione in cui non si
riesce a rilevare un miglioramento nel
punteggio, perché i valori iniziali sono già alti.
Idealmente, i punteggi pre-intervento
dovrebbero essere uguali o inferiori a 50%
circa.
Se i punteggi iniziali sono superiori a 80%, si
potrebbe modificare o sostituire i punti
dell’indice in modo che siano più difficili da
realizzare
Indagini sulla percezione dei lavoratori
Esaminano le conoscenza, gli atteggiamenti, le
convinzioni, o le percezioni dei soggetti riguardo alle
pratiche di sicurezza e alle azioni intraprese per la
prevenzione degli infortuni (tutte cose che non possono
essere indagate altrimenti).
Indagini sul livello di conoscenza (sugli atteggiamenti,
le convinzioni, le percezioni, le pratiche, la cultura o il
clima) sono appropriate se l'intervento è pensato al
solo scopo di cambiare la conoscenza.
Indagini sulla percezione dei lavoratori
Tuttavia, se l'intervento ha lo scopo finale di ridurre i
tassi di infortunio, allora bisogna essere prudenti
perché:
► conoscenze, atteggiamenti, convinzioni o percezioni
sono soltanto surrogati dei tassi di infortunio (in
assenza di correlazione tra questi dati e i tassi di
infortunio)
► i questionari non sono sufficientemente
standardizzati per giustificare il loro uso in questo
modo.
Questionari
Sviluppare un buon questionario è difficile e richiede il ad
un esperto del settore. Per quanto possibile, è bene usare
questionari già esistenti.
Suggerimenti per la scelta di un
questionario
•
•
•
•
•
Le domande sembrano applicabili al vostro ambiente?
Il questionario è stato sviluppato su una popolazione
simile in un ambiente simile o, alternativamente, la sua
validità in è stata dimostrata in differenti popolazioni o
ambienti?
E’ possibile accertare che il contenuto del questionario
sia completo? (cioè, sono stati inclusi nel questionario
tutti gli aspetti importanti di ciò che si sta misurando?)
Le domande misurano ciò che il vostro intervento
vorrebbe cambiare?
Se state misurando un risultato intermedio con un
questionario come surrogato di un risultato finale, è
stata stabilita una correlazione statisticamente
significativa fra surrogato e la misura finale del risultato?
Indagini con questionario:
rappresentatività
• Bisogna trovare un metodo di distribuzione e di raccolta di
questionari che consenta di rilevare il tasso di risposta
(percentuale di questionati restituiti rispetto a quelli
consegnati). Se il tasso di risposta è alto, i risultati sono
rappresentativi dell’intero gruppo
• Nel caso il tasso di risposta è basso, bisogna cercare
tutte le differenze (per esempio, età, reparto, ecc.) fra
coloro che hanno risposto al questionario e quelli che non
l’hanno fatto. Più grande è la differenza fra i due gruppi,
più prudenti devono essere le conclusioni
• Inviare uno o due richiami ai lavoratori che non hanno
risposto al questionario è un’idea da considerare
• La partecipazione è più probabile se viene garantita la
riservatezza sulle risposte, se l'indagine viene divulgata
nel posto di lavoro e se si ottiene il supporto di influenti
rappresentanti dei lavoratori e dell'amministrazione