Disegni quasi-sperimentali e
sperimentali
Introduzione
Il disegno quasi-sperimentale e sperimentale
elimina alcune minacce contro la validità interna
(threats) che limitano la “forza” del disegno beforeand-after, il più semplice disegno di valutazione di
efficacia di un intervento.
In questa lezione si parlerà prima di come un
disegno before-and-after può evolvere a un disegno
quasi-sperimentale con l’aggiunta di uno o più
elementi e poi di disegni sperimentali.
Negli ambienti di lavoro i disegni quasi-sperimentali
sono maggiormente fattibili dei disegni sperimentali.
Ci sono cinque strategie per migliorare
il disegno prima-e-dopo
• Strategia 1: Aggiungere un gruppo di controllo
• Strategia 2: Prendere più misure prima e dopo
l’implementazione dell’intervento
• Strategia 3: Sfasare l’introduzione dell’intervento tra i
gruppi
• Strategia : Aggiungere una fase di rimozione
dell’intervento
• Strategia 5: Usare misure di outcome addizionali
Strategia 1
Aggiungere un gruppo di controllo
Pre-post con controlli non-randomizzati
OXO
O O
Pre-post con controlli nonrandomizzati
Come nel disegno sperimentale, vi è almeno un
gruppo che riceve l'intervento (gruppo di
intervento) ed un gruppo che non lo riceve
(gruppo di controllo). La differenza sta nel modo
in cui i partecipanti sono assegnati ai gruppi per
l’intervento e la valutazione. In un esperimento i
partecipanti sono assegnati a caso; nei disegni
quasi-sperimentali l'assegnazione è determinata
spesso dall'organizzazione del lavoro.
Costituire i gruppi (intervento e controllo)
negli studi quasi-sperimentali
Il principio fondamentale nella scelta nonrandomizzata dei gruppi per un disegno quasisperimentale è quello di renderli confrontabili.
Dovrebbero essere simili sotto tutti gli aspetti eccetto
che per l'intervento. Nel confrontare due reparti, è
necessario trovarne due che siano simili rispetto al
tipo di attività lavorativa. Per selezionare gruppi che
si assomiglino, si potrebbero cercare reparti simili in
ambienti di lavoro differenti, preferibilmente nello
stesso tipo di industria.
Costituire i gruppi (intervento e
controllo) negli studi quasi-sperimentali
La scelta dipende dalla situazione locale. Non possiamo
dire specificamente quale gruppo sarebbe meglio, ma
possono essere prese in considerazione alcune
caratteristiche
• caratteristiche del lavoratore (per esempio, età, sesso,
esperienza)
• natura delle mansioni di lavoro
• ambiente del lavoro (cioè, esposizione ai rischi, controlli
per la sicurezza)
• fattori contestuali (per esempio, cultura sulla sicurezza e
la salute; sostegno dell'amministrazione per la sicurezza)
• registro di informazioni sulla sicurezza
Vantaggi del disegno “pre-post con
controlli non-randomizzati
Aggiungere un gruppo di controllo nonrandomizzato al semplice disegno beforeand-after riduce automaticamente alcune
delle minacce alla validità interna. In
particolare si riduce l'interferenza da
circostanze esterne (history threats), perché
quest’ultimo effetto si verificherà sia nel
gruppo di controllo che nel gruppo di
intervento. Quindi questo disegno permette di
separare l'effetto dell'intervento da quello di
altre circostanze.
Strategia 2
Prendere più misure prima e dopo
l’implementazione dell’intervento
Time series designs
OOOXOOO
Strategia 2: due approcci
Disegni
time series
2a: semplice
OOOXOOO
2b: multiplo
OOOXOOO
OOO OOO
Strategia 2a: “time series” semplice
OOOXOOO
Un disegno time series semplice differisce dal
disegno before-and-after perché si effettuano
misurazioni multiple prima e dopo l'intervento.
Si stabilisce un baseline time trend ottenendo
svariate misure dei risultati prima di effettuare
l'intervento.
Dopo l'intervento si rifanno misurazioni multiple per
stabilire un second time trend.
Se l'intervento è efficace, troveremo una differenza
tra le misure dei risultati nei due trend temporali.
Disegno “time series” semplice
Vantaggi
Nel primo riquadro si vede che vi è
stato un decremento nella misura tra
prima e dopo l’intervento. Tuttavia,
questa differenza può essere dovuta
a “history”, “maturation”,
“instrumentation”, “regression-to-themean” o “Hawthorne threats”.
Aggiungendo le misure, come
indicate nel secondo riquadro,
possiamo ridurre la probabilità di:
• maturation threat perchè i cambiamenti dovuti ad
aumento di età o di esperienza sono più graduali.
• regression-to-the-mean o testing threats perché i risultati
sono ripetutamente elevati prima e ripetutamente bassi in
seguito.
• Hawthorne e placebo threats perché la gente si adatta al
cambiamento delle condizioni.
• history effect threat perché le misure più numerose
rendono un evento coincidente improbabile.
• Restano possibili dropout e instrumentation threats, se
non vi sono informazioni supplementari.
Quante misure sono necessarie per un
disegno time series semplice?
Il numero di misure necessarie per un time
series design dipende dalla quantità di
fluttuazione casuale della misura (rumore) e da
quanto ci si aspetta possa essere l’impatto
l’intervento (segnale). Generalmente sono
necessarie 6-15 misurazioni per inquadrare il
baseline time trend e altrettante per il second
time trend.
Quante misure sono necessarie per un
disegno time series semplice?
Poiché sono necessarie molte misure, usando il
tasso di infortunio come outcome, un time series
design probabilmente non sarebbe adatto per
studiare una piccola azienda, dove ci vorrebbe
troppo tempo – un anno o più – per ottenere un
trend di infortuni. Invece, il disegno potrebbe
essere adatto per un gruppo di piccole aziende,
un’azienda più grande, o nel caso si
misurassero le condizioni del posto di lavoro
anziché il tasso di infortunio. Queste situazioni
consentono misurazioni più frequenti e più
sicure.
Quante misure sono necessarie per un
disegno time series semplice?
Anche quando non è possibile prendere tante
misure quante sono necessarie per un’analisi di
serie cronologiche, effettuare misure
supplementari nel tempo permette una migliore
stima dell’effetto dell’intervento.
Fornisce una migliore percezione del tipo di
variabilità nel tempo e se l'ultima misura “before”
è dello stesso ordine di grandezza di quelle che
la precedono, e se la prima misura “after” è dello
stesso ordine di quelle che seguono.
Strategia 2b: “time series” multiplo
OOOXOOO
OOO OOO
Ancora meglio di utilizzare separatamente la
Strategia #1 o #2, si può rafforzare il disegno
before-and-after, combinando entrambe le strategie
(gruppo di controllo + molteplici misurazioni).
Strategia 3
Sfasare l’introduzione dell’intervento
nei due gruppi
Multiple baseline design across groups
OOOXOOO OOO
OOO OOOXOOO
Multiple baseline design across groups
L’introduzione sfasata di un intervento consente di ridurre
marcatamente l’effetto “history threats”.
Quando si effettua un intervento soltanto in un gruppo, non
si può mai essere realmente sicuri che non sia accaduto
qualcos'altro simultaneamente causando l'effetto misurato.
Anche usando un gruppo di controllo, qualcosa potrebbe
essere accaduto al gruppo di intervento (oltre all'intervento
in se) tale da influenzare il risultato.
Quando l’introduzione dell’intervento è sfasato, e l’effetto
apparente è corrispondentemente sfasato, un “history
effect” diventa una spiegazione improbabile dei risultati.
Multiple baseline across groups design
Ogni volta che un ambiente di lavoro è composto da
più divisioni o gruppi, l’introduzione sfasata di un
intervento dovrebbe essere considerata come una
alternativa prima di implementare l’intervento in tutta
l’azienda.
Questo approccio “sfasato” può permettere una
valutazione provvisoria e, se necessario, una modifica
dell’intervento o della sua implementazione, prima di
applicarlo a tutta l’azienda
(Tuttavia tali modifiche dovrebbero essere considerate
nell’interpretazione dei risultati).
Esempio:
In un’azienda fu introdotto un intervento prima in un
reparto e poi in un altro. L'intervento iniziò con una
sessione educativa su buone pratiche per la sicurezza.
Successivamente i comportamenti di sicurezza sono stati
misurati da un osservatore addestrato (3-4 volte alla
settimana) che, usando una lista di controllo, forniva la
percentuale di operazioni eseguite senza pericoli.
Poiché la sequenza di eventi si era presentata non una
ma due volte, questo fatto supportava il nesso causale tra
l’intervento e il cambio di comportamento.
Strategia 4
Aggiungere una fase di
rimozione dell’intervento
OOOXOOO-XOOO
Un modo per rinforzare un disegno di tipo before-andafter o anche time series è far seguire all'introduzione
di un intervento un'altra fase in cui l'intervento viene
rimosso. Nel caso più semplice, ci sono tre fasi: una
fase baseline, una fase di intervento e una fase di
inversione. Se si rimuove l’intervento, si dovrebbe
vedere un corrispondente cambiamento del risultato
verso lo stato baseline.
Naturalmente, questo disegno non è adatto a tutte le
situazioni, perché si spera che l'effetto di un intervento duri
e quindi non si inverta facilmente. Tuttavia, questo
approccio è utile quando il risultato misurato è il
comportamento. In questo caso, l'intervento "è stato
invertito" sospendendo l’invio delle risposte di feedback.
Vantaggi di un disegno con una
fase di inversione dell’intervento
La dimostrazione dell’inversione dell’effetto comporta
una marcata riduzione delle minacce interne alla
validità (in particolare history, maturation, testing,
dropout and Hawthorne, assumendo che i ricercatori
esterni siano ancora presenti durante la fase di
inversione). Gli effetti placebo e di strumentazione
possono ancora rimanere elementi importanti e
dovrebbero essere considerati.
Dopo la dimostrazione dell'effetto d'inversione
dell’intervento, si può riprendere l'intervento.
Svantaggi di un disegno con
una fase di inversione
dell’intervento
L’altra faccia della medaglia è che cambiamenti
ripetuti nella programmazione della sicurezza
potrebbero generare confusione, stress ed
risentimento fra i lavoratori interessati. Inoltre se
un intervento è sembrato promettente, la sua
rimozione potrebbe essere considerata non etica.
Quindi, è una strategia da usare con attenzione.
Strategia 5
Misurare molteplici outcome
O1/O2 X O1/O2
Usare misure di outcome addizionali:
due approcci
Measure
multiple
outcomes
Aggiungere misure
di risultati interposti
Aggiungere misure
di outcome correlate
ma diverse dagli
obiettivi dello studio
Aggiungere misure di risultati
interposti
Indicatori di risultati intermedi o interposti:
• effetti a breve e medio termine dell'intervento
• misure di esecuzione dell’intervento
Esempi di indicatori interposti
Component 1
Objectives
Short-term
outcomes
Intermediateterm
outcomes
Long-term
outcomes
Component 2
Per quanto è fattibile dovremmo provare a
misurare questi risultati interposti. Le misure di
esecuzione dell’ intervento (documentazione
degli acquisti di apparecchiatura e della
modifica di compiti lavorativi) sono
particolarmente importanti.
Nel caso in cui un programma non abbia
funzionato, si può distinguere un programma
inefficace da un'esecuzione non corretta. Se un
intervento non è stato effettuato come previsto,
si potrebbe provare a migliorare questa parte
dell'intervento, invece di scartare l'intervento
complessivo.
Un esempio
Un'azienda progetta di effettuare un programma
ergonomico “partecipativo” e cioè:
• costituire un comitato lavoratori-dirigenti
• valutare i bisogni dei lavoratori
• comprare nuove attrezzature
• modificare i compiti lavorativi
• formare i lavoratori.
L’effetto finale del programma consiste nella misura
di sintomi auto-segnalati e di infortuni prima e
dopo l'intervento.
Continua l’esempio
Il coordinatore del programma progetta alcune
misure supplementari:
• annotazioni degli acquisti dell'apparecchiatura
• rapporti auto-compilati dei compiti lavorativi
• buone pratiche
• fattori di stress.
Questi sono i risultati di misure interposte fra
disegno dell'intervento ed il risultato finale
(cambiamenti dei sintomi e degli infortuni).
Aggiungere una misura di
outcome correlata ma diversa dagli
obiettivi dello studio
Una seconda strategia per aumentare la forza di un
disegno di intervento è di misurare un risultato che sia
simile alla misura principale di risultato, ma che non sia tra
gli obiettivi dell'intervento. La misura supplementare di
risultato dovrebbe essere abbastanza simile alla misura
principale di risultato in modo che sia suscettibile ai
principali threats alla validità interna. Deve tuttavia essere
abbastanza differente da non risentire dell’intervento. I
seguenti esempi mostrano come funziona questo metodo.
CODOLO =
La parte di un
cucchiaio o di una
forchetta (che
rassomiglia ad una
coda) con cui si
tengono in mano
per adoperarli
Misura di outcome correlata ma diversa
dagli obiettivi dello studio
L'effetto di nuova apparecchiatura sulle piattaforme
petrolifere è stato valutato in base ai cambiamenti nel
tasso di infortuni da codolo, un tipo di infortunio che
dovrebbe essere ridotto usando la nuova
apparecchiatura.
E’ stato preso in considerazione anche il tasso delle
lesioni non-codolo, una misura di risultato correlato ma
non considerato tra gli obiettivi. Anche se questo
secondo tipo di infortunio non dovrebbe risentire
dell'intervento, probabilmente sarebbe in maniera simile
suscettibile a effetti di tipo “ history or reporting threats”.
Misura di outcome correlata ma diversa
dagli obiettivi dello studio
Un intervento ergonomico fra i lavoratori addetti al
controllo della merce in un supermercato, è stato
valutato misurando i disturbi del sistema muscoloscheletrico auto-segnalati prima e dopo l’intervento.
L'intervento sembrava riuscito per il fatto che i
cambiamenti riguardavano i sintomi a livello
cervicale/spalla e a livello lombare/arti inferiori (dove
l’intervento ergonomico intendeva portare benefici) ma
non i sintomi di braccia/avanbracci/polso (che non erano
oggetto dell’intervento).
Ciò ha reso gli effetti history, maturation, instrumentation,
placebo, Hawthorne and instrumentation spiegazioni
improbabili.
Studi sperimentali
Anche se spesso non è fattibile, un disegno
sperimentale è stato usato in parecchie
situazioni professionali
Due caratteristiche fondamentali :
•
uso di un gruppo di controllo
•
assegnazione randomizzata dei partecipanti
Precedentemente, sono stati descritti tre tipi di disegni
quasi-sperimentali con utilizzo di gruppi di controllo non
randomizzati:
• pre-post con gruppo di controllo (Strategia 1)
• multiple time series (Strategia 2b)
• multiple baseline across groups (Strategia 3).
Questi stessi tipi di disegno possono diventare disegni
sperimentali usando la randomizzazione per generare i
gruppi.
Studi non sperimentali
Disegno 1
Disegno 2
Disegno 3
OXO
O O
OOOXOOO
OOO OOO
OOOXOOO OOO
OOO OOOXOOO
Precedentemente, sono stati descritti tre tipi di disegni
quasi-sperimentali con utilizzo di gruppi di controllo non
randomizzati:
• pre-post con gruppo di controllo non-randomizzato
• multiple time series
• multiple baseline across groups
Questi stessi tipi di disegno possono diventare disegni
sperimentali usando la randomizzazione per generare i
gruppi.
Studi sperimentali
Disegno 1
Disegno 2
Disegno 3
(R) OXO
(R) O O
(R) OOOXOOO
(R) OOO OOO
(R) OOOXOOO OOO
(R) OOO OOOXOOO
Il disegno 1 (pre-post controllato e randomizzato)
è stato usato nei due esempi successivi. Sono
stati assegnati per randomizzazione ai due
gruppi (gruppo di intervento, gruppo di controllo):
► i posti di lavoro (primo esempio)
► i lavoratori (secondo esempio)
Primo esempio
• Target: gli operatori principali di aziende agricole
• Intervento: un seminario educativo di un giorno
• Popolazione: campione casuale di aziende incluse in una
lista dell'associazione di agricoltori. Il 60% di questa
aziende acconsentì a partecipare allo studio
• Randomizzazione: Gli operatori principali (uno per
azienda) sono stati assegnati al gruppo di intervento o al
gruppo di controllo, seguendo una procedura random
• Per valutare l'intervento, questi gruppi sono stati
confrontati in base alle misure prese prima e dopo
l'intervento: infortuni e quasi-infortuni auto-riportati,
(risultato finale) e percezioni della sicurezza, buone
pratiche ed atteggiamenti (risultati intermedi).
Primo esempio
Misure preintervento
Intervento
(questionario)
Gr
up
pi
A
B
Infortuni e
quasi-infortuni
riportati
+
percezione di
sicurezza
buona pratica
attitudini
Controlli della
sicurezza in
azienda
+
Formazione di
un giorno
O
O
A = gruppo di intervento;
Misure post-intervento
(questionario)
Percezione di
sicurezza
buona pratica
attitudini
(outcome
intermedio)
X
B=gruppo di controllo
Infortuni e
quasi-infortuni
riportati
(outcome
finale)
O
O
Secondo esempio
Misure preMisure preComponenti dell’intervento
intervento
intervento
Gr
Forza muscoli
up addominali +
pi Questionario back school
+ Infortuni +
Assenze per
malattia
training
A
O
X
B
O
X
C
O
A =Intervento_ 1;
fasce/cinture
lombari
Forza muscoli
addominali +
Questionario
+ Infortuni +
Assenze per
malattia
O
X
O
O
B = Intervento_ 2;
C= controlli
Minacce per la validità interna
nei
Disegni con gruppo di controllo
I gruppi di controllo introducono alcune nuove
minacce alla validità interna. Nonostante ciò,
l’utilizzo di gruppi di controllo è fortemente
raccomandato. Essi rafforzano lo studio molto
di più di quanto non la indeboliscano.
Selection threats
• Quando i gruppi di intervento e di controllo non sono simili
riguardo a tutte le variabili che possono influenzare i
risultati, l'effetto dell'intervento potrebbe essere dovuto a
differenze nelle caratteristiche dei partecipanti nei gruppi
confrontati, piuttosto che all'intervento in se.
• Per questo motivo, nei disegni quasi-sperimentali e
sperimentali (in cui è stata usata una procedura di
randomizzazione per generare i gruppi), è necessario
considerare se le persone nei due gruppi differiscono, per
esempio, per età livello di esperienza livello di formazione,
e altre caratteristiche.
• In caso affermativo, bisogna raccogliere informazioni su
queste caratteristiche e tenere conto di queste differenze
nell’analisi statistica.
Diffusion or contamination threat
Una minaccia di diffusion alla validità interna (anche
conosciuta come una minaccia di contaminazione) si
presenta quando l'intervento introdotto ad un gruppo "si
diffonde" all'altro. Ciò può accadere facilmente quando
l'intervento è educativo, poiché gli operai condividono
naturalmente le informazioni tra loro. È persino possibile che
una nuova apparecchiatura data al gruppo di venga ripartita
con il gruppo di controllo. La diffusione è più probabile
quando l'intervento è percepito come favorevole. È un
evento non desiderato perché riduce le differenze osservate
fra i gruppi nei loro i cambiamenti “before” to “after”. Si
potrebbe concludere che un intervento era inefficace
quando realmente non lo era. Il modo migliore per ridurre la
minaccia di diffusione è mantenere i gruppi di controllo e di
intervento separati quanto più possibile.
Rivalry or resentment threat
… quando la gente del gruppo di controllo reagisce per non
aver ricevuto l'intervento. Per esempio, in un programma in
cui sia stato introdotto un incentivo per incoraggiare buone
pratiche di sicurezza, il gruppo di controllo potrebbe reagire
non segnalando gli infortuni così che le relative prestazioni a
riguardo della sicurezza finirebbero per apparire buone se
confrontate al gruppo di intervento. O potrebbe “sovrariportare" gli infortuni per dimostrare che il gruppo ha
bisogno di un intervento. In entrambi i casi il gruppo di
controllo ha cambiato il comportamento per rivalità. Sono
inoltre possibili effetti di risentimento. Il gruppo di controllo,
per esempio, potrebbe risentirsi per non aver avuto la
possibilità di partecipare ad un programma di miglioramento.
Questo inacidimento dei rapporti di lavoro può causare un
aumento nei tassi di infortunio.
Rivalry or resentment threat
Gli effetti appena descritti possono a volte essere evitati
comunicando bene con i gruppi o promettendo che se
l'intervento risulta essere efficace, il gruppo di controllo
riceverà in seguito lo stesso intervento. Se gli interventi
sono concepiti ed introdotti con un processo di
partecipazione, le reazioni inattese sono meno probabili.
Tuttavia, è impossible prevedere tutte le possibili reazioni ad
un programma. E’ un’area dove la ricerca qualitativa può
essere molto utile. Le interviste con alcuna persone
informate nel gruppo di controllo dovrebbero far
comprendere se rancore o di rivalità siano minacce da
prendere in considerazione. Come con la minaccia di
diffusione, la rivalità o le minacce di rancore potrebbero
essere evitate se i gruppi non comunicano tra loro.