Perché valutare gli
interventi di
prevenzione
30 Ottobre 2014 Reggio Emilia
Paolo Giorgi Rossi,
Servizio Interaziendale di Epidemiologia, AUSL Reggio
Emilia
Tassonomia delle valutazioni
 Per ambito
 Per obiettivo
 Per momento temporale o fase del processo di messa a
punto dell’intervento
 Per metodo/strumenti usati (?)
Ambiti della valutazione di un
intervento sanitario
 Efficacia
 Sicurezza
 Economico finanziaria:
 Valutazione economica: costo efficacia
 Valutazione finanziaria: budget impact
 Impatto organizzativo
 Impatto etico
 Impatto sociale
 Impatto legale
Modificato da R. Battista e EUNetHTA
Obiettivi della valutazione di un
intervento sanitario
 Capire se funziona (efficacy)
 Capire se sta funzionando (effectiveness)
Sicurezza
 Capire se mi conviene (analisi economica)
 Capire se me lo posso permettere (analisi finanziaria)
 Capire se verrà accettato dagli operatori (Impatto organizzativo)
 Dagli utenti (effectiveness)
 Capire se vi sono conflitti con le convinzioni politiche, religiose (Impatto etico)
 Capire se potrà introdurre nuove diseguaglianze, aumentare o diminuire
quelle esistenti (Impatto sociale)
 Capire se vi sono barriere legislative (Impatto legale)
Modificato da R. Battista e EUNetHTA
Perché valutare un intervento di
sanità pubblica
 Quando implementiamo un programma di sanità pubblica
supponiamo che questo sia di comprovata efficacia
 Valutato attraverso trial randomizzati controllati…
 Valutato attraverso ampi studi osservazionali
MA…
Valutare un intervento: prevenzione
primaria
Non tutti gli interventi di prevenzione primaria che dobbiamo
proporre sono di comprovata efficacia
Perché?
Prevenzione primaria: i motivi della
mancata valutazione di efficacia
 Interventi che la popolazione si aspetta e non possiamo interrompere
(NHS online)
 Interventi obsoleti richiesti dalla legge
 Interventi di comunità complessi (possono essere valutati solo da
grandi studi osservazionali)
 Differenze di contesto
 Cultura della valutazione immatura
 Pregiudizio che la prevenzione primaria non può far male
Prevenzione primaria: i motivi
necessità di valutare l’effectiveness
 Spesso siamo in presenza di interventi poco valutati
 Anche quando siamo in presenza di interventi ben valutati i fattori di contesto
sono decisivi:
 Motivazione
 Organizzazione del Servizio Sanitario
 Background culturale
 Comportamenti
 Clima
Grande distanza fra efficacy ed effectiveness
Traiettorie di BMI z-score per gruppo di
trattamento
Effetto a
a breve
termine
1.25
z-score
p=0.007
1.3
1.35
Δ0-12 = - 0.01
Δ0-12 = - 0.11
Baseline
12m
Variables
Controllo
mean
24m
Trattato
p=0.353
Effetto a
a lungo
termine
1.3
1.25
z-score
1.35
Traiettorie di BMI z-score per gruppo di
trattamento
Baseline
12m
Variables
Controllo
mean
Δ0-24 = - 0.04
Δ0-24 = - 0.08
24m
Trattato
p=0.353
Traiettorie di BMI z-score per gruppo di trattamento e
TITOLO DI STUDIO
< 13 anni di scuola
1.3
1.25
1.15
1.2
z-score
1.3
1.25
1.2
1.1
1.15
1.05
1.1
1
1.05
1
12m
Variables
12m
Variables
Controllo
mean
Trattato
> 13 anni di scuola
1.05
1.1
1.15
1.2
1.25
1.3
1.35
1.4
1.45
1.5
Controllo
mean
Baseline
24m
1
Baseline
z-score
z-score
1.35
1.35
1.4
1.4
1.45
1.45
1.5
1.5
13 anni di scuola
Baseline
12m
Variables
Controllo
mean
24m
Trattato
24m
Trattato
Timing della valutazione di un
intervento sanitario
Ideazione
Qualitativa:
Face validity
Costrutto
Definizione
protocollo
Sperimentazione Pianificazione
Piloting
Scale up
Implementazione
Quantitativa:
Quali/
Quali/
Qualitativa:
Quantitativa: Studi sperimentali
Qualitativa:
Impatto
organizzativo
Trial
Accettabilità
Monitoraggio
Timing della valutazione di un
intervento sanitario: ciclo di audit
Ideazione/
Rimodulazione
Monitoraggio
Implementazione
Sperimentazione
Pianificazione
Valutazione di efficacia: epistemologia
biomedica moderna
 Stabilire un nesso causale fra intervento e cambiamento
dello stato di salute desiderato
 Processi stocastici imprevedibili sul singolo caso.
 Impossibile prevedere l’esito in assenza di trattamento sul
singolo caso (contro fattuale)
 Crollo del criterio ex adjuvantibus
 Impossibile definire un nesso causale dall’osservazione di
un cambiamento o meno
Epistemologia giuridica
 Il controfattuale è spesso ipotizzabile o almeno ipotizzato
 Stabilisco nessi causali sul singolo caso
 Funziona se l’agente causale è tracciabile nella sequenza
di eventi (trovo il proiettile nella ferita)
 Porta a conclusioni paradossali quando applicato a nessi
causali che sappiamo esser dominati da eventi stocastici:
 Infezioni da HIV
 Porto Marghera
Valutazione di efficacia: epistemologia
biomedica moderna
Nella medicina moderna questo si traduce nello stabilire:
 Se l’intervento modifica la probabilità dell’evento rispetto
al non intervento
 Misurare quanto l’intervento cambi la probabilità del
cambiamento di stato di salute desiderato
Valutazione di efficacia: epistemologia
biomedica moderna
Se accettiamo l’idea che non siamo in grado di predire
l’esito in assenza di trattamento nel singolo caso,
dobbiamo trovare un modo per stabilire quale sia la
probabilità dell’evento in assenza di trattamento:
IL CONTROLLO
Ovvero il controfattuale empirico.
Valutazione di efficacia: epistemologia
biomedica moderna
 Queste premesse portano ad accettare il trial come
miglior evidenza di efficacia dei trattamenti disponibile
MA
 Quali sono i limiti del trial?
 Quali sono i limiti dei trial in prevenzione?
Valutazione di efficacia: limiti dei trial.
Less research is needed?
 Replicare o no gli studi?
 Differenze di contesto
 Qualità dell’implementazione
Distanza fra efficacy ed effectiveness
Valutazione di efficacia: limiti dei trial in
prevenzione
 Eventi rari
 Numerosità enormi
 Interventi personalizzati
 Lunghi lag time, necessità di Endpoint surrogati
 Interventi ad alta manualità/expertise
 Motivazione operatori vs. randomizzazzione
 Empowerment vs. randomizzazione
 Interventi di comunità: contaminazione, impossibilità di randomizzare
 Impossibilità di effettuare blinding (spesso anche dell’assessor)
 Intention to treat estremamente diluita
 Necessità di adottare modified ITT analysis o anche per protocol:
quando? Quanto vanifica randomizzazione?
 Importanza del framework concettuale di riferimento
visita
Non sottoposti
ad anamnesi
Rispondenti anamnesi
Non
interessati
interessati
Piramidi
Fatto si/no
Attività fisica alimentazione
Pos/neg
Pos/neg
Fumo
Fatto si/no
Alcool
Fatto si/no
fumo
Pos/neg
alcool
Pos/neg
Tutti
negativi
Assessment
Uno
positvo
2o+
positvi
Rinforzo
Preparazione al
cambiamento
Inter AF
No/A/B
Inter alim
No/A/B
Inter fumo
No/A/B
Intervento breve
Per la promozione
di stili di vita salutari.
Setting:
Medico competente
Inter alcool
No/A/B
Non
preparati
stop
Timing della valutazione di un
intervento sanitario
Studio di fattibilità
Ideazione
Qualitativa:
Face validity
Costrutto
Definizione
protocollo
Sperimentazione Pianificazione
Piloting
Scale up
Implementazione
Quantitativa:
Quali/
Quali/
Qualitativa:
Quantitativa: Studi sperimentali
Qualitativa:
Impatto
organizzativo
Trial
Accettabilità
Monitoraggio
% di anamnesi fatte
visita
Non sottoposti
ad anamnesi
Rispondenti anamnesi
Non
interessati
interessati
Piramidi
Fatto si/no
Fumo
Fatto si/no
Attività fisica alimentazione
Pos/neg
Pos/neg
fumo
Pos/neg
alcool
Pos/neg
2o+
positvi
Inter alim
No/A/B
Inter fumo
No/A/B
% positivi ai test
Tutti
negativi
% soggetti pronti
Rinforzo
Preparazione al
cambiamento
Inter AF
No/A/B
% test fatti
Alcool
Fatto si/no
Assessment
Uno
positvo
% di interessati
Inter alcool
No/A/B
% con almeno un
Non
intervento
preparati
proposto/fatto
stop
Valutazione di fattibilità:
 L’intervento può risultare non fattibile
 Lo studio di fattibilità deve servire a un fine tuning
dell’intervento
 Aiuta a disegnare lo studio di efficacia
 Può dimostrare l’infattibilità di un trial
Timing della valutazione di un
intervento sanitario
Valutazione di efficacia
Ideazione
Qualitativa:
Face validity
Costrutto
Definizione
protocollo
Sperimentazione Pianificazione
Piloting
Scale up
Implementazione
Quantitativa:
Quali/
Quali/
Qualitativa:
Quantitativa: Studi sperimentali
Qualitativa:
Impatto
organizzativo
Trial
Accettabilità
Monitoraggio
Randomizzazione
visita
Non sottoposti
ad anamnesi
Rispondenti anamnesi
Non
interessati
interessati
Raccolta
degli
Piramidi
esitisi/no
Fatto
Intervento
degli
FumoRaccolta
Alcool
Fatto si/no esiti
Fatto si/no
Controllo
Attività fisica alimentazione
Raccolta deglifumo
Pos/neg
Pos/negesiti:
Pos/neg
Intervento
alcool
Pos/neg
2o+
positvi
Rinforzo
Preparazione al
cambiamento
Inter AF
No/A/B
Inter alim
No/A/B
Inter fumo
No/A/B
No intervento:
solo diluizione
degli effetti
Tutti
negativi
Assessment
Uno
positvo
Controllo
leaflet
Inter alcool
No/A/B
Non
preparati
stop
(
Esiti intervento
+
Esiti controllo
Esiti non pronti
)
Valutazione di efficacia: limiti dei trial.
 Ci dice se è efficace
 Raramente ci dice se non è efficace (absence of evidence is
not evidence of absence)
 Problemi di potenza
 Problemi di contaminazione
 Diluizione dell’effetto
 Problemi di qualità del’implementazione
 Problema di gestire la randomizzazione e la motivazione degli
operatori
Take home message
 Vogliamo implementare solo interventi di comprovata efficacia:
anche la prevenzione può far male
 L’efficacia deve essere valutata (non sempre e solo da noi)
 Non tutto può essere valutato con trial, ma tutto quello che può
dovrebbe esserlo
 Dobbiamo verificare che l’efficacia dimostrata altrove si
trasformi in effectiveness anche nel nostro contesto
 Ogni intervento deve prevedere un piano di monitoraggio della
performance
 Ogni intervento deve poter monitorare i sui esiti
Less research is needed?
Per non dare mai troppe certezze
Its time for less research and more thinking.
The most over-used and under-analyzed
statement in the academic vocabulary is surely
“more research is needed”.
Trish Greenhalgh PlosOne 2012 – Blog Speaking of Medicine
Less research is needed?
Here are some intellectual fallacies based on the moreresearch-is-needed assumption:
Despite the almost complete absence of ‘complex
interventions’ for which a clinically as well as statistically
significant effect size has been demonstrated and which
have proved both transferable and affordable in the real
world, the randomized controlled trial of the ‘complex
intervention’ should remain the gold standard when
researching complex psychological, social and
organizational influences on health outcomes.
Rodger Kessler and Russ Glasgow argued for a ten-year
moratorium on randomized controlled trials: “it was time
to think smarter about the kind of research we need and
the kind of study designs that are appropriate for different
kinds of question”
PlosOne 2012 – Blog Speaking of Medicine
How to Make More Published Research
True
Currently, many published research findings are false or
exaggerated, and an estimated 85% of research
resources are wasted.
To make more published research true:
 Adoption of large-scale collaborative research;
 replication culture;
 sharing;
 reproducibility practices;
…
JPA Joannidis PlosOne 2014