Corso di Laurea Specialistica in
Scienze delle Professioni Sanitarie della Prevenzione
Letteratura secondaria:
revisioni sistematiche
e meta-analisi
Ludovica Tamburini
14 e 15 gennaio 2010
Evidence-based Medicine
Movimento culturale che si è progressivamente diffuso a livello
internazionale, favorito da alcuni fenomeni che hanno contribuito ad una crisi
dei modelli tradizionali della medicina:
crescita esponenziale dell’informazione biomedica (volume e complessità)
limitato trasferimento dei risultati della ricerca alla pratica sanitaria
crisi economica dei sistemi sanitari
maggior livello di consapevolezza degli utenti
sviluppo delle tecnologie informatiche
L’Evidence-based Prevention
Movimento che:
→ coopera per cambiare la pratica della prevenzione, al fine di
renderla sempre più utile per la salute della popolazione;
→ intende arricchire la prevenzione di tutti quegli interventi per
i quali, attraverso adeguati studi scientifici , ne è stata
dimostrata utilità ed efficacia;
→ intende eliminare progressivamente tutte quelle pratiche di
prevenzione inutili ed inefficaci.
Poiché alcune delle pratiche inefficaci sono ancora obbligatorie
per legge, l'iniziativa Evidence Based Prevention tenta anche di
adeguare la normativa alle attuali conoscenze scientifiche.
Dall’EBM all’EBP
Il fascino dell'EBM ha presto "contagiato" tutte le specialità mediche e le altre
professioni sanitarie con relativa moltiplicazione degli acronimi.
Superata la fase campanilistica si è diffuso il termine Evidence-based Practice (EBP), a
sottolineare in maniera univoca la "pratica professionale basata sulle evidenze
scientifiche".*
* www.gimbe .it
Core-curriculum
La pratica dell'EBP si articola in 4 step:
Formulating → Convertire il bisogno di informazione in quesiti
question
definiti
Getting
evidence
→ Ricercare con la massima efficienza, le migliori
evidenze disponibili
Appraising
evidence
→ Valutare criticamente le evidenze
Applying
evidence
→ Integrare le evidenze nelle decisioni cliniche
Quesiti e approcci di ricerca bibliografica
QUESITO
APPROCCIO
BACKGROUND QUESTIONS
quesiti di carattere generale
SCANNING
STRATEGIA PRO-ATTIVA
(consultazione periodica per
individuare novità sui temi di abituale
interesse)
FOREGROUND QUESTIONS
quesiti specifici che si riferiscono ad un
aspetto particolare
(di trattamento, di prognosi, eziologici,
diagnostici).
SEARCHING
STRATEGIA REATTIVA
(ricerca attiva rispetto ad un quesito
formulato )
Foreground questions
• quesito in forma narrativa
• PICO
P – (patient) paziente o problema
I – (intervetion) intervento o esposizione
C – (comparison) confronto o intervento di controllo
O – (outcame) risultato o esito
• parole chiave
• traduzione
• ricerca nelle banche dati biomediche
Esempio:
Nelle persone al di sopra dei 65
anni, la vaccinazione
antinfluenzale può ridurre la
morbilità rispetto alle persone
che non la effettuano?
Popolazione
Intervento
Anziani > a 65
anni
Vaccinazione
antinfluenzale
PAROLE CHIAVE
Comparazione
Outcome
Riduce la
morbilità?
TRADUZIONE
 ANZIANI
 AGED
 VACCINAZIONE
ANTINFLUENZALE
 INFLUENZA VACCINES
 MORBILITÀ
 MORBIDITY
Come si collocano i professionisti?
LIMITATA PRATICABILITA’
EBP-practitioners, capaci di praticare l’EBP step-by-step
e di diffonderla nel loro setting professionale.
EBP-users, professionisti che condividono principi e
metodi dell’EBP, ma sostituiscono lo step relativo alla
valutazione critica utilizzando prevalentemente fonti
secondarie.
LA LETTERATURA SCIENTIFICA
PRIMARIA
SECONDARIA
TERZIARIA
Oggetto:
Pazienti
Oggetto:
Studi primari
Oggetto:
-
Studi primari di:
Trattamento (RCT)
Eziologia (coorte o casocontrollo)
Prognosi (coorte)
Diagnosi (di validazione)
Revisioni
sistematiche
Metanalisi
Linee guida
evidence
based
Trattati
Libri
Revisioni
tradizionali
Editoriali
Lettere
La piramide delle evidenze
SRs e MAs di RCTs
RCTs
SRs e MAs di CSs
Cohorte Studies
SRs e MAs di CCSs
Case Control Studies
Case Series – Case Report
Opinions
Non è evidenza ciò che è esplicito ma ciò che è dimostrato
REVIEWS
Rendono più “maneggevole” un enorme
quantità di informazioni.
Si distinguono in:
TRADIZIONALI – narrative
(letteratura terziaria)
SISTEMATICHE - qualitative o quantitative
(letteratura secondaria)
Revisione tradizionale
Paragonabile al capitolo di un libro
Non esplicitato il metodo di selezione, sintesi
e interpretazione delle evidenze
Impossibilità di fare una valutazione critica
Obiettivi molto ampi
Spesso fatte su commissione
* Centro Studi EBN S.Orsola – Malpighi Bologna
Revisione sistematica
Ricerca scientifica vera e propria
Esplicitato il protocollo metodologico
Possibilità di fare una valutazione critica
Sintesi dei risultati spesso fatta con metodo
meta analitico
Systematic Review
Individua, valuta e sintetizza studi scientifici, allo
scopo di offrire risposte esaurienti, basate su dati
empirici, a quesiti della ricerca scientifica
E’ uno strumento capace di risolvere problemi legati alla
ricerca e all’interpretazione delle migliori evidenze
Ha un ruolo sempre crescente per la pratica clinica,
per la formazione permanente, per le decisioni di
politica sanitaria
Systematic Review
Le revisioni sistematiche consentono di riassumere tutte le prove
di efficacia circa un particolare intervento/prestazione e di
aggiornarle quando nuove informazioni sono disponibili.
L’analisi combinata di diversi studi sulla stessa tipologia di
pazienti, di intervento/prestazione ed outcome consente di
aumentare la precisione delle stime.
La possibilità offerta dalle revisioni sistematiche di comparare i
risultati di studi diversi condotti in contesti differenti consente di
migliorare la generalizzabilità dei risultati.
Systematic Review
FASI
1.
2.
3.
4.
5.
6.
7.
8.
Identificazione del problema e dello scopo
Sviluppo di un protocollo di revisione
Localizzazione degli studi
Selezione degli studi rilevanti
Valutazione della qualità delle ricerche
Raccolta dei dati dagli studi individuali
Sintesi quantitativa o qualitativa e riassunto dei risultati degli studi
Documentazione del metodo nel report della revisione
Systematic Review
ELEMENTI ESSENZIALI DEL PROTOCOLLO
DI REVISIONE
→ DEFINIZIONE QUESITO DI RICERCA (GENERALMENTE DI FOREGROUND)
→ DEFINIZIONE STRATEGIA DI RICERCA DEGLI STUDI
→ DEFINIZIONE CRITERI DI INCLUSIONE/ESCLUSIONE DEGLI STUDI
→ CRITERI PER LA VALUTAZIONE DELLA QUALITA’
→ ESTRAPOLAZIONE ED ANALISI DEI DATI
1. Quesito
Deve essere essenziale,
specifico e chiaro.
Deve definire i partecipanti, gli
interventi da valutare, gli esiti
da misurare (PICO).
Quesiti non chiari e generici
danno luogo a revisioni
scadenti.
2.Criteri di inclusione e di
esclusione
Devono essere sempre definiti
prima di iniziare la ricerca degli
studi in letteratura
Devono riflettere direttamente il
quesito della ricerca (partecipanti,
interventi, risultati)
Devono indicare i tipi che di studio
verranno selezionati
3. Strategia di ricerca
Serve ad interrogare le banche dati e descrive le modalità di
consultazione di ogni altra fonte informativa, ricerca bibliografica,
ricerca manuale, contatti con ricercatori, atti di congressi, registri di
studi non ancora pubblicati (es. Cochrane Central Register*)
*http://uscc.cochrane.org/en/newPage3.html
The Cochrane Central Register of Controlled Trials (CENTRAL) is a database of
controlled trials and other healthcare interventions that serves as the best
available resource for those preparing and maintaining systematic reviews or
searching for trials. CENTRAL includes citations that may not be indexed in
MEDLINE, EMBASE, or other bibliographic databases, citations published
internationally in many languages, and citations that are available in conference
proceedings or other hard to access sources.
(Dickersin K, Manheimer E, Wieland S, Robinson KA, Lefebvre C, McDonald S, and the Central Development Group.
Development of the Cochrane Collaboration's Central Register of Controlled Clinical Trials. Evaluation and the Health
Professions, 2002; 25:38-64.)
3. Strategia di ricerca
Deve avere come obiettivo l’identificazione di tutti gli studi
pubblicati, non pubblicati o in corso di pubblicazione che
rientrino nei criteri di inclusione.
L’obiettivo di una strategia di ricerca completa è quello di
ridurre al minimo il rischio di bias:
publication bias (di pubblicazione)
time lag bias (temporale)
language bias (linguistico)
Funnel Plot
Tecnica grafica utilizzata per valutare la possibilità di publication
bias in una RS.
Si tratta di uno strumento
grafico che si basa sulla
distribuzione dei punti sul
grafico:
- se questi sono equamente
distribuiti nelle due parti si
ipotizza che non siano
presenti pubblication bias
- se invece sono concentrati in
una sola parte il rischio è che
siano presenti bias
Funnel Plot
Recentemente questo
strumento è stato messo in
discussione, per la grande
sensibilità e la scarsa
specificità.
Ossia se il funnel plot non
rileva bias è probabile che non
ci sia, ma se lo rileva
non è detto che questo ci sia
realmente.
4. Valutazione critica
Serve per valutare il rigore metodologico
degli studi raccolti, verificando il disegno
di studio e la sua conduzione.
La qualità del prodotto conclusivo di una
RS dipende dalla qualità degli studi
considerati.
Pertanto è necessaria una valutazione
critica relativa alla pertinenza al tema e
alla metodologia di ricerca.
Esistono strumenti specifici per la
valutazione critica (es: Quality Assessment
Scale, Scala di Newcastle-Ottawa ).
5. Raccolta e sintesi dei dati
Estrapolare i dati nel modo più accurato possibile e creare uno strumento (es.
una griglia) dove registrare le informazioni che servono, relative ad ogni studio
incluso nella RS.
Per un buon livello qualitativo, l’analisi dei dati va definita nel protocollo della
RS
I dati di una revisione si possono analizzare in modi differenti: se quantitativi si
prestano al metodo statistico della meta-analisi, se qualitativi possono essere
presentati in forma narrativa.
In entrambi i casi è opportuno definire a priori la metodologia che si intende
seguire.
Meta-analisi
La metanalisi è una tecnica clinico-statistica che permette di
analizzare una serie di studi condotti sullo stesso
argomento, consentendo una sintesi quantitativa dei
risultati.
Meta-analisi
E’ utilizzata
nei casi di incertezza nella valutazione di efficacia di
un trattamento
quando i risultati dei singoli studi non sono univoci
quando i singoli studi sono effettuati su un
campione di pazienti numericamente scarso (poco
affidabili)
LA COMBINAZIONE DEI DATI DIMINUISCE
L’IMPRECISIONE DEI RISULTATI DEI SINGOLI STUDI
Meta-analisi
In una meta-analisi non si sommano semplicemente
i pazienti dei vari studi.
Si conserva l'effetto individuale di ciascuno studio e
si usano metodi statistici che, preservando l'identità
del singolo studio, forniscono una stima combinata
dell'effetto dell'intervento dando maggior peso agli
studi più grandi.
Più è grande uno studio e più esso influenzerà il
risultato globale della meta-analisi.
Meta-analisi:
quale valore aggiunto?
Combinazione statistica di più studi che permette:
di aumentare la potenza del risultato in caso di studi con
campioni piccoli
di aumentare la generalizzabilità aumentando il campione
(purchè omogeneo)
di rispondere a domande non poste dai singoli studi
di chiarire controversie che derivano da studi confliggenti
di formulare nuove ipotesi
Meta-analisi:
quando non è opportuna?
1. Se gli studi sono clinicamente molto diversi
(interventi o outcome diversi)
2. Se gli studi sono di scarsa qualità metodologica
3. Se la revisione della letteratura non ha eliminato
il pubblication bias.
Come leggere una meta-analisi:
il forest plot o blobbogramma
Nel tipico grafico di sintesi di
una meta-analisi si hanno
linee orizzontali, ciascuna
delle quali mostra il risultato
di un singolo studio, mentre
la linea perpendicolare
corrisponde a "nessun
effetto".
Per convenzione nel lato sinistro del grafico cadono le stime di
effetto che favoriscono il trattamento sperimentale mentre in quello
destro quelle a favore del trattamento standard.
Conviene però guardare sempre la figura con attenzione perché a
volte la situazione è capovolta.
Il quadratino in mezzo alla linea
indica la stima di effetto che può
essere riassunta con diversi tipi di
misure: rischio relativo, odds ratio,
differenza di rischio (la misura più
spesso usata è l'odds ratio).
La lunghezza della linea attorno alla
stima puntuale è proporzionale
all'incertezza che ha la stima
puntuale di quello studio. Essa
rappresenta l'intervallo di
confidenza del risultato.
Quando uno studio ha un campione piccolo il risultato è molto incerto e ciò si
può vedere dalla lunghezza della linea (che sarà lunga) e dalla dimensione della
stima puntuale nel centro (che sarà piccola).
Quando la linea dello studio tocca o attraversa la linea perpendicolare del
"nessun effetto" il risultato non è convenzionalmente "statisticamente
significativo".
Se confrontiamo i due studi inseriti
nel forest plot, si nota che lo studio a
sx produce una stima molto meno
incerta.
Il grado di certezza/incertezza
derivante da ogni singolo studio non
è comunque una misura di "validità
dei risultati". Infatti, entrambi gli
studi possono essere completamente
sbagliati. Una piccola dose di
incertezza (come nello studio più
grande) non significa assolutamente
che il risultato sia "vero". Essa mostra
semplicemente l'incertezza attorno
alla stima puntuale per ogni studio.
E' difficile pensare che entrambi gli studi mostrino la verità su questo trattamento,
perché essi puntano in direzioni opposte.
Il primo studio che abbiamo inserito sulla destra indica, in modo statisticamente
significativo, che il trattamento non è utile poiché i soggetti nel gruppo di controllo
hanno un esito migliore. E lo studio sulla sinistra dice l'opposto.
Inserendo nel grafico un terzo studio,
anche questo ci dice che
probabilmente il trattamento
sperimentale non funziona. Ma il
risultato è compatibile sia con un
piccolo effetto positivo, sia con un
piccolo effetto negativo.
Prima di procedere alla
combinazione quantitativa dei
risultati, si aggiungono nel forest plot
uno studio dopo l'altro.
Se si sceglie di fare una meta-analisi
occorre procedere con una stima
puntuale globale degli studi.
Il risultato cumulativo derivante dall’elaborazione statistica di tutti gli studi è
rappresentato dal diamante ai piedi del grafico, il cui punto centrale indica la stima
complessiva dell’efficacia dell’intervento indagato, mentre la larghezza si riferisce
all’intervallo di confidenza complessivamente calcolato.
In questo caso particolare, la
combinazione è più o meno simile come ci si poteva attendere - allo
studio più grande poiché quando si
hanno pochi studi a disposizione lo
studio più ampio domina la metaanalisi.
Può darsi che l'unico studio che mostra un effetto positivo del trattamento abbia
ragione, ma può anche essere in realtà che quello studio ci stia dando una risposta
sbagliata.
Quindi, la decisione di combinare o meno quantitativamente i risultati quando gli
studi sono pochi e i risultati variabili andrebbe presa con molta cautela.
Critical Appraisal:
come valutare la qualità di una RS
qualitativa e quantitativa?
Poche e semplici domande su:
OBIETTIVO
STRATEGIA DI RICERCA
CRITERI DI INCLUSIONE
VALUTAZIONE CRITICA
SINTESI DEI DATI
OMOGENEITA’
DOCUMENTAZIONE DEI RISULTATI
CONCLUSIONI E RACCOMANDAZIONI
Obiettivo
L’obbiettivo specifico è dichiarato in modo chiaro ed esplicito
(PICO)?
Strategia di ricerca
È stata utilizzata una strategia della ricerca corretta per
individuare gli studi?
È stata fatta una ricerca completa dei database appropriati e
sono state esplorate le altre fonti potenzialmente importanti?
(controllare che siano state utilizzate come banche dati almeno
Medline, Embase, Chinal, Cochrane)
Criteri di inclusione
Come sono stati selezionati gli studi?
I criteri di inclusione sono dichiarati?
Valutazione critica
È stata valutata in modo appropriato la validità degli
studi inclusi?
(bias? violazione del protocollo?)
Sintesi dei dati
Come sono stati aggregati gli studi?
I risultati sono stati aggregati in modo appropriato
(meta-analisi per gli studi quantitativi e forma narrativa
per quelli qualitativi)?
Omogeneità
Gli studi sono omogenei?
La popolazione degli studi inclusi è simile?
È stato valutato lo stesso intervento?
Sono stati usati gli stessi outcome?
Documentazione dei risultati
I metodi di revisione sono documentati?
È fornito un riassunto dei risultati?
Conclusioni e raccomandazioni
È fornito un riassunto dei risultati?
Sono proposte specifiche direttive per nuove ricerche?
Le conclusioni sono supportate dai dati?
Valutazione della qualità delle RS
Devono essere valutati i successivi sei punti:
1. il quesito clinico di partenza non deve essere una semplice speculazione teorica, ma deve
avere un impatto sui pazienti ed essere clinicamente rilevante;
2. i criteri di inclusione degli studi in termini di tipologia di pazienti, condizioni di salute,
interventi da valutare, misure di esito e disegno di studio devono essere chiaramente esplicitati;
3. la strategia attraverso la quale sono stati ricercati gli studi da includere deve essere dichiarata,
deve essere specificato che non sono stati applicati limiti temporali o linguistici alla ricerca e
come è stata verificata l’esistenza di studi in corso e/o non pubblicati;
4. come è stata effettuata l’estrazione dei dati dagli studi. L’adozione di una scheda predefinita
ed il lavoro svolto da almeno due revisori indipendenti è il metodo accreditato per ridurre gli
errori;
5. il modo in cui si è proceduto alla valutazione della qualità degli studi e come questa
valutazione è stata presa in considerazione in fase di analisi.
6. in che modo gli autori della revisione hanno interpretato i risultati. In particolare è importante
che i risultati derivino dai dati presentati e non si confondano le considerazioni degli autori con i
risultati delle analisi. È necessario, per esempio, che la mancanza di prove di efficacia non sia
confusa con le prove di inefficacia, ovvero che la carenza di studi non sia discussa come se
esistessero studi con risultati negativi.
ETEROGENEITA’
Occorre definire se gli studi sono sufficientemente omogenei da
legittimare la meta-analisi.
Si distinguono 3 tipi:
1. CLINICA (PICO),
2. METODOLOGICA (M),
3. STATISTICA (dipende dalle prime due)
La decisione rispetto all’eterogeneità si prende sulla base dei
seguenti aspetti:
•Scostamenti tra le stime puntuali degli effetti dei diversi studi.
•Sovrapposizione degli intervalli di confidenza.
•Valore del test statistico di eterogeneità.
TEST STATISTICI DI ETEROGENEITA’
chi quadro
p value (<0,10) la differenza tra le popolazioni di
riferimento è reale o casuale? Se p > 0,05 non c’è
eterogeneità (differenza casuale), se < 0,05 c’è
eterogeneità (differenza reale)
inconsistenza I² descrive la percentuale della
variabilità dell’effetto della stima che è riferibile alla
eterogeneità piuttosto che al caso (variabilità
campionaria). Se I² > 50%, siamo in presenza di una
eterogeneità sostanziale.
ETEROGENEITA’ NON PRESENTE
ETEROGENEITA’ PRESENTE
CASA FARE IN CASO DI
ETEROGENEITA’
Se le stime puntuali sono lontane, gli overlaps
sono scarsi, p < 0,10, I₂ > 50% significa che la
variabilità che si osserva tra gli studi non è
spiegabile solo attraverso il caso, ma è imputabile a
differenze reali (la meta-analisi non è
“appropriata”).
Non è opportuno utilizzare i risultati di una
meta-analisi che dimostra eterogeneità.