Analisi critica della letteratura
e dei lavori scientifici
Metodologia per il medico di famiglia
Scuola Toscana di
Formazione
1
Elementi di validità di un
lavoro di ricerca.
 Validità
metodologica.
 Rilevanza
clinica.
 Trasferibilità.
2
Analisi critica dei lavori
scientifici

Quale ipotesi gli autori volevano
provare?

Quale tipo di studio è stato
effettuato?

La metodologia è corretta?
3
Classificare un articolo
Studi osservazionali
 Studi sperimentali

Ricerche quantitative
 Ricerche qualitative

4
La ricerca qualitativa
Se le ricerche quantitative studiano la
diversità quantitativa dei fenomeni,
esprimendola in forma numerica e
probabilistica, le ricerche qualitative
ne cercano i motivi e postulano
spiegazioni o pongono interrogativi
5
La ricerca qualitativa






Metodi
q
Documentazione (atti dei convegni e
comportamento dei medici)
q
Osservazione passiva (descrizione)
q
Osservazione partecipativa
q
Intervista (di solito strutturata)
q
Focus groups
6
Classificare un articolo
Studi primari





q
q
q
q
q
Studi sperimentali
RCT
Studi di coorte
Studi caso controllo
Studi osservazionali trasversali
7
Classificare un articolo

Studi secondari
q
q
q
q

Revisioni Sistematiche
Non sistematiche
Metaanalisi
Linee Guida
8
Classificare un articolo
Studi secondari

Revisioni non sistematiche: riassumono un gruppo
di studi primari

Revisioni sistematiche: riassumono studi primari
esaminati e valutati secondo una metodica precisa e
rigorosa

Metanalisi: integrano i risultati numerici di più studi
primari

Linee guida: si basano sugli studi primari per trarre
conclusioni su come si dovrebbe svolgere la pratica
clinica

Analisi decisionali/ analisi economiche
9
Classificare un articolo
In ordine di importanza
1.
2.
3.
4.
5.
6.
RCT definitivi Metaanalisi
RCT non definitivi
Studi di coorte o caso controllo
Studi osservazionali
Casi clinici
Studi ecologici
10
Gerarchia dei tipi di studio
in funzione del livello di prove
Metanalisi
Revisioni Sistematiche
RCTs
(Studi Controllati Random)
Studi di Coorte
Studi Caso-Controllo
Studi Osservaz. Trasversali
Casi Clinici
11
Metaanalisi( over review)

Revisione globale, sistematica
ed organizzata e sintesi
statistica retrospettiva dei
risultati di più studi clinici che
affrontano il medesimo
argomento.

Si basa su criteri di valutazione
espliciti.
12
Revisioni di studi clinici
(pubblicati)
 Non
sistematiche
 Sistematiche
13
Metanalisi: i metodi.
NARRATIVO ( il più classico),tipico
della revisione tradizionale in cui chi
analizza i dati ne riassume i risultati ed
esprime la sua opinione.
 IL METODO DEI VOTI, in cui si
suddividono gli studi disponibili in positivi,
negativi, incerti ( posta troppa enfasi sulla
sugnificatività statistica).

14
Metanalisi.
Come i trials randomizzati
anche le MA possono essere
condotte in modo inappropriato
e concludersi con risultati
inattendibili.
 Con le MA non si possono avere
informazioni che non erano
presenti nei singoli studi.

15
Criteri di validità che gli AA
devono documentare.
1. Modalità di selezione degli studi.
2. Definizioni adeguate di pazienti,
trattamenti e razionale dell’analisi.
3. Modalità di estrazione dei dati.
4. Qualità dell’analisi statistica ( test
utilizzati, misurazione della
variabilità dei risultati,
presentazione grafica e
interpretazione dei risultati.
16
Metanalisi: criteri di validità.
1. Obiettivo della MA è ben definito e
clinicamente rilevante?
2. E’ verosimile che la ricerca degli
studi abbia mancato l’identificazione
di studi importanti?
3. I criteri di inclusione ed esclusione
erano ragionevoli e coerenti con
l’obiettivo?
17
Metanalisi : criteri di validità.
4. Esiste un numero di studi
sufficiente per la MA ed il numero
dei pazienti è ragionevolmente
elevato?
5. Sono studi simili per caratteristiche
dei pazienti inclusi,modalità di
trattamento, end points?
6. Sono i risultati degli studi non
eterogenei, cioè tendono a
dimostrare un chiaro beneficio?
18
Metanalisi
19
Metanalisi
Vantaggi
q Metodi di inclusione precisi (selezione
di lavori validi)
 q
Grande quantità di informazioni
 q
Riduzione del ritardo fra ricerca e
applicazione
 q
Generalizzabilità dei risultati
(popolazione diversificata)

20
Metanalisi : i limiti.
I trials sono assai diversi per
numerosità dei pazienti.
 I pazienti sono diversi da studio a
studio anche se reclutati con
analoga diagnosi.
 Condizioni di setting differenti.
 Validità scientifica e attendibilità dei
risultati diversi ( carenze
metodologiche).

21
Metanalisi : i limiti.

Quando si fa una MA si finisce
invariabilmente per dimostrare
una qualche efficacia del
trattamento studiato.
22
Analisi critica dei lavori
scientifici.

La valutazione va fatta soprattutto sui
singoli lavori.
 Elementi da valutare:
 Originalità
 Disegno sperimentale adeguato al quesito di
ricerca.
 Metodo, validato e accuratamente descritto.
 Analisi.
23
L’ABSTRACT

Importante quando si vuole effettuare su
internet una ricerca.
 Convenzionale, descrive:
problema,metodi,risultati,conclusioni
 Strutturato , descrive :
obiettivo,disegno,setting,caratteristiche dei
pazienti,intervento,misure di outcome,
risultati, conclusioni.
24
Articolo scientifico: IMRAD.
Introduzione.
 Metodi
 Risultati
 ( And)
 Discussione

25
INTRODUZIONE
Riassume le informazioni più
importanti.
 Aiuta a comprendere le ragioni
dello studio.
 Descrive lo scopo (non le
conclusioni) della ricerca.
 Cita altri lavori analoghi o
correlati allo studio.

26
METODI
Disegno dello studio.
 Selezione dei pazienti.
 Definizione della malattia.
 Intervento,metodi e trattamenti.
 Misure di outcome
 Potenza ed analisi statistiche.
 Aspetti etici.

27
RISULTATI
 Descrizione
dei
partecipanti allo studio
(rifiuto e perdita nel
follow-up).
 Risposta alle ipotesi
formulate.
28
DISCUSSIONE
 Sintesi
dei risultati
principali.
 Conseguenze “pratiche” dei
risultati.
 Vantaggi e limiti dei metodi
utilizzati.
 Studi futuri.
29
Articoli clinici: caratteristiche
generali

Importanza/prestigio della rivista

Peer review ( lavori accuratamente
valutati da revisori esperti)

Impact factor ( parametro che pesa
le riviste sul numero di citazioni
ricevute normalizzato per il numero
di lavori pubblicati)

Conflitti di interesse
30
La caccia agli errori della
ricerca.
ERRORI METODOLOGICI: nella
impostazione ed interpretazione
dello studio.
 DISTORSIONI : diversità fra ciò
che esce dai laboratori di
ricerca e ciò che arriva al
medico ( risultati diversi da
quelli realmente riscontrati).

31
ERRORI METODOLOGICI.

Gli errori nell’analisi e
nell’interpretazione dei risultati
possono essere corretti, se
identificati in tempo, gli errori
nella impostazione sono sempre
irrimediabili e spesso
condizionano il destino della
ricerca.
32
ERRORI METODOLOGICI.
1. Mancanza di un confronto : fra i
più comuni errori l’organizzazione di una
ricerca di tipo NON COMPARATIVO
(modo migliore per ottenere un risultato
positivo).
2. Errata scelta del confronto: non
validi i confronti retrospettivi o storici né
quelli contemporanei ma non randomizzati.
33
ERRORI METODOLOGICI.
3. Mancata o errata randomizzazione :
non è sufficiente prevedere un gruppo di
confronto, occorre che ciò avvenga per
randomizzazione. Molto spesso previsti sistemi
alternativi ( assegnazione in successione alternata
oppure in base al giorno di ricovero o data di
nascita).
Errata perché si può prevedere o anticipare il
trattamento da assegnare.
34
ERRORI METODOLOGICI.
4. Non adozione delle condizioni
di CECITA’ singola o doppia.
Essenziale non solo in fase di assegnazione
dei trattamenti ma anche , e soprattutto,
nella fase di conduzione della ricerca e della
valutazione dei risultati.
35
ERRORI METODOLOGICI.
5. Non adeguata scelta del
disegno sperimentale.
Anche se organizzate secondo i principi
della sperimentazione controllata e
randomizzata molte ricerche non sono in
grado di fornire tutta l’informazione che
dovrebbero perché pianificate secondo un
disegno non appropriato.
36
ERRORI METODOLOGICI.
6. Mancata stima delle dimensioni del
campione : errore estremamente frequente.
Nella maggioranza degli studi non c’è accenno alla
stima del campione che è necessario studiare per
avere una buona probabilità di mettere in
evidenza, se esiste, una determinata differenza fra
i trattamenti in studio.
37
ERRORI METODOLOGICI.
6. Mancata stima delle
dimensioni del campione : in uno
studio ben organizzato si deve stabilire a
priori la numerosità del campione sapendo
quale sia la “ potenza” dello studio ( cioè la
differenza minima che si può svelare come
statisticamente significativa).
38
ERRORI METODOLOGICI.
7. Mediocre livello dello standard
statistico: è quella che potremmo
definire la frenesia del p>0,05 , valore che
in troppi lavori assume un’alea magica di
significatività dimostrativa. “p” non è la
probabilità di fare un errore ritenendo
l’effetto osservato come vero ma
semplicemente la probabilità dell’ “ipotesi
nulla”.
39
ERRORI METODOLOGICI.
7. Mediocre livello dello standard
statistico:
nell’applicazione del Test di significatività un
errore nel quale è facile imbattersi è l’uso
improprio del test “ T di Student” (parametrico)
per esempio per effettuare confronti multipli a
coppia, creando confusione fra inferenza ed
estrapolazione dei dati.
40
DISTORSIONI : 5
MECCANISMI
FONDAMENTALI.
1. Vizio del risultato positivo : più
facile la pubblicazione di ricerche con
risultato positivo.
2.Parzialità dell’arbitro : più facile la
pubblicazione di un articolo recante un
messaggio che concorda con quello dei
revisori.
41
DISTORSIONI.
3. Dilemma del rischio relativo ed
assoluto:
più facile che venga prescritto un trattamento se i
risultati della sperimentazione vengono
rappresentati in termini di rischio relativo piuttosto
che di rischio assoluto.
4. Tono del linguaggio : più facile venga
prescritto un trattamento se i risultati vengono
enfatizzati.
42
DISTORSIONI.
5. Informazione pilotata : più facile
che venga prescritto un trattamento se
l’informazione è parziale o si omettono dati
importanti o vengono rappresentati in modo
fallace.
43
DUE errori da non
commettere.
1- Printed word bias:
“ mi fido dello studio perché è stato
pubblicato”.
2- Omission bias:
“ Ho fretta, quindi passo subito alle
conclusioni”.
44
CONCLUSIONI: gli 11 item.
1. Se sono stabiliti i criteri di
eligibilità.
2. Se questi sono stati applicati prima
della allocazione del trattamento.
3. Se l’allocazione è stata fatta con
randomizzazione.
4. Quale metodo di randomizzazione.
5. Le condizioni di cecità.
45
CONCLUSIONI : gli 11 item.
6. Se la valutazione dei risultati è
fatta in cieco.
7. Quali sono state le
complicanze del trattamento.
8. Quanti pazienti persi nel
follow-up e perché e se sono
stati considerati
( Intention to treatment)
46
CONCLUSIONI : gli 11 item.
9. Il tipo di analisi statistica
utilizzato.
10. I metodi statistici utilizzati.
11. In che modo è stata calcolata
l’entità del campione o l’entità
della differenza attesa.
47