Strumenti per l’interpretazione dei dati
sull’efficacia degli interventi terapeutici
• Il disegno dello studio
• L’end-point misurato
• Il metodo di presentazione dei risultati
• Il rischio basale
• La forza delle raccomandazioni
Copyright © 1996-1999 GIMBE
Il disegno dello studio
I trials controllati e randomizzati (RCTs), standard della
sperimentazione terapeutica, rappresentano il disegno
più affidabile da cui ricavare raccomandazioni cliniche.
Copyright © 1996-1999 GIMBE
Hormone Replacement Therapy (HRT) and
Coronary Heart Disease (CAD) prevention
• Three different meta-analyses have concluded that HRT
decrease the risk of CAD by 35% to 50%
- Stampfer MJ, et al. Prev Med 1991
- Grady D, et al. Ann Intern Med 1992
- Office of Technology Assessment,1995
• Guidelines of respected scientific organizzations, have
recommended postmenopausal HRT for CHD prevention.
- American College of Physicians. 1992
- American Heart Association 1995
Copyright © 1996-1999 GIMBE
HRT and CAD prevention
Lesson from HERS
Heart and Estrogen/progestin Replacement Study
• 2.763 woman who had not had a hysterectomy, but a estabilished
CHD were randomized to HRT or placebo.
• After 4.1 years of follow up, there was no difference between two
groups in CHD deaths or non fatal myocardial infarction.
• Thromboembolic events and gallbladder disease were significantly
more common in HRT group.
Hulley S, et al. JAMA 1998
Copyright © 1996-1999 GIMBE
HERS extends the list of useless (or harmful) therapies
• Beta-carotene for the prevention of malignant diseases and CHD
Hennekens CH, et al. N Engl J Med 1996
Various. N Engl J Med 1994
• Prophylactic anti-arrhythmic therapy after myocardial infarction
CAST . N Engl J Med 1991
CAST II. N Engl J Med 1992
• Prophylactic lidocaine in patients with myocardial infarction
Hine LK, et al. Arch Intern Med 1989
• Extracranic-intracranic by-pass for prevention of stroke
Haynes RB et al. JAMA 1987
• Albumin infusions in critically ill patients
Copyright © 1996-1999 GIMBE
Schierhout G et al. BMJ 1998
• Gli esiti (outcomes) di qualunque malattia sono influenzati, oltre
che dall’intervento terapeutico - da numerosi fattori: gravità e
fluttuazioni della malattia, patologie concomitanti, fattori
prognostici noti ed ignoti.
• La randomizzazione assicura che tutti questi fattori vengano
equamente distribuiti nei due gruppi di pazienti.
• Se un RCT è condotto ed analizzato in maniera adeguata,
l’eventuale differenza di esiti tra i due gruppi può essere ascritta
all’effetto del trattamento in studio.
• Gli studi che non effettuano un’assegnazione randomizzata dei
pazienti al trattamento, sono contraddistinti da una percentuale
maggiore di risultati falsamente positivi.
Copyright © 1996-1999 GIMBE
Problemi legati al reperimento dei RCTs,
alla loro qualità ed al loro numero
• Even the best electronic searching of MEDLINE could not
find all the RCTs published
• Even when the RCTs were found:
- many are too small to give a clear result;
- many are biased, even after peer review;
- there are too RCTs for the clinicians and decision-makers to manage.
Copyright © 1996-1999 GIMBE
Strumenti per l’interpretazione dei dati
sull’efficacia degli interventi terapeutici
• Il disegno dello studio
• L’end-point misurato
• Il metodo di presentazione dei risultati
• Il rischio basale
• La forza delle raccomandazioni
Copyright © 1996-1999 GIMBE
End-points in clinical trials
Surrogate (soft=S) vs clinically significative (hard=H)
S= Levels of cholesterol,
Lowering lipid drugs H= Mortality, CHD
coronary arteries
S= Detection of more small tumors
Mammographic screening H= Decreased mortality from breast cancer
PSA screening
Prevention of osteoporosis
Copyright © 1996-1999 GIMBE
S= Detection of more small, operable, tumors
H= Decreased mortality from prostate cancer
S= Increased bone density
H= Decreased fracture rate
Surrogate End Points in Clinical Trials
Are We Being Misled?
Intervention
Disease
Surrogate
End Point
True Clinical Outcome
Fleming T, et al.
Ann Intern Med 1996
Copyright © 1996-1999 GIMBE
End-points in clinical trials
Still from HERS
• In the group of HRT the absence of benefit occurred despite a
mean reduction of LDL cholesterol of 14% (to a mean level of
125 mg%), compared with a mean reduction of LDL cholesterol
of 3% (to a level of 140 mg%) in the placebo group.
• The HDL cholesterol increased of 8% in the HRT group,
compared with a mean reduction of 2% in the the placebo group.
Hulley S, et al. JAMA 1998
Copyright © 1996-1999 GIMBE
Strumenti per l’interpretazione dei dati
sull’efficacia degli interventi terapeutici
• Il disegno dello studio
• L’end-point misurato
• Il metodo di presentazione dei risultati
• Il rischio basale
• La forza delle raccomandazioni
Copyright © 1996-1999 GIMBE
Il metodo di presentazione dei risultati
Medici, amministratori sanitari e pazienti sono più
entusiasti nei confronti degli interventi terapeutici
presentati con misure di efficacia relativa,
che hanno la capacità di enfatizzarne l’efficacia.
Naylor CD, et al. Ann Intern Med 1992
Forrow L, et al. Am J Med 1992
Bobbio M, et al. Lancet 1994
Bucher HC, et al. BMJ 1994
Fahey T, et al. BMJ 1995
Hux JE, et al. Med Decis Making 1995
Copyright © 1996-1999 GIMBE
Misure di efficacia utilizzate dai trials
Evento
Presente Assente
Rischio di sviluppare
l’evento
Trattati
A
B
Y= A/(A+B)
Controlli
C
D
X= C/(C+D)
Copyright © 1996-1999 GIMBE
Rischio dell’evento nei trattati
Y= A/(A+B)
Rischio dell’evento nei controlli
X= C/(C+D)
• Rischio Relativo
• Riduzione del Rischio Relativo
• Odds Ratio
• Riduzione del Rischio Assoluto
• Numero Necessario da Trattare
Copyright © 1996-1999 GIMBE
RR= Y/X
RRR= (X-Y)/X x 100
OR= (A/B)/(C/D)
RRA= X-Y
NNT= 1/(X-Y)
Hypertension Optimal Treatment (HOT) Trial
Evento
Presente
Assente
Rischio di sviluppare
l’evento
Trattati
315
9084
Y= A/(A+B) = 0.033
Controlli
368
9023
X= C/(C+D) = 0.039
• Rischio Relativo
RR= 0.85 (0.74 to 0.99)
• Riduzione del Rischio Relativo
RRR= 15% (1% to 26%)
• Odds Ratio
OR= 0.85 (0.71 to 0.99)
• Riduzione del Rischio Assoluto
RRA= 0.006 (0.0003 to 0.01)
• Numero Necessario da Trattare
NNT= 176 (90 to 3117)
Hansson L, et al. Lancet 1998
Copyright © 1996-1999 GIMBE
When can odds ratios mislead
Davies HTO, et al. BMJ 1998
Down with odds ratios !
Sackett DL, et al. Evidence-based Medicine 1996
Copyright © 1996-1999 GIMBE
Comparing risks and odds
Risk
0.05 or 5%
0.1 or 10%
0.2 or 20%
0.3 or 30%
0.4 or 40%
0.5 or 50%
0.6 or 60%
0.7 or 70%
0.8 or 80%
0.9 or 90%
0.95 or 95%
Copyright © 1996-1999 GIMBE
Odds
0.053
0.11
0.25
0.43
0.67
1
1.5
2.3
4
9
19
Davies HTO, et al. BMJ 1998
Davies HTO, et al. BMJ 1998
Copyright © 1996-1999 GIMBE
Davies HTO, et al. BMJ 1998
Copyright © 1996-1999 GIMBE
Misoprostol reduces serious gastrointestinal
complications in patients with rheumatoid arthritis
receiving nonsteroidal anti-inflammatory drugs.
A randomized, double-blind, placebo-controlled trial.
Silverstein FE, et al. Ann Intern Med 1995
CONCLUSIONS
In older patients with rheumatoid arthritis, misoprostol reduced
serious NSAID-induced upper gastrointestinal complications by
40% compared with placebo.
Copyright © 1996-1999 GIMBE
Studio
Pazienti
Evento
Misure di efficacia (95% CI)
Presente Assente
Trattati
25
Controlli
42
4397
Trattati
12
4382
Studio Divisodue
Controlli
21
4418
Trattati
125
4279
Studio Percinque
210
NNT
4379
Silverstein et al*.
Controlli
RRR
40 (2 to 63)
26 (132 to 5709)
40 (- 15 to 71)
49 (-1758 to 209)
40 (15 to 57)
53 (37 to 91)
4229
*Silverstein FE, et al. Ann Intern Med 1995
Copyright © 1996-1999 GIMBE
Numero di pazienti da trattare (NNT) con misoprostolo per sei
mesi per evitare una complicanza gastrointestinale severa
Pazienti
Tutti
>65 aa >75 aa
Tutti
264
220
300
Con pregressi eventi cardiovascolari
204
142
144
Con pregressa ulcera peptica
52
40
22
Con pregressa emorragia digestiva
40
32
14
Dati da: Silverstein FE, et al. Ann Intern Med 1995
Copyright © 1996-1999 GIMBE
Number Needed to Treat (NNT)
- Incorpora il rischio basale del paziente
- E' facile da calcolare e da utilizzare
- Consente di esprimere nella stessa unità di misura (il paziente) sia i
benefici che i rischi di un intervento preventivo
- Fornisce una misura oggettiva dei costi (diretti ed indiretti) di un
intervento preventivo.
- Consente di confrontare diversi interventi preventivi per pianificare
le strategie di politica sanitaria
Cartabellotta A, et al.
Epidemiol & Pre 1997
Copyright © 1996-1999 GIMBE
The Number Needed to Harm (NNH)
Still from HERS
End point
HRT Placebo
NNH (95% CIs)
DVT or PE
34
12
63 (39 to 157)
Gallbladder diseases
84
62
60 (30 to 41.522)
DVT= deep vein thrombosis
PE= pulmonary embolism
Copyright © 1996-1999 GIMBE
Hulley S, et al. JAMA 1998
Strumenti per l’interpretazione dei dati
sull’efficacia degli interventi terapeutici
• Il disegno dello studio
• L’end-point misurato
• Il metodo di presentazione dei risultati
• Il rischio basale
• La forza delle raccomandazioni
Copyright © 1996-1999 GIMBE
Il rischio basale
• Il beneficio che il paziente individuale può ottenere da un
intervento terapeutico cresce proporzionalmente al rischio
basale di sviluppare un evento sfavorevole.
• Il rischio di eventi avversi conseguenti al trattamento é
indipendente dal rischio basale del paziente.
Glasziou P et al. BMJ 1995
Copyright © 1996-1999 GIMBE
Harm
Baseline risk of adverse outcome
Reduction in absolute risk
Benefit
Threshold
Copyright © 1996-1999 GIMBE
Glasziou P, et al.
BMJ 1995
Riduzione del rischio relativo ottenuta dal trattamento
Rischio basale
50
40
30
25
20
15
10
0,9
2
3
4
4
6
7
11
0,6
3
4
6
7
8
11
17
0,3
7
8
11
13
17
22
33
0,2
10
13
17
20
25
33
50
0,1
20
25
33
40
50
67
100
0,05
40
50
67
80
100
133
200
0,01
200
250
333
400
500
667
1000
0,005
400
500
667
800
1000
1333
2000
0,001
2000
2500
3333
4000
5000
6667
10000
NNT
Laupacis A et al. N Engl J Med 1988
Copyright © 1996-1999 GIMBE
Strumenti per l’interpretazione dei dati
sull’efficacia degli interventi terapeutici
• Il disegno dello studio
• L’end-point misurato
• Il rischio basale
• Il metodo di presentazione dei risultati
• La forza delle raccomandazioni
Copyright © 1996-1999 GIMBE
Agency for Health Care Policy and Research
1. Randomized controlled trials that included  100 patients
2. Randomized controlled trials that included < 100 patients
3. Cohort studies
4. Case-control studies
5. Poorly controlled or uncontrolled studies
6. Conflicting evidence with the weight of evidence supporting
the recommendations
7. Expert opinion
Hadorn DC et al.
J Clin Epidemiol 1996
Copyright © 1996-1999 GIMBE
Forza delle raccomandazioni relative all'uso di
uno specifico intervento nella pratica clinica
CLASSE
A
Buone evidenze scientifiche per utilizzarlo
B
Discrete evidenze scientifiche per utilizzarlo
C
Scarse evidenze scientifiche per consigliarne,o meno,l'utilizzo
D
Discrete evidenze scientifiche per non utilizzarlo
E
Buone evidenze scientifiche per non utilizzarlo
Da Grilli et al. Il Pensiero Scientifico Editore 1995
Copyright © 1996-1999 GIMBE