Linee guida per la
valutazione dei test
diagnostici
Pasquale Urbano
22 gennaio 2009
Scaletta
Richiami di biometria
Stima dei caratteri intrinseci dei test
L’EBM e la fallacia dei valori predittivi
Rapporti di verosimiglianza, nomogramma
di Fagan e impostazione bayesiana delle
diagnosi
La validazione dei test diagnostici
P. Urbano per Myco09
L’ACCURATEZZA DI UN TEST
VALUTATA CON UNA TABELLA 2X2
La
Tabella
2x2
Gold standard
Pos
Neg
Pos
veri
positivi
falsi
positivi
test positivi
Neg
falsi
negativi
veri
negativi
test negativi
p.con
malattia
p.senza
malattia
Totali
Test
PARAMETRI DERIVATI
sensibilità, specificità, valori predittivi, LR
P. Urbano per Myco09
STIMA DELL’ACCURATEZZA DI UN TEST
La
Tabella
2x2
Gold standard
Pos
Test
Neg
Totali
Pos
440 VP
35 FP
Neg
60 FN
465 VN
Totali
500
p.con
malattia
500
p.senza
malattia
475
test positivi
525
test negativi
1000
Parametri intrinseci derivati (accuratezza del test)
(440/500) x 100 = 88%
Sensibilità
(465/500) x 100 = 93%
Specificità
P. Urbano per Myco09
Affidabilità delle stime di
accuratezza
•Per le stime di sensibilità e di specificità,
l’affidabilità dipende dalla dimensione del
campione di collaudo.
•Le stime devono essere accompagnate
dagli intervalli di confidenza
P. Urbano per Myco09
Viziatura da spectrum
composition
Sensibilità e specificità sono caratteristiche
intrinseche dei test, ma la loro stima dipende dal
tipo di popolazione studiata, che spesso non è
omogenea con quella cui si vuole applicare
Di solito il collaudo dei test viene fatto su casistiche di
casi seri [ospedalieri], e la stima delle sue caratteristiche
induce in errori, se le si vogliono considerare per i casi lievi
[ambulatoriali]
P. Urbano per Myco09
Il seme dell’EBM
P. Urbano per Myco09
Criteri di validità
dell’evidenza scientifica
•L’EBM ha posto l’enfasi sulla valutazione
di efficacia delle terapie
FDA
Più recente l’attenzione sull’efficacia
della diagnostica
[FDA]
P. Urbano per Myco09
Di un test, la tradizione privilegia qualità
anonime
Caratterizza un test l’ ACCURATEZZA DIAGNOSTICA, espressa
da sensibilità e da specificità, rispettivamente la capacità di
discriminare i malati e i sani di una popolazione.
Di un test, l’EBM privilegia l’utilità per il
singolo paziente
Caratterizza un test l’ UTILITÀ DIAGNOSTICA, espressa dai
valori predittivi, le probabilità che un risultato corrisponda
realmente alla presenza o all’assenza della malattia nel paziente che
interessa.
P. Urbano per Myco09
STIMA DELL’UTILITÀ DI UN TEST
La
Tabella
2x2
Gold standard
Pos
Neg
Pos
440 VP
35 FP
Neg
60 FN
465 VN
Totali
500
p.con
malattia
500
p.senza
malattia
Totali
475
test positivi
Test
525
test negativi
1000
Parametri derivati (utilità del test)
(440/475) x 100 = 93%
Valore predittivo positivo
(465/525) x 100 = 89%
Valore predittivo negativo
P. Urbano per Myco09
Un esempio
Suscettibilità all’isoniazide
MGIT960 su M. tuberculosis
Caratteri
intrinseci del
test
Caratteri
estrinseci
SENSIBILITA’ 96,64%
SPECIFICITA’ 97,14%
RV
[LR]
33,79
Valori predittivi ??
I valori predittivi dipendono dalla prevalenza
della resistenza, che può essere diversa da
regione a regione, da casistica a casistica, …
P. Urbano per Myco09
Gli effetti della prevalenza sui parametri
derivati
+
-
+
-
+
440V
P
35
FP
+
44
VP
67
FP
111
-
60
FN
465
VN
525
-
6
FN
883
VN
889
500
500
1000
50
950
1000
475
Prevalenza = 0.50
Prevalenza = 0.05
Sensibilità = 0.88
Specificità = 0.93
Sensibilità = 0.88
Specificità = 0.93
Val.Pred.Pos. = 0.93
Val.Pred.Neg.= 0.89
Val.Pred.Pos. = 0.40
Val.Pred.Neg.= 0.99
P. Urbano per Myco09
Indici indipendenti dalla prevalenza
I Rapporti di Verosimiglianza [Likelihood ratio]
+
-
+
88% VP
7% FP
-
12% FN
93% VN
500
500
+
-
+
88% VP
7% FP
-
12% FN
93% VN
50
950
LR(+) = %Veri positivi / % Falsi positivi
LR(-) = %Falsi negativi / % Veri negativi
LR (+) = 0.88/0.07 = 12.6
LR (-) = 0.12/0.93 = 0.13
LR(+) = sensibilità / (1- specificità)
LR(-) = (1-sensibilità) / specificità
P. Urbano per Myco09
Coi rapporti di verosimiglianza si calcola
o si trova la probabilità a posteriori
La formula analitica è:
Il nomogramma di Fagan usa la formula
equivalente:
P. Urbano per Myco09
Il rapporto di verosimiglianza
(Likelihood ratio)
LR+ =
__Sensibilità__
(1 - Specificità)
LR - =
(1 - Sensibilità)
Specificità
P. Urbano per Myco09
I Rapporti di
Verosimiglianza [Likelihood ratio
(LR)] servono a calcolare o a
trovare i valori predittivi a
qualsiasi prevalenza o
probabilità a priori
P. Urbano per Myco09
L’EBM utilizza per la diagnosi
la logica bayesiana
Il valore predittivo di un test deriva
dall’interreazione di due variabili ...
la prevalenza
di malattia
(prob. pre-test)
l’accuratezza
diagnostica
del test
(likelihood ratio)
le previsioni del clinico, modificate dai
risultati di un test, divengono probabilità
post-test o valori predittivi
P. Urbano per Myco09
Il rapporto di
verosimiglianza (RV)
Il nomogramma di Fagan
permette di risalire dalle
probabilità pre-test della
malattia alle probabilità posttest (valore predittivo del
risultato)
 RV fa da fulcro della linea che
dalle probabilità pre-test porta a
quelle post-test
P. Urbano per Myco09
Diagnosi di
resistenza all’INI
La probabilità post-test è in
effetti il VPP, dato l’esito
positivo di un test con LR nota,
per la probabilità pre-test [la
prevalenza locale: 12% = 0,12].
P. Urbano per Myco09
Evoluzione nel modo di esprimere l’accuratezza
The overall sensitivity, specificity, and positive and
negative predictive values for the BDProbeTec ET assay
were 90.3, 96.9, 78.3, and 98.9%, respectively. Rusch,
Diagn Microb Inf Dis 2004
Based on a 36% prevalence of infection, the sensitivity,
specificity, and positive and negative predictive values of
multiplex PCR analyses were 87, 96, 94, and 93%,
respectively. Stellrecht, JCM 2004
A plasma soluble TREM-1 level higher than 60 ng/mL was more
accurate than any other clinical or laboratory finding for
indicating infection (sensitivity, 96% [95% CI, 92% to
100%]; specificity, 89% [CI, 82% to 95%]; positive
likelihood ratio, 8.6 [CI, 3.8 to 21.5]; negative likelihood
ratio, 0.04 [CI, 0.01 to 0.2]). Gibot, AIM 2004
P. Urbano per Myco09
Calcoli on line
Outcome
+
+
Test
-
Prevalence
Number/Size
-
Tutti i calcoli per ricavare i
parametri dei test diagnostici
possono essere fatti utilizzando
lo strumento a:
http://home.clara.net/sisa/diagnos.htm
Oppure:
http://araw.mede.uic.edu/cgialansz/testcalc.pl , che include il
nomogramma di Fagan
P. Urbano per Myco09
Altri links a calcolatori on line
Welcome to the UBC Clinical Significance
Calculator
http://www.healthcare.ubc.ca/calc/clinsig.
html
Calcolatori Bayesiani
Welcome to the UBC Bayesian Calculator
http://www.healthcare.ubc.ca/calc/bayes.h
tml
P. Urbano per Myco09
Riconoscimento di bambine a rischio di IVU
1151 bambine febbrili; 56 IVU; prevalenza 5%
Fattori di rischio
N.
fattori
Prob.%
di IVU
Razza bianca
1
5.5
Età < 12 m.
2
7
Temp. > 39°
3
13
Febbre no altre cause
4
29
Febbre > 2 gg
5
48
Gorelick, et al. 2003
P. Urbano per Myco09
Dalle probabilità pre-test
alle probabilità post-test
Test a striscia per le urine:
LR(-) 0.13
LR(+) 12.5
sensibilità 88%
specificità 93%
LR(+) 12.6
LR(-) 0.13
Prev %
VPP%
VPN%
5
38
>99%
P. Urbano per Myco09
Striscetta: nitriti O LE (sens 0.88 spec 0.93)
Con il nomogramma di
Fagan è possibile
valutare le prestazioni
di un test applicando il
teorema di Bayes.
Qui sono calcolati i
valori predittivi che
corrispondono a diverse
probabilità a priori.
Ne risulta l’indicazione
di quando è possibile
prendere una decisione
senza fare l’urocoltura
e quando invece
l’urocoltura è
indispensabile.
LR(-) 0.13
5
4
3
2
LR(+) 12.5
1
no test no treat
test (culture) & treat
no test, get on with treatment
P. Urbano per Myco09
MC Read, MS Lachs, AR Feinstein.
Use of methodological standards in diagnostic test
research: getting better but still not good.
Journal of the American Medical Association
1995 274:645-51.
Conducono una rigorosa lettura di
centinaia di pubblicazioni sulla
performance di vari test di laboratorio
– e le bocciano quasi tutte, in base a
una serie di criteri standard
P. Urbano per Myco09
The STARD Initiative -- Towards
Complete and Accurate Reporting of
Studies on Diagnostic Accuracy
Objective
The objective of the Standards for Reporting
of Diagnostic Accuracy (STARD) initiative is to
improve the quality of reporting of studies on
diagnostic accuracy by using a checklist and
flow diagram. Complete and accurate reporting
allows the reader to detect the potential for
bias in the study and to evaluate the
generalisability of the results.
http://www.consort-statement.org/stardstatement.htm
P. Urbano per Myco09
http://php.york.ac.uk/inst/yhec/?q=node/123
YHEC Training Event: Identifying Diagnostic Test Accuracy Studies:
Challenges and Strategies
University of York, 2 December 2008
Diagnostic test studies are receiving increasing attention, but are
challenging to identify efficiently and reliably. As well as health care
professionals seeking information on best evidence on test accuracy,
there is also a growing requirement for systematic study identification
to inform systematic reviews and technology assessments of diagnostic
tests and techniques. The growing number of diagnostic test accuracy
reviews is an important resource for the practice of evidence-based
health care. This study day will provide an introduction to the key
features of diagnostic test accuracy studies to provide insight into
retrieval challenges. This will be followed by an overview of the research
evidence on search approaches to identify diagnostic studies and the key
current resources available to find studies and reviews. In this fastmoving research area we will also look at products in development. The
study day will explore current searching guidance and highlight key
critical appraisal tools for assessing diagnostic test accuracy studies.
There will be time to explore and test strategies and resources.
P. Urbano per Myco09
Section and
topic
Ite
m
TITLE/ABSTRA
CT/
KEYWORDS
1
INTRODUCTIO
N
2
Reporte
on page
Describe
The article as a study on diagnostic accuracy (recommend MeSH
heading 'sensitivity and specificity')
The research question(s), such as estimating diagnostic accuracy or comparing accuracy
between tests or across participant groups
METHODS
Participants
3
4
5
6
Reference
standard
The study population: the inclusion and exclusion criteria, setting(s) and
location(s) where the data were collected
Participant recruitment: was this based on presenting symptoms, results from
previous tests, or the fact that the participants had received the index test(s) or the
reference standard?
Participant sampling: was this a consecutive series of patients defined by selection
criteria in (3) and (4)? If not specify how patients were further selected.
Data collection: were the participants identified and data collected before the index
test(s) and reference standards were performed (prospective study) or after
(retrospective study)?
7
The reference standard and its rationale
Test methods
8
Technical specification of material and methods involved including how and when measurements
were taken, and/or cite references for index test(s) and reference standard
9
Definition and rationale for the units, cutoffs and/or categories of the results of the index test(s)
and the reference standard
P. Urbano per Myco09
P. Urbano per Myco09
Punti chiave
Evitare i vizi [bias]
Documentare e archiviare tutto
Evitare i valori predittivi
Calcolare i Rapporti di Verosimiglianza
[LR]
Diffondere i risultati in modo
efficace e chiaro [seguendo gli
STARD]
P. Urbano per Myco09
Vizi di impostazione:
workup bias
•Si verificano
quandoof
il confronto
coibias
test di
Avoidance
workup
riferimento [gold standard] o coi criteri di
approfondimento non è applicato in modo
bilanciato ai casi con risultati positivi e a quelli
con risultati negativi
P. Urbano per Myco09
Affidabilità delle stime di
accuratezza
•Per le stime di sensibilità e di specificità,
l’affidabilità dipende dalla dimensione del
campione di collaudo.
•Le stime devono essere accompagnate
dagli intervalli di confidenza
P. Urbano per Myco09
L’unico modo per evitare lo spectrum bias è di
arruolare pazienti consecutivi, come si presentano
nella pratica reale
Gli studi devono essere estesi, per avere stime
affidabili -> farli policentrici
Correlare sempre i dati clinici con quelli di
laboratorio
Focalizzarsi sulle situazioni di maggiore utilità
clinica
Migliorare la comunicazione bidirezionale coi clinici
Pubblicizzare bene i risultati
http://www.jr2.ox.ac.uk/bandolier/booth/diagnos/Diagessy.html
P. Urbano per Myco09
P. Urbano per Myco09
Linea Guida CLSI
CLSI EP12A2
User Protocol for Evaluation of
Qualitative Test Performance; Approved
Guideline, Second Edition, EP12-2A
Larry W. Clark, M.S.
Edition: 2nd
Clinical and Laboratory Standards
Institute / 01-Jan-2008 / 64 pages
ISBN: 1562386549
P. Urbano per Myco09
Protocollo
CLSI
Clinical and Laboratory
Standards Institute / 01Jan-2008 / 64 pages
ISBN: 1562386549
Link
P. Urbano per Myco09
Grazie dell’attenzione
Domande?
Alcuni riquadri sono ripresi da una bella presentazione
di Giocoli
P. Urbano per Myco09