3° Confronto interistituzionale in citologia
mammaria da screening
ANALISI DELLE
CONCORDANZE
Giovanni Capitanio
U.O.C. di Anatomia Patologica
Ospedale Civile di Venezia
Azienda ULSS 12 Veneziana
Partecipazione di 21 Centri
(19 A.P. Ulss + 2 Lab Privati)
Centri che hanno partecipato
•
•
•
•
•
•
•
•
•
•
Adria
Arzignano
Bassano
Bussolengo
Castelfranco
Cittadella
Conegliano
Dolo
Este
Mestre
•
•
•
•
•
•
•
•
•
•
•
Padova
Rovigo
San Bonifacio
San Donà
Thiene
Treviso
Venezia
Verona Borgo Tn
Vicenza
“Datamedica”
“Laboratorio Pennelli”
1° Round 19/5/09 RO
• 25 casi citologici
• inviati da 12 centri
• letti da 11 centri
2° Round 14/12/09 PD
• 20 casi citologici
• inviati da 8 centri
• letti da 16 centri
3° Round 23/11/10 VR
• 27 casi citologici
• inviati da 15 centri
• letti da 21 centri
Concordanza ….
N° Caso
Diagnosi di riferimento
1
C3
2
C4
3
C5
4
C2
5
C3
6
C2
7
C5
8
C3
9
C4
10
C2
11
C2
12
C3
13
C2
14
C2
15
C2
16
C3
17
C3
18
C3
19
C5
20
C5
21
C2
22
C2
23
C4
24
C5
25
C2
26
C3
27
C4
DIAGNOSI DI RIFERIMENTO
35
30
34
25
29
20
22
15
15
10
5
0
C2
C3
C4
C5
%
3° Round
35
30
25
20
Formulate
Riferimento
15
10
5
0
C1
C2
C3
C4
C5
3° Confronto interistituzionale in
citologia mammaria
•
•
•
•
•
•
•
•
27 casi citologici
21 anatomie patologiche
5 Categorie diagnostiche (C1 – C5)
1 categoria diagnostica in 0 casi
2 categorie diagnostiche in 2 casi
3 categorie diagnostiche in 10 casi
4 categorie diagnostiche in 13 casi
5 categorie diagnostiche in 2 casi
Confronto interistituzionale in citologia mammaria
1° Round
•1 categoria in 4 casi
• 2 categorie in 6 casi
• 3 categorie in 9 casi
• 4 categorie in 6 casi
1
2
3
4
5
•
•
•
•
•
2° Round
1 categoria in 1 caso
2 categorie in 4 casi
3 categorie in 8 casi
4 categorie in 6 casi
5 categorie in 1 caso
3° Round
categoria in 0 casi
categorie in 2 casi
categorie in 10 casi
categorie in 13 casi
categorie in 2 casi
Concordanza maggiore in 3 casi
(C4-C5)
Concordanza minore in 6 casi
(C3-C4-C5)
Discordanza minore in 1 caso
(C1-C2-C3)
Discordanza maggiore in 17 casi
(C1-C5)
1° Round
• Concordanza maggiore in 4 casi
(C5)
2° Round
• Concordanza maggiore in 1 caso
(C5)
• Concordanza minore in 6 casi (C4C5)
•
Concordanza minore in 4 casi
(C4-C5)
• Discordanza minore in 5 casi (C3C5)
•
Discordanza minore in 6 casi
(C3-C5)
• Discordanza maggiore in 10 casi
(C1-C5)
•
Discordanza maggiore in 9 casi
(C1-C5)
Concordanza maggiore in 3 casi
(C4-C5)
3°
Round
Concordanza minore in 6 casi
(C3-C4-C5)
Discordanza minore in 1 caso
(C1-C2-C3)
Discordanza maggiore in 17 casi
(C1-C5)
N° caso
1
2
3
4
5
6
7
8
9
C1
C2
2
4
3
1
15
4
1
1
2
C3
7
5
2
3
12
5
2
5
2
C4
C5
6
14
5
2
2
14
4
7
7
11
4
8
11
3
15
N° caso
10
11
12
13
14
15
16
17
18
C1
1
1
C2
13
8
1
13
5
7
1
3
C3
6
5
11
4
8
3
9
4
5
C4
1
5
6
3
5
5
8
4
9
C5
1
3
3
3
6
2
13
4
N° caso
19
20
21
22
23
24
25
26
27
C1
C2
C3
C4
7
2
1
14
3
1
12
4
1
6
2
2
8
13
13
2
6
1
4
5
C5
14
18
1
3
19
12
15
Indici di concordanza
• K statistics for nominal response (K): valuta la
concordanza indipendentemente dal significato della
categoria
• K pesato (Kw): valuta la concordanza secondo pesi
convenzionali prestabiliti delle categorie.
• Coefficiente di Kendall: valuta il coefficiente di
concordanza fra 2 o più categorie.
Grado di accordo …
• Valori di K < 0.40 sono indicativi di una
concordanza debole
• Valori di K compresi tra 0.40 e 0.75 sono
indicativi di una concordanza buona
• Valori di K > 0.75 sono indicativi di una
concordanza eccellente.
Buongiorno,
invio i Kappa relativi ai casi citologici:
il K complessivo tra 21 centri per le citologie considerate su scala
nominale è 0.23 (concordanza debole)
anche accorpando 2 categorie non otteniamo un gran miglioramento della
concordanza:
accorpando C4 con C5 --> K=0.28
accorpando C3 con C4 --> K=0.27
considerando le diagnosi su scala ordinale il coefficiente di Kendall
è 0.56
per ogni centro c'e' inoltre la tabella della concordanza con il gold
standard (uso il K pesato che considera le categorie su scala
ordinale)
cordiali saluti
Stefano Guzzinati
Kappa statistics for nominal response
Kappa
Standard Error
Z
Prob>Z
C1
0,03164
0,029996
1,055
0,14572
C2
0,31944
0,047965
6,66
0
C3
0,11648
0,052721
2,2094
0,01357
C4
0,10226
0,055233
1,8513
0,03206
C5
0,38409
0,061445
6,2511
0
Overall
0,22689
0,009504
23,873
0
Kendall's Coefficient of Concordance for ordinal response
Coeff of
Concordance
F
0,55859
Kappa complessivo 2° round: 0,24555
Coefficiente di Kendall 2° round: 0,50
25,31
Num
Denom
DF
DF
25,9048
518,095
Prob>F
<.0001
ACCORPANDO C4 CON C5 (4 livelli)
Kappa statistics for nominal response
Kappa
Standard Error
z
Prob>Z
C1
0,03164
0,029996
1,055
0,14572
C2
0,31944
0,047965
6,66
0
C3
0,11648
0,052721
2,2094
0,01357
0,405
0,099026
4,0898
0,00002
0,28388
0,026535
10,6984
0
C4-C5
Overall
Kendall's Coefficient of Concordance for ordinal response
Coeff of
Concordance
F
0,48818
Kappa complessivo 2° round: 0,32866
19,08
Num
Denom
DF
DF
25,9048
518,095
Prob>F
<.0001
ACCORPANDO C3 CON C4 (4 livelli)
Kappa statistics for nominal response
Kappa
Standard Error
z
Prob>Z
C1
0,03164
0,029996
1,055
0,14572
C2
0,31944
0,047965
6,66
0
C3-C4
0,17368
0,086451
2,0089
0,02227
C5
0,38409
0,061445
6,2511
0
Overall
0,27367
0,019244
14,2211
0
Kendall's Coefficient of Concordance for ordinal response
Coeff of
Concordance
F
0,5039
Kappa complessivo 2° round: 0,26503
Coefficiente di Kendall 2° round: 0,45
20,31
Num
Denom
DF
DF
Prob>F
518,095
<.0001
25,9048
ASL
Concordanza tra ASL
e gold standard
K pesato
IC al 95%
A
0,4369
0,1887
0,6852
B
0,3490
0,1342
0,5638
C
0,5781
0,3604
0,7958
D
0,4057
0,1909
0,6206
E
0,3800
0,1566
0,6034
F
0,4617
0,2725
0,6509
G
0,5070
0,3123
0,7017
H
0,3963
0,1433
0,6494
I
0,2052
-0,0132
0,4236
L
0,5214
0,3013
0,7414
M
0,4639
0,2320
0,6959
N
0,6113
0,4338
0,7888
O
0,6343
0,4587
0,8099
P
0,2146
-0,0137
0,4430
Q
0,3551
0,1097
0,6006
R
0,6538
0,4768
0,8309
S
0,6172
0,4263
0,8081
T
0,5253
0,2909
0,7598
U
0,1925
-0,0836
0,4686
V
0,5601
0,3306
0,7896
Z
0,5263
0,2883
0,7643
ASL
Concordanza tra ASL
e gold standard
K 2010
K 2009
A
0,4369
B
0,3490
C
0,5781
0,2045
D
0,4057
0,3082
E
0,3800
F
0,4617
0,6226
G
0,5070
0,7386
H
0,3963
0,2262
I
0,2052
0,0323
L
0,5214
0,3333
M
0,4639
0,2949
N
0,6113
O
0,6343
0,3333
P
0,2146
0,0972
Q
0,3551
0,2308
R
0,6538
0,5425
S
0,6172
0,4093
T
0,5253
0,1667
U
0,1925
V
0,5601
Z
0,5263
0,3023
2010 (3° round)
2009 (2° round)
K 0,22689
K 0,24555
Coefficiente di Kendall
Coefficiente di Kendall
0,55
0,50
Motivazioni …..
• Assenza di notizie (età, clinica, es. radiologici)?
“ Il patologo deve dire al clinico cosa c’è nel prelievo …. Il patologo non è
interessato (e non deve farsi influenzare) da ciò che sospetta il clinico e
deve esaminare il preparato in modo “cieco”, essendo a conoscenza solo
dell’età …
E il patologo, non me ne voglia, ci faccia il santo piacere di non chiedere
vita, morte e miracoli del caso in questione, compresa la nostra ipotesi
diagnostica, ma si limiti a chiedere l’età della paziente e a dirci cosa vede al
microscopio.
Sarà poi il clinico a valutare se gli esiti clinico-strumentali e del prelievo
sono compatibili…
Discutere con il patologo, salvo casi particolari, è solo una perdita di
tempo…
Le riunioni collegiali multispecialistiche con impiego ridondante dei patologi,
sono confronti inutili”. (Stefano Ciatto)
Motivazioni …..
• esperienza in telecitopatologia ?
Telecytologic Diagnosis of Breast Fine Needle Aspiration Biopsies:
Intraobserver Concordance
Donald Briscoe, M.D., P.M.I.A.C., Carol F. Adair, M.D., Lester D. Thompson, M.D., Miguel V. Tellado,
M.D., Sally-Beth Buckner, S.C.T.(ASCP), C.T.(IAC), Dorothy L. Rosenthal, M.D., F.I.A.C., and
Timothy J. O#Leary, M.D., Ph.D.
OBJECTIVE: To determine the intraobserver concordance between telecytologic and glass slide
diagnosis of breast fine needle aspirates.
STUDY DESIGN: Twenty-five cases, originally received in consultation, were each examined by
three cytopathologists. An average of seven compressed digital images per case were presented,
together with a brief clinical history, using the http protocol and an internet browser.
RESULTS: Agreement between the telecytologic and glass slide diagnosis ranged from 80% to
96%. Nevertheless, two cases that had been unequivocally diagnosed as malignant based upon
video images were considered to be benign by the same pathologist when reviewing the glass
slides. Both diagnostic confidence and self-concordance were higher for one pathologist having
significant previous video microscopy experience.
CONCLUSION: Although intraobserver concordance between telecytologic and glass slide
diagnoses of breast fine needle aspirates is high, refinement of existing criteria for diagnosis of
malignancy, taking account of the particular limitations associated with telecytologic diagnosis,
may be prudent prior to widespread use of telecytology for fine needle aspiration evaluation.
(Acta Cytol 2000;44:175#180)
Diagnostic Parameters Used
•
•
•
•
•
•
Cellularity
Background
Fragment characteristics
Individual cytologic features
Entity specific patterns
Other
(Acta Cytol 2000;44:175#180)
Dalla letteratura:
• Concordanza tra “glass slides / digital
images ”
• Sistema statico / sistema dinamico
• il livello di concordanza è minore per la
citologia (80%) che non per l’istologia
(90%) a causa della selezione dei campi,
qualità delle immagini e difficoltà
diagnostiche.
• basata solo su digitale dinamico e su 5
classi (???)
Telecytology: Intraobserver and interobserver
reproducibility in the diagnosis of cervical-vaginal smears.
Hum Pathol 32: 1318-1322, 2001
• “pathologists are more likely to disagree
on the interpretation of digital images
(digital image interobserver k = 0.32 –
0.58) than on the interpretation of glass
slides.
• “overall, diagnostic reproducibility is
slightly higher for glass slides than for
digital images”
Motivazioni …..
•
•
•
•
•
•
> tempo per esaminare tutto il caso?
Ipocellularità, eccessiva quota ematica, strati spessi ?
tradizionale / strato sottile ?
Pap / EE / MGG?
linee e macchine ?
……….
Conclusioni
... per essere la terza volta …
•
•
•.
K > 0,75
K 0,40 – 0,75
Terapia Intensiva
Cardiochirurgica
Cardiochirurcic Intensive
Care
K < 0,40
Grazie per
l’attenzione …
… e grazie
soprattutto a:
RINGRAZIAMENTI
•
•
•
•
•
•
•
•
•
•
•
•
•
CRISTINA ANTONINI
ELENA ASTOLFI
FRANCESCA BECHERINI
LAURA BORGHI
STEFANIA DANTE
PIERPAOLA GASPARIN
LICIA LAURINO
GIGLIOLA LODOVICHETTI
LORELLA MARCHIORO
TIZIANA OLIVA
IDA PAVON
ANTONELLA PINARELLO
ANNALISA RASI
•
•
•
•
•
•
•
•
•
•
GIUSEPPE BRIANI
ANDREA CANEVA
GIOVANNI CAPITANIO
ORFEO DEL MASCHIO
GENESIO LEO
MARCELLO LO MELE
SALVATORE PAOLINO
QUIRINO PIUBELLO
VITTORIO RUCCO
MARCELLO VOLPE