4° Confronto interistituzionale in
citologia mammaria da screening
ANALISI DELLE CONCORDANZE
Padova, 23 Novembre 2011
Giovanni Capitanio
U.O.C. di Anatomia Patologica
Ospedale Civile di Venezia
Azienda ULSS 12 Veneziana
“Primi in Italia,
terzi in Europa”
Rovigo 19 maggio 2009
Partecipazione di
20 Centri regionali
(18 A.P./21 Ulss
+ 2 Lab Privati)
Centri che hanno partecipato
•
•
•
•
•
•
•
•
•
•
Adria
Arzignano
Bassano
Castelfranco
Cittadella
Conegliano
Dolo
Este
Feltre
Mestre
•
•
•
•
•
•
•
•
•
•
Rovigo
San Bonifacio
San Donà
Thiene
Treviso
Venezia
Verona Borgo Tn
Vicenza
“Datamedica”
“Laboratorio Pennelli”
Sestri Ponente Chiavari
1° Round 19/5/09 RO
• 25 casi citologici
• inviati da 12 centri
• letti da 11 centri
2° Round 14/12/09
PD
• 20 casi citologici
• inviati da 8 centri
• letti da 16 centri
3° Round 23/11/10 VR
4° Round 23/11/11
PD
• 27 casi citologici
• inviati da 15 centri
• letti da 21 centri
• 25 casi citologici
• Inviati da 1 centro
• Letti da 20 centri +
3
Analisi delle concordanze ….
N° Caso
Diagnosi di riferimento
1
C2
2
C2
3
C3
4
C5
5
C2
6
C5
7
C3
8
C5
9
C5
10
C5
11
C2
12
C5
13
C4
14
C5
15
C3
16
C5
17
C4
18
C5
19
C5
20
C5
21
C5
22
C2
23
C2
24
C4
25
C5
DIAGNOSI DI RIFERIMENTO
52
24
12
6
3
12
3
13
4°
Round
18
16
14
12
10
8
6
4
2
0
Formulate
Riferimento
C1
C2
C3
C4
C5
4° Confronto interistituzionale in citologia
mammaria: analisi delle concordanze
•
•
•
•
•
•
•
•
25 casi citologici inviati da un centro
20 anatomie patologiche
5 Categorie diagnostiche (C1 – C5)
1 categoria diagnosticata in 4 casi
2 categorie diagnosticate in 9 casi
3 categorie diagnosticate in 8 casi
4 categorie diagnosticate in 3 casi
5 categorie diagnosticate in 1 caso
Confronto interistituzionale in citologia mammaria
1
2
3
4
1° Round
categoria in 4 casi
categorie in 6 casi
categorie in 9 casi
categorie in 6 casi
1
2
3
4
5
3° Round
categoria in 0 casi
categorie in 2 casi
categorie in 10 casi
categorie in 13 casi
categorie in 2 casi
1
2
3
4
5
2° Round
categoria in 1 caso
categorie in 4 casi
categorie in 8 casi
categorie in 6 casi
categorie in 1 caso
1
2
3
4
5
4° Round
categoria in 4 casi
categorie in 9 casi
categorie in 8 casi
categorie in 3 casi
categorie in 1 caso
Concordanza maggiore in 9 casi + 1
(C4-C5)
(C2)
Concordanza minore in 6 casi
(C3-C4-C5)
Discordanza minore in 4 casi
(C1-C2-C3)
Discordanza maggiore in 5 casi
(C1-C5)
1° Round
Concordanza maggiore in 4 casi (C5)
2° Round
Concordanza maggiore in 1 caso (C5)
Concordanza minore in 6 casi (C4-C5)
Concordanza minore in 4 casi (C4-C5)
Discordanza minore in 5 casi (C3-C5)
Discordanza minore in 6 casi (C3-C5)
Discordanza maggiore in 10 casi (C1-5)
Discordanza maggiore in 9 casi (C1-C5)
3° Round
Concordanza maggiore in 3 casi (C4-C5)
4° Round
Concordanza maggiore in 10 casi (C2)(C4-C5)
Concordanza minore in 6 casi (C3-C4-C5)
Concordanza minore in 6 casi (C3-C4-C5)
Discordanza minore in 1 caso (C1-C2-C3)
Discordanza minore in 4 casi (C1-C2-C3)
Discordanza maggiore in 17 casi (C1-C5)
Discordanza maggiore in 5 casi (C1 – C5)
• Diagnosi di maggioranza uguale al gold
standard in 19 casi
• Diagnosi di maggioranza diversa dal gold
standard in 5 casi
• 1 caso di parità diagnostica
Diagnosi di
maggioranza ≠ GS
Diagnosi GS
N°
caso
1
2
3
4
5
6
7
8
9
C1
5
17
7
C2
9
3
4
C3
5
C4
C5
1
9
20
17
3
9
1
9
3
1
20
2
16
19
C1
N°
caso
10
11
12
13
14
15
16
17
18
C2
9
1
8
4
C3
1
11
9
5
10
3
C4
C5
2
17
1
13
19
7
20
1
4
1
5
1
11
5
12
C1
N°
caso
19
20
21
22
23
24
25
2
C2
15
20
1
C3
1
4
C4
C5
1
2
4
1
19
18
15
12
1
5
19
Grado di accordo …
• Valori di K < 0.40 sono indicativi di una
concordanza debole
• Valori di K compresi tra 0.40 e 0.75 sono
indicativi di una concordanza buona
• Valori di K > 0.75 sono indicativi di una
concordanza eccellente.
Indici di concordanza
• K statistics for nominal response (K): valuta la
concordanza indipendentemente dal significato della
categoria
• K pesato (Kw): valuta la concordanza secondo pesi
convenzionali prestabiliti delle categorie.
• Coefficiente di Kendall: valuta il coefficiente di
concordanza fra 2 o più categorie.
Buongiorno,
invio l’analisi della concordanza per la citologia mammaria:
•Foglio diagnosi: distribuzioni di frequenza dei “raters” (lettori/ASL)
•Foglio kappa complessivo: analisi della concordanza tra Raters senza
considerare la diagnosi di riferimento
•Foglio kappa x raters: concordanza tra raters e gold standard
(diagnosi di riferimento)
 considerare il kappa pesato se le 5 categorie possono essere
assunte su scala ordinale (dal meno grave al più grave)
saluti
Stefano Guzzinati
4° Round
Accordo complessivo tra raters senza considerare
la diagnosi di riferimento
5 categorie
Kappa
Standard Error
Z
Prob>Z
C1
0,52204
0,036054
14,4796
0
C2
0,54739
0,050916
10,751
0
C3
0,21173
0,044524
4,7555
0
C4
0,31391
0,047716
6,5787
2,37E-11
C5
0,68854
0,087822
7,8401
2,22E-15
Overall
0,49550
0,021077
23,5087
0
Kappa statistics for nominal response (3° ROUND)
Kappa
Standard Error
Z
Prob>Z
C1
0,03164
0,029996
1,055
0,14572
C2
0,31944
0,047965
6,66
0
C3
0,11648
0,052721
2,2094
0,01357
C4
0,10226
0,055233
1,8513
0,03206
C5
0,38409
0,061445
6,2511
0
Overall
0,22689
0,009504
23,873
0
Kendall's Coefficient of Concordance for ordinal response
Coeff of
Concordance
F
0,55859
Kappa complessivo 2° round: 0,24555
Coefficiente di Kendall 2° round::
25,31
Num
Denom
DF
DF
25,9048
518,095
Prob>F
<.0001
4° Round
ACCORPANDO C4 CON C5 (4 categorie)
Kappa
Standard Error
z
Prob>Z
C1
0,52204
0,036054
14,4796
0
C2
0,54739
0,050916
10,751
0
C3
0,21173
0,044524
4,7555
0
C4-C5
0,75792
0,11901
6,3684
9,55E-11
Overall
0,56394
0,03766
14,9759
0
ACCORPANDO C4 CON C5 (4 livelli) 3° Round
Kappa statistics for nominal response
Kappa
Standard Error
z
Prob>Z
C1
0,03164
0,029996
1,055
0,14572
C2
0,31944
0,047965
6,66
0
C3
0,11648
0,052721
2,2094
0,01357
0,405
0,099026
4,0898
0,00002
0,28388
0,026535
10,6984
0
C4-C5
Overall
Kendall's Coefficient of Concordance for ordinal response
Coeff of
Concordance
F
0,48818
Kappa complessivo 2° round: 0,32866
19,08
Num
Denom
DF
DF
25,9048
518,095
Prob>F
<.0001
4° Round
ACCORPANDO C3 CON C4 (4 categorie)
Kappa
Standard Error
z
Prob>Z
C1
0,52204
0,036054
14,4796
0
C2
0,54739
0,050916
10,751
0
C3-C4
0,35036
0,064537
5,4288
2,84E-08
C5
0,68854
0,087822
7,8401
2,22E-15
Overall
0,53629
0,019434
27,595
0
ACCORPANDO C3 CON C4 (4 livelli) (3° Round)
Kappa statistics for nominal response
Kappa
Standard Error
z
Prob>Z
C1
0,03164
0,029996
1,055
0,14572
C2
0,31944
0,047965
6,66
0
C3-C4
0,17368
0,086451
2,0089
0,02227
C5
0,38409
0,061445
6,2511
0
Overall
0,27367
0,019244
14,2211
0
Kendall's Coefficient of Concordance for ordinal response
Coeff of
Concordance
F
0,5039
Kappa complessivo 2° round: 0,26503
Coefficiente di Kendall 2° round:
20,31
Num
Denom
DF
DF
Prob>F
518,095
<.0001
25,9048
Raters
Concordanza tra
raters e gold
standard
K pesato
K simple
A
0,8514
0,7031
C
0,5726
0,3187
D
0,9392
0,8765
E
0,6347
0,478
F
0,7271
0,5921
G
0,6689
0,4136
H
0,9102
0,8166
I
0,7073
0,4141
L
0,7387
0,4617
M
0,6228
0,3193
O
0,5843
0,3929
Q
0,5198
0,1972
R
0,5307
0,3857
T
0,6622
0,4369
U
0,748
0,536
V
0,6208
0,4731
W
1
Y
0,7972
0,6575
Z
0,6495
0,42
AA
0,8514
0,7031
1
Concordanza tra
Raters e gold
standard
K 3°
Round
K 2°
Round
Raters
K 4°
Round
A
0,8514
0,5070
C
0,5726
0,5601
D
0,9392
0,6343
0,3333
E
0,6347
0,5263
0,3023
F
0,7271
0,3800
G
0,6689
0,5214
0,3333
H
0,9102
0,6538
0,5425
I
0,7073
0,2146
0,0972
L
0,7387
0,4057
0,3882
M
0,6228
0,1925
O
0,5843
0,4639
0,2949
Q
0,5198
R
0,5307
0,3963
0,2262
T
0,6622
0,5601
U
0,7480
0,6172
V
0,6208
0,6113
W
1
0,3551
Y
0,7972
0,3490
Z
0,6495
0,4369
AA
0,8514
0,4617
0,7386
0,4093
0,2308
0,6226
0,8
0,7
0,6
0,5
0,4
K nominale
K pesato
0,3
0,2
0,1
0
2°
3°
4°
Round Round Round
K > 0,7
Motivazioni …..
• Casistica di “routine” (2008), non
selezionata, inviata da un solo centro
• Allestimento unico
• Colorazione unica
• Presenza di notizie (età, clinica, es. radiologici)
• > esperienza in telecitopatologia
Mencarelli
Capitanio
Bianchini
Rizzo
Briani
Casi con diagnosi di maggioranza ≠ da gold standard
Caso n°2
• 61 a, non palpabile,
U3
• 17 C1
• 3 C2 (ectasia duttale)
Caso n° 7
• 67 a, cisti palpabile,
R2, U2
• 9 C3
• 9 C4
• 2 C5
CDIS
Caso n° 11
• 69 a, non palpabile,
R3, U3
• 9 C2
• 11 C3
Fillode
Caso n° 16
•
•
•
•
60 a, sospetta
5 C3
11 C4
4 C5
Caso n° 18
• 60 a, non palpabile,
R3, U3
• 3 C3
• 12 C4
• 5 C5
B5
Casi discordanti
Caso n° 1
Età
Tecnica di localizzazione
Tipologia
campione
54
Dati clinici
RX
ECO
Palpabile
R3
U3
C1
C2
C3
C4
5
9
5
1
C5
Caso n° 1
Età
Tecnica di localizzazione
Tipologia
campione
54
Dati clinici
RX
ECO
Non
Palpabile
R3
U3
C1
C2
C3
C4
5
9
5
1
C5
Caso n° 15
Età
Tecnica di localizzazione
Tipologia
campione
60
Dati clinici
RX
ECO
Non
Sospetta
C1
C2
C3
C4
C5
1
8
9
1
1
Caso n° 15
Età
Tecnica di localizzazione
Tipologia
campione
60
Dati clinici
RX
ECO
Non
Sospetta
C1
C2
C3
C4
C5
1
8
9
1
1
Lesione benigna
Caso n° 17
Età
Tecnica di localizzazione
Tipologia
campione
Dati clinici
51
RX
ECO
R1
C1
U3
C2
C3
C4
C5
4
10
5
1
Caso n° 17
Età
Tecnica di localizzazione
Tipologia
campione
Dati clinici
51
RX
ECO
R1
C1
U3
C2
C3
C4
C5
4
10
5
1
Caso n° 22
Età
Tecnica di localizzazione
Tipologia
campione
50
Dati clinici
RX
ECO
Non
palpabile
C1
U3
C2
C3
C4
15
4
1
C5
Caso n° 22
Età
Tecnica di localizzazione
Tipologia
campione
50
Dati clinici
RX
ECO
Non
palpabile
C1
U3
C2
C3
C4
15
4
1
Fibroadenoma
C5
Caso n° 24
Età
Tecnica di localizzazione
Tipologia
campione
63
Dati clinici
Palpabile
C1
C2
2
1
C3
RX
ECO
R5
U5
C4
C5
12
5
Caso n° 24
Età
Tecnica di localizzazione
Tipologia
campione
63
Dati clinici
Palpabile
C1
C2
2
1
C3
RX
ECO
R5
U5
C4
C5
12
5