Applicazioni
L’ENHANCEMENT DI IMMAGINI
MAMMOGRAFICHE
Caratteristiche dell’immagine mammografica
4624 x 2960
12-16 bpp
Risoluzione: 42-50 m
512 x 512
Masse e microcalcificazioni
Masse:
Microcalcificazioni:
Il sistema CADx
Mammografia
…
selezione della
regione di
interesse (ROI)
Denoising e
enhancement
Indice di
malignità
Texture
(3D)
Classificatore
Segmentazione
Estrazione delle
caratteristiche
Forma
(2D)
Caratteristiche delle masse
Strutture rotondeggianti
Luminosità crescente
verso il centro
Enhancement per le masse
Caratteristiche delle microcalcificazioni
PROBLEMI
• Piccole dimensioni
• Rumore presente nell’immagine
• Luminosità
OBIETTIVI
• Estrarre strutture di piccole dimensioni
• Distinguere queste strutture dal rumore
presente nell’immagine
Cosa succede senza una fase di denoising
wlt d1
enh pw (mod grad)
t=0.2
G=10
D=3
wlt d1
enh pw (mod grad)
t=0.2
G=10
D=3
Caratteristiche del rumore
Il processo di formazione dell’immagine determina la natura dei fenomeni
rumorosi:
•
Fluttuazione del numero di fotoni in arrivo (rumore di Poisson dipendente
dal segnale)
•
Scattering fotonico (eliminabile)
•
Rumore elettronico (gaussiano indipendente dal segnale)
Stima del rumore
Wavelet
denoising
Original Image
Edge
detector
Soglia
Signal Dependent
Noise Variance
Estimation
Filtro
Passa-Basso
Negative
Negative
Robust
Median
estimator
Caratteristiche del rumore stimato
Processamento Wavelet – schema generale
Immagine
RCC
Immagine
elaborata
IMAGE
1)
2)
3)
E(x)
W-1
W
Decomposizione
Elaborazione
dei coefficienti
Ricostruzione
RCC
IMAGE
Decomposizione
dI{v,1}
GI(v)
dII{v,1}
GII(v)
dI{h,1}
GI(h)
dII{h,1}
GII(h)
dII{v,2}
dI{v,2}
a1
GI(2v)
H(v) H(h)
GII(2v)
dI{h,2}
GI(2h)
dII{h,2}
GII(2h)
a2
H(2v)H(2)
Ricostruzione
dII{v,1}
K(v) L(h)
dII{h,1}
L(v) K(h)
dII{v,2}
K(2v) L(2h)
dII{h,2}
L(2v) K(2h)
a2
H(2v)H(2h)
+
H(v) H(h)
+
Esempio
Schema specifico a
doppia ricostruzione
Wavelet
Decomposition
First Gradient D=3
dIv ,1 dIh,1 dIv, 2 dIh, 2 dIv,3 dIh,3
a3
a3  0
Denoising
Wavelet
Decomposition
Second Gradient D=3
dIIv,1 dIIh,1 dIIv, 2 dIIh, 2 dIIv,3 dIIh,3
Enhancement
Wavelet
Reconstruction D=3
background
Wavelet
Reconstruction D=3
Enhanced
foreground
Elaborazione dei coefficienti per il denoising
glianetta
ne tta(hard
(hard thresholding)
thre s holding)
lia
funzionesoglia
s ogliadolce
dolce(soft
(s oftthresholding)
thre s holding)
Funzione
10
8
6
4
2
0
-2
-4
-6
-8
-2
0
2
4
6
8
10
-10
-10
-8
-6
-4
-2
0
2
4
6
8
10
Elaborazione dei coefficienti per l’enhancement
G
Th
maschera
enhanced
originale
Risultati per le microcalcificazioni
Valutazione di un algoritmo di enhancement
Il CII è dato dal rapporto tra il contrasto di una ROI nel mammogramma
elaborato ed il contrasto della ROI nel mammogramma originale:
Il contrasto C di una regione è definito come:
in cui f e b sono rispettivamente i valori medi dei livelli di grigio di un
particolare oggetto nella ROI (il foreground) e del suo sfondo (il background).
Questa definizione di contrasto ha il vantaggio di essere indipendente dal range
dei livelli di grigio dell’immagine.
Applicazioni
LA CLASSIFICAZIONE DI SEGNI TUMORALI
NELLE IMMAGINI MAMMOGRAFICHE
maschera
enhanced
originale
Microcalcificazioni
originale
enhanced
maschera
Immagine con
contorno
Masse tumorali
Microcalcificazioni: benigne e maligne
C02391.LEFTMLO
BENIGNE
A12801.LEFTCC
MALIGNE
A12201.RIGHTCC
A14691.LEFTCC
Masse: benigne e maligne
BENIGNE
MALIGNE
Estrazione dei parametri
L’operazione di scelta dei parametri per la classificazione è estremamente
difficile a causa della grande variabilità di:
 Dimensione, forma, distribuzione e colore delle microcalcificazioni e del
cluster
 Dimensione, forma, distribuzione e colore delle masse tumorali.
La scelta dei parametri può ovviamente influenzare ed eventualmente alterare
la fase di classificazione. Questa fase verrà infatti valutata in termini di due
parametri: sensitivity e specificity.
Sensitivity and Specificity
Un a regione segmentata è detta positiva se patologica o negativa se normale.
Un algoritmo decisionale dice il vero se la decisione è corretta e dice il falso se la
decisione è sbagliata.
Un algoritmo che identifica oggetti o regioni (segmenta) potrà dare Ii seguenti risultati:
vero positivo (TP) , vero negativo, (TN), falso positivo (FP), e falso negativo (FN). FN e
FP sono due tipi di errori.
Un FP significa che qualcosa di normale è stato segnalato come patologico.
Un FN significa che una anomalia è stata segnalata come normale.
Sensitivity (sinonimo di TP) e Specificity (sinonimo di TN) sono definite come
Sensitivity=TPs/(TPs+FNs)
specificity=TNs/(TNs+FPs).
Parametri di forma
Caratteristiche geometriche
Singola microcalcificazione
• Standard deviation of Area:

1 N
( Ak  A)2

N  1 k 1
where Ak is the area (number of pixels) of kth microcalcification, A is the mean area, N is the
number of microcalcifications in the cluster.
• Mean perimeter of microcalcifications p.
• Total area evaluated by the sum of the pixels representing the microcalcifications.
• Mean eccentricity. Values close to 1 means high circularity of the microcalcifications,
whereas values close to 0 denote lengthened shape of microcalcifications.
• Mean circularity evaluated as
C
4 A
p2
where A and p are defined above.
Parametri di forma
Caratteristiche geometriche
• Microcalcifications cluster features
• Standard deviation of mutual distances.
• Cluster perimeter, where the cluster is represented by the convex hull as shown in figure
• Approximative cluster area evaluated by the area of the convex hull.
Parametri di texture
Texture Features
Haralick:
Second angular moment, contrast, correlation, variance, inverse differential moment,
sum of mean values, sum of variances, sum of entropy, entropy, differential variance,
differential entropy, correlation measure information, maximum correlation coefficient
Caratteristiche basate sull’istogramma
Mean intensity value of microcalcifications
I.
Skew function that measures the asymmetry of the histogram of microcalcifications.
Mean intensity value of the boundary of the microcalcifications
Difference:
Contrast:
I  Ib
( I  I b ) /( I  I b )
I b.
Parametri di texture
40
35
1.05
1
30
0.95
25
0.9
20
0.85
15
0.8
10
0.75
5
0.7
60
40
40
20
0
0
(a)
60
0
20
0.7
0.75
0.8
0.85
(b)
0.9
0.95
1
Scelta delle caratteristiche
Caratteristiche discriminanti
140
1400
Benign
Malignant
100
1000
80
60
800
600
40
400
20
200
0
Benign
Malignant
1200
Cluster perimeter
Standard deviation of area
120
0
200
400
1200
1000
800
600
Microcalcifications total area
1400
1600
0
250
5
35
30
25
20
15
10
Minimum distances of microcalcifications
40
(b)
(a)
300
0
140
120
Benign
Malignant
45
Cluster perime
Standard deviatio
80
60
600
Scelta delle caratteristiche
40
400
20
0
800
200
0
200
400
600
800
1000
1200
1400
1600
Caratteristiche
Microcalcifications total area
0
15
10
5
0
non discriminanti
35
30
25
20
Minimum distances of microcalcifications
140
300
Benign
Malignant
120
Standard deviation of areas
250
Mean mutual distances
45
(b)
(a)
200
150
100
50
0
10
40
100
80
60
40
20
15
20
25
35
30
Mean perimeter
(c)
40
45
50
55
0
10
15
20
25
35
30
Mean perimeter
(d)
40
45
50
55
Estrazione dei parametri: masse
Caratteristiche geometriche
Caratteristiche di texture (luminanza interna)
Caratteristiche di forma
Area e perimetro
Statistica del raggio
Entropia
Circolarità
Circle with
mean radial
length

Radial
lengths
Rettangolarità
Eccentricità
Zero crossing
Boundary roughness

Centro
Geometrico
Area
Bounding
Geometric
Box
center



Raggi

Zero Crossing
Shape Features
Caratteristiche di struttura
Caratteristiche di Haralick:
Secondo momento angolare
Contrasto
Correlazione
Varianza
Momento differenziale inverso
Somma di media, varianza, entropia
Varianza ed entropia differenziali
Misura della correlazione
Massimo coefficiente di
correlazione
Scelta delle caratteristiche
Istogramma non sovrapposto
Istogramma sovrapposto
Caratteristiche scelte:
Circolarità
Raggio normalizzato
Entropia
Sviluppi:
Selezione del set minimo di parametri: PCA ? Metodi Black Box
Scelta del classificatore:
Metodi diretti
Reti neurali
Sistemi Fuzzy
In fase iniziale
Black box
Poche informazioni a priori
Non c’è possibilità di interazione
I valori delle variabili sono espressi con parole
del linguaggio comune
Il radiologo può capire il sistema ed interagire con esso