Computer Vision Lab
Sistemi auto-organizzanti per l'analisi di
immagini istologiche
Palermo 9 marzo 2007
Abstract
•
•
•
Nell’ambito della diagnostica istopatologica esistono alcuni tipi di indagine
che richiedono l’esame di un elevato numero di preparati al fine di identificare
alterazioni presenti in una percentuale molto bassa (ad esempio l’esame dei
linfonodi sentinella). Tali attività di screening comportano un elevato rischio di
errore diagnostico, dato che la monotonia e la ripetitività del compito
facilmente riducono la concentrazione dell’operatore.
A Pavia è stato sviluppato un sistema adattativo che, sfruttando le
caratteristiche cromatiche dei preparati istologici, si è dimostrato in grado di
fornire una rappresentazione significativa dell’organizzazione degli elementi
del tessuto in esame. In particolare, la rappresentazione che il sistema è in
grado di fornire ha la proprietà di far risaltare alcune caratteristiche
dell’organizzazione cellulare, come i rapporti tra infiltrato e normali strutture
della cute, che sono di estrema importanza ai fini diagnostici e che vengono
specificamente indagati dal patologo nel corso del processo di indagine
diagnostica al microscopio ottico.
Tale approccio può rivelarsi un utile supporto all'attività di screening
dell'operatore
Immagini istologiche
• immagini digitali di preparati istologici
prodotti a scopo diagnostico
• scopo: analisi visiva dei tessuti per
identificare eventuali patologie
• metodologia standard per l’allestimento dei preparati:
campione bioptico di tessuto organico (umano e non)
fissaggio in formalina, impregnazione in paraffina,
taglio delle sezioni e collocazione su vetrini
colorazione di routine EE (Ematossilina-Eosina)
Cosa vede il patologo?
• analisi qualitativa (di
routine non si
effettuano misurazioni)
• la morfologia dei tessuti
è significativa
• scarse conoscenze sulle
modalità dell’analisi
umana
• possiamo misurare
il comportamento
oculare (scanpath) del
patologo
Cosa vede il patologo?
•
•
Immagine annotata da un
anatomopatologo. La zona
delimitata dal contorno nero è
metastatica,
quella nei contorni azzurri presenta
una forma di istiocitosi, le zone
rosse sono vasi sanguigni e la zona
viola è la capsula del linfonodo
Rappresentazione Morfologica Neurale
• si applica un modello a rete neurale autoorganizzante al segnale di ingresso
• l’organizzazione morfologica della rete dipende
dalle caratteristiche visive e cromatiche delle
immagini
• la rappresentazione che si ottiene è giudicata
significativa (dagli esperti)
Come funziona il sistema
Immagine
istologica
Campione
visivo
Elaborazione
dell’immagine
Rappresentazione
Morfologica
adattamento 1º livello
adattamento 2º livello
• estrazione delle caratteristiche con metodi ‘classici’
di elaborazione di immagine
• rappresentazione morfologica attraverso rete neurale
• adattamento interno della rete per promuovere la
rappresentazione desiderata
• adattamento esterno per selezionare le feature rilevanti
Segmentazione cromatica
Immagine HSI
Istogramma HS
Estrazione zone
massimi
caratteristici
Segmenti
• uso della rappresentazione Hue-Saturation-Intensity (HSI)
• numero dei segmenti pari al numero dei massimi
caratteristici nell’istogramma HS
Feature visive – phase congruency
• misura locale componenti in fase (analisi in frequenza)
• maggiore indipendenza dall’intensità del gradiente
• contorni ‘soggettivi’ tra zone a diversa texture
• transizioni smooth
originale (banda I)
contorni (Sobel)
phase congruency
Rappresentazione Morfologica Neurale
• reti neurali auto-organizzanti:
Growing Neural GAS (GNG) [Fritzke,1995]
• HistoGNG:

rete in 5 dimensioni (x, y, h, s, i)

adattamento dinamico alle feature
rilevanti

interpretazione morfologica 2D
dello stato dei nodi 5D
• phase congruency come distribuzione
di probabilità 2D
p()
x, y
x, y
Immagine HSI
• stochastic sampling 2D
• arricchimento a 5D (con segnale HSI)
h, s, i
segnale 5D
Adattamento 2º livello
• selezione dinamica dei segmenti cromatici rilevanti
in base allo stato della rete
Energia delle feature
Distribuzione di probabilità 2D
Rete HistoGNG
Selezione segmenti cromatici
adattamento esterno
• ‘energia’ di segnale solo delle feature selezionate
• focalizzazione progressiva della distribuzione di probabilità
Campione visivo
• una selezione (manuale) per indicare
il tipo di tessuto da riconoscere
• indica un frammento utile (p.es. cellulato o non cellulato)
• serve a identificare le caratteristiche cromatiche
nell’immagine specifica
campione assente o errato
campione corretto (2 tipi di tessuto)
Risultati morfologici
• interpretazione del patologo:
morfologia della separazione
tra derma ed epidermide
• in un campione normale:
complementarietà reti
non ci sono agglomerati
separati per l’epitelio
Immagini con lesioni melanocitarie cutanee
• Infiltrato cellulare intradermico:
reti grossolanamente complementari
riconosciuto oltre all’epidermide
l’infiltrato cellulare
riconosciuta la porzione di derma
superficiale che separa l’epitelio
dall’infiltrato
Immagini con lesioni melanocitarie cutanee
• Nevo composto (giunzionale ed
intradermico):
reti grossolanamente complementari
rete dell’area cellulata in continuità con la
cute
focali aree di derma al di sotto e all’interno
dell’area cellulata
Immagini con lesioni melanocitarie cutanee
• Melanoma in situ di tipo lentigo maligna:
reti non complementari in
corrispondenza della giunzione
rete dell’area cellulata rileva infiltrati
diffusi sovrapponendosi alla
rappresentazione del derma
Confronto con gli scanpath misurati
• corrispondenza (intuitiva) tra le aree evidenziate dalla rete e le
aree esplorate preferenzialmente dal patologo (attrattori)
Conclusioni
• informazione visiva ricavata ad un livello “Quick and Dirty”
• analisi dei tessuti senza riconoscimento delle componenti elementari
(singole cellule e/o nuclei)
• capacità di rilevare tessuti strutturati e non strutturati (cioè privi di
cellule)
• rappresentazione morfologica rilevante e direttamente misurabile
(densità, lunghezza connessioni, clusters)
Tesi
•
•
•
•
•
Vanetti Mauro, "Analisi di immagini istologiche con reti autoorganizzanti sulla
base di un'ontologia visiva", relatore: Marco Piastra, correlatori: Patrizia
Morbini, Luca Lombardi
Mapelli Francesco, "Segmentazione di immagini istologiche tramite un
algoritmo multi-immagine", relatore: Marco Piastra, correlatori: Luca
Lombardi, Patrizia Morbini
Sacchetti Michele, "Un sistema adattativo dinamico per l'analisi di immagini
istologiche", relatore: Luca Lombardi, correlatori: Marco Piastra, Patrizia
Morbini
Fostini Valter, "Ricerca di oggetti in immagini 3D tramite algoritmi evolutivi",
relatore: Luca Lombardi, correlatori: Marco Piastra, Patrizia Morbini.
Portinari Gianluca, “Uno strumento integrato per l’analisi adattiva di immagini
istologiche", relatore: Virginio Cantoni, correlatori Marco Piastra, Luca
Lombardi, Patrizia Morbini