Analisi quantitativa delle immagini
Image Restoration
Immagini & Computer S.n.c.
Via Don Carlo Riva 4
20010 Bareggio (Mi)
Image restoration e deconvoluzione
Un po’ di chiarezza
Image restoration = insieme di procedure e funzioni atte al recupero di un segnale
(immagine) nella sua forma originale.
Deconvoluzione = operazione matematica utilizzata per recuperare un segnale
degradato (immagine) da un processo fisico.
Convoluzione = processo fisico (ottico) di creazione del segnale (Immagine)
Image restoration
definizione
Image restoration ha un significato diverso da Image enhancement.
Le funzioni di Image enhancement enfatizzano le caratteristiche di una immagine allo
scopo di renderla più piacevole all’osservatore senza introdurre migliorie dal punto
quantitativo ma anzi alterandone (ed in qualche caso degradandone) il contenuto
informativo.
Le funzioni di Image restoration ricostruiscono, utilizzando un modello conosciuto a priori
(PSF), le caratteristiche originali di una immagine allo scopo incrementarne la risoluzione,
il contrasto ed il rapporto segnale / rumore.
Image restoration non è una alternativa al confocale ma un complemento al suo impiego
Consultare NOTA (C) per maggiori chiarimenti
Image restoration
Come si forma una immagine ottica
La convoluzione è il processo ottico di creazione dell’immagine.
La convoluzione introduce artefatti di vario
genere con la conseguente degradazione
dell’immagine.
1. Rumore
2. Aberrazioni (sferiche e cromatiche)
3. Errata localizzazione della luce
(out of focus)
Consultare NOTA (A) per maggiori chiarimenti
Image restoration
La profondità di campo
A causa del profondità di campo (Depth of Field (DoF)) dell’obiettivo utilizzato, viene
collezionata anche la luce proveniente dai piani di fuoco adiacenti a quello principale.
La DoF è un parametro correlato all’obiettivo
utilizzato ed è funzione principalmente della sua
apertura numerica e della lunghezza d’onda di
emissione della luce.
La DoF può essere espressa come :
dtot= λn/NA2 + (n/M×NA)e
Image restoration
Effetto “profondità di campo”
CCD
microscope
FOCAL PLANE
Tutta la luce presente nelle
strutture comprese entro la
DoF viene proiettata sul
sensore CCD (o negli oculari)
cell
Depth of field (DoF)
Image restoration
Riposizionamento della luce
La luce proveniente dai piani di fuoco adiacenti a quello principale fornisce il proprio
contributo nella formazione dell’immagine. La deconvoluzione provvede a riassegnare tale
contributo al corretto piano di appartenenza.
Image restoration
Effetto “profondità di campo”
La luce proveniente dalle strutture non localizzate nel piano focale del microscopio concorre
alla formazione dell’effetto “caligine” (haze) che affligge tutte le immagini acquisite
attraverso un sistema ottico widefield.
Prima conseguenza di tale effetto è la riduzione della
risoluzione e del rapporto segnale / rumore all’interno
dell’immagine.
Image restoration
Recupero della risoluzione
3D Blind
Widefield
Profilo intensità
Image restoration
Rapporto segnale rumore
Widefield
PSF Stimata
3D Blind
Background
Segnale
S/N
Widefield
801
1394
1.74
PSF
750
1449
1.9
3D Blind
189
1318
6.97
Image restoration
Point Spread Function (PSF)
Per ridistribuire correttamente la luce è necessario conoscere a priori il modello fisico
che regola la diffusione della stessa nel sistema ottico in uso (descrittore della funzione
di convoluzione).
Tale modello fisico è conosciuto come PSF o Point Spread Function
Image restoration
Campionamento e densità
La densità di campionamento rappresenta il numero di unità digitali base (pixel o voxel)
catturate per unità di volume.
La densità di campionamento è direttamente derivata dai parametri del sistema ottico e
non può essere modificata dopo l’acquisizione del volume.
Il valore di campionamento critico, al di sotto del quale il processo di deconvoluzione
può produrre artefatti (frange di diffrazione), è calcolato utilizzando il criterio di Nyquist
Calcolo Z secondo Nyquist
Δz = λem / (2 N (1- cos α))
Λem = emission wavelenght
N = medium index
α = ½ angolo apertura obiettivo
Calcolo XY secondo Nyquist
Δxy = λem / (4 N sen α)
In pratica
Λem = 520nm
N = 1.515
NA = 1.3
α = αrcsen(NA/N)
Δz = 520 /(2*1.515*(1-cos α))
Δz = 353 nm
Image restoration
Campionamento e densità
Esempi di passi di campionamento in Z utilizzando il criterio di Nyquist
Dyes
Ex (nm)
Em (nm)
X
Y
Z
Z/2
Dapi
358
463
89
89
314
157
Fitc
495
517
99
99
351
175
Alexa488
493
520
100
100
353
176
Rodamina
551
573
110
110
389
194
Tritc
550
573
110
110
389
194
Cy3
549
562
108
108
381
191
Image restoration
Come misuro la PSF
La PSF può essere calcolata teoricamente attraverso formule matematiche (PSF Teorica)
oppure misurata direttamente sul sistema ottico (PSF sperimentale).
La PSF sperimentale si misura utilizzando
speciali sfere (beads) fluorescenti di piccole
dimensioni (175nm).
Le sfere fluorescenti vengono campionate
lungo l’asse Z con distanze calcolate
secondo il criterio di Nyquist.
La campionatura delle sfere deve avvenire
nelle stesse condizioni nelle quali verrà
ripreso il campione reale (Em Wavelenght,
obiettivo, impostazioni telecamera, ect) .
Image restoration
Come misuro la PSF
Spessore lettura in Z
Spessore campione
La PSF è una funzione tridimensionale.
Campionare lungo asse Z aumentando lo spessore reale del campione di circa il 40/50%
per lato (esempio : spessore campione 10um – campionare 20um totali).
Ricordatevi che la PSF è funzione diretta della apertura numerica dell’obiettivo e della
lunghezza d’onda della luce emessa dal campione.
Quindi per ogni variazione di uno di questi parametri è necessario calcolare la relativa
PSF.
Image restoration
Come misuro la PSF
Le beads fluorescenti utilizzate per la misura della PSF sono prodotte (Molecular Probes)
sotto rigidi controlli di qualità e possono essere considerate a tutti gli effetti delle sfere reali.
Per quale ragione esse appaiono visualizzate in 3D come degli ovoidi?
Beads fluorescenti (Widefield)
Beads fluorescenti (deconvolute)
PSF
Image restoration
Cosa causa l’allungamento assiale delle strutture in microscopia ottica?
Le ragioni sono molteplici e dipendono dalle dimensioni delle strutture in osservazione
1. Piccoli oggetti (vicini al limite fisico di risoluzione)
La risoluzione assiale (Z) di un microscopio ottico è normalmente dalle 3 alle 4 volte
inferiore rispetto alla sua risoluzione laterale (XY). Si consideri che il più piccolo oggetto
risolvibile lateralmente (XY) è di circa 100 um mentre assialmente (Z) non si scende sotto
i 300 nm.
In presenza di oggetti con dimensioni prossime al limite risolutivo il difetto diventa
evidente e non correggibile.
2. Grandi strutture (> 10um)
In questa situazione l’allungamento è causato dal differenza tra gli indici di riflessione dei
media (medium) in cui sono immersi i campioni ed il mezzo presente tra copri oggetto ed
obiettivo.
Anche l’aberrazione sferica introdotta dagli obiettivi con grande apertura numerica
contribuisce all’allungamento delle strutture.
Consultare NOTA (B) per maggiori chiarimenti
Image restoration
Algoritmi utilizzati
PSF Stimata
Widefield
3D Blind
Sono disponibili molteplici algoritmi di image restoration ma tutti riconducibili a due
categorie :
Image Restoration Quantitativa (deconvoluzione )
Image Restoration Qualitativa
(Deblur / Haze removal)
Image restoration
Algoritmi utilizzati
Diversi algoritmi sono disponibili per realizzare la deconvoluzione 3D ma tutti prevedono
l’impiego di una PSF del sistema ottico ottenibile in modi differenti :
1. PSF calcolata (Theoretical PSF) – Calcolata matematicamente sulla base dei parametri
generali del sistema
2. PSF Misurata – Misurata direttamente sul sistema ottico
3. Blind PSF – Stimata direttamente sul volume (stack immagini) durante i cicli di
iterazione.
Si tenga presente che:
- La PSF misurata fornisce la migliore rappresentazione del sistema ma richiede una certa
esperienza per essere estratta (beads fluorescenti).
- La Blind PSF può introdurre soluzioni indeterminate nel calcolo delle equazioni utilizzate
per la deconvoluzione ma offre un approccio più facile per l’utente.
- La PSF calcolata si basa su un modello generico del sistema ed è quindi la soluzione
meno vicina alla realtà (ma pur sempre valida)
Image restoration
Informazioni quantitative?
Gli algoritmi di deconvoluzione 3D mantengono le informazioni di intensità integrata
dell’immagine. Il concetto di riposizionamento della luce sul piano di origine preserva i
dati del volume e garantisce che il valore misurato sull’immagine elaborata sia lo stesso
dell’immagine di partenza.
Attenzione:
Alcuni altri fattori possono influire
sulla
quantificazione dei valori.
1. Correzione Background
2. Limitazione del range dinamico
(Integer vs Floating)
3. Sovraesposizione del segnale
(Clipping)
Image restoration
Qualche esempio
3D measured PSF deconvolution
Image restoration
Qualche esempio
3D estimated PSF deconvolution – vs Confocale
Image restoration
Qualche esempio
3D blind deconvolution
Image restoration
Qualche esempio
3D blind deconvolution
Conventional composite: Obelia 40X
3D blind: Obelia 40X
Image restoration
Qualche esempio
3D deconvolution vs confocal
Widefield, deconvolved and confocal LS - 25 micron section of brain olfactory bulb of a mouse
expressing green fluorescent protein (green) immunohistochemcially stained for tyrosine
hydroxylase 60X Oil, 25 sections
Image restoration
Qualche esempio
3D blind deconvolution con correzione
della aberrazione sferica
Note informative
Seguono una serie di note informative a completamento di alcuni concetti espressi
nella presentazione.
Nota (A)
Image restoration
Come si forma una immagine ottica
Creazione di una immagine reale.
l’immagine della prima lente (obiettivo) è l’oggetto della seconda lente (oculare) posta nel
piano di fuoco. Quello che noi osserviamo attraverso gli oculari non è l’oggetto originale ma
la sua trasposizione ottica generata attraverso il processo di convoluzione.
Obiettivo
Lunghezza di camera  18 - 25 cm
Piano di
fuoco del
campione
Oculare
Piano di
Fuoco
posteriore
Piano di
Fuoco
Oculare

Piano di
Fuoco
posteriore
L’ingrandimento di un microscopio è
il prodotto di quello dell’obiettivo e dell’oculare
NOTA (A)
∞
Image restoration
Convoluzione
G(x)
F(x)
H(x)
G = Immagine
F = Immagine Ideale
H = Point Spread Function
N = Rumore (quantico ed elettronico)
NOTA (A)
N(x)
Nota (B)
Image restoration
Aberrazione sferica
L’aberrazione sferica è un effetto ottico introdotto quando i raggi oblicui (periferici)
entranti nella lente sono focalizzati in una posizione differente rispetto ai raggi centrali.
La causa principale della aberrazione sferica risiede nella differenza esistente tra gli indici
di riflessione dei media utilizzati per interfacciare gli obiettivi (aria, olio, acqua, ect) e i
media utilizzati per fissare il campione nonchè dallo spessore del campione.
NOTA (B)
Nota (C)
Image restoration
Le molteplici risoluzioni di un sistema
A. Risoluzione Ottica : limite di discriminazione tra due oggetti adiacenti.
Determinato dalla apertura numerica dell’obiettivo e dalla lunghezza d’onda di
emissione della luce.
B. Risoluzione spaziale : limite di discriminazione del sensore CCD. Determinato
dalle dimensioni della singola cella del sensore e dall’ingrandimento dell’obiettivo
utilizzato.
C. Risoluzione Immagine : caratteristica dell’immagine digitale. Corrisponde al
numero di pixel orizzontali / verticali che formano l’immagine.
NOTA (C)
Image restoration
(A) Risoluzione ottica
La risoluzione ottica del microscopio è funzione della :
• lunghezza d’onda della luce utilizzata;
• apertura numerica (N.A.) dell’obiettivo.
La risoluzione ottica del microscopio NON dipende da:
• ingrandimento dell’obiettivo
Secondo la formula generale ->R = 0,61 l / N.A. dove N.A.= n sen a
(Formula descritta per la prima volta da Ernest Abbe e Carl Zeiss)
Si consideri che:
• Maggiore e’ l’angolo (N.A.) con cui l’obiettivo è in grado di raccogliere
la luce maggiore è il potere di risoluzione
• Maggiore è N.A. minore è la distanza di lavoro
Per obiettivi in aria
NOTA (C)
a è sempre minore di 90°
Image restoration
(A) Risoluzione ottica
Risoluzione ottica laterale
Regole generali
RO = 1,22 * (emwl) / (N.A.ob * N.Acond)
Fluorescenza : N.A.ob = N.Acond
Campo chiaro: emwl = 500nm
NOTA (C)
Image restoration
(A) Risoluzione ottica
Plan Achromat
Plan Fluorite
Plan Apochromat
Magnification
N.A
Resolutio
n
(µm)
N.A
Resolution
(µm)
N.A
Resolution
(µm)
4x
0.10
2.75
0.13
2.12
0.20
1.375
10x
0.25
1.10
0.30
0.92
0.45
0.61
20x
0.40
0.69
0.50
0.55
0.75
0.37
40x
0.65
0.42
0.75
0.37
0.95
0.29
60x
0.75
0.37
0.85
0.32
0.95
0.29
100x
1.25
0.22
1.30
0.21
1.40
0.20
NOTA (C)
ritorna
Image restoration
(B) Risoluzione spaziale
La risoluzione spaziale rappresenta il limite dimensionale minimo di un oggetto, presente
sul piano ottico, discriminabile dal sistema di acquisizione.
NOTA (C)
Image restoration
(B) Risoluzione spaziale
La risoluzione spaziale è funzione del pixel size del sensore CCD e del’ingrandimento
dell’obiettivo utilizzato.
4.6
um
Il pixel size è parametro intrinseco del dispositivo CCD che ne definisce le dimensioni delle
singole celle.
NOTA (C)
Image restoration
(B) Risoluzione spaziale
Come calcolarla
A causa delle caratteristiche costruttive del sensore CCD, due oggetti devono distare
almeno di un pixel tra loro per poter essere discriminati.
La risoluzione spaziale rappresenta la distanza minima, espressa in unità metriche, che
deve intercorrere tra due oggetti proiettati sul piano di fuoco, e ben contrastati tra loro, per
poter essere discriminati ed identificati come tali dal sistema di acquisizione.
NOTA (C)
Image restoration
(B) Risoluzione spaziale
La risoluzione spaziale è funzione del pixel size del sensore CCD e del’ingrandimento
dell’obiettivo utilizzato.
il calcolo della risoluzione spaziale si esegue come segue :
Rs = (Pixel size / Ingrandimento obiettivo)
A conferma di quanto espresso in precedenza il calcolo della risoluzione spaziale si modifica
come segue introducendo il coefficiente di correzione:
Rs = ((Pixel size / Ingrandimento) * 2.3)
Esempio :
Pixel size = 6.4 um
Ingrandimento = 20x
Risoluzione spaziale Rs = ((6.4 / 20) * 2.3) = 0.736 um
NOTA (C)
Image restoration
(B) Risoluzione spaziale
Da considerare
Se l’adattatore passo “C” impiegato possiede una lente di riduzione (< 1.0x) il calcolo della
risoluzione spaziale si modifica come segue :
Rs = ((Pixel size / Ingrandimento) * 2.3) / PassoC
Esempio :
Pixel size = 6.4 um
Ingrandimento = 20x
Passo “C” = 0.63x
Risoluzione spaziale Rs = ((6.4 / 20) * 2.3) / 0.63 = 1.168 um
Utilizzando la funzione di Binningdella telecamerala risoluzione
spaziale si riduce come segue:
Rs = (((Pixel size / Ingrandimento) * 2.3) / PassoC) * Binning
Risoluzione spaziale Rs = (((6.4 / 20)*2.3)/0.63)*2 = 2.336 um
Analogamente in presenza di un CCD colore con filtro Bayer (più
comune) la risoluzione spaziale si riduce come segue:
Rs = (((Pixel size / Ingrandimento) * 2.3) / PassoC) *2
Risoluzione spaziale Rs = (((6.4 / 20)*2.3)/0.63)*2 = 2.336 um
NOTA (C)
Sistema di Acquisizione delle immagini.
Adattatore passo “C”
CCD Camera
E’ possibile variare le dimensioni del campo
inquadrato dallo specifico sensore CCD interponendo
una lente, usualmente inserita nel raccordo Passo “C”,
tra il piano di fuoco del microscopio (Tube lens)
ed il sensore CCD.
Correzione della parafocalità:
Viene regolato il punto di focalizzazione
dell’immagine fino a farla coincidere con
quello visto negli oculari
Il piano focale viene proiettato sul CCD ad una distanza
diversa (superiore) rispetto alla distanza originale. Il Passo
“C” risulta più alto.
Lente di magnificazione
E’ importante che le lenti utilizzate per variare le dimensioni del
campo inquadrato risultino otticamente corrette per le aberrazioni
cromatiche che sferiche.
Microscopio
NOTA (C)
Sistema di Acquisizione delle immagini.
Adattatore passo “C”
Esempio di visualizzazione di un campo con ingrandimento 20x ripreso utilizzando lo stesso
sensore CCD ma con adattatori passo “C” differenti.
Sensore ½”
Obiettivo 20X
Adattatore Passo “C” 1.0 X
NOTA (C)
Sensore ½”
Obiettivo 20X
Adattatore Passo “C” 0.70X
Sensore ½”
Obiettivo 20X
Adattatore Passo “C” 0.45X
Image restoration
(C) Risoluzione Immagine
Caratteristica dell’immagine digitale. Corrisponde al numero di pixel orizzontali /
verticali che formano l’immagine.
Da non confondere con i DPI.
544 x 631 pixel
680 x 789 pixel
NOTA (C)
Immagini & Computer Snc
Via Don Carlo Riva 4
Bareggio (Mi)
GRAZIE PER LA VOSTRA ATTENZIONE !