Analisi della similarità
tra immagini
http://slipguru.disi.unige.it
L’apparenza inganna..
2
1
0
0
77
86
85
81
1
2
0
0
75
82
82
80
0
2
0
0
72
78
79
78
0
2
0
0
70
76
77
78
0
1
5
5
70
76
80
76
0
0
1
0
67
77
84
82
1
0
0
0
68
77
83
81
1
0
1
3
71
75
78
76
3
0
0
1
66
69
76
77
5
0
0
0
55
59
71
80
3
0
0
0
49
47
58
68
0
0
5
2
51
39
43
50
5
4
0
0
64
56
45
38
0
0
0
2
75
74
68
65
0
0
0
3
78
80
77
76
1
1
0
1
76
79
77
77
0
0
0
2
79
84
84
85
1
1
0
2
78
83
83
84
4
3
0
2
76
79
78
78
2
2
0
3
79
84
83
84
3
1
0
2
79
84
83
83
2
Le dimensioni ingannano
Un dettaglio ingrandito...
Lo stesso oggetto
catturato a due scale
diverse...
3
Vari modi di confrontare
due immagini
Il concetto è abbastanza confuso...
Due immagini diverse della stessa scena
(sorveglianza, stereovisione, ...)
Un’immagine modello e un’immagine test (object
detection...)
Due immagini simili a livello astratto (ad
esempio QBE)
4
Confronto tra immagini della
stessa scena
Un primo esempio di problema basato sul
confronto di immagini è la cosiddetta change
detection
Varie immagini della stessa scena catturate in
istanti diversi vengono confrontate allo scopo
di verificare eventuali cambiamenti
Applicazioni:
Sorveglianza di ambienti
Monitoraggio delle strade
5
Confronto tra immagini della
stessa scena
L’ipotesi che le immagini siano acquisite da
una telecamera fissa è abbastanza
ragionevole nella pratica e permette notevoli
semplificazioni
6
Confronto tra immagini della
stessa scena
7
Differenza pixel a pixel
(sogliata)
Se la differenza tra un pixel di un’immagine e il pixel
corrispondente nell’altra immagine è “piccola” allora
posso ignorarla...
1
D(i, j )  
0
I1 (i, j )  I 2 (i, j )  
altrimenti
La soglia σ viene scelta in modo proporzionale alla varianza dell’istogramma
delle differenze visto prima
8
Differenza pixel a pixel
(sogliata)
9
Se la telecamera non è fissa...
In molti casi abbiamo a disposizione varie
immagini della stessa scena ma acquisite da
diversi punti di vista
Non possiamo più confrontare il pixel (i,j)
dell’immagine I1 con il pixel (i,j)
dell’immagine I2,
...dobbiamo trovare dei criteri che ci
permettano di determinare le
corrispondenze tra le varie immagini
10
La stessa scena osservata da
varie angolazioni
Esempio di coppia stereo: due immagini della stessa scena
acquisite da due telecamere vicine (simile a quello che vedono i nostri
occhi). Scoprire le corrispondenze tra tutti i punti ci aiuta a ricostruire
la scena tridimensionale
11
La stessa scena osservata da
varie angolazioni
• Per trovare le corrispondenze si confrontano
intorni di punti, alla ricerca delle
coppie con un più alto valore di similarità
• Se le due immagini sono abbastanza simili
(ossia i punti di osservazione abbastanza vicini)
possono bastare tecniche di confronto molto
semplici
12
La stessa scena osservata da
varie angolazioni
Per ogni intorno dell’immagine I1...
N1
N2
I1
I2
…cerco quello che assomiglia di più
dell’immagine I2
13
La stessa scena osservata da
varie angolazioni
N1
d
N2
Esempio di misura di similarità: Sum of Squared Differences
F ( N1 , N 2 )   pN 1 ( I1 ( p)  I 2 ( p  d )) 2
14
La stessa scena osservata da
angolazioni diverse
15
La stessa scena osservata da
varie angolazioni
In questi casi può essere conveniente
procedere nel modo seguente:
Estrarre feature rilevanti
Cercare le corrispondenze solo tra le feature
A seconda del problema le feature
selezionate possono cambiare:
I corner sono semplici da calcolare, robusti ai
cambiamenti di punto di vista..
Le SIFT sono robuste al cambiamento di vista, di
scala, di illuminazione...
16
La stessa scena osservata da
varie angolazioni
In questi casi può essere conveniente
procedere nel modo seguente:
Estrarre feature rilevanti
Cercare le corrispondenze solo tra le feature
Per stimare le corrispondenze tra feature si
possono utilizzare le stesse tecniche citate in
precedenza (SSD, ...)
Ogni feature dell’immagine I1 viene
confrontata con tutte quelle dell’immagine
I2...
17
Similarità tra immagini della
stessa natura
Fino ad ora abbiamo considerato il confronto
tra immagini della stessa scena, per quanto
diverse
In molti casi può essere utile confrontare
immagini diverse dello stesso oggetto o della
stessa classe di oggetti
In questi casi non cambiano solo condizioni
esterne e il punto di vista, ma spesso anche le
caratteristiche intrinseche dell’oggetto
18
Confronto tra modelli e
immagini
Un problema molto comune della visione
computazionale è il rilevamento di oggetti
Si posso utilizzare tecniche più o meno
raffinate, ma alla base del procedimento c’è
sempre la capacità di confrontare immagini
Spesso, per descrivere l’oggetto d’interesse, si
utilizzano template, ossia immagini di
esempio dell’oggetto stesso
19
Confronto tra modelli e
immagini
Problemi di rilevamento di oggetti molto
comuni:
Rilevamento di volti (frontali e non)
Rilevamento di persone, di auto, ....
20
Confronto tra modelli e
immagini
La ricerca degli oggetti avviene confrontando un
template con zone dell’immagine e selezionando
le zone con similarità più alta come occorrenze
candidate
21
Confronti tra caratteristiche di
più alto livello
montagna
spiagge
22
Confronti tra caratteristiche di
più alto livello
In questi casi ci si rivolge spesso a
descrittori globali (istogrammi di
colore, del gradiente, etc) o a
trasformazioni dell’immagine che
mettano in risalto alcune
caratteristiche (Fourier, Wavelet, ...)
La similarità viene poi valutata su
queste rappresentazioni.
23
Conclusioni
In condizioni generali la stima della
similarità tra due immagini è un problema
difficile
Per specifiche applicazioni siamo aiutati da
ipotesi semplificatrici
Non bisogna dimenticare mai che quella che
per noi è un’operazione estremamente
naturale, non è necessariamente facile da
modellare
Le immagini sono pur sempre matrici di numeri!!!
24