Materiale di supporto all’insegnamento di
ELABORAZIONI IMMAGINI 1
2D Motion Estimation
Prof. Carlo Regazzoni
2D Motion e Optical Flow
•
•
L’occhio umano percepisce il movimento identificando i punti corrispondenti a
diversi intervalli di tempo. Tali corrispondenze sono determinate assumendo che
il colore o la luminosità di due punti non cambia durante il movimento.
È interessante notare che il movimento 2D osservato può essere diverso dal reale
movimento 2D.
1) la sfera ruota, ma i punti della sua
superficie, non cambiando
colore/luminosità ed appaiono stazionari;
2) la sfera è ferma e la fonte luminosa
ruota attorno alla sfera, che darà
all’osservatore una sensazione di
rotazione. Il moto osservato o apparente
è noto come Optical Flow
2
Equazione Optical Flow
• Consideriamo una sequenza video la cui variazione di illuminazione è
rappresentata da Ψ(x,y,t). Supponendo un punto dell’immagine (x,y) al
tempo t questo si è mosso da (x+dx,y+dy) al tempo t+dt.
• Sotto la constant intensity assumption un’immagine dello stesso oggetto in
due istanti di tempo ha lo stesso valore di luminanza. Allora:
Usando l’espansione di Taylor, con dx,dy,dt abbiamo:
.
3
Equazione Optical Flow
• Combinando le equazioni precedenti e
dividendo per dt si ottiene la Optical Flow
Equation:
Con V=(vx,vy)
Assumendo che l’intervallo temporale sia breve:
Gradiente spaziale del vettore
luminosità
4
Equazione Optical Flow
• Il flow vector v può essere decomposto come in
figura:
90°
Scomponendo il vettore V come:
V=etvt+envn
La Optical flow equation può essere riscritta come
segue
5
Equazione Optical Flow
•
Le conseguenze delle equazioni scritte sono
tre:
1. Per ogni pixel, non è possibile determinare il
motion vector v basandoci su
e
separatamente. È necessario un vincolo che
generalmente è espresso come il fatto che il
flow vector deve variare in maniera “dolce”
6
Equazione Optical Flow
2.
Dati
la proiezione del motion vector lungo la
normale è fissata, mentre lungo la direzione tangente è indeterminata.
Ogni valore di tale proiezione soddisfa l’ optical flow equation. Questa
ambiguità è nota come Aperture Problem. Il termine Aperture si riferisce
all’intervallo temporale entro il quale si può applicare la constant intensity
assumption. Il movimento si può stimare unicamente se l’apertura contiene
almeno due differenti direzione di gradiente come mostrato in figura
7
Equazione Optical Flow
3. In regioni con luminosità costante
il vector flow è indeterminato.
La stima del moto è realizzabile solo in
regioni dove sono presenti variazioni di
luminosità, ovvero regioni con contorni o
dove è presente una tessitura non uniforme.
8
Metodologie generali
• Consideriamo la stima del moto tra due frame Ψ(x,y,
t1) e Ψ(x,y, t2). Chiamiamo il frame al tempo t1 Anchor
Frame ed il frame al tempo t2 Tracked Frame.
.
9
Metodologie generali
• In generale possiamo rappresentare un vettore di moto come
d(x,a), dove:
a=[a1, a2, a3, a4,…., aL]
è un vettore contenente i parametri caratterizzanti il moto.
Il problema di stima del moto si riduce a stimare i parametri
caratterizzanti il moto.
I metodi sviluppati si dividono in due grosse categorie:
• Feature based: si utilizzano delle caratteristiche prestabilite al
fine di stimare il moto fra due frame distinti
• Intensity based: applica la optical flow equation ad ogni pixel
10
Rappresentazione del Moto
Rappresent
azione
Tecnica
Problemi
Stima del moto eseguita sui
singoli pixel
generalmente sempre applicabile ma
richiede la stima di molti parametri non noti
Region
Based
in scene con molti oggetti
presenti è più appropriato
dividere l’immagine in più
regioni in modo da
caratterizzare meglio il vettore
di moto.
Il problema è che non si conosce a priori
quali blocchi hanno vettore di moto simile e
dunque il processo di segmentazione e
stima deve essere iterativo;
Block
Based
un metodo per ridurre la
complessità del Region-based
è quella di dividere l’immagine
in un numero fissato di piccoli
blocchi.
Questo metodo fornisce un buon
compromesso in termini di complssità ed
accuratezza, ma non impone alcun vincolo
di transizione tra blocchi adiacenti
causando una certa discontinuità;
Mesh
Based
il miglioramento al metodo
precedente consiste nel
partizionare l’immagine in
elementi poligonali non
sovrapposti, che porta ad
avere un vettore di moto
continuo.
Pixel
Based
..graficamente..
11
Criteri di stima del moto: Displaced
Frame Difference
•
Il criterio più popolare per la stima del moto è basato sulla minimizzazione della
somma degli errori tra le luminanze dei due frame Ψ1 e Ψ2. La funzione obiettivo
sarà:
•
•
•
Λ= dominio dei pixel, w(x,a)=x+dx
La condizione per minimizzare la funzione è porre il gradiente a zero al fine di
ricavare i parametri caratterizzanti il moto.
Il gradiente per p=2:
•
.
12
Criterio basato sulla Optical Flow
Equation
• Un altro approccio è risolvere il sistema di equazioni basato sul
voncolo di Optical Flow.
• Se la la variazione temporale dt tra due frame e piccola
possiamo scrivere:
• Risolvendo per x ci riduciamo ad un problema di
minimizzazione con la seguente funzione obiettivo:
• .
13
Criterio Bayesiano
• Lo stimatore Bayesiano è basato sulla formulazione
probabilistica del problema di stima del moto fatta da Konrad e
Dubois [1][2].
• Sotto questa formulazione dato l’Anchor Frame Ψ1, il Tracked
frame Ψ2 è considerato come una realizzazione del campo
casuale Ψ, mentre il campo di moto d è una realizzazione del
campo probabilistico D.
• La probabilità a posteriori di D data Ψ può essere scritta come:
• .
14
Criterio Bayesiano
• Una stima basata sul criterio Bayesiano vuole massimizzare la
probabilità a posteriori. Ma dati Ψ1, Ψ2 è cosa equivalente
massimizzare solo il numeratore. Dunque la massima stima a
posteriori (MAP) di d è:
• Rappresentando ε lo spazio di probabilità di una immagine DFD
allora per e(x)= Ψ2(x+d), Ψ1(x) dati x e Ψ1 :
• E dunque:
• .
15
Criterio Bayesiano
• Dalla teoria di codifica della sorgente la lunghezza minima di
codice per una sorgente è la sua entropia.
• La stima MAP è equivalente a minimizzare la somma della
lunghezza del codice e il motion field d. Dunque la MAP
stimata per d è equivalente ad una stima di tipo a minimun
description lenght (MDL)
• Essendo lo scopo degli stimatori di moto nella codifica video il
minimizzare la bit rate, il criterio MAP è la migliore scelta che
minimizza l’errore di predizione.
16
Pixel Based Motion Estimation
• Nei metodi di stima di moto pixel-based si prova a
stimare il vettore di moto per ogni pixel. Il problema in
oggetto è mal posto.
• Sotto l’ipotesi di constant intensity assumption ci
saranno pixel che non potranno essere ”inseguiti” nel
Tracked Frame poiché la loro luminosità rimane
invariata nel tempo.
• Sotto l’ipotesi optical flow il problema sarà ancora
indeterminato.(1 equazioni, 2 incognite)
17
Pixel Based Motion Estimation
•
Per ovviare a questi problemi sono usati
quattro approcci:
1. Tecniche di regolarizzazione;
2. Ipotesi di constant intensity o optical flow solo in
una regione limitata;
3. Invariants constraints;
4. Fare uso delle relazioni fra funzioni di fase e
frame prima e dopo il movimento.
18
Pixel Based
Regolarizzazione basata su
Motion Smoothness Constraint
• Metodo che combina i criteri basati su:
• Optical Flow
• Motion Smooth
• Horn e Schunck propongono di stimare il vettore movimento
minimizzando la seguente funzione obiettivo:
• La minimizzazione di tale funzione è realizzata tramite un
metodo Gradient Based conosciuto come Gauss-Siedel.
19
Pixel Based
Multipont Neighborhood
• In questo approccio stimiamo il vettore di moto al
pixel xn e assumiamo che il vettore di moto di tutti i
pixel in una regione B(xn) siano gli stessi dn.
• Minimizzando l’ errore DFD su B(xn):
• Con w(x) sono i pesi assegnati a ogni pixel che
decrescono allontanandosi da xn
20
Pixel Based
Multipont Neighborhood
• Il gradiente rispetto a dn è:
• L’algoritmo di update determinato, essendo dnl la stima
all’iterazione l-esima:
• L’ aggiornamento dipende dalla somma dell’immagine gradiente
scalata dai valori di DFD pesati ad ogni pixel. In generale
questo algoritmo richiede molta computazione per ogni pixel
21
Block Matching Algorithms
• Un problema con i metodi pixel-based è che bisogna
rilassare alcuni vincoli al fine di regolarizzare il problema.
• Un metodo per rilassare tali vincoli è dividere il dominio in
regioni di immagini non sovrapposte, chiamate blocchi, ed
assumere che il movimento in tali blocchi sia
parametrizzabile semplicemente.
• Nel caso più semplice il movimento in ogni blocco è
assunto come costante e ogni blocco è soggetto a
traslazione (block-wise translational model)
22
Block Matching
Exhaustive Search Block Matching
Algorithm (EBMA)
• Dato un blocco dell’immagine nel anchor frame
Bm il problema della stima del motoè
determinare il blocco più appropriato B’m nel
tracked frame in modo tale che l’errore tra i due
blocchi sia minimizzato.
• Lo scostamento dm tra la posizione spaziale dei
due blocchi è il vettore di moto (MV).
23
Block Matching
Exhaustive Search Block Matching
Algorithm (EBMA)
• Sotto le assunzioni fatte l’errore può essere scritto
come:
• Essendo la stima di MV di un singolo blocco affetta
solo dall’errore di predizione del singolo blocco si può
stimare ogni blocco individualmente, minimizzando
l’errore di predizione accumulato sul blocco:
• .
24
Block Matching
Exhaustive Search Block Matching
Algorithm (EBMA)
• Un metodo per determinare dm che minimizza
l’errore suddetto è usare la exhaustive search.
• Si determina l’ottimo dm per un dato blocco Bm
nell’ anchor frame comparandolo con i blocchi
candidati B’m nel tracked frame in una regione
predefinita e trovando quello ad errore minimo.
(Fig.1 slide successiva)
25
Block Matching
Exhaustive Search Block Matching
Algorithm (EBMA)
Fig.1
26
Block Matching
Fractional Accuracy Search
• Il passo con cui si cerca la corrispondenza dei blocchi non dovrebbe
essere “intero”. Per una più accurata rappresentazione del moto le
frazioni di pixel sono necessarie.
• Un problema usando le frazioni di pixel è che potrebbero non esserci
punti di corrispondenza tra anchor e tracked frame.
• È quindi necessaria una interpolazione che ad esempio può essere di
tipo bi-lineare.
• La scelta del passo è generalmente application-dependent.
• Questo tipo di algoritmo porta ad una crescita notevole del carico
computazionale.
27
…qualche esempio…
• (a) tracked frame
• (b) anchor frame
• (c-d) MV e immagine
predetta con EBMA
accuratezza a meta pixel
• (e-f) MV deformato e stima
basata su un algoritmo
mesh-oriented
28
Rappresentazione del moto Node Based
• Introduciamo un modello di movimento basato sul
movimento di alcuni punti di un determinato blocco,
chiamati nodi.
• In questo modello assumiamo che un insieme
selezionato di nodi di controllo in un blocco può
muoversi liberamente e che lo spostamento di ogni
punto interno può essere interpolato dallo spostamento
dei nodi scelti.
29
Rappresentazione del moto Node Based
• Siano:
– K= numero dei nodi di controllo
– Bm= blocco
– dm= vettore del moto
• La funzione del moto sarà:
• Tale funzione esprime lo spostamento di ogni punto nel blocco come
interpolazione dei nodi come mostrato in figura1. Il Kernel interpolatore Φ
dipende da quale peso si assegna al k-esimo punto di controllo.
30
Stima del moto usando il modello Node
Based
• La stima del moviemnto è indipendente blocco per
blocco, dunque non considereremo tutti gli m blocchi
di un’immagine.
• Siano:
– a= [dk,kЄK] , K={1,2,3,…..,K}
• I parametri del moto possono essere stimati
minimizzando l’errore di predizione:
• .
31
Stima del moto usando il modello Node
Based
• Ci sono molti modi per minimizzare tale errore inclusi l’
exhaustive search e metodi basati sul gradiente.
• Il metodo proposto è basato sull’algoritmo di Newton-Ralphson.
• Definiamo:
a  [aTx , aTy ]T con ax  [d x,1 , d x, 2 ,...., d x, K ]T a y  [d y ,1 , d y , 2 ,...., d y , K ]T
• Eseguendo la derivazione di E rispetto ad a dopo alcuni
passaggi si ottengono le equazioni di aggiornamento
dell’algoritmo.
32
Stima del moto usando il modello
Node Based
• Usando a si può calcolare il gradiente dell’errore:
 E

E
E
 a     a  ,  a 
a
a y
 ax

T
 2  w  X ; a  
E
X 
 a   2 e  X ; a 
ax
x
x
 2  w  X ; a  
E
X 
 a   2 e  X ; a 
a y
y
x
e  X ; a    2  w  X ; a    1  X 
  X   1  X  , 2  X  , , K  X 
T
33
Stima del moto usando il modello
Node Based
• La matrice essiana (eliminando il gradiente del secondo ordine):
 H xx  a  H xy  a  
 H  a    

H
a
H
a
yy   
 xy  
  
H xx  a   2   2 
X   x 
2
  2 
H yy  a   2  

X   y 
2
T
w X ; a 
 2  2
y
X  x
H xy  a   2 
  X   X 
  X   X 
T
w X ; a 
  X   X 
T
w X ; a 
34
Stima del moto usando il modello Node
Based
• In figura le equazioni di aggiornamento dell’algoritmo:
• Come per tutti i processi iterativi basati sul gradiente,
anche questo può raggiungere un minimo locale non
corretto se la soluzione iniziale non è scelta
propriamente.
35
Stima del moto basata sul Mesh-Based
• Senza la conoscenza dei parametri di moto dei blocchi adiacenti
la stima dei vettori di moto è spesso caotica, come in figura.
Tracked frame
Anchor frame
• Un metodo per evitare ciò è usare una rappresentazione del
moto basata sul modello a mesh (maglia).
• .
l’ anchor frame è coperto da una mesh,
ed il problema di stima del moto è trovare
il movimento per ogni nodo
36
Stima del moto basata sul Mesh-Based
• Il metodo di rappresentazione mesh-based garantisce
una continuità di rappresentazione dell’immagine ed è
maggiormente robusto agli artefatti che i metodi di
rappresentazione block-based possono produrre.
• Un altro beneficio di una rappresentazione mesh-based
è che consente in tracking continuo dell’insieme di
nodi fra i frame consecutivi, il che è desiderabile nelle
applicazione di object-tracking
37
Rappresentazione del moto basata sulle
Mesh
• Con un approccio mesh-based l’immagine è partizionata in elemento
poligonali non sovrapposti.
• Ogni elemento è definito da pochi nodi e collegamenti tra nodi, come
mostrato in Fig.1
• Nella rappresentazione mesh-based l’insieme dei vettori di moto è descritto
per mezzo dei nodi
Fig.1 Si usa una mesh
(griglia) triangolare con tre
nodi connessi ad ogni
elemento
38
Rappresentazione del moto basata sulle
Mesh
• Siano:
– M = numero elementi M = {1,2,…..,M}
– N = numero nodi N = {1,2,…..,N}
– K = numero di nodi che definisce ogni elemento K =
{1,2,…..,K}
– Dato l’ m-esimo elemento, n-esimo nodo al frame t (t1 =
anchor t2= tracked). denotati da Bt,m mЄ M e xt,n n Є N ed il
vettore di moto dell’ n-esimo nodo da dn = x2,n- x1,n.
• Il campo di moto nell’elemento B1,m è legato al vettore
del moto dn da:
39
Rappresentazione del moto basata sulle
Mesh
• La funzione Φ è il kernel interpolatore e, come
nel caso precedente, dipende dal contributo che
sivuole dare ad ogni nodo.
• Per garantire la continuità sugli elementi
dell’immagine il kernel deve soddisfare:
40
Rappresentazione del moto basata sulle
Mesh
• Ad esempio un elemento
standard a quattro lati
(Fig.1) può essere
rappresentato da
funzioni di kernel come
segue:
Fig.1
41
Rappresentazione del moto basata sulle
Mesh
• È importante non confondere l’ approccio mesh-based da quello
node-based introdotto precedentemente.
• Nell’approccio node-based sebbene blocchi adiacenti possano
condividere gli stessi nodi, il vettore di moto è determinato
indipendentemente blocco per blocco.
• Nell’approccio mesh-based, al nodo n è assegnato il singolo
vettore di moto il quale influenzerà la funzione di interpolazione
negli elementi collegati a questo nodo.
• Nell’approccio node-based, il nodo n può avere 4 differenti
vettori di moto associati.
42
Stima del moto basato su
mesh-based model
• Con i metodi di rappresentazione del moto basato sulle mesh ci sono due
insiemi di problemi da risolvere:
– Data una mesh come determinare la posizione dei nodi nel tracked frame.
Questo è essenzialmente un problema di motion estimation
– Come definire la mesh nell’anchor frame in conformità con la forma
dell’oggetto
• Una mesh costruita in maniera arbitraria porterà a risultati in generale
scadenti
• Ci occuperemo comunque solo del primo problema. Il secondo problema è
trattato in [1][2].
[1] Y. Wang and O. Lee. Active mesh | a feature seeking and tracking image sequence representation
scheme. IEEE Trans. Image Process., 3:610{624, Sept. 1994.
[2] Y. Wang and J. Ostermann. Evaluation of mesh-based motion estimation in h.263 like coders. IEEE
Trans. Circuits Syst. for Video Technology, 8:243{252, June 1998.
43
Stima del moto basato su
mesh-based model
• I parametri del moto possono essere stimati
servendoci ancora dell’approccio riguardante la
minimizzazione della funzione errore.
• Sotto le ipotesi del modello mesh-based:
• E ricordando l’equazione del vettore di moto nel
caso mesh-based si ha:
44
Stima del moto Globale
• Abbiamo mostrato che, indipendentemente dal movimento della
camera e dell’oggetto, la funzione che mappa la corrispondenza
tra due frame può essere descritta da una traslazione, una
trasformazione geometrica,etc……
• Ci sono in generale due approcci per stimare il moto
globalmente.
– Stimare i parametri di moto globale minimizzando l’errore di
predizione l’errore di predizione dato un insieme di
parametri;
– Determinando i vettori di moto dei pixel o di blocchi di pixel
e dunque usando metodi di regressione per trovare il modello
globale di movimento che meglio si adatta al campo di moto
stimato
45
Stimatori Robusti
• Il movimento di ogni pixel può essere decomposto in:
– Global motion: causato dal movimento della camera
– Local motion: a causa del movimento degli oggetti nella
scena
• Non tutti i pixel dello stesso frame portano conoscenza
del movimento globale e idealmente non si potrebbe
applicare lo stesso modello di movimento allo stesso
frame.
46
Stimatori Robusti
•
•
Questi problemi possono essere superati da un metodo detto
stimatore robusto se il movimento globale e dominante sul
movimento locale
L’idea di base è che i pixel sono governati dal movimento
globale. I passi da seguire sono:
1.
2.
3.
4.
5.
Tutti i pixel hanno stesso modello di movimento globale e si
stimano i parametri di moto minimizzando l’errore di predizione.
Si determina un insieme iniziale di parametri
Calcolo dell’errore di predizione su ogni pixel
I pixel che avranno errore di predizione sopra una certa soglia
saranno “scartati” dall’iterazione successiva
Si ripete iterativamente il processo
47
Stima del moto
Region-Based
• Come evidenziato nelle slide precedenti ci sono generalmente
molteplici tipi di movimento in una scena
• I stimatori del moto region-based segmentano l’immagine in
regioni multiple e stimano i parametri di moto in ogni regione
• Le principali tecniche di segmentazione sono:
– Clustering: il modello di movimento in una regione è una traslazione
pura e la segmentazione tiene in considerazione tutti i pixel connessi con
vettori di moto simili
– Layered :si dividono le regioni di movimento in più layer (piani) dal
primo, che è il più significativo all’ultimo
48
Stima del moto Multi-Resolution
• Come visto dalle precedenti slide, i vari approcci di stima del
moto si risolvono in minimizzazioni dell’errore.
• Le due difficoltà maggiori nell’ottenere la soluzione corretta
sono:
– Non è facile trovare il minimo globale e spesso le condizioni
iniziali influenzano negativamente la sua ricerca
– Il carico computazionale è eccessivo
• L’ approccio Multi-Resolution cerca la soluzione migliore a
diversi gradi di ottimizzazione, partendo da un primo livello che
porterà ad una prima soluzione “grossolana”
49
Multi-Resolution
Formulazione Generale
• La rappresentazione piramidale in figura rappresenta la
divisione in livelli ottenuti filtraggi spaziali low-pass e
sottocampionamento delle immagini.
• Il livello più in basso è l’immagine originale.
Immagine a bassa
risoluzione
Immagine a bassa
risoluzione
ANCHOR FRAME
TRACKED FRAME
Immagine originale
Immagine originale
50
Multi-Resolution
Formulazione Generale
• I vettori di moto fra i livelli corrispondenti delle due
piramidi sono stimati, partendo dal livello
“sottocampionato” progressivamente fino al livello
dell’immagine originale.
• Ad ogni livello di risoluzione più fine il campo di moto
ottenuto dal precedente livello più grezzo è interpolato
per ottenere la stima del moto al livello corrente.
51
Algoritmo di Block Matching
Gerarchico
• I benefici di tale approccio sono:
– A livelli di risoluzione bassa il problema è meno mal posto e dunque la
soluzione meglio approssima la soluzione ideale;
– L’interpolazione porta ad una prima soluzione buona;
– la stima ad ogni livello può essere confinata in termini di iterazioni
ottenendo ottimi risultati rispetto alla stima ottima del movimento.
• Un caso particolare di Block Matching Gerarchico è il
Hierarchical Block Matching Algorithm (HBMA) che è un caso
speciale del multi-resolution, dove l’ EBMA è applicato per
stimare i campi di moto dei blocchi nei livelli.
52
Algoritmo di Block Matching
Gerarchico
Esempio di stima del
moto usando
l’algoritmo HBMA per
due immagini.
(a-b) campo di moto
e immagine predetta
al livello più grezzo
(c-d) campo di moto
e immagine predetta
ad un livello più fine
(e-f) campo di moto
e immagine predetta
al livello più fine
53
Bibliografia
•
•
•
•
•
•
•
•
•
•
[1] J. K. Aggarwal and N. Nandhahumar. On the computation of motion from sequences of images - a review.
Proceedings of The IEEE, 76:917{935, 1988.
[2] Y. Altunbasak and A. M. Tekalp. Closed-form connectivity-preserving solutions for motion compensation
using 2-d meshes. IEEE Trans. Image Process., 6:1255{1269, Sept. 1997.
[3] Y. Altunbasak and A. M. Tekalp. Occlusion-adaptive, content-based mesh design and forward tracking.
IEEE Trans. Image Process., 6:1270{1280, Sept. 1997.
[4] J. L. Barron, D. J. Fleet, and S. S. Beauchemin. Performance of optical flow techniques. International
Journal of Computer Vision, 12:43{77, 1994.
[5] M. Bierling. Displacement estimation by hierarchical block matching. In Proc. SPIE: Visual Commun.
Image Processing, volume SPIE-1001, pages 942{951,Cambridge, MA, Nov.1988.
[6] P. J. Burt and E. H. Adelson. The laplacian pyramid as a compact image code. IEEE Trans. Commun.,
COM-31:532{540, 1983.
[7] P. Chou and C. Brown. The theory and practice of bayesian image labeling.International Journal of
Computer Vision, 4:185{210, 1990.
[8] R. O. Duda and P. E. Hart. Patterns classication and Scene analysis. John Wiley & Sons, 1973.
[9] D. J. Fleet and A. D. Jepson. Computation of component image velocity from local phase information.
International Journal of Computer Vision, 5:77{104, 1990.
[10] D.J. Fleet. Disparity from local weighted phase-correlation. In IEEE International Conference on
Systems, Man, and Cybernetics: Humans, Information andTechnology, pages 48 {54, 1994.
54
Bibliografia
•
•
•
•
•
•
•
•
•
•
•
[11] S. Geman and D. Geman. Stochastic relaxation, gibbs distributions, and the baysian restoration of images.
IEEE Trans. Pattern Anal. Machine Intell., 6:721{ 741, Nov. 1984.
[12] B. Girod. Motion-compensating prediction with fractional-pel accuracy. IEEE Trans. Commun.,
41:604{612, 1993.
[13] B. Girod. Motion-compensating prediction with fractional-pel accuracy. IEEE Transactions on
Communications, 41(4):604{612, April 1993. -.
[14] H.-M. Hang, Y.-M. Chou, and S.-Chih. Cheng. Motion estimation for video coding standards. Journal of
VLSI Signal Processing Systems for Signal, Image, and Video Technology, 17(2/3):113{136, Nov. 1997.
[15] R. M. Haralick and J. S. Lee. The facet approach to optical ow. In Proc. Image Understanding Workshop,
1993.
[16] B. K. Horn and B. G. Schunck. Determining optical ow. Articial intelligence,17, 1981.
[17] B. K. P. Horn. Robot Vision. MIT Press, Cambridge, MA, 1986.
[18] S. Hsu, P. Anandan, and S. Peleg. Accurate computation of optical ow using layered motion
rapresentations. In Proc. Int. Conf. Patt. Recog., pages 743{746, Jerusalem, Israel, Oct. 1994.
[19] J. R. Jain and A. K. Jain. Displacement measurement and its application in interframe image coding.
IEEE Trans. Commun., COM-29:1799{1808, Dec. 1981.
[20] T. Koga et al. Motion-compensated interframe coding for video conferencing. In Proc. Nat. Telecommun.
Conf., pages G5.3.1{G5.3.5, New Orleans, LA, Nov.1981.
[21] T. Komarek and P. Pirsch. Array architecture for block matching algorithms. IEEE Trans. Circuits and
Systems, 36:269{277, Oct. 1989.
55
Bibliografia
•
•
•
•
•
•
•
•
•
•
•
•
•
[22] J. Konrad and E. Dubois. Baysian estimation of motion vector elds. IEEE Trans. Pattern Anal. Machine Intell., 14:910{927,
Sept. 1992.
[23] C. Kuglin and D. Hines. The phase correlation image alignment method. In Proc. IEEE Int. Conf. Cybern. Soc., pages
163{165, 1975.
[24] O. Lee and Y. Wang. Motion compensated prediction using nodal based deformable block matching. Journal of Visual
Communications and Image Representation, 6:26{34, Mar. 1995.
[25] X. Lee and Y.-Q. Zhang. A fast hierarchical motion compensation scheme for video coding using block feature matching.
IEEE Trans. Circuits Syst. for Video Technology, 6:627{635, Dec. 1996.
[26] A. Mitchie, Y. F.Wang, and J. K. Aggarwal. Experiments in computing optical flow with gradient-based multiconstraint
methods. Pattern Recognition, 16, June 1983.
[27] H. G. Musmann, M. Hotter, and J. Ostermann. Object oriented analysissynthesis coding of moving images. Signal
Processing: Image Commun., 1:119{138, Oct. 1989.
[28] H.G. Musmann, P. Pirsch, and H.-J. Grallert. Advances in picture coding.Proceedings of IEEE, 73(4):523{548, Apr. 1985.
[29] H. H. Nagel. Displacement vectors derived from second-order intensity variations in images sequences. Computer Graphics
and Image Processing, 21:85{117, 1983.
[30] H. H. Nagel and W. Enklemann. An investigation of smoothness constraints for the estimation of displacement vector elds
from image sequences. IEEE Trans. Pattern Anal. Machine Intell., 8:565{593, Sept. 1986.
[31] A. N. Netravali and J. D. Robbins. Motion compensated coding: some new results. Bell System Technical Journal, Nov.
1980
[32] P. Pirsch, N. Demassieux, and W. Gehrke. Vlsi architecture for video compression - a survey. Proc. IEEE, 83:220{246, Feb.
1995.
[33] B.S. Reddy and B.N. Chatterji. An t-based technique for translation, rotation, and scale-invariant image registration. IEEE
Transactions on Image Processing, 5(8):1266{71, August 1996.
[34] J. Rissanen. A universal prior for intergers and estimation by minimum description length. The Annuals of Statistics,
11(2):416{431, 1983.
56
Bibliografia
•
•
•
•
•
•
•
•
•
•
•
•
[35] P.J. Rousseeuw and A.M. Leroy. Robust Regression and Outlier Detection. John Wiley & Sons, New York, 1987.
[36] V. Seferidis and M. Ghanbari. General approach to block matching motion estimation. Optical Engineering,
32:1464{1474, July 1993.
[37] H. Shekarforoush, M. Berthod, and J. Zerubia. Subpixel image registration by estimating the polyphase
decomposition of cross power spectrum. In Proceed-ings of the IEEE Computer Society Conference on Computer
Vision and Pattern
Recognition 1996. IEEE, Los Alamitos, CA, pages 532{537, 1996.
[38] C. Stiller and J. Konrad. Estimating motion in image sequences. IEEE Signal Processing Magazine, 16:70{91,
July 1999.
[39] A. M. Tekalp. Digital Video Processing. Prentice Hall PTR, Upper Saddle River, NJ, 1995.
[40] G. A. Thomas. Television motion measurements for datv and other applications. Research report 1987/11, BBC,
September 1987.
[41] Y. Wang and O. Lee. Use of 2d deformable mesh structures for video compression. part i | the synthesis problem:
Mesh based function approximation and mapping. IEEE Trans. Circuits Syst. for Video Technology, 6:636{646, Dec.
1996.
[42] Y. Wang and O. Lee. Active mesh | a feature seeking and tracking image sequence representation scheme. IEEE
Trans. Image Process., 3:610{624, Sept.1994.
[43] Y. Wang and J. Ostermann. Evaluation of mesh-based motion estimation in h.263 like coders. IEEE Trans.
Circuits Syst. for Video Technology, 8:243{252, June 1998.
[44] Y.Wang, X.-M. Hsieh, J.-H. Hu, and O.Lee. Region segmentation based on active mesh representation of motion:
comparison of parallel and sequential approaches. In Proc. Second IEEE International Conference on Image
Processing (ICIP'95), pages 185{188, Washington DC, Oct. 1995.
[45] O. C. Zienkewicz and R. L. Taylor. The nite element method, volume 1. Prentice Hall, 4th edition, 1989.
57