Tesi di laurea in
Ingegneria Informatica V.O.
Tracciamento Automatico dei
Movimenti del Volto Umano
Relatore: Prof. Marco Schaerf
Correlatore: Ing. Marco Fratarcangeli
Candidato: Gabriele Fanelli
Sommario
Obiettivi
Descrizione del metodo: Active Appearance
Models
Costruzione
Adattamento
Risultati
Conclusioni
Obiettivi
Sistema capace di determinare:
Posizione e forma di un volto generico da immagini
statiche
Movimenti globali e deformazioni in un volto
specifico da sequenze video
Immagini provenienti da telecamere di fascia bassa
(webcam)
Active Appearance Models
Modelli generativi e parametrici del volto
Forma
Apparenza
Costruiti statisticamente da immagini
esempio (training)
Apprendimento delle variazioni permesse
Algoritmo di adattamento
Ricerca dei parametri che rendono il modello simile
ad una nuova immagine
Sommario
Obiettivi
Active Appearance Models
Costruzione
Adattamento
Risultati
Conclusioni
AAM generici - specifici
Set identità
Set espressivo
Forma
Def.: Maglia triangolata
Vettore delle coordinate dei vertici
Modellazione:
Collezione dei vettori
Allineamento
Principal Component Analysis:
Calcolo media
Calcolo matrice di covarianza
Selezione degli autovettori
corrispondenti agli autovalori
maggiori
Modello lineare di forma
Parametri
di controllo
Nuova
forma
Forma media
(base)
Vettori
di forma
Apparenza
• Intensità dei pixel all’interno della forma base
• Le immagini di training vanno normalizzate
rispetto alla forma
Modello lineare di apparenza
Nuova texture
Texture media
Parametri di apparenza
Eigenfaces
Istanza completa
Immagine: cortesia di Simon Baker
Sommario
Obiettivi
Active Appearance Models
Costruzione
Adattamento
Risultati
Conclusioni
Algoritmo di adattamento
Minimizzare la differenza tra:
Immagine in ingresso mappata sulla forma base
Istanza del modello (apparenza)
Utilizzato l’Inverse Compositional Algorithm
Algoritmo di adattamento
Immagine in
ingresso
Apparenza
corrente
Texture
deformata
sottrazione
Forma
corrente
Immagin
e
differenz
a
Algoritmo di adattamento
Apparenza
corrente
∆λ
∆p
Forma
corrente
Immagin
e
differenz
a
Inizializzazione
Punto d’inizio adeguato per la ricerca
Localizzatore di facce - OpenCV
Adattamento
Sommario
Obiettivi
Active Appearance Models
Costruzione
Adattamento
Risultati
Conclusioni
Test 1: immagini “viste”
Entrambi i modelli adattati a immagini presenti
nel training set
Oggetto:
Qualità dell’algoritmo
Dipendenza dalla traslazione iniziale
Misura: errore RMS
Disponibili le coordinate selezionate manualmente
Test 1: immagini “viste”
Errore
RMS
Distanza iniziale dal centro della faccia in % dell’altezza dell’immagine
Test 1: immagini “viste”
Test 2 : Immagini “non viste”
Immagini non presenti nel
training set
Oggetto:
Qualità algoritmo
Capacità del modello
generico di descrivere
nuove facce
Giudizio visivo
60% di risultati positivi
Immagini “non viste” - successo
Immagini “non viste” - fallimento
Test 3: video
Test 3: video
Test 3: video
Conclusioni
Sistema implementato:
Migliorabile per caso generico
Buoni risultati nello specifico
Sviluppi futuri:
Ampliamento training
Tempo reale
3D