Università degli Studi di Pavia
Dipartimenti di Giurisprudenza, Ingegneria Industriale e dell’Informazione, Scienze
Economiche e Aziendali, Scienze Politiche e Sociiali, Studi Umanistici
Corso di Laurea Interdipartimentale in
COMUNICAZIONE, INNOVAZIONE, MULTIMEDIALITÀ
INTERFACCE MULTIMODALI BASATE SU EYE TRACKING:
VERSO L’INTEGRAZIONE DEL CANALE OCULARE CON GLI
STRUMENTI ORDINARI DI INPUT
Relatore:
Prof. Marco Porta
Correlatore:
Prof. Paolo Costa
Tesi di Laurea
di Sara Elli
A.A. 2013/2014
Obiettivo della tesi
Le nuove interfacce multimodali basate su
eye tracking costituiscono un’alternativa
migliore alle interfacce tradizionali per tutti
gli utenti?
Struttura del lavoro
• Eye Tracking
• Lo sguardo come canale di input
• Alcune interfacce multimodali basate su
Eye Tracking
Che cos’è l’eye tracking
Metodo di analisi oculare
Movimento
degli occhi
Punto di
osservazione
Eye tracking come canale di input
Obiettivi
• Interazione più veloce
• Interazione più naturale
• Interazione senza l’utilizzo delle mani
Problema
“Tocco di Mida”
Soluzione
Interfacce multimodali
Eye tracking e input manuale
• MAGIC (Manual And Gaze Input Cascaded
• Tecnica combinata all’interno di interfacce
GUI
• Sistema per l’acquisizione di un target a
distanza
• EyePoint
• Sistema per il controllo di un drone
MAGIC
Info from
manual
i/p device
Info from
eye
tracker
MAGIC
pointing
procedure
• Riduzione dei movimenti del cursore necessari per la
selezione di un elemento dello schermo (target)
• Precisione garantita dall’utilizzo di un input manuale
• Spesso il cursore viene spostato in base ai movimenti
involontari degli occhi
Tecnica combinata per interfacce GUI
• Mouse e sguardo
• Due metodi di aggiustamento:
1. Automatico: click del mouse per
spostare il cursore sul bottone più vicino
al punto osservato
2. Manuale: utilizzo del mouse per spostare
manualmente il cursore
Sistema per l’acquisizione di un target
a distanza
•
Sguardo e dispositivo manuale simile ad uno smartphone
Gesto manuale
zoom area osservata
selezione più accurata
EyePoint
• Tecnica di puntamento e selezione tramite
eye tracking e tastiera
• Valutato migliore di un tradizionale mouse
Sistema per il controllo di un drone
• Velivolo pilotato a
distanza tramite una
telecamera
• 4 variabili controllate
tramite sguardo e
tastiera
Eye tracking e input vocale
• Sistema per la navigazione nel web
• Sistema per l’inserimento di un testo in
Microsoft Word
• Sistema per il controllo di personaggi virtuali
all’interno di un videogioco
Sistema per la navigazione nel web
• Sguardo e dispositivo di riconoscimento
vocale
• L’utente pronuncia una frase per dar vita ad
un comando che riguarda l’elemento fissato
• Diverse operazioni possibili (ad es. passare
alla pagina successiva, cliccare un link, ecc.)
Sistema per l’inserimento di un
testo in Word
• Selezione di un tasto tramite sguardo
• Conferma tramite comando vocale
Sistema per il controllo di personaggi
virtuali nei videogiochi
• Sistema sperimentato in due diversi giochi
• Più coinvolgente rispetto all’uso di input tradizionali
Eye tracking e altri movimenti del
corpo
• Sistema che integra eye tracking e “toothclick”
• Sistema che integra eye tracking e
movimenti della testa
Sistema che integra sguardo e
“tooth-click”
• Tooth-click
• Tooth-clicker
tooth-click
click generato stringendo i denti
dispositivo in grado di intercettare il
Sistema che integra sguardo e
movimenti della testa
• Sguardo
rapida selezione degli elementi
• Movimenti della testa
Individuazione
precisa di piccoli elementi
Conclusioni
• Le interfacce analizzate sono risultate migliori dei
sistemi basati solo sullo sguardo, ma ancora
troppo imprecise rispetto alle tradizionali interfacce
(mouse e tastiera)
• Valida alternativa
mouse o tastiera
ed immediata
eye tracking in aggiunta a
interazione veloce, intuitiva
Conclusioni
• Possibile soluzione ai problemi rilevati
Integrazione
di un eye tracker all’interno di un’interfaccia ordinaria in
qualsiasi momento
• In tempi brevi
eye tracking ottima alternativa agli
input tradizionali per tutti gli utenti
Grazie per
l’attenzione