+
Corso di laurea in
Interfacce e tecnologie della comunicazione
Sviluppo di un sistema di monitoraggio
dell’attenzione tramite l’uso di sensori
Relatore
Ornella Mich
Laureando
Nicola Bianchi
Correlatore
Nadia Mana
Anno Accademico 2011/2012
+
Sommario
1.
Progetto CAT
2.
Lavori precedenti
3.
Modifiche audio-visive al software
4.
Integrazione di un tracker
5.
Test
6.
Conclusioni e sviluppi futuri
+
1. Progetto CAT
Obiettivi
L’obiettivo finale del progetto CAT consiste nella creazione di
un software che, mediante l’uso di sensori, riesca a rilevare i
cali di attenzione durante l’utilizzo di un software didattico e di
riportarla su un compito mediante opportuni stimoli.
+
1. Progetto CAT
L’attenzione

L’attenzione è un processo cognitivo che permette la
selezione di alcuni stimoli ambientali a discapito di altri.
 Selettiva
 Divisa
 Sostenuta

Misurazione dell’attenzione tramite

Test psicologici

Sensori
+
2. Lavori precedenti
Presentazione del software Erickson

Aiutare i bambini da 8 a 12 anni a
controllare le proprie capacità attentive.

Composto da una serie di esercizi di
allenamento, divisi in più aree, e un test
finale di verifica.

Le 5 aree:





Vigilanza
Inibizione
Memoria di lavoro
Interferenza
Flessibilità
+
2. Lavori precedenti

Scelta degli esercizi

Creazione del software con Adobe Director 11.5 Trial

Creazione di un Log File che riporta il tempo e ogni pulsante
premuto dall’ utente

Modifica di alcuni esercizi aggiungendo animazioni

Rimozione della ritenzione della risposta alla presentazione
di uno stimolo non target

Entrambe le fasi sono state verificate in uno studio pilota con
4 bambini
+
3. Modifiche audio-visive al software
Modifiche agli esercizi

Rimozione delle animazioni da
alcuni esercizi per non
modificare il carico cognitivo.

Randomizzazione di alcuni
stimoli in modo da ottenere
dalla sperimentazione dati
precisi.

Re-inserimento della ritenzione
della risposta allo stimolo non
target.

Aggiunta della possibilità di
ascoltare gli stimoli uditivi
prima della presentazione
dell’esercizio.
+
3.Modifiche audio-visive al software
Re-incisione delle tracce audio
Per fornire un’interazione più chiara e delle istruzioni più
complete agli esercizi sono state re-incise le tracce audio.

Rimozione della spiegazione di funzionalità non utilizzate nel
prototipo.

Modifica del nome dei pulsanti da premere, per dare un nesso
maggiore con stimolo che rappresentano.

Montaggio audio utilizzando Audacity per mantenere la durate
delle registrazioni uguali alla versione originale
+
4. Integrazione di un tracker
Studio della letteratura

Analisi della direzione dello sguardo tramite eye-tracker
(Sideny, 2005)

Analisi della postura tramite sensori di pressione posizionati
sulla seduta e sullo schienale (Mutlu, 2007)

Tracker facciale per misurare i movimenti del volto (Joho,
2011)

Sensori per il rilevamento di battito cardiaco e livello di
ossigeno nel sangue (Hsu, 2012)
+
4. Integrazione di un tracker
Presentazione di EngagementTracker

È un software, originariamente
sviluppato da FBK, per misurare
il coinvolgimeto dell’ utente
durante l’utilizzo del computer.
(Cappelletti et al, 2012)

Il software costruisce un modello
del viso rilevato dalla webcam al
quale applica 12 vettori di
movimento.

La misurazione dei movimenti
avviene tramite il calcolo dello
scostamento dei 12 vettori dal
modello iniziale e sono riportate
in un Log File testuale.
+
4. Integrazione di un tracker
Collegamento con il prototipo

Installazione del software sul Pc

Calibrazione della webcam

Sincronizzazione di accensione con il prototipo

Output finale del sistema

Log File elaborato dal prototipo software

Log file riportante le grandezze dei 12 vettori

Annotazioni sulle registrazioni del volto
+
5. Test
Verifica del sistema


Funzionamento dei software e di eventuali conflitti
Strumentazione

Regolazione della sedia e inclinazione dello schermo
Struttura di sostegno per la fotocamera esterna

Ambiente in cui si svolgerà la sperimentazione


Parete senza ombre dietro l’utente per facilitare il riconoscimento del
volto.
Illuminiazione adeguata per non affaticare l’utente

Analisi dei dati raccolti

Grandezza dei video troppo elevata, sia per l’analisi che per
l’archiviazione.
Mancanza dei codec per i video registrato con Iphone, è stato
necessario procurare un’altra fotocamera


+
6. Conclusioni e sviluppi futuri
Questa tesi ha contribuito al progetto CAT nei seguenti punti
Conclusione
del prototipo grazie all’implementazione di
ulteriori modifiche audio-visive
Integrazione
Esecuzione
di un tracker per il rilevamento facciale
di uno studio pilota per verificare l’effettiva
efficacia ed efficienza del sistema
+
6. Conclusioni e sviluppi futuri
Nuovi sensori

Sensori di pressione per il
rilevamento della postura

Microfoni per l’analisi della
voce con Praat

Biofeedback per il
monitoraggio del battito
cardiaco e il livello
d’ossigenazione nel sangue
Migrazione da PC a tablet
Pro
Accelerometro
per poter
monitorare i movimenti riflessi
della mano
Maggior
portabilità dell’intero
sistema
Contro
Difficoltà
a mantenere il volto
inquadrato nel tracker
+
Grazie dell’ attenzione