Corso interdipartimentale in Comunicazione, Innovazione, Multimedialità
a.a. 2012/2013
Giustina Sacco
Matricola n° 389545
Affective Computing | Rosalind Picard
1/19
Fondatrice
dell’Affective Computing Research
Group
all’interno del MIT
 Entrò nel 1991 nel MIT Media Lab, grazie al
quale ebbe un importante riconoscimento
internazionale
 Ha pubblicato il pluripremiato libro
«Affective computing», con cui ha
inaugurato il nuovo campo di ricerca
Affective Computing | Terminologia ed evoluzione
Affective computing
Scienze sociali
Scienze informatiche
«Informatica dell’affettività»
2/19
Affective Computing | Terminologia ed evoluzione
1988, Picard
3/19
I metodi di riconoscimento delle emozioni dei calcolatori sono
simili a quelli umani.
Essi capiscono le emozioni attraverso la voce e i gesti
esattamente come l’uomo, oppure tramite sensori indossabili.
Imparano a capire le preferenze dell’uomo, per poterle
soddisfare.
I computer migliorano le condizioni di vita dell’uomo.
Problema autismo: i computer emotivamente competenti
diventano un grande sostegno nell’esternazione
dell’emotività da parte del soggetto.
Affective Computing | Riconoscimento informatico
dell’emozione
Scopo
Ottenere un’interazione con la macchina
quanto più naturale possibile
3 tipologie
1. Riconoscimento basato sull’elaborazione vocale
2. Riconoscimento basato sulle espressioni facciali
3. Riconoscimento basato sul movimento del corpo
4/19
Affective Computing | Riconoscimento informatico
dell’emozione
5/19
Riconoscimento vocale
Attenzione sulle proprietà fonetiche del linguaggio: intensità,
intonazione, velocità di lettura e qualità della voce.
È importante non cosa si dice, ma come viene detto
Il riconoscimento si compone di tre parti:
 Elaborazione del segnale  digitalizzazione e pre-elaborazione del
potenziale acustico;
 Funzione di calcolo  rileva le caratteristiche essenziali del segnale
acustico rispetto alle emozioni;
 Funzione di classificazione  si riportano su carta le caratteristiche dei
vettori sulle classi di emozioni.
Affective Computing | Riconoscimento informatico
dell’emozione
6/19
Riconoscimento facciale
Strategie di rilevamento del volto in base al tipo di input immagine.
Il processo di estrazione delle espressioni facciali rileva la presenza e la
posizione di caratteristiche come naso, occhi, narici bocca ecc.
2 approcci:
 Feature-base approaches  le caratteristiche facciali vengono rilevate e
monitorate, misurando le distanze tra queste;
 Appearence- based approaches  alcune regioni sono trattate come un
tutto e vengono registrati il
movimento e il cambiamento nella
struttura.
Affective Computing | Riconoscimento informatico
dell’emozione
Riconoscimento corporale
Postura del corpo, gesti, movimenti
3 approcci:
 Motion-based  utilizzano direttamente le informazioni del
movimento senza alcuna informazione
strutturale sul corpo fisico;
 Appearence- based  basato su due dati dimensionali come
colore/scala grigi;
 Model-based  modellazione delle parti del corpo.
7/19
Affective Computing | Applicazioni dell’affettività
8/19
Applicazioni tramite :
 sistemi robotici
Robot da intrattenimento
pensati come giocattoli, controllabili a
distanza e programmati per eseguire una
serie di azioni. Sono creati sotto forma di
animali. Affinché risultino interessanti dal
punto di vista dell’utente sono stati dotati di
riconoscimento emotivo.
Un prototipo è il Sony AIBO
Affective Computing | Applicazioni dell’affettività
9/19
 computer games
giochi emotivamente reattivi
gli ostacoli presenti nei giochi si superano
attraverso le emozioni positive o negative.
Vengono esaminati gli elementi emotivi
del discorso del giocatore attraverso
sistemi di riconoscimento delle emozioni,
influenzando il comportamento del
personaggio nel gioco
Emotion ML| Evoluzione del linguaggio
Emotion Markup Language
Progettato dall’Emotion Incubator Group con lo scopo di essere
utilizzato in contesti e applicazioni diversi, adattabile alle diverse
teorie dell’emozione.
I concetti e le descrizioni delle scienze affettive vengono rese
disponibili per l’uso in contesti tecnologici.
È possibile trattare con una vasta gamma di stati emotivi
10/19
Emotion ML| Campi di applicazione
Differenti campi di applicazione:
 Opinion mining and sentiment analysis in Web
2.0, monitoraggio del comportamento dell’utente
nelle tecnologie del web come i blog;
 Affective monitoring, monitoraggio affettivo in
applicazioni;
 Character design, controllo per i giochi e i mondi
virtuali;
 Social robot, come robot di guida che coinvolgono
i visitatori;
 Supporto per le persone portatrici di disabilità;
 Realizzazione del contesto emotivo.
11/19
12/19
Emotion ML| Elementi
2 categorie
«Must have»
«Should have»
Elementi principali:
Meta-information:




 Confidence
 Expressed-through
 Info
<category>
<dimension>
<appraisal>
<action –tendency>
13/19
Emotion ML| Elementi
Elementi principali
 <category>
Descrive uno stato emotivo utilizzando appunto
la categoria. È necessario e obbligatorio, poiché
deve esplicitare il nome della categoria.
 <dimension>
È adoperato per descrivere uno stato affettivo
secondo il vocabolario delle dimensioni di
un’emozione.
 <appraisal>
Descrive l’emozione in termini di valutazione
 <action-tendency>
Descrive degli stati affettivi secondo il
vocabolario delle tendenze d’azione
14/19
Emotion ML| Elementi
Meta-information
indica il grado di affidabilità che ci si aspetta
dalla parte di annotazione a cui è legato.
 Confidence
 Expressed-through
 Info
definisce la modalità attraverso cui
un’emozione viene espressa.
può essere utilizzato per annotare metadati arbitrari
e può contenere strutture XML.
Emotion ML| Vocabolario delle emozioni
15/19
Gli elementi principali, per poter rispondere correttamente ai comandi, devono
essere riferiti a uno o più vocabolari per rappresentare le emozioni e gli stati
collegati ad esse.
Il vocabolario viene allegato nelle singole annotazioni.
<category>
<dimension>
 «Big six» di Ekman;
 «Mehrabian's PAD»;
 «Everyday emotion
 «FSRE»;
vocabulary» di Cowie;
 «Intensity».
 «OCC», di Ortony, Clore,
Collins;
 «FSRE», di Fontaine, Scherer,
Roesch, Ellsworth;
 «Frijda», di Frijda.
<appraisal>
 «OCC»;
 «Scherer» di Scherer;
 «EMA» di Gratch e
Marsella.
Esempi applicativi Generazione di comportamento
16/19
Emotion ML
di un sistema di emozioni correlate
Generazione del comportamento di un robot (W3C)
Tag di apertura
1° elemento
2° elemento
3° elemento
4° elemento
5° elemento
Tag di chiusura
<emotionml xmlns="http://www.w3.org/2009/10/emotionml"
xmlns:meta="http://www.example.com/metadata">
<info>
<meta:name>robbie the robot example</meta:name>
</info>
<!-- Robot's current global state configuration: negative, active, powerless -->
<emotion dimension-set="http://www.w3.org/TR/emotion-voc/xml#pad-dimensions">
<dimension name="pleasure" value="0.2"/>
<dimension name="arousal" value="0.8"/>
<dimension name="dominance" value="0.3"/>
</emotion>
<!-- Robot's action tendencies: want to recharge -->
<emotion action-tendency-set="http://www.example.com/custom/action/robot.xml">
<action-tendency name="charge-battery" value="0.9"/>
<action-tendency name="seek-shelter" value="0.7"/>
<action-tendency name="pickup-boxes" value="0.1"/>
</emotion>
<!-- Appraised value of incoming event: obstacle detected, appraised as novel and unpleasant -->
<emotion appraisal-set="http://www.w3.org/TR/emotion-voc/xml#scherer-appraisals">
<appraisal name="suddenness" value="0.8" confidence="0.4"/>
<appraisal name="intrinsic-pleasantness" value="0.2" confidence="0.8"/>
<reference role="triggeredBy" uri="file:scannerdata.xml#obstacle27"/>
</emotion>
<!-- Robot's planned facial gestures: will frown -->
<emotion category-set="http://www.example.com/custom/robot-emotions.xml"
expressed-through="face">
<category name="frustration"/>
<reference role="expressedBy" uri="file:behavior-repository.xml#frown"/>
</emotion>
</emotionml>
Configurazione
dello stato
globale: forte
eccitazione con un
potere limitato di
influenzare la
situazione
Tendenze di
azione del robot:
predomina la
volontà di
ricaricare la
batteria
Individuazione e
valutazione di un
ostacolo
indesiderato:
imprevedibilità e
sgradevolezza
Generazione del
comportamento:
frustrazione con
espressione facciale
Esempi applicativi Generazione di comportamento
17/19
Emotion ML
di un sistema di emozioni correlate
Generazione del comportamento di un robot – Elaborazione personale
Tag di apertura
1° elemento
2° elemento
3° elemento
4° elemento
5° elemento
<emotionml xmlns="http://www.w3.org/2009/10/emotionml"
<info>
<meta:name> Robbie, esempio n°2 </meta:name>
</info>
<!—-Stato attuale del robot-->
<emotion dimension-set="../emotion-voc/xml#new_dimensions">
<dimension name="tristezza" value="0.9"/>
<dimension name="soddisfazione" value="0.1"/>
<dimension name="rabbia" value="0.7"/>
</emotion>
<!—-Tendenze di azione di Robbie, in relazione allo stato attuale-->
<emotion action-tendency-set="../emotion-voc/action-robbie.xml">
<action-tendency name="tornare-indietro" value="0.2"/>
<action-tendency name="superare-ostacolo" value="0.9"/>
<action-tendency name="esaurire-batteria" value="0.1"/>
</emotion>
Tendenze di azione:
prevale la volontà di
superare l’ostacolo
incontrato , piuttosto
che le altre due
azioni
<!—-Valutazione della strategia per superare l’ostacolo -->
<emotion appraisal-set="../emotion-voc/xml#new_appraisals">
<appraisal name="difficolta" value="0.2" confidence="0.3"/>
<appraisal name="comfort" value="0.8" confidence="0.8"/>
<appraisal name="praticita" value="0.9" confidence="0.7"/>
</emotion>
Valutazione della
strategia: Robbie
stima la difficoltà, il
comfort e la praticità
della strategia da
mettere in atto.
<!—-Generazione del comportamento espresso attraverso voce -->
<emotion category-set="../emotion-voc/emozioni-di-robbie.xml"
expressed-through="voice">
<category name="felicita" value="0.9"/>
“Evviva! Ho superato l’ostacolo!”
</emotion>
</emotionml>
Comportamento
finale: è generata
l’emozione di felicità
espressa attraverso
voce.
0
Tag di chiusura
Stato attuale del
robot: senso di
tristezza e di rabbia
molto elevati.
Affective Computing| Conclusione
18/19
Il computer riconosce ed esprime
effettivamente le emozioni umane.
Vantaggi
Realizzazione di calcolatori
emotivamente competenti.
L’Emotion ML come valida
tecnologia
per concretizzare e
mettere in pratica i
concetti sviluppati
dall’Affective Computing.
Svantaggi
I calcolatori emotivamente competenti
potrebbero essere un peso nella vita
quotidiana dell’uomo.
Indagherebbero costantemente sulla
sfera emotiva dell’uomo, anche nei casi in
cui questi non voglia manifestare il
proprio stato emotivo.
Invasione dell’interiorità umana.
Affective Computing| Conclusione
Possibile soluzione
Sfruttare le opportunità dell’Affective Computing in modo
socialmente responsabile, nei casi di effettiva utilità:
soggetti autistici e soggetti con disturbi di manifestazione
dell’emotività.
19/19