Aspetti emozionali dell’esperienza
Università degli Studi di Padova
Dipartimento di Psicologia Generale
Introduzione
ARGOMENTI:

User eXperience

Misure soggettive

Misure comportamentali

Misure fisiologiche

Affective computing

Neuromarketing

Lie detection
User eXperience
Origini del concetto di User eXperience:
Workplace (luogo di lavoro): filone di ricerca che si focalizza sul lavoro come
insieme di attività socialmente e cognitivamente organizzate attraverso le
tecnologie
 Obiettivi: accrescere l’efficienza e l’efficacia
User Experience: termine coniato da Donald Norman per fare riferimento a
tutti gli aspetti dell'esperienza che le persone hanno con i sistemi interattivi
(sensazioni, percezioni, valutazioni, emozioni)
 Tecnologia informatica nella vita quotidiana: "esperienza d’uso"
 Nuovi fattori nello studio della qualità dell'interazione uomocomputer: aspetti soggettivi ed intimi dell'esperienza (piacevolezza,
benessere, emozioni… )
User eXperience
Definizione di User experience:
ISO FDIS 9241 – 210 (2009): «le percezioni e le reazioni
di un utente che derivano dall’uso o dalla previsione
d’uso di un prodotto, sistema o servizio»
Modelli di User eXperience
Donald Norman (2004) identifica 3 livelli di esperienza con la
tecnologia:
 Livello "viscerale": valutazione automatica ed immediata
 Livello "comportamentale": valutazione degli aspetti d'uso
del sistema, della prestazione
 Livello "riflessivo": livello di elaborazione conscio che
prende in considerazione gli aspetti culturali e il significato
dell'uso di un prodotto
Modelli di User eXperience
Modello del "design dell'esperienza" di Garrett (2011):
Modelli di User eXperience
Il diagramma a nido d'ape di Morville (2004)
Le emozioni nell’Esperienza dell’utente
L'ESPERIENZA DURANTE L'USO
Soddisfazione dell'utente:
«La soddisfazione è il grado con cui gli utenti giudicano che le
tecnologie incontrano le loro esigenze»
Ives, Olson, Baroudi (1983)
Overall User Satisfaction: un ‘agglomerato’ di diverse dimensioni
come accuratezza, facilità d’uso, attrattività, divertimento,
coinvolgimento e piacevolezza
Piacevolezza: esperienza sensoriale, qualità edoniche del sistema
o oggetto, emozioni positive o negative (stress) suscitate
Le emozioni nell’Esperienza dell’utente
I giudizi di piacevolezza influiscono sui giudizi di usabilità
es. Studio sull’oscilloscopio (B. J. Fogg, 2003)
Oscilloscopio con messaggi d'errore gentili, valutato come più preciso,
accurato e facile da capire
Le emozioni nell’Esperienza dell’utente
L’esperienza prima dell’uso
LE ASPETTATIVE DELL’UTENTE E L’ACCETTAZIONE:
Modello TAM adattato da Davis et al. (1989)
Le emozioni nell’Esperienza dell’utente
Metodi per lo studio degli
aspetti emozionali
 Misure soggettive
 Misure comportamentali
 Misure fisiologiche
Le emozioni nell’Esperienza dell’utente
Misure soggettive
 Modello circomplesso degli stati affettivi (Russell, 1980)
Le emozioni nell’Esperienza dell’utente
Misure soggettive
 PANAS (Positive and Negative Affect Schedule):
prevede due sottoscale: positiva e negativa
 Sensual Evaluation Instrument (SEI)
Le emozioni nell’Esperienza dell’utente
Misure comportamentali
 Espressioni facciali
 Voce
 Dilatazione pupillare
 Gesti, movimenti e postura
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Muscoli del volto
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Emotion recognition software (ERS)
I software per il riconoscimento delle emozioni:
• Creano una mappa del viso e individuano i punti chiave (es. angoli bocca)
• Elaborazione correlazionale tra la posizione dei punti e modelli predefiniti
• Individuano le emozioni di base (sorpresa, paura, rabbia, tristezza, disgusto,
gioia) ed un'espressione neutra
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Emotion recognition software (ERS)
http://www.youtube.com/watch?v=75YXUZn_0o8
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Elettromiografia facciale
Elettromiografia: tecnica per registrare il potenziale
elettrico generato dalle cellule dei muscoli scheletrici (e
mimici del volto)
Intramuscolar EMG: richiede l'inserimento di elettrodi
a spillo nel tessuto muscolare
Permette il monitoraggio dell'attività anche di
poche fibre muscolari
Surface EMG (sEMG): richiede l'applicazione di elettrodi
sulla pelle
Permette il monitoraggio dell'attività generale del
muscolo
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Surface EMG
Applicazioni della sEMG:
Ricerca neurofisiologica e medica:
• indagini sulla spasticità muscolare, crampi…
• analisi della deambulazione e della postura
Riabilitazione:
• valutazione dell'efficacia dei trattamenti
• biofeedback
Ergonomia:
• design ergonomico del workplace
• monitoraggio e prevenzione del rischio
Sport:
• analisi dei movimenti
• analisi dell'efficacia dell'allenamento
Ricerca sulle emozioni e sullo stress:
• analisi reazioni facciali a stimoli
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Elettromiografia facciale
Siti per elettrodi:
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Elettromiografia facciale
L'analisi dei dati fEMG permette di distinguere:
 "valenza" dell'attivazione emozionale:
 Corrugator supercilii
 Zygomaticus major
negativa
positiva
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Elettromiografia facciale
L'analisi dei dati fEMG permette di distinguere:
 Emozioni di base:
 Gioia:
 Orbicularis oculi
 Zygomaticus major
 Sorpresa:
 Frontalis
 Levator palpebrae superioris
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Elettromiografia facciale
L'analisi dei dati fEMG permette di distinguere:
 Emozioni di base:
 Paura:
 Frontalis
 Corrugator supercilii
 Levator palpebrae
superioris
 Rabbia:
 Corrugator supercilii
 Levator palpebrae superioris
 Orbicularis oculi
Le emozioni nell’Esperienza dell’utente
Espressioni Facciali
Elettromiografia facciale
L'analisi dei dati fEMG permette di distinguere:
 Emozioni di base:
 Tristezza:
 Frontalis
 Corrugator supercilii
 Depressor anguli oris
 Disgusto:
 Levator labii superioris
 Levator labii superioris
alaeque nasi
Le emozioni nell’Esperienza dell’utente
Surface EMG e stress
La sEMG applicata al volto:
 Rileva e misura anche la minima attività
dei muscoli facciali non rilevabile ad occhio
nudo
 Interessante l'attività del corrugator
supercilii
Le emozioni nell’Esperienza dell’utente
Surface EMG e stress
La sEMG applicata al muscolo trapezio:
 tensione trapezio aumenta con lo stress
Le emozioni nell’Esperienza dell’utente
Voce
Nella UX il riconoscimento delle emozioni dalla voce può
essere usato per:
 Verbalizzazioni spontanee dell'utente
 Risposte a interviste
 Verbalizzazioni ottenute tramite il "thinking aloud"
Le emozioni nell’Esperienza dell’utente
Voce e
Stress
Alcune caratteristiche vocali legate allo stress:
 Frequenze più alte
 Maggiore intensità nelle alte frequenze
Le emozioni nell’Esperienza dell’utente
Dilatazione pupillare
Il diametro pupillare è regolato dall'azione antagonista di due muscoli:
 Sfintere o costrittore della pupilla ad innervazione parasimpatica
 Dilatatore della pupilla ad innervazione simpatica
Cause della dilatazione/costrizione:
Illuminazione:
 Oscurità
 Luminosità
Dilatazione
Costrizione
Distanza del punto focale:
 Lontano
Dilatazione
 Vicino
Costrizione
Attivazione cognitiva/emozionale
Dilatazione
Le emozioni nell’Esperienza dell’utente
Dilatazione pupillare e stress
Nella ricerca sull'esperienza emozionale/stress, la dilatazione pupillare:





È indice di arousal
richiede la standardizzazione degli stimoli rispetto alla luminosità
Non permette la distinzione tra emozioni "positive" e "negative"
Strumento di misurazione: eye tracker
Misura: valori medi del diametro pupillare
Le emozioni nell’Esperienza dell’utente
Gesti, movimenti e postura
"Gesti espressivi":
 movimenti capaci di trasmettere e comunicare quello che stiamo
provando, un'emozione, un atteggiamento, un'intenzione
 Si studia la qualità del movimento piuttosto che la funzionalità del
gesto (forza/delicatezza, grazia/noncuranza… )
Metodo:
Analisi video con
giudici indipendenti
Le emozioni nell’Esperienza dell’utente
Misure fisiologiche
Le misure principalmente utilizzate nello studio delle
emozioni:
 Attività cardiaca
 Pressione sanguigna
 Frequenza respiratoria
 Attività elettrodermica (EDA)
 Temperatura
 Elettroencefalogramma (EEG)
Le emozioni nell’Esperienza dell’utente
Attività cardiaca
Elettrocardiogramma (ECG): registrazione
grafica dell'attività elettrica del cuore
prodotta
dalla
polarizzazione
e
depolarizzazione delle cellule cardiache
Le emozioni nell’Esperienza dell’utente
Attività cardiaca
Il tracciato ECG è formato da "onde":
 Onda P: prima onda, di piccole dimensioni prodotta dalla
depolarizzazione degli atri
 Complesso QRS: insieme di tre onde prodotte dalla
depolarizzazione dei ventricoli
 Onda T: onda di piccole dimensioni prodotta dalla
ripolarizzazione dei ventricoli
 Onda U: onda di piccole dimensioni prodotta dalla
ripolarizzazione dei muscoli papillari
Heart rate: dipende dalla distanza R-R e si esprime in beats per minute (bpm)
Heart rate variability: variabilità della distanza R-R e si esprime attraverso vari
indici:
 SDANN: deviazione standard della media di 5 min degli RR
 SDSD: deviazione standard delle differenze tra intervalli RR adiacenti
Altri indici di HRV sono calcolati nel dominio della frequenza (Hz)
Le emozioni nell’Esperienza dell’utente
Attività cardiaca
Gli impulsi nel miocardio generano differenze di potenziale che variano
nello spazio nel tempo e che possono essere registrate tramite degli
elettrodi posti sulla superficie corporea formando delle derivazioni
Wearable sensors
Due elettrodi = una derivazione ECG
Le emozioni nell’Esperienza dell’utente
Attività cardiaca e stress recognition
Gli eventi stressanti producono:
 Un aumento dell'attività Simpatica
 Una riduzione dell'attività Parasimpatica
Questo determina:
 un aumento della Heart Rate
 Cambiamenti nei parametri della Heart Rate Variability:
Es.: LF/HF (rapporto tra Low e High frequency)
LF riflette l'attività del sistema simpatico
HF riflette l'attività del sistema parasimpatico
Le emozioni nell’Esperienza dell’utente
Attività elettrodermica (EDA)
Definizioni e terminologia dei fenomeni elettrodermici
EDA (electrodermal activity): si riferisce a tutti i fenomeni elettrici della pelle (attivi e
passivi); vengono usati anche i termini:
 EDL (electrodermal level): livello tonico (nel lungo termine)
 EDR (electrodermal response): livello fasico (nel breve periodo)
SP (Skin potential): attività elettrica della pelle senza l'applicazione di sorgenti esterne
di corrente; essa si suddivide in:
 SPL (Skin potential level): attività tonica
 SPR (Skin potential response): attività fasica
SR (Skin resistance): resistenza della pelle al passaggio di una corrente continua:
 SRL (Skin resistance level): livello tonico
 SRR (Skin resistance response): livello fasico
SC (Skin conductance): conduttanza della pelle al passaggio di una corrente continua:
 SCL (Skin conductance level): livello tonico
 SCR (Skin conductance response): livello fasico
GSR (Galvanic skin response): in letteratura si trova ancora questa definizione vetusta
Le emozioni nell’Esperienza dell’utente
Attività elettrodermica (EDA)
La Skin conductance:
 Si misura in microsiemens (µS) con un dispositivo
dotato di due elettrodi da applicare sulla pelle
 Varia con il livello di umidità della pelle
 Poiché le ghiandole sudoripare eccrine sono innervate dal sistema
nervoso simpatico, la SC è un buon indice di arousal
 le ghiandole eccrine sono presenti un tutta la superficie del corpo ma in
una densità maggiore nei palmi delle mani e nelle piante dei piedi
Le emozioni nell’Esperienza dell’utente
EDA e stress recognition
Gli eventi stressanti producono:
 un aumento dell'attività Simpatica
 un aumento della secrezione da parte delle ghiandole eccrine
 un aumento dell'umidità della pelle
 un aumento della conduttanza cutanea
Affective Computing
Cos'è l'Affective Computing ?
Sistemi informatici sensibili capaci di riconoscere ed esprimere
le emozioni. Computer dotati di meccanismi interni di intelligenza
emotiva in grado di relazionarsi con l’utente anche attraverso il
canale emozionale
Dove l’Affective Computing incontra la HCI:
1. Ridurre la frustrazione dell’utente
 Progettazione
 Interazione (es. DGB: Dynamic Game Balancing)
2. Consentire all’utente la comunicazione emozionale
RW Picard (1999)
Affective Computing
Dynamic Game Balancing by Recognizing Affect
The emotionally adaptive games loop
Affective Computing
http://www.youtube.com/watch?v=PwiVejMjn6A
http://www.youtube.com/watch?v=xyFZl7lCz_s&list=PL0A
9DCC6AAC058DDF&index=6
Neuromarketing
Dove vanno le mani, gli occhi sono già stati. Dove gli occhi sono stati,
la mente è già volata. Dove la mente è volata, ci sono già state
emozioni. Dove c’è emozione, c’è vita.
Bharata, Natya Shastra, 2000 a.C.
Neuromarketing
Origini
La Neuroeconomia
La Neuroeconomia e un campo di ricerca emergente la cui funzione è
"quella di contribuire alla comprensione di una varietà di comportamenti umani, che in linea di principio sono ascrivibili alla sfera economica, ma che i modelli economici classici trascurano o non spiegano
fino in fondo."
Gironde S. (2008)
Neuromarketing
La Neuroeconomia si sviluppa nel solco dell'economia comportamentale
che nasce dalle intuizioni di Kahneman e Tversky (1979) (Teoria del
prospetto/Funzione del valore)
La Neuroeconomia riceve un forte impulso intorno alla metà degli anni
Novanta, quando Antonio Damasio pubblicò i suoi lavori sul ruolo delle
emozioni nel processo decisionale (Damasio, A. (2008); L’errore di
Cartesio: emozione, ragione e cervello umano)
Neuromarketing
Oggetto di studio della Neuroeconomia:
 Perché alcune persone decidono di correre dei rischi e altre no?
 Come possiamo sapere se le scelte che facciamo sono quelle giuste?
 È vero che prendiamo una decisione considerando un insieme di
possibilità e pesando, per ognuna di queste, i pro e i contro?
 Ma poi, prendiamo veramente delle decisioni o si tratta solo di
un’illusione procurataci dal cervello, magari a nostro beneficio?
(e.g., L’orologio di Libet)
Neuromarketing
Cos’è il Neuromarketing ?
Il Neuromarketing consiste nell’applicazione dei metodi neuroscientifici
per analizzare e comprendere il comportamento umano in relazione ai
mercati e agli scambi commerciali
Lee, Broderick & Chamberlain (2006)
GLI STRUMENTI
Le misure biometriche tipicamente usate per conoscere il consumatore:








Elettroencefalogramma (EEG)
Functional magnetic resonance imaging (fMRI)
Magnetoencefalografia (MEG)
Positron emitted tomography (PET)
Heart Rate (HR)
Electrodermal activity (EDA)
Elettromiografia facciale (fEMG)
Eye Tracking
Neuromarketing
Alcuni limiti delle misure esplicite (self-report) nelle indagini
di mercato:
"Le misure esplicite (self-assessment) comunemente usate nelle
ricerche di mercato fanno totale affidamento sull’abilità e disponibilità
del rispondente di riportare accuratamente i suoi atteggiamenti e/o
comportamenti precedenti" (Petty e Cacioppo, 1983)
 Memoria
 Desiderabilità sociale
Neuromarketing
Applicazioni del Neuromarketing
1) Studiare le reazioni del consumatore agli annunci pubblicitari
2) Consumer choice-making
3) Aree cerebrali della soddisfazione e della ricompensa
Neuromarketing
Applicazioni del Neuromarketing
Studiare le reazioni del consumatore agli annunci pubblicitari
Skin conductance/Heart rate/Startle response: Walla et al. (2011)
Partecipanti: 29 (15 maschi e 14 femmine)
Stimoli: 300 brand conosciuti e classificati come "piacevoli", "spiacevoli"
Misure: SC, HR, Startle response
Risultati:
• SC: "piacevoli" < "spiacevoli"
• HR: "piacevoli" < "spiacevoli"
• Startle response: "piacevoli" < "Spiacevoli"
Neuromarketing
Applicazioni del Neuromarketing
Studiare le reazioni del consumatore agli annunci pubblicitari
EEG: Vecchiato et al. (2011)
Partecipanti: 11 (8 maschi e 3 femmine)
Stimoli: documentario 30 min. con 3
interruzioni pubblicitarie
Misure: EEG; ZIM = Zdx – Zsx
(Indice di asimmetria)
Intervista: (2h dopo) sulla piacevolezza
degli spot
Neuromarketing
Applicazioni del Neuromarketing
Studiare le reazioni del consumatore agli annunci pubblicitari
Risultati:
L'indice di asimmetria:
•
in alpha correla positivamente con
il grado di piacevolezza percepita e
attribuita agli spot
•
in theta correla negativamente
Lie detection
Il poligrafo
Definizione (dizionario Webster): "Strumento per registrare simultaneamente
i tracciati di varie pulsazioni diverse; in senso lato: RIVELATORE DELLA
MENZOGNA"
Tuttavia:
 Il poligrafo non rivela la menzogna in sé, perché non vi sono segni
esclusivi della menzogna
 Il poligrafo misura lo stress del
mentire
I segni di alterazione neurovegetativa vengono misurati dal poligrafo attraverso:
 Cintura pneumatica al petto e allo stomaco (frequenza ed ampiezza del respiro)
 Manicotto al braccio che registra l'attività cardiaca
 elettrodi alle dita per la conduttanza cutanea
Lie detection
Il poligrafo
Le procedure d'interrogatorio con il poligrafo:
La tecnica della domanda di controllo:
Al sospettato vengono poste domande rilevanti riguardo al crimine (es. "Li ha rubati
lei i 750 dollari?"), ma anche domande di controllo
Esempio domanda di controllo:
L'esaminatore può dire al soggetto: "Siccome questa è una faccenda di furti, ho
bisogno di farle alcune domande generali a proposito del furto e sulla sua onestà
personale. Dobbiamo farlo per stabilire che tipo di persona è lei rispetto a questo
problema e determinare se è o non è quel tipo di persona che potrebbe aver rubato e poi mentire in proposito. Quindi, se le chiedo: durante i primi diciotto anni della
sua vita ha mai preso qualcosa che non le apparteneva? Come risponderebbe a
questa domanda?"
Lie detection
Il poligrafo
Le procedure d'interrogatorio con il poligrafo:
La tecnica della domanda di controllo:
Obiettivi:
 creare la possibilità che un innocente sia più preoccupato della sincerità
delle sue risposte alle domande di controllo che alle domande rilevanti
 Un colpevole invece sarebbe più preoccupato dalla menzogna che dice
in risposta alle domande rilevanti, perché queste rappresentano per lui la
minaccia più grave ed immediata
Lie detection
Il poligrafo
Le procedure d'interrogatorio con il poligrafo:
Il metodo della conoscenza colpevole:
 L'investigatore deve essere al corrente di certi particolari del delitto che solo il
colpevole conosce
 Esempio: nessuno (tranne l'investigatore e la persona derubata) sa quanto
denaro è stato sottratto. L'investigatore chiederà al sospettato:
"Se è stato lei a rubare il denaro, saprà quanto era. Quanti erano: 150 dollari?
350 dollari? 550dollari? 750 dollari? 950 dollari?"
Obiettivo:
 Data la sua conoscenza, il colpevole riconoscerà persone, oggetti ed eventi
associati al delitto questo riconoscimento provocherà in lui un'attivazione emotiva
Riferimenti bibliografici
Lee N, Broderick AJ, Chamberlain L. What is neuromarketing? A discussion
and agenda for future research. Int. J. Psychophysiol. 2007;63:199–204.
Picard, R.W., 1999. Affective computing for HCI. Proceedings of the Eighth
International Conference on Human–Computer Interaction: Ergonomics and
User Interfaces, vol. I. Lawrence Erlbaum.
Gamberini, L., Chittaro, L., Paternò, F. (a cura di), 2012. Human-Computer
Interaction. I fondamenti dell'interazione tra persone e tecnologie. Pearson
Italia. CAP. 7