La prosodia audiovisiva:
la teoria
Diane Brentari
Purdue University
10 aprile, 2008
Oggi, ci poniamo queste
domande:





Quali sono i tratti visivi usati per realizzare la
prosodia?
Qual è il rapporto temporale fra i tratti
prosodici visivi e quelli orali?
Come si sviluppano i tratti visivi?
Qual è il rapporto fra i tratti prosodici visivi
nelle lingue orali e nelle lingue dei segni?
Quali sono le applicazioni di questa ricerca
nel campo della realtà virtuale?
Le dimensioni dei gesti:




icona
metaforica
deittica
battuta (“beat”): la dimensione più
importante per la prosodia
la dimensione battuta (“beat”)

l’uso del corpo o della mano come una
bacchetta che segue il ritmo del
discorso.
le dimensioni significativi



iconica: la forma del gesto rappresenta
tratti visivi e significanti.
metaforica: la forma del gesto
rappresenta un’immagine astratta
deittica: la forma o il movimento del
gesto è usata per la localizzazione degli
oggetti nello spazio
“lexical affiliate” vs. “parola cosegmentale”


“lexical affiliate”: la parola o le parole che
sono più vicine al gesto in significato.
“parola co-segmentale”: la parola prodotta
simultaneamente con il gesto.
Il mio punto qui è che non è obbligatorio che
questi 2 concetti corrispondano alle stesse
parole.
i gesti non sono soltanto delle
mani






le guance
le sopracciglia
gli occhi
la testa intera
le spalle
il busto
i gesti servono

ai parlanti



per ricordare e per esprimere le parole,
per sostenere la catena di discorso, e
agli ascoltanti


per decidere dov’è la cesura fra le frasi;
per decidere la prominenza della frase
Kramer & Swerts (di prossima
pubblicazione)
Tratti visivi e prominenza:
 C’è un effetto dei tratti visivi sulla prominenza
delle parole?
Ipotesi:
 Un gesto + un accento ha un effetto sulla
prominenza, cioè la prominenza aumenta su
quella parola e diminuisce sulle altre parole
3 esperimenti sulle battute
1.
2.
3.
“fare” le battute: Che cosa fanno i
partecipanti con la voce quando usano
anche i gesti?
“ascoltare” le battute: Quando i partecipanti
ascoltano a loro frasi, sono in grado di
percepire che cosa fanno con la voce
quando usano anche i gesti?
“vedere” le battute: Quando i partecipanti
guardano e ascoltano le loro frasi, che
giudizio danno sulla prominenza?
tutti gli esperimenti

Amanda va a Malta (in olandese)



“Amanda gaat naar Malta.”
L’accento può essere su “Amanda” o su
“Malta” o può anche non esserci.
I partecipanti: 10 (E1-E2), 20 (E3).
Esperimento 1: ‘fare’ battute

18 condizioni; 2 x 3 x 3

Parola (2 valori):


Battuta (3 valori):


‘Amanda’ (W1) o ‘Malta’ (W2)
le sopracciglia, la testa, le mani
Effetto acustico (3 valori):

accento W1, accento W2, Ø
Risultati (E1): effetti acustici

gli effetti acustici sono ‘normali’



frequenza: accento su W1 o W2 è correlato a un
F0, F1 più alta ; meno effetto su F2, poco effetto
su F3.
durata: l’accento su W1 è correlato a una vocale
più lunga;
energia: l’accento su W1 o W2 è correlato a più
energia (più forte) sulla vocale.
Risultati (E1):
gli effetti della battuta sul segnale

effetto della battuta


accento + battuta su W1 o W2 è correlato
a un F2 più basso.
accento + battuta su W2 è correlato a una
vocale più lunga.
Quindi, ci sono effetti del gesto sull’
accento, ma sono percepibili?
Esperimento 2:
‘ascoltare’ battute

10 persone hanno dato giudizi
sull’accento delle vocali:




0 (nessun accento)
1 (accento minore)
2 (accento chiaro)
Misura di “prominence difference”:

∑ W1 prominenza - ∑ W2 prominenza
Risultato (E2)

C’è un effetto della battuta sulla prominenza
percepita. Cioè una parola + battuta è correlata a una
prominenza aumentata. Invece, la prominenza
relativa all’altra parola sembra essere diminuita. Tutti
i tre tipi di battuta avevano questo effetto (le
sopracciglia, cenno del capo, battute manuali).
Quindi, gli effetti del primo esperimento sono
percepibili quando i partecipanti ascoltano, ma
vorremmo sapere se c'è un effetto dei gesti sulla
percezione.
Esperimento 3: ‘vedere’
battute

Qual’è la differenza fra la condizione
audio e la condizione audiovisiva? C’è
una differenza fra che cosa si
percepisce quando si ascolta soltanto e
che cosa si percepisce quando si
ascoltano e si vedono le frasi
contemporaneamente?
Analisi dei tratti


accento: W1, W2, Ø
tipo di battuta: le sopracciglia, le battute
manuali;



cenno del capo è stato tolto)
Dov’è la battuta: W1, W2
Parlante: (primo, secondo, terzo)

soltanto 3 delle 10 sono stati usati
Risultati (E3)



+ accento: Quando si vede una battuta
manuale sulla prima parola, la prominenza
di questa è aumentata, mentre è diminuita
sulla seconda parola. Vice versa quando la
battuta è sulla seconda parola.
- accento: Quando una battuta è sulla parola
senza accento la prominenza della parola +
accento è diminuita.
L’effetto è lo stesso (ma meno forte) quando
la battuta è realizzata dalle sopracciglia.
Effetto della battuta sulla
prominenza percepita
prima parola
seconda parola
La conclusione

Le battute hanno un effetto
forte sulla percezione di
prominenza, quindi l’ipotesi
è stata confermata.
Brentari, González & Seidl
(di prossima pubblicazione)

Senza nessuna esperienza di segnato, gli udenti
hanno intuizioni su come usare i tratti prosodici di
una lingua dei segni per decidere dove sono i confini
fra le frasi segnate? La risposta prevista è: ‘si’

Quali sono le differenze fra segnanti e nonsegnanti
nella percezione di questi tratti prosodici? È vero che
i segnanti e i nonsegnanti usano i tratti prosodici in
modi diversi? La risposta prevista è: ‘si’
Tratti prosodici nella Lingua
dei Segni Americana (ASL)

Movimenti delle sopracciglia (Wilbur 1994, Liddell
1980) [non ne parliamo qui]


Il prolungamento del segno intero, sopratutto
tratti di movimento (Wilbur 1999, Tang, et al. in press)
Il prolungamento dell’ultimo segmento
(Perlmutter 1992, Brentari 1998)



Quando le mani si abbassano (Nicodemus, 2006)
Il battito delle ciglia (Wilbur 1994, Liddell 1980)
Le pause (Brentari & Poizner, 1994)
La struttura dell’esperimento


Questo esperimento è focalizzato sul
confine delle frasi intonazionali (“IPhrase”).
Gli stimoli sono stati costruiti come
piccoli discorsi. Hanno esattamente



gli stessi segni,
le stesse sillabe, ma
confini diversi delle frasi intonazionali.
la procedura



Fase “Familiarizzazione” (passaggi lunghi)
Fase “Test”(passaggi brevi)
Modulo di risposta su carta. Due domande:


Fra i 2 segni, c’è una cesura? (si/no),
Quanto è sicuro della Sua risposta?


(10:molto - 0:niente affatto).
Nessun limite di tempo.
il metodo

i partecipanti:



8 segnanti (20+anni d’esperienza);
8 non-segnanti udenti
Stimoli:

10 passaggi lunghi


2 paia di segni a ciascun passaggio breve (20)



fase ‘familiarizzazione’
fase ‘test’
20 paia x 2 segnanti diversi = 40 paia
3 volte ogni passaggio breve
(60 stimoli con 2 pezzi di frasi diversi, 60 stimoli di una frase
intera)
esempio di un paio dei passaggi lunghi
(sono segnati tutti come se fossero
segnati a un bambino)
A.
ANIMALE TEND THEIR STRANGE. SNAKE
BIG STILL MOVE FAST CAN. ALWAYS HAVE
PLENTY EAT.
A.
B.
Gli animali hanno le caratteristiche strane. I serpenti grandi si
possono comunque muovere velocemente. Sempre se hanno
abbastanza da mangiare.]
YESTERDAY MORNING MY GARAGE SAW
SNAKE BIG. STILL MOVE FAST CAN
ALWAYS. CHASE. ‘
A.
Ieri mattina nel mio garage ho visto un serpente grande. Si
può comunque muovere velocemente. L’ho cacciato!
passaggio lungo “A”:
ANIMAL TEND THEIR STRANGE. SNAKE BIG STILL MOVE
FAST CAN. ALWAYS HAVE PLENTY EAT. [Gli animali hanno
caratteristiche strane. I serpenti grandi si possono comunque muovere
velocemente. Sempre se hanno abbastanza da mangiare.]
QuickTime™ and a
Sorenson Video 3 decompressor
are needed to see this picture.
passaggio lungo “B”:
YESTERDAY MORNING MY GARAGE I SAW SNAKE BIG.
STILL MOVE FAST CAN ALWAYS. CHASE.
[Ieri mattina nel mio garage ho visto un serpente grande. Si può
comunque muovere velocemente. L’ho cacciato!]
QuickTime™ and a
Sorenson Video 3 decompressor
are needed to see this picture.
I tratti previsti e quelli
presenti:
previsti
prol.seg.
mani abb.
battito ciglia
pause
ø
si
ø
prol.segno
nella fra le
frase frasi
forte
ø
ø forte
si
si
ø
I tratti previsti e quelli
presenti:
Passaggio A
prol.segno
prol.seg.
previsti
nella fra le
frase frasi
forte
ø
ø forte
BIG STILL
nella
frase
CAN. ALWAYS
si
fra le
frasi
forte
si
forte
mani abb.
ø
si
ø
ø
battito ciglia
pause
ø
si
si
ø
ø
si
si
ø
I tratti previsti e quelli
presenti:
Passaggio A
Passaggio B
previsti
prol.segno
nella fra le
frase frasi
forte
ø
ø forte
prol.seg.
BIG STILL
BIG.STILL
nella fra le
frase frasi
CAN. ALWAYS
CAN ALWAYS
nella fra le
frase frasi
forte
ø
si
forte
si
forte
si
forte
mani abb.
ø
si
ø
ø
ø
ø
battito ciglia
pause
ø
si
si
ø
ø
ø
si
ø
ø
si
si
ø
questo è stato tagliato questo del passaggio “A”:
SNAKE BIG STILL MOVE FAST CAN. ALWAYS
[I serpenti grandi si possono comunque muovere velocemente. Sempre]
questo è stato tagliato del passaggio “B”:
SNAKE BIG. STILL MOVE FAST CAN ALWAYS
[Un serpente grande. Si può comunque muovere velocemente.]
Modulo di risposta (un pagina)
BIG
STILL
CAN
ALWAYS
Between the two signs shown is there a sentence break? yes ___no ___
[Fra i 2 segni, c’è una cesura? (si/no)]
How confident are you in your answer? 10 9 8 7 6 5 4 3 2 1 0
[Quanto sicuro è della Sua risposta?]
very
[molto]
not at all
[niente affato]
i risultati sono stati analizzati
secondo queste categorie
2 pezzi dei
frasi diversi
1 frase
si
corretto +
spaglio +
no
spaglio -
corretto -
La accuratezza

La prova statistica d’ dimostra che non c’era un
effetto del gruppo sulla accuratezza.
I segnanti sono stati più accurati nella categoria di
“corretti +”: 86% segnanti; 76% nonsegnanti
I nonsegnanti sono stati più accurati nella categoria di
“corretti -”: 76.5% segnanti; 85% nonsegnanti

I segnanti mostrano meno variabilità.
Analisi degli stimoli costituiti da
pezzi delle 2 frasi (Logical Regression)
Effetto
DF
p-value
Effetto
DF
p-value
Pause
1
0.0111
Pause
1
<.0001
Bat.occhi
1
0.1266
Bat.occhi
1
0.0444
Prol.(segno)
1
0.3256
mani cadute
1
0.0674
mani cadute
1
0.4322
Prol.(segmento)
1
0.1248
Prol.(segmento)
1
0.6556
Prol.(segno)
1
0.1471
Segnanti
Non-segnanti
Analisi degli stimoli costituiti da 1
frase intera (Logical Regression)
Effetto
DF
p-value
Effetto
DF
p-value
Prol.(seg)
1
<.0001
Prol.(seg)
1
< 0.0001
Bat.occhi
1
0.0938
mani cadute
1
0.0052
mani cadute
1
0.1031
Bat.occhi
1
0.1033
Pause
1
0.1327
Prol.(segno)
1
0.1719
Prol.(segno)
1
0.5203
Pause
1
0.7413
Segnanti
Non-segnanti
Conclusioni

Segnanti e nonsegnanti possono entrambi identificare
quando c’è uno spazio fra 2 frasi.




Quindi la prima ipotesi è stata confermata.
I segnanti mostrano meno variazione
I segnanti focalizzano su un tratto solo, mentre
nonsegnanti focalizzano su due tratti (almeno).
I segnanti e i nonsegnanti sono sensibili a tratti simili:


La pausa è il tratto più importante quando c’è una cesura nell
stimolo.
Il prolungamento segmentale è il tratto più importante negli
stimoli costituiti da una frase intera (senza una cesura).

Quindi anche la seconda ipotesi è stata confermata.
Alcune domande sulla
prosodia (sono solo esempi)



Quando un gesto e l'accento sono simultanei, quante
volte il gesto è soltanto una battuta, e quante volte
c'è un altra dimensione di significato.
Quando c'è un altra dimensione di significato, quale è
la dimensione?
Qual'è il rapporto fra i gesti emblematici e la
prominenza? Gesti emblematici hanno uno
significato di per sé; e.g., ‘non me ne frega nulla di
q.c’, ‘cosa/perché’, ‘perfetto’). Di solito succedono
senza parole, ma qual’è il rapporto fra il gesto e le
parole prima o dopo il gesto?
la distribuzione delle dimensioni dei
gesti (McNeill 1992)
tipo di frase
narrativa
extra-narra tiva
totale
iconica
41%
14%
261
battuta
25%
54%
263
metaforica
2%
13
43
deittica
5%
1%
28
nessuno
27%
18%
190
totale
543
247
790
Vi invito a scegliere 1 minuto dei 2 video diversi, fare
una paragone di qualche tipo, e preparare una piccola
presentazione per la prossima volta.




IT narrativo <-> ING narrativo
IT extra-narrativo <-> ING extra-narrativo
IT narrativo <-> IT extra-narrativo
ING narrativo <-> ING extra-narrativo
--presentazione di10 minuti