La comunicazione nella Realtà Virtuale
Davide Gadia, Daniele Marini, Raffaella Folgieri
Corso di Ambienti Virtuali Immersivi e Interattivi
Laurea Magistrale in Informatica per la Comunicazione
a.a. 2012/2013
RV e comunicazione
• Una sessione di RV è un processo di comunicazione



tra esseri umani mediato da un elaboratore
usa interazione, visualizzazione e altri stimoli sensoriali
per trasferire informazione
RV e comunicazione
• Qualche domanda:




Come la RV risolve un problema di comunicazione?
Qual’è la sua potenza espressiva nello stabilire la
comunicazione?
Che linee guida si possono seguire per progettare un sistema
efficace?
Quali sono i modelli di RV più rilevanti?
Ma soprattutto: cos’è la realtà nella RV?
• La realtà non è una caratteristica intrinseca della RV

è il risultato di un modo convenzionale di codificare
l’informazione
• Nella RV compare il termine realtà, per indurre a pensare che
uno scenario virtuale sia reale
Verisimiglianza
• Usiamo il termine verisimiglianza per denotare un grado
desiderato di corrispondenza con il reale simulato
• Lo scopo della RV è di indurre chi la usa a ritenere che sta
interagendo con la cosa vera, sfruttando la verisimiglianza
• Ma verisimile non implica per forza l'uso del realismo*
*N. Goodman - I linguaggi dell’arte, Il Saggiatore, Milano, 1968
Rappresentazione
• La rappresentazione è un simbolo di un oggetto (lo denota)
• Non c’è bisogno di alcuna somiglianza della rappresentazione
(simbolo) con l’oggetto rappresentato

Ma nella rappresentazione visiva la somiglianza è importante!
Rappresentazione
• La nozione di somiglianza è vaga:

un oggetto ha infiniti modi di essere
 …, una forma, un comportamento, un colore, …
 …, una temperatura, una tessitura, un materiale, …
• Chi crea la rappresentazione deve scegliere sotto quale modo
rappresentare l’oggetto

quindi predispone una interpretazione della rappresentazione
Rappresentazione
• Esempio: la prospettiva:




tende a catturare la somiglianza, a rendere l’idea
per comprendere la prospettiva occorre però un
addestramento,
non è una proprietà innata
Nella creazione artistica la prospettiva geometrica può
essere forzata e piegata per facilitare la comprensione o
enfatizzare aspetti
• Non c’è quindi una regola universale per catturare la
somiglianza con la prospettiva
Rappresentazione
• E' quindi una figura che opera come una descrizione
• Quando guardiamo una rappresentazione possiamo
tentare di giudicare la somiglianza chiedendoci:


cosa descrive?
che tipo di descrizione è?
Rappresentazione
• Un oggetto può quindi essere considerato come tale o come
figura che lo rappresenta
Ancora su somiglianza e realismo
• Somiglianza tra oggetto rappresentato e rappresentante non è
requisito sufficiente per capire il realismo
• Cosa è allora il realismo?
Alcune risposte possibili - 1
• L' oggetto rappresentato può essere scambiato per l’originale
• L'illusione ha funzionato!
• No!

Questo nella pittura è impossibile

Vedi ancora la “pipa di Magritte”

Nella RV è ancora più difficile data la varietà dei modi con cui
l’oggetto può essere considerato
Alcune risposte possibili - 2
• La rappresentazione più realistica è quella che ha il maggior
contenuto di informazione
• No!

Una foto e il suo negativo hanno lo stesso contenuto informativo

Anzi, in teoria dell'informazione, il negativo ne ha di più!

E il negativo è meno somigliante
Alcune risposte possibili - 3
• Basiamoci su un concetto di fedeltà:




Il livello di esattezza con cui l'oggetto rappresentato è copiato o
riprodotto
In questo caso, una foto e il suo negativo non hanno lo stesso
grado di fedeltà
il positivo è più fedele, si decodifica più rapidamente
per decodificare il negativo occorre addestramento
• Risposta non ancora soddisfacente:


Limitata
 unica soluzione proposta è una rappresentazione il più
possibile vicina all'originale
Non considera l'effettiva capacità di decodifica del messaggio
comunicato
Alcune risposte possibili - 4
• Il realismo dipende dalla facilità di interpretazione o di
decodifica della rappresentazione


dipende quindi da stereotipi usati nella rappresentazione
quindi da fattori legati alla cultura, allo stile, all' esperienza
dell'utente
• Concludendo, il realismo non è una proprietà intrinseca


è uno stile esso stesso
una scelta retorica
Obiettivo di comunicazione nella RV
• Creare rappresentazioni per la RV che siano di immediata e
facile decodifica

con qualunque mezzo, che si discosta anche dalla somiglianza o
dalla fedeltà
• Ciò si può ottenere con artifici retorici, in particolare
metafore e allegorie
RV dal punto di vista della comunicazione
• Attua un processo di comunicazione
• Mette in scena una rappresentazione del mondo reale o di un
mondo ideale




Dinamica e interattiva
Con adeguata verosimiglianza
Ricorrendo ai necessari artifici retorici
Stimolando emozioni per trasmettere il messaggio voluto
Tassonomia di modelli di RV
• Basata su principi di semiotica, retorica e di teoria della
comunicazione
• In un processo di comunicazione:



Livello sintattico
Livello semantico
Livello pragmatico
Livello sintattico
• Sintassi:


La disciplina che considera gli elementi di un linguaggio
indipendentemente dal loro significato
ne studia la struttura a vari livelli di complessità ed
aggregazione degli elementi
• Nella RV la scelta del linguaggio determina


la forma della rappresentazione
la soluzione per l'evoluzione dinamica e interattiva del sistema
Livello sintattico
• Nella RV è composto da tre elementi:



la struttura
 fondata principalmente sulla visualizzazione
 e sulla scelta degli aspetti retorici necessari per suscitare le
emozioni nell'utente
L’ interazione
 Sviluppa e attua l’aspetto dinamico del sistema di RV
Il modello
 È la rappresentazione formale (interna) del mondo (fisico o
ideale) simulato
 esprimibile in modo matematico o approssimato
 con leggi tratte dalla fisica o del tutto di fantasia
Livello sintattico: struttura
• Correlata ai linguaggi disponibili per rappresentare visivamente
la replica del mondo fisico (o ideale)


il disegno e in generale la raffigurazione della forma o di altri modi
degli oggetti
Es: funzioni, organizzazione, struttura interna, …
• Classificazione per la scelta della migliore rappresentazione


Dal graphic design: nozione di livello di iconicità*
 Livello di somiglianza o analogia tra denotante e denotato
Uso di metafore o allegorie visive
* Anceschi G. (1992) L’oggetto della rappresentazione, Milano
* Moles A., (1970 ) L'affiche dans la société urbain, Paris
Tassonomia dei livelli di iconicità (Moles)
1. L'oggetto originale
2. Rendering 3D (prospettiva
e background)
3. Fotografia ritoccata
4. Semplificazione al tratto
5. Vista anatomica
6. Disegni costruttivi
7. Disegni costruttivi
normalizzati
8. Diagrammi di flusso
9. Simboli normalizzati
10. Diagrammi logici
11. Diagrammi di campo
12. Astrazione perfetta
Effetti retorici
A - Rappresentazione mista (modello 3D + astrazione perfetta)
B – Tagli e sezioni
C - endoscopia
Livelli di iconicità (verisimiglianza) nella CG
1. Fotorealismo
2. Impressionismo (image
based rendering)
3. Modelli di illuminazione
globali
4. Modelli di illuminazione
locali
5. Smooth shading
6. Flat shading
7. Disegni al tratto con
eliminazione linee nascoste
8. Disegni al tratto 2D
9. Proiezioni ortografiche
piane di forme 3D
10. Prospettiva al tratto
Livelli di verisimiglianza e livelli di iconicità
Livello sintattico: interazione
• RV sistema dinamico
• Gestione interazione è essenziale

Navigazione

Tempo reale e tempo artificiale
• Scelta modalità di interazione deve essere coerente con il
livello di iconicità adottato
Modalità di interazione
1. Linguaggio naturale
2. Phidgets
3. Manipolazione
diretta
4. Realtà aumentata
3
5. Metafora fisica
6. Widgets
7. Basata su menu
8. A moduli
9. A comandi
1
2
5
4
6
8
7
9
Modalità di interazione e livelli di iconicità
Livello sintattico: modello
• Modellare in RV un sistema reale è assai complesso
 definire proprietà strutturali del mondo (geometria)
 definire le caratteristiche del modello di simulazione dei
processi fisici e chimici





Massa
Dinamica rotazionale
Effetto collisioni
Esplosioni
…
• L’evoluzione del sistema può essere descritta con simulatori
indipendenti che dialogano con il sistema di RV
Livello sintattico: modello
• Anche il modello può avere diversi gradi di
corrispondenza con il reale


Fisico-matematico: è basato su parametri
fisici ed equazioni con cui si può calcolare la
sua evoluzione (dinamica di corpi rigidi, di
fluidi etc.)
Impressionistico: il comporamento fisico è
approssimato con metodi probabilistici o
statistici (es. particle systems)
Livello semantico
• Fase di interpretazione di un messaggio


I segni diventano simboli
Simboli richiamano un significato
• Nella RV è determinato dalla percezione umana



Per comunicare con o mediante un mondo virtuale, l’utente
deve apprendere un nuovo contesto percettivo
dipende dal modo con cui i messaggi sono trasmessi dai diversi
sistemi sensoriali
La nozione stessa di immersività dipende dai sistemi sensoriali
coinvolti
Livello semantico: percezione
• Visiva




forma
colore
Profondità e spazio
movimento
• Uditiva
• Gestuale


tattile
cinestesica
• Sinestesia

Stimulazione simultanea e coordinata di diversi sistemi
sensoriali
Livello semantico: percezione
• Il rischio delle illusioni
Livello pragmatico
• Riguarda la relazione tra segni e loro significati così come
decodificati dai partecipanti alla comunicazione


sulla base delle rispettive conoscenze, credenze, cultura,
emozioni ed affetti
particolare attenzione alle ambiguità
• Un atto comunicativo può essere:



Imperativo (un comando)
Assertivo (una affermazione di fatto)
Ottativo (un desiderio)
• Nella comunicazione umana la qualificazione dell’atto si
ottiene sia con il linguaggio verbale sia con quello non verbale
Livello pragmatico
• In RV


se comunicazione è tra persone mediata dal sistema:
 tecniche per comunicare forme non verbali (avatar con
animazione facciale, ecc)
se la comunicazione è tra utente e sistema:
 necessaria attenta analisi in fase di design
 utilizzo mirato dei canali visuali e non visuali
Livello pragmatico: emozioni
• Aspetto importante: stato emotivo dell'utente



ha effetto sulla sua capacità di decodificare il messaggio
In comunicazione uomo-uomo mediata da RV: possibilità di
introdurre feedback emotivo cambiando rendering dell'avatar
In comunicazione tra uomo e sistema: stato della simulazione
adattato allo stato emotivo dell'utente
Un framework per la classificazione della RV
• Comprendere caratteristiche delle applicazioni di RV


Non sulla base delle tecnologie adottate
ma sulla base della qualità della comunicazione
Uno spazio 3D di riferimento
• Gli assi principali sono:



Struttura
 Varia da simbolico a verisimile
 Dipende dal livello di iconicità e di verisimiglianza.
Interazione
 Varia da astratto a concreto
 Dipende dal modo di interazione scelto, possono
coesistere molteplici modi
 Si considerano anche i sistemi sensoriali stimolati
Modello
 Varia da impressionistico a fisico-matematico
 Dipende dalla accuratezza dell’eventuale modello fisico
matematico che descrive la dinamica del sistema
 Nella realtà accresciuta si considera anche la presenza di
phidgets che contribuiscono a distribuire intelligenza tra
gli oggetti reali.
Alcuni esempi
I ottante (-1, -1, -1)
• Panorama QuickTime del Mars Rover.
– QTVR usa molteplici foto e texture per navigare in una scena o
attorno ad un oggetto
– struttura piuttosto simbolica
– interazione per manipolazione diretta, bassa immersività
– modello impressionistico
II ottante (-1, 1, 1)
• Simulazione Industriale



Struttura simbolica
Interazione concreta (menu e widget- manipolazione diretta)
Modello fisico, calcolo strutturale
III ottante (-1, 1, -1)
• Visualizzazione scientifica



Struttura simbolica
Interazione astratta
Modello fisico
IV ottante (1, 1, 1)
• Simulatore di volo



Struttura verisimile
Interazione concreta
Modello fisico
V ottante (-1, -1, 1)
• Videogioco platform



Struttura simbolica
Interazione concreta
Modello impressionistico
VI ottante (1, -1, -1)
• Rendering fotorealistico di una macchina



Struttura verisimile
Interazione astratta
Modello impressionistico
VII ottante (1, -1, 1)
• Realtà aumentata



Struttura verisimile
Interazione concreta
Modello impressionistico
VIII ottante (1, 1, -1)
• Progettazione architettonica



Struttura verisimile
Interazione astratta
Modello matematico