Mixed Reality: Virtual
Reality, Augmented Reality,
Augmented Virtuality
Luigi Cinque
Maggio 2008
Meaning of “Virtual” and “Reality”
• “Virtual” significa immaginario o non-reale
• “Reality” si riferisce allo stato o alla qualita’
di essere reale
Outline
•
•
•
•
Mixed Reality (MR)
Virtual Reality (VR)
Augmented Reality (AR)
Augmented Virtuality (AV)
Mixed Reality
• Mixed Reality (MR)
e’ un termine che viene usato per
rappresentare un intero spettro di
situazioni che spaziano dall’ambiente
reale all’ambiente virtuale.
Mixed Reality Continuum
• Mixed reality includes augmented reality, augmented
virtuality, and other mixed configurations.
Mixed Reality (MR)
Mixed Reality (MR)
Real
Environment
(RE)
Augmented
Reality (AR)
Augmented
Virtuality (AV)
Reality-Virtuality (RV) Continuum
Virtual
Environment
(VE)
Caratteristiche dei MR display
– Reproduction Fidelity: qualita’ di generare
immagini
– Extent of Presence Metaphor: misura il livello
di immersioni dell’utente dentro la scena
– Extent of World Knowledge: accurata
sincronizzazione degli oggetti virtuali e mondo
reale
What is Virtual Reality ?
– Brooks (1999) definisce come:
“un’esperienza .. nella quale l’utente e’ immerso in
un mondo virtuale capace di reagire alla sua
presenza” …
– Sherman and Craig (2003) definisce come:
“un mezzo composto da simulazioni interattive
tramite computer che percepiscono la posizione e le
azioni dell’utente e sostituiscono o aumentano il
feedback di uno o piu sensi, dando l’impressione di
essere mentalmente immersi o presenti nella
simulazione (virtual world)”
Performance of VR system
• La caratteristica piu’ importante di un
sistema VR e’ la capacita’ di produrre alta
fedelta’, alta risoluzione, immagini 3D
realistiche in real-time senza evidenti
“flicker”.
– Hardware capability
– Software capability
Four Key Elements in
Experiencing VR
– Un ambiente virtuale
– Immersione (fisica e mentale): dà un senso di
“presenza” nell’ambiente virtuale; questo puo’
essere uno stato puramente mentale o
realizzato con mezzi fisici
– Feedback: sensoriale visivo/auditivo/tattile
inviato all’utente.
– Interattivita: in un’esperienza di realta’ virtuale,
i partecipanti si possono muovere e cambiare
punto di vista.
Four Crucial Technologies for VR
• Visual displays: immersione dell’utente nel mondo
virtuale
• graphics rendering system: che genera da 20 a 30
frames per secondi
• tracking system: rileva continuamente la posizione e
l’orientamento della testa e della mano dell’utente
(ritardi di ms nessun problema, >0.1 s, effetto
catastrofico)
• database system: per costruzione ed aggiornamento
dei dettegli e dei modelli realistici del mondo virtuale
Presence and Immersion
• Immersion
“immerso nell’ambiente”: realizzato da
HMD o sistemi multi-display (FOV)
• Self Presence
“senso di 3D relativo all’ambiente: “I am
there”
• Object Presence
oggetti sono 3D rispetto all’utente: “it is
there”
The Technology of Immersion
• Stereoscopic display: dà la profondita’ del
campo visivo dell’utente
• Head tracking: dà illusione all’utente di
guardarsi attorno.
• 3D computer graphics: riempie l’ambiente con
gli oggetti
• 3D interaction: da’ la sensazione all’utente di
interaggire con oggetti reali
Criteria of Immersion
• Totale illusione di essere circondato da oggetti
virtuali
• L’ambiente dovrebbe “reagire”all’utente.
• Gli oggetti devono avere un senso di presenza
• Non e’ richiesto il modello del mondo reale
• Non sono importante foto realistiche
Typical Components of VR
• Sistema Base:
– Computer
– Head-Mounted Display (HMD)
– Hand-tracked device (VR Glove or Wand)
– 3D graphics rendering system
• Inoltre:
– 3D sound, voice I/O, spaceball, etc.
Typical Computer used for VR
SGI’s Onyx 2 (4 CPUs, 2
Infinite Reality Pipelines)
Head-Mounted Display (HMD)
– Piccoli display montati sulla testa,
completamente immersivi, hanno bisogno di
un tracker per tracciare la posizione e
l’orientazione della testa.
Head-Mounted Display (HMD)
-supported Floor
Display
Stereoscopy
• Stereoscopia è una tecnica capace di creare
l’illusione della profondita’ in un’immagine.
• L’illusione della profondita’ in una foto, film, o altre
immagini 2D e’ creata tramite due immagini
leggermente diverse per ogni occhi.
VR Glove
Wand
3D Tracking Paradigm
• Uno o più sensori determinano la
posizione e l’orientamento rispetto ad una
sorgente
• Il sensore(i) capta un segnale proveniente
dalla sorgente e stabilisce sia posizione
che l’orientamento
• Sorgente e sensore possono essere fissi
o mobili
• Diverse tecnologie:
• Ultrasuoni, Elettromagnetici, Ottici
Localization by Ultrasound
• Una sorgente (emittente) emette un
segnale (ultrasuono) verso il guanto, che
contiene 2-3 ricevitori.
• Il tempo che intercorre tra l’emissione e la
ricezione determina la distanza
emittente-ricevente
Localization by Ultrasound
Emitter
Ultrasound wave
Finger flexion sensor
Spatial position sensor
Ultrasonic Tracking Advantages
and Disadvantages
• Vantaggi
• Basso costo
• Facile da realizzare
• Svantaggi
• Nessun ostacolo tra emittente e ricevente
• Range molto corto (few feet)
• Fortemente dipendente dalla temperatura e
dall’umidità dell’aria
Localization by Electromagnetic
(EM) Pulses
• Tre antenne emettono impulsi radio in
sequenza
• Tre antenne ricevono gli impulsi e
determinano la potenza del segnale lungo
gli assi
• La potenza globale delle tre receventi
dara’ la distanza dalla sorgente emittente
Localization by EM Pulses
Emitter
strong signal
Receiver
weak signal
EM Advantages and
Disadvantages
• Vantaggi
• Facilita’ nella gestione del tracking
• Possono esserci ostacoli tra sorgente e sensore
• Tecnologia matura
• Svantaggi
• Errori nel tracking
• Range corto
• Fortemente sensibile al campo magnetico e oggetti
metallici nell’ambiente
Localization by Optical
Correlation
• Analisi stereoscopica, correlazione
pixels comuni a due immagini riprese
da due telecamere
• I punti correlati permettono la
triangolazione delle posizioni (3D)
• La triangolazione si basa sulla
corrispondenza di punti simili presi su
due immagini diverse
Localization by Optical
Correlation
Optical Advantages and
Disadvantages
• Vantaggi
• Qualita’ molto buona del segnale di tracking
• Uno dei metodi piu’ precisi
• Svantaggi
• Nessun ostacolo tra emittente e receivente
• Ingombrante e difficile da realizzare
Cave Automatic Virtual
Environment (CAVE)
• Sistemi basati sulla proizione: proiezione diretta
o con retro-proizione, l’utente è completamente
circondato da immagini proiettate su grandi
schermi. Crea un senso di elevata immersione
CAVE
•
•
•
•
Completely immersive
Maximum cost solution
Centralized facility
Not Mobile
Goals that inspired CAVE
Engineering
• The desire for higher-resolution color
images and good surround vision without
geometric distortion
• Less sensitivity to head-rotation induced
errors
• The ability to mix virtual reality imagery with
real devices (like one's hand, for instance)
• The need to guide and teach others in a
reasonable way in artificial worlds
CAVE Demo
Cave Applications
• architectural walk-through
• evaluation of engineering designs (virtual
prototyping)
• driving simulators
• training for dangerous situations and other
scenarios
• molecular modeling
• virtual reconstruction of archeological sites
• medical and biological visualization
• artistic expression of ideas, and more ...
Cave Applications
Distributed Architectures:
Idea of the Future
Present way of Teaching
Super Computer
(Flow data, Visualization computation)
user
commands
visualization
data
user
commands
visualization
data
Ultra Net
CAVE A
(ELG 5121)
Future way of Teaching
CAVE B
Prof. El Saddik
Blue-c System
• Blue-c system by ETH institutes:
collaborative virtual reality
Blue-c System
Workbenches
• Banchi di lavoro: schermi piatti che presentano
immagini in modalita’ stereo. Possono essere
montati anche in orizzontale/inclinati.
Immersione parziale, alto senso di presenza
dell’oggetto
Hot Open Challenges
– Interagire piu’ efficaciamente con I mondi
virtuali:
• Manipulation
• Wayfinding
– Modellare I mondi efficientemente
• Modeling the existing world
• Modeling non-existing worlds
– Misurare l’illusione della presenza e la sua
efficacia operazionale
Augmented Reality (AR)
• A differenza della virtual reality,
augmented reality si riferisce a situazioni
nelle quali l’obiettivo è integrare la
percezione dell’utente di un mondo reale
attraverso l’aggiunta di oggetti virtuali
Augmented Reality
• AR e’ una tecnologia o un ambiente dove
l’informazione aggiuntiva, generata da un
computer, e’ inserita nella visione dell’utente di
una scena del mondo reale.
• AR che e’ un sub-mode di MR e puo’ creare uno
spazio di lavoro aumentato inserendo elementi
critici dello spazio virtuale nello spazio fisico in
cui lavoriamo.
• L’informazione aggiuntiva puo’ consistere di
oggetti geometrici virtuali posti nell’ambiente, o
nella visualizzazione di informazione non
geometrica relativa ad oggetti esistenti tipo la
temperatura nella stanza.
Augmented Reality
Augmented Reality
• Sistemi di AR spesso fanno uso di head
mounted displays (HMD)
• Ci sono due principali catagorie di sistemi
HMD-based AR:
– Optical See-Through Augmented Reality
– Video See-Through Augmented Reality
• Altri sistemi AR fanno uso di proiettori o
altri tipi di display.
Optical see-through
• Combinatori ottici parzialmente trasparenti sono
posti di fronte agli occhi, permettono di vedere in
essi il riflesso di immagini virtuali rappresentate
su piccoli display
AR Vision 3D HMD
• Fa uso di piccole video-camere per catturare la visione
del mondo reale che sarebbe vista dagli occhi. Le
immagini reali sono combinate con quelle virtuali, create
dal computer, per creare immaginidi AR che vengono
visualizzate su un classico HMD (non see-through).
Some Issues in AR
– Focalizzazione: e’ desiderabile avere gli oggetti
virtuali visualizzati ad una distanza focale
corrispondente alla loro relativa profondità nel mondo
reale.
– Portabilita’: in VR, la portabilita’ e’ optional. In AR,
l’utente se vuole cambiare la sua posizione nel
mondo reale, ha bisogno della portabilita’.
…Some Issues in AR
– Qualita’ dell’immagine: in VR, l’ambiente
virtuale deve essere modellato, renderizzato e
visualizzato. In AR, un’accurata visione del
mondo reale e’ fornita “for free”. Il display ha
solo bisogno di manipolare la visualizzazione
degli oggetti virtuali, che può essere
realizzata in modo soddisfacente con un
campo visuale (FOV field-of-view) piu piccolo,
ridotto range di colori, e/o bassa risoluzione.
…Some Issues in AR
• Tracking and Registration: In VR, non e’
richiesta una registrazione accurata degli oggetti,
che possono essere difficili da rilevare e non
hanno importanza. In AR, la registrazione
accurata e’ critica. Ogni minimo errore nella
registrazione sara’immediatamente visibile, ed
molto difficile da evitare o superare.
MRCVE
Mixed Reality-based collaborative virtual environment (MRCVE)
(Wang et al. 2003):
– Modeling computer: Running AutoCAD or other modeling software.
– MR computer: Running the Mixed Reality viewing software.
– Camera-attached head mounted display (HMD)
Augmented Reality
The Process of Video-Based Marker Detection
and Overlay of Virtual Objects
MRCVE Scenarios
MRCVE collaboration scenario
Mixed Reality view through headmounted display
AR-based Videoconferencing
Augmented Virtuality (AV)
• AV descrive tutti quei casi in cui un oggetto reale e’
inserito in un ambiente generato dal computer.
• Un sistema nel quale esiste un input reale multisensoriale, che integra l’ambiente virtuale presentato
• Esempi AV
– Dirigere il profumo di caffe’ verso un utente quando questo passa
vicono ad una macchina del caffe’ virtuale posta in un ambiente
virtuale.
– Accendere una lampada calda su un utente quando si avvicina ad
un punto nell’ambiente virtuale esposto al sole.
– Accendere una ventola di fronte all’utente quando si avvicina a un
punto nell’ambiente virtuale esposto al vento
AV-based videoconferencing
Fine…