Mixed Reality: Virtual
Reality, Augmented Reality,
Augmented Virtuality
Luigi Cinque-Enver Sangineto
Sistemi per l’Interazione Locale e Remota
Marzo 2010
Outline
•
•
•
•
Mixed Reality (MR)
Virtual Reality (VR)
Augmented Reality (AR)
Augmented Virtuality (AV)
Mixed Reality
• Mixed Reality (MR)
e’ un termine che viene usato per
rappresentare un intero spettro di
situazioni che spaziano dall’ambiente
reale all’ambiente virtuale.
Mixed Reality Continuum
• Mixed reality includes augmented reality, augmented
virtuality, and other mixed configurations.
Mixed Reality (MR)
Mixed Reality (MR)
Real
Environment
(RE)
Augmented
Reality (AR)
Augmented
Virtuality (AV)
Reality-Virtuality (RV) Continuum
Virtual
Environment
(VE)
Caratteristiche dei sistemi di MR
– Reproduction Fidelity: misura la qualita’ della
generazione delle immagini
– Extent of Presence Metaphor: misura il livello
di immersioni dell’utente dentro la scena
– Extent of World Knowledge: livello di
accuratezza nella sincronizzazione degli
oggetti virtuali e mondo reale
What is Virtual Reality ?
– Brooks (1999) definisce come:
“un’esperienza .. nella quale l’utente è immerso in
un mondo virtuale capace di reagire alla sua
presenza” …
– Sherman and Craig (2003) definisce come:
“un mezzo composto da simulazioni interattive
tramite computer che percepiscono la posizione e le
azioni dell’utente e sostituiscono o aumentano il
feedback di uno o piu sensi, dando l’impressione di
essere mentalmente immersi o presenti nella
simulazione (virtual world)”
Performance of VR systems
• In un sistema VR è importante poter
produrre immagini 3D realistiche ad alta
risoluzione, in real-time e senza evidenti
ritardi.
– Hardware capability
– Software capability
Four Key Elements in
Experiencing VR
– Un ambiente virtuale
– Immersione (fisica e mentale): dà un senso di
“presenza” nell’ambiente virtuale; questo puo’
essere uno stato puramente mentale o
realizzato con mezzi fisici
– Feedback: sensoriale visivo/auditivo/tattile/…
inviato all’utente.
– Interattività: in un’esperienza di realtà virtuale,
i partecipanti si possono muovere e cambiare
punto di vista.
Presence and Immersion
• Immersion
“immerso nell’ambiente”: realizzato
tipicamente mediante HMD o sistemi multidisplay
• Self Presence
senso di 3D relativo all’ambiente: “I am
there”
• Object Presence
gli oggetti sono 3D rispetto all’utente: “it is
there”
Criteria of Immersion
• Totale illusione di essere circondato da oggetti
virtuali
• L’ambiente dovrebbe “reagire” all’utente.
• Gli oggetti devono avere un senso di presenza
• Non e’ richiesto un modello del mondo reale
• Non sono importanti foto realistiche
Four Crucial Technologies for VR
• Visual displays: immersione dell’utente nel mondo
virtuale
• Graphics rendering system: che genera da 20 a 30
frames per secondo
• Tracking system: rileva continuamente la posizione e
l’orientamento della testa e della mano dell’utente
(ritardi di ms nessun problema, >0.1 s, effetto negativo)
• World modeling system: per la costruzione e
l’aggiornamento dei dettagli dei modelli realistici del
mondo virtuale
The Technology of Immersion
• Stereoscopic display: dà la profondità del
campo visivo dell’utente
• Head tracking: dà illusione all’utente di
guardarsi attorno.
• 3D computer graphics: riempie l’ambiente con
gli oggetti virtuali
• 3D interaction: dà la sensazione all’utente di
interagire con oggetti reali
Typical Components of VR
• Sistema Base:
– Computer
– Head-Mounted Display (HMD)
– Hand-tracked device (VR Glove or Wand)
– 3D graphics rendering system
• Inoltre:
– 3D sound, spaceball, etc.
Typical Computer used for VR
SGI’s Onyx 2 (4 CPUs, 2
Infinite Reality Pipelines)
Head-Mounted Display (HMD)
– Piccoli display montati sulla testa,
completamente immersivi, hanno bisogno di
un tracker per tracciare la posizione e
l’orientazione della testa.
Head-Mounted Display (HMD)
-supported Floor
Display
Stereoscopy
• Stereoscopia è una tecnica capace di creare
l’illusione della profondita’ in un’immagine.
• L’illusione della profondita’ in una foto, film, o altre
immagini 2D e’ creata tramite due immagini
leggermente diverse per ogni occhio.
VR Glove
Wand
3D Tracking Paradigm
• Uno o più sensori determinano la
posizione e l’orientamento rispetto ad una
sorgente
• Il sensore(i) capta un segnale proveniente
dalla sorgente e stabilisce sia la posizione
che l’orientamento
• Sorgente e sensore possono essere fissi
o mobili
• Diverse tecnologie:
• Ultrasuoni, Elettromagnetici, Ottici
Localization by Ultrasound
• Una sorgente (emittente) emette un
segnale (ultrasuono) verso il guanto, che
contiene 2-3 ricevitori.
• Il tempo che intercorre tra l’emissione e la
ricezione determina la distanza
emittente-ricevente
Localization by Ultrasound
Emitter
Ultrasound wave
Finger flexion sensor
Spatial position sensor
Ultrasonic Tracking Advantages
and Disadvantages
• Vantaggi
• Basso costo
• Facile da realizzare
• Svantaggi
• Nessun ostacolo tra emittente e ricevente
• Range molto corto (few feet)
• Fortemente dipendente dalla temperatura e
dall’umidità dell’aria
Localization by Electromagnetic
(EM) Pulses
• Tre antenne emettono impulsi radio in
sequenza
• Tre antenne ricevono gli impulsi e
determinano la potenza del segnale lungo
gli assi
• La potenza globale delle tre receventi darà
la distanza dalla sorgente emittente
Localization by EM Pulses
Emitter
strong signal
Receiver
weak signal
EM Advantages and
Disadvantages
• Vantaggi
• Facilita’ nella gestione del tracking
• Possono esserci ostacoli tra sorgente e sensore
• Tecnologia matura
• Svantaggi
• Errori nel tracking
• Range corto
• Fortemente sensibile al campo magnetico e oggetti
metallici nell’ambiente
Localization by Optical
Correlation
• Analisi stereoscopica, correlazione
pixels comuni a due immagini riprese
da due telecamere
• I punti correlati permettono la
triangolazione delle posizioni (3D)
• La triangolazione si basa sulla
corrispondenza di punti simili presi su
due immagini diverse
Localization by Optical
Correlation
Optical Advantages and
Disadvantages
• Vantaggi
• Qualita’ molto buona del segnale di tracking
• Uno dei metodi più precisi
• Svantaggi
• Nessun ostacolo tra emittente e receivente
• Ingombrante e difficile da realizzare
Cave Automatic Virtual
Environment (CAVE)
• Sistemi basati sulla proizione: proiezione diretta
o con retro-proizione, l’utente è completamente
circondato da immagini proiettate su grandi
schermi. Crea un senso di elevata immersione
CAVE
•
•
•
•
Completely immersive
Maximum cost solution
Centralized facility
Not Mobile
Goals that inspired CAVE
Engineering
• The desire for higher-resolution color
images and good surround vision without
geometric distortion
• Less sensitivity to head-rotation induced
errors
• The ability to mix virtual reality imagery with
real devices (like one's hand, for instance)
• The need to guide and teach others in a
reasonable way in artificial worlds
CAVE Demo
Cave Demos
• CAVE project:
http://www.youtube.com/watch?v=Sf6bJjwSCE
• Quake with CAVE:
http://www.youtube.com/watch?v=gnGRH
WzGifU&feature=related
Cave Applications
• architectural walk-through
• evaluation of engineering designs (virtual
prototyping)
• driving simulators
• training for dangerous situations and other
scenarios
• molecular modeling
• virtual reconstruction of archeological sites
• medical and biological visualization
• artistic expression of ideas, and more ...
Cave Applications
Distributed Architectures:
Idea of the Future
Present way of Teaching
Super Computer
(Flow data, Visualization computation)
user
commands
visualization
data
user
commands
visualization
data
Ultra Net
CAVE A
(ELG 5121)
Future way of Teaching
CAVE B
Prof. El Saddik
Blue-c System
• Blue-c system by ETH institutes:
collaborative virtual reality
Blue-c System
Workbenches
• Banchi di lavoro: schermi piatti che presentano
immagini in modalita’ stereo. Possono essere
montati anche in orizzontale/inclinati.
Immersione parziale, alto senso di presenza
dell’oggetto
Open Challenges
– Interagire piu’ efficaciamente con I mondi
virtuali:
• Manipulation
• Wayfinding
– Modellare i mondi efficientemente
• Modeling the existing world
• Modeling non-existing worlds
– Misurare l’illusione della presenza e la sua
efficacia operazionale
Augmented Reality (AR)
• A differenza della virtual reality,
augmented reality si riferisce a situazioni
nelle quali l’obiettivo è integrare la
percezione dell’utente di un mondo reale
attraverso l’aggiunta di oggetti virtuali
Augmented Reality
• AR e’ una tecnologia o un ambiente dove
l’informazione aggiuntiva, generata da un
computer, e’ inserita nella visione
dell’utente di una scena del mondo reale.
Augmented Reality
• L’informazione aggiuntiva puo’ consistere
in:
– oggetti virtuali posti nell’ambiente o
– nella visualizzazione di informazione relativa
ad oggetti esistenti tipo la temperatura nella
stanza
Augmented Reality
Augmented Reality
• Sistemi di AR spesso fanno uso di head
mounted displays (HMD)
• Ci sono due principali catagorie di sistemi
HMD-based AR:
– Optical See-Through Augmented Reality
– Video-based Augmented Reality
• Altri sistemi AR fanno uso di proiettori o
altri tipi di display.
Optical see-through
• Combinatori ottici parzialmente trasparenti sono
posti di fronte agli occhi, permettono di vedere in
essi il riflesso di immagini virtuali rappresentate
su piccoli display
Video-based
• Fa uso di piccole video-camere per catturare la visione
del mondo reale che sarebbe vista dagli occhi. Le
immagini reali sono combinate con quelle virtuali, create
dal computer, per creare immaginidi AR che vengono
visualizzate su un classico HMD (non see-through).
Esempio: il sistema MRCVE
Mixed Reality-based collaborative virtual environment (MRCVE)
(Wang et al. 2003):
– Modeling computer: Running AutoCAD or other modeling software.
– MR computer: Running the Mixed Reality viewing software.
– Camera-attached head mounted display (HMD)
Augmented Reality
The Process of Video-Based Marker Detection
and Overlay of Virtual Objects
MRCVE Scenarios
MRCVE collaboration scenario
Mixed Reality view through headmounted display
AR-based Videoconferencing
Demo
• ARQuake Project:
http://www.youtube.com/watch?v=yNYfkxq
iB6g
Some Issues in AR
– Focalizzazione: e’ desiderabile avere gli oggetti
virtuali visualizzati ad una distanza focale
corrispondente alla loro relativa profondità nel mondo
reale.
– Portabilità: in VR, la portabilità è optional. In AR,
l’utente se vuole cambiare la sua posizione nel
mondo reale, ha bisogno della portabilita’.
…Some Issues in AR
– Qualita’ dell’immagine: in VR, l’ambiente
virtuale deve essere modellato, renderizzato e
visualizzato. In AR, un’accurata visione del
mondo reale e’ fornita “for free”. Il display ha
solo bisogno di manipolare la visualizzazione
degli oggetti virtuali, che può essere
realizzata in modo soddisfacente con un
campo visuale piu piccolo, ridotto range di
colori, e/o bassa risoluzione.
…Some Issues in AR
• Tracking and Registration: In VR, non e’
richiesta una “registrazione” accurata degli
oggetti reali, che possono essere difficili da
rilevare e non hanno importanza. In AR, la
registrazione accurata è critica. Ogni minimo
errore nella registrazione sara’immediatamente
visibile, ed molto difficile da evitare o superare.
Augmented Virtuality (AV)
• AV descrive tutti quei casi in cui un oggetto (entità) reale e’
inserito in un ambiente generato dal computer.
• I sistemi di AV tipicamente includono un input reale multisensoriale, che integra l’ambiente virtuale presentato
• Esempi AV
– Dirigere il profumo di caffe’ verso un utente quando questo passa
vicino ad una macchina del caffe’ virtuale posta in un ambiente
virtuale.
– Accendere una lampada calda su un utente quando si avvicina ad
un punto nell’ambiente virtuale esposto al sole.
– Accendere una ventola di fronte all’utente quando si avvicina a un
punto nell’ambiente virtuale esposto al vento
Fine…