Metafore di interazione
Interazione
Metafore di interazione
Le metafore riproducono concetti, conosciuti dall’utente in
un contesto, al fine di trasferire questa conoscenza in un
nuovo contesto legato all’esecuzione di un certo task.
Una buona metafora deve essere rappresentativa del task e
compatibile con la conoscenza dell’ utente.
Una buona metafora deve essere
compatibile con i vincoli fisici
dell’interfaccia usata.
I tipici task della VR sono
essenzialmente di tre tipi:
- Navigazione e Movimento
- Selezione di oggetti
- Manipolazione e modifica di oggetti
Interazione
Metafore per la navigazione
Metafore 2DOF o 3DOF
Sono metafore controllate da dispositivi 2/3Dof come mouse
o joystick. Per consentire i normali 6DOF di movimento, se
richiesto, è necessario utilizzare comandi aggiuntivi
(pulsanti del dispositivo o sulla GUI)
Metafore 6DOF
Sono metafore controllate da dispositivi ineremente 6DOF.
• Flying vehicle (virtual camera montata su veicolo virtuale del quale
l’utente controlla la posizione)
• Eyeball in hand (tracker sulla mano, la virtual camera è accoppiata
ai movimenti del tracker)
• Head tracker orbital viewing (la virtual camera segue i movimenti
della testa dell’utente, adatta per ambienti immersivi)
Interazione
Altre metafore di navigazione
TREADMILLS: virtual camera segue i movimenti fisici
dell’utente
TELEPORTATION: l’utente è istantaneamente trasportato nel
luogo desiderato (speech commands o selezione da lista)
Interazione
Metafore per la selezione
A differenza delle applicazioni 2D, in cui gli oggetti sono accessibili per
manipolazione diretta, le applicazioni 3D aggiungono un grado di complessità
ulteriore che non sempre è facilmente gestibile (ad es. la valutazione della
profondità, specie con monitor 2D, o i problemi di occlusione).
RAYCASTING: Molto diffusa. Un raggio virtuale parte dall’utente (testa o
mano o altro) e seleziona l’oggetto più vicino tra quelli intersecati.
V: facilmente implementabile, di immediata comprensione
S: sensibile alle rotazione sulle lunghe distanze (sol.: cono) CLIP
S: difficile selezione su oggetti occlusi (sol: deformable ray)
SPEECH: permette di selezionare un oggetto pronunciandone il nome o una
sua proprietà.
V: immediato
S: ambienti complessi (nomi unici), speech recognition difficile
LISTA: selezione nominale dalla lista degli oggetti.
Interazione
Metafore per la manipolazione
Si distinguono in:
- esocentriche (viste dall’esterno del mondo – non le trattiamo)
- egocentriche (viste in prima persona)
VIRTUAL HAND: Manipolazione diretta. Una rappresentazione virtuale
della mano dell’utente (o di un utensile) viene mostrata nella scena 3D,
quando c’è intersezione si seleziona l’oggetto e, una volta selezionato, i
movimenti della mano si trasferiscono anche all’oggetto.
V: manipolazione naturale
S: irraggiungibilità di alcuni oggetti (limiti “anatomici”)
GO-GO: Usa la Virtual Hand, consentendone un “allungamento” non
lineare per selezionare oggetti non raggiungibili.
HOMER: E’ una forma di Ray Casting, ma una volta selezionato l’oggetto
il “perno” della manipolazione è spostato sull’oggetto (trasporta la
Virtual Hand sull’oggetto)
Interazione
Metafore per la manipolazione
OBJECT IN HAND:
Scambio di ruoli tra mano dominante e mano non dominante a seconda
dei tempi dell’interazione:
Mano non dominante portata vicino a mano dominante -> trigger menu
Mano dominante -> Selezione azione da menu
Mano non dominante -> Gestisce trasformazioni “geometriche”
Mano dominante -> Gestisce interazione
CLIP
Interazione
Case Study:
Metafore di interazione in LINK2
Interazione
The LINK-2 Virtual Prototyping System
Inside the LINK-2 project (MURST co-financed),
PERCRO (PERCeptual RObotics) and Piaggio S.p.A. have
developed a VP System characterized by:
•
two distinct configurations
•
an integrated virtual environment (exploiting same hardware devices)
1. Interactive Visualization System (IVS) to increase the assembly quality
•
3D stereoscopic visualization of the vehicle assembly CAD model
2. Advanced Ergonomic Simulator (AES) to increase the driving seat
ergonomics
•
immersive 3D stereoscopic visualization of the driving seat of a
motocycle based on a reconfigurable real mock-up
Interazione
IVS metaphors
Two different interaction devices were used, resulting in two different sets of
interaction metaphors which share common principles.
- A 6-DOF sensorized wand, provided with
joystick and buttons.
The interaction functionalities are associated
both to gestures and to the device controls
(joystick movements and buttons pressing)
- A couple of sensorized gloves coupled with
6-DOF wrist sensors.
The interaction functionalities are associated
to gestures and hand postures.
In both cases, whenever possible, a direct
correspondence between user movements
and actions was implemented.
Interazione
IVS metaphors: gloves
When the gloves are used as Interaction Device the two hands
are used in different ways:
- The dominant hand movements are associated to action tasks
(selecting, moving, etc.)
- The non-dominant hand postures are associated to option tasks
(switching selection modality, active status etc.)
Interazione
IVS metaphors: modalities
The implemented metaphors allow to access and use the available
interaction modalities:
In the grab modality, the user can:
- select subcomponents (ray-casting metaphor used)
- perform roto-translations (by means of dominant hand
movements or joystick movements) and hide/unhide comps.
The manipulation modality (translation or
rotation) can be selected with the wand
buttons, or with a particular posture of the
non-dominant hand if using gloves.
CLIP
Interazione
IVS metaphors: modalities
The implemented metaphors allow to access and use the available
interaction modalities:
In the clip modality, the user can realize real-time sections of
the assembly.
A semi-transparent plane, placed at a
fixed distance from the interaction
controller and integral with its
movements, realizes sections allowing
viewing the hidden components of the
model.
CLIP
Interazione
IVS metaphors: modalities
The implemented metaphors allow to access and use the available
interaction modalities:
In the measure modality, the user can perform measurements
between points of the model. The points are picked with the
selection metaphor.
CLIP
Interazione
Evaluation
A preliminary evaluation has been carried out with a group of engineers and
CAD designers of Piaggio S.P.A.
The IVS proved to be an effective mean for the collaborative revision of a
project and the testing users needed only a few testing session to learn and
get used to the interaction.
Experienced CAD users at first showed preference for the wand-based
interaction. After some sessions the gesture-based interaction gained
consent, allowing better performances (actions and their extent are directly
mapped to user movements) in some tasks. A deeper evaluation is foreseen
in next months.
Current issues:
- Ray Casting (distant objects selection accuracy, hidden objects: list)
- Precision (difficult to achieve exact manipulations)
- Training needed (low learning curve, but not-so-low)
Interazione
Interazione su web e/o condivisa
con uso di interfacce aptiche
CLIP
CLIP
CLIP
Distributed
Magazine
Lexicon
Interazione
Integrazione di
installazioni immersive
Interazione
Haptic interaction with immersive environment
Virtual Reality Applications Center / Iowa State University
Interazione
Virtual Jet Ski Driving Simulator
Virtual Football Trainer
University of Michigan, Ann Arbor, Michigan, USA
Virtual prototype of Detroit’
Detroit’s Airport Terminal
Medical Readiness
Trainer
Interazione
CLIP
CLIP
Immersive Virtual Environment for DTDT-MRI Volume Visualization Applications
Brown University, Providence, Rhode Island, USA
Interazione
D.I.V.I.N.E: DesktopDesktop-Immersive Virtual and Interactive Networked Environment System
DISCOVER Lab, University of Ottawa
Interazione
Immersive virtual reality C4 CAVE at Iowa State University in Ames,
Ames, Iowa
Interazione
Interazione
Virtusphere
Virtusphere
CLIP
Interazione
Immersive Modeling,
Modeling, Fraunhofer IAO, Stuttgart, Germany
CLIP
Interazione
Immersive data analysis BARCO – Immersive data analysis: Mining human genome
BARCO – Mining human genome
Interazione
Medical Visualization
BARCO – Medical Visualization
Interazione
Swiss Federal Institute of
Technology (ETH)
(3D video grab of users)
Interazione
Designing Cranial Implants in a Haptic Augmented Reality Environment
Environment
PARIS - Personal Augmented Reality Immersive System
University of Illinois, USA
Interazione
Fakespace
Interazione
Immersive Visualisation
Interazione