DISPOSITIVI PER LA
MANIPOLAZIONE DIRETTA
Scopo di questa lezione
Presentare una rassegna dei principali
dispositivi di interazione uomo-computer
che possono essere usati, con l’uso delle
mani, nel paradigma della manipolazione
diretta
Temi
1. Il paradigma della manipolazione diretta
2. Dispositivi diretti
3. Dispositivi indiretti
Il paradigma della
manipolazione diretta
Il paradigma della manipolazione diretta
• Azioni fisiche su oggetti rappresentati sul
video, non linguaggio di comandi
• Rappresentazione continua dell’oggetto di
interesse
• Operazioni rapide, incrementali, reversibili
• Feedback sull’oggetto di interesse visibile
immediatamente
(Ben Shneiderman, 1982)
feedback
(Un gioco di scacchi per il Macintosh, circa 1987)
Dispositivi per la manipolazione diretta
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Dispositivi diretti
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Singletouch
Multitouch
[Single]touch screen (schermo tattile)
Varie tecnologie
Varie dimensioni…
Touch screen: esempio
Chioschi informativi: esempio 1
Chioschi informativi: esempio 2
Chioschi informativi: esempio 3
Piccoli touch screen
Col dito (es.: iPhone)
Con lo stilo (es.: Palm Pilot)
Che cosa posso fare con un dito
•
•
•
•
•
•
•
•
•
•
Indicare
Selezionare
Toccare
Cliccare
Trascinare
Spingere
Disegnare
Far segno
Sfogliare
…
Esempio: disegnare
Esempio: sfogliare (iPhone)
Esempio: sfogliare
Chi et al., CHI 2005
Esempio: BumpTop (3D Desktop Prototype)
http://it.youtube.com/watch?v=M0ODskdEPnQ&eurl=http://www.ictblog.it
/index.php?/archives/1536-BumpTop-Prototype.html
www.bumptop.com
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Singletouch
Multitouch
Multi-touch: esempio
Multi-touch: iPod Touch
Video:
http://it.youtube.com/watch?v=kj0UZjrSVLA
(guardare da 9,45 a 10,35)
Jeff Han multi-touch demo
Video:
http://it.youtube.com/watch?v=zwGAKUForhM
Esempio: Microsoft Surface
Video: www.microsoft.com/surface
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Light pen
• La penna “sente” il
fascio luminoso di
un CRT
• Oggi poco usata
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Eye-tracking
(gaze-tracking, sistemi di rilevazione dello sguardo )
Dispositivi di eye tracking invasivi
Dispositivi di eye tracking non invasivi
pupilla
“pupilla bianca”
(raggi infrarossi)
riflesso corneale
Video
• Sessione di eye tracking sul sito web dell’Ikea:
http://it.youtube.com/watch?v=xKdOMgu0C5Q
• Sessione di eye tracking sul sito web di Carphone
Warehouse:
http://it.youtube.com/watch?v=5mNmA04ld58
• Sessione di eye tracking sul sito web di American Express:
http://it.youtube.com/watch?v=VbWu7GC5w3k
Esempio: SmartEye
Eye & head tracking (1,8 m headbox)
Video: Scrivere con gli occhi
http://it.youtube.com/watch?v=fOt-nm1ats0
Esempio: EyePassword
M. Kumar, T. Garfinkel, D. Boneh, T. Winograd, Reducing Shoulder-surfing by Using Gaze-based Password Entry
Manipolazione diretta con eye tracking
• Imprecisione: i movimenti saccadici sono poco
controllabili
• Il problema del “tocco di re Mida”: occorre
confermare la selezione in altri modi (es. tasto o
altro)
• Applicazioni:
SI: scrittura su tastiera virtuale, pressione di bottoni
NO: disegnare con gli occhi
MA: ci possono essere molte applicazioni innovative che non
richiedono il controllo preciso dei movimenti oculari
Esempio: rendering con gli occhi
A. Santella, D. DeCarlo, Abstracted Painterly Renderings Using Eye-Tracking Data, 2002
Dispositivi indiretti
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Tasti cursore
• Movimento discreto del cursore su una griglia
logica discreta (form, testo, tabella)
• 4 oppure 8 direzioni
Tasti cursore  joystick
Nei device piccoli (es.: cellulari, telecomandi), sono
vantaggiosamente sostituiti da piccoli joystick
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Mouse
• Mouse = Topo, oppure
Manually Operated User Selection Equipment
• Dispositivo in grado di inviare un input a un computer in modo
tale che ad un suo movimento ne corrisponda uno analogo di un
indicatore sullo schermo (“cursore”)
• È inoltre dotato di uno o più tasti, rotelle o altro ai quali possono
essere assegnate varie funzioni (ne esistono molte varianti)
• Oggi: tecnologia meccanica o ottica; wired o wireless
• Brevettato da Douglas Engelbart nel 1967, ebbe ampia
diffusione solo a partire dal 1984, con il primo Macintosh della
Apple
Il primo mouse, 1964
(D.Engelbart)
Il primo Macintosh, 1984
un solo
bottone !
tastiera senza
tasti funzione
né ESC !
Mouse: la evoluzione della specie (I)
2 bottoni:
3 bottoni:
Xerox Star, 1982
Sun 3, anni 80
Microsoft, 1983
Mouse: la evoluzione della specie (II)
pallina
rotella
touchpad
nipple
Da: http://www.billbuxton.com/input02.Devices.pdf
Apple Mighty Mouse
Personalizzazione
Oggi i mouse sono fortemente personalizzabili
Esempio: Mighty Mouse
Mouse e legge di Fitts
I movimenti del mouse seguono la legge di Fitts:
T = 1.03 + 0.96 log2 (D/S + 0.5)
T = tempo per posizionare il mouse (in secondi)
D = distanza dall’oggetto (in pixels)
S = larghezza dell’oggetto
Le costanti (1.03 e 0.96) sono circa le stesse dei
movimenti manuali. Pertanto il mouse è quasi ottimale
come pointing device
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Trackball
Un “mouse capovolto”, che resta fermo sul tavolo:
Vantaggi:
- richiede poco spazio
- La pallina si muove con le dita,
e lascia il polso in posizione di
riposo
- è più precisa di un mouse
da 3-4 cm di diametro (fino a 10
cm, per maggiore precisione, es,
applicazioni CAD)
Trackball nei laptop
• Usata ne primo PowerBook Apple, 1991
• Oggi si usa il touchpad
PowerBook, 1991
Trackball: altri esempi
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Touchpad
• Tavolette sensibili al tatto, di 50-75 mm,
con uno-due tasti
• Sostituiscono il mouse in assenza
di spazio
• Utilizzate sui PC laptop, a partire
da Apple Powerbook 500 (1994)
• Possono essere molto sofisticati,
es.:
• “hot spot” dedicati a funzioni
particolari (es. scroll)
• “click by tap”
• accelerazione software
• multi-touch (Apple MacAir)
PowerBook 500
Touchpad: la evoluzione della specie (I)
Per tracciare le lettere
Touchpad: la evoluzione della specie (II)
Modalità “pannello di controllo”: mail, wi-fi,
printer, volume, shortcuts user defined
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Esempio: Tavoletta grafica: esempio
corrispondenza
configurabile
Wacom
bottoni
configurabili
Stilo per tavoletta grafica: tipi
Lo stilo comunica:
- Posizione sulla tavoletta (x,y)
- Pressione sulla tavoletta
- Angolo con la tavoletta
- Direzione dell’angolo
- Rotazione attorno al suo asse
Wacom
tip sensibile alla
pressione
Multimodalità
Disegnare con la tavoletta grafica
Ricalcare con la tavoletta grafica
Classificazione dei dispositivi per la
manipolazione diretta
Schermo
tattile
Diretti
Penna
luminosa
Eye
tracking
Tasti
cursore
Dispositivi
Mouse
Trackball
Indiretti
Touchpad
Tavoletta
grafica
Joystick
Joystick
• Asta con impugnatura anatomica, mobile in
tutte le direzioni, che sporge da una base fissa
• Corredata da uno o più pulsanti
• Derivati dalla cloche degli aerei, soprattutto
per i videogiochi
• Numerosi tipi
Joystick - esempi
Esempio: Flight simulator (Microsoft, 2004)
Piccoli joystick (es. cellulari)
Nipple
• Piccolo joystick usato a volte nei PC portatili in
aggiunta al touchpad:
Joystick (Sony Playstation)
Video: FIFA 08
• http://it.youtube.com/watch?v=9WiBOUDTfDI
• http://it.youtube.com/watch?v=lkac_f2W8Hk&feature=related
Conclusioni
Si è verificata una grande evoluzione delle possibilità di
interazione per manipolazione diretta, dal semplice
movimento di un cursore discreto sullo schermo, fino alle
applicazioni multi-touch e multi-utente, con rilevazione di
pressione e accelerazione, o con joystick multifunzionali
Che cosa si potrà ancora
fare con le mani?
Dove studiare
Sul libro di testo:
- Cap. 2, Dix, pagg.62-70
Inoltre, su questi temi, le voci di Wikipedia (anche in
italiano) sono in genere affidabili e aggiornate