DISPOSITIVI PER
L’IMMISSIONE DI TESTO
Scopo di questa lezione
Introdurre i principali dispositivi per la
immissione di testo (text-entry systems), secondo
i tre paradigmi base:
– digitazione (dalla macchina da scrivere)
– scrittura a mano libera (dalla penna)
– dettatura (a voce)
Temi
1. Tastiere e tastiere virtuali
2. Scrittura a mano libera
3. Sistemi di dettatura
4. Prestazioni a confronto
Tastiere
e tastiere virtuali
Tastiere e tastiere virtuali
Tastiere per postazioni fisse:
• QWERTY, Dvorak e alfabetiche
• Tastiere ergonomiche
• Tastiere speciali
• Tastiere virtuali
Tastiere per mobile computing:
• La tastiera a 12 tasti: lo standard di fatto
• Tastiere virtuali
La tastiera QWERTY
•
Prende il nome dai
primi sei tasti alfabetici
• E’ lo standard di fatto da decenni
• Ne esistono varianti nazionali in 4 famiglie:
– QWERTY (la più numerosa, es.: Italia, USA, UK, Spagna,…)
– QWERTZ (es.: Germania)
– AZERTY (es.: Francia)
– QZERTY (Italia, macchine da scrivere)
• La disposizione dei tasti alfabetici e numerici è costante
all’interno di una famiglia, cambiano punteggiatura,
caratteri accentati e speciali
La tastiera QWERTY italiana
Nota: Nella tastiera QZERTY italiana, usata nelle macchine da scrivere:
- la Z è scambiata con la W
- la M si trova a destra della L
La tastiera QWERTY (segue)
Ad ogni tasto possono essere associati fino a quattro
caratteri, che possono essere selezionati con l’aiuto di
tasti “modificatori”:
Shift+Tasto
Tasto
ç
ò
AltGr+Shift+Tasto
(in Italia)
@
AltGr+Tasto
(in USA Alt destro + Tasto)
La tastiera QWERTY: storia
• Venne inventata da Christopher Sholes nel 1870 circa, per
le macchine da scrivere dell’epoca, a martelletti
• I tasti sono disposti in modo da evitare incastri fra i
martelletti
Da un
brevetto
del 1878
Scrittura a tastiera cieca (“touch typing”)
• Tecnica di digitazione che non fa uso della vista, inventata nel
1876 per le macchine da scrivere
• Le tastiere hanno un rilievo in corrispondenza dei tasti F e J (o
analoghi) per posizionare correttamente le mani
La tastiera Dvorak
• Inventata da Augusto Dvorak nel 1936, adotta una
disposizione “razionale” dei tasti:
– in funzione della frequenza delle lettere nelle parole inglesi
– per minimizzare gli spostamenti delle mani e per alternarle il più
possibile
– per privilegiare le dita forti (il 70% delle lettere vengono scritte
con gli indici e i medi) e la mano destra (56% delle pressioni)
• Oggi viene usata in modo molto limitato
Lettere abbastanza
frequenti
Lettere più frequenti
Lettere meno frequenti
Perché Dvorak ha fallito…
• E’ molto, molto, molto difficile sostituire una
tecnologia che ha conquistato una larga base
di utenti con una nuova tecnologia….
• …. anche se quest’ultima è migliore
Tastiere: problemi
Le tastiere tradizionali impongono posture
innaturali, che possono indurre vari disturbi
Posizione naturale
dei polsi
Posizione indotta da una tastiera
tradizionale
Tastiere ergonomiche: alcuni esempi
Tastiere ad accordi
• Ad ogni dito corrisponde un singolo tasto
• Ad ogni carattere corrisponde una combinazione di tasti
(“accordo”), e non un tasto singolo
• Velocità considerevole per utenti esperti, ma mercato di
nicchia
Esempio:
Tastiere virtuali
• soft keyboards (su display)
• con uso del mouse
• con touch-screen
• [con sistemi di eye-tracking]
• tastiere a proiezione
Esempio: soft keyboard con uso del mouse
Da Windows
Una tastiera virtuale ha
possibilità di
riconfigurazione
Esempio: soft keyboard su touch screen
Esempio: tastiera virtuale a proiezione
Video
• Virtual keyboard
http://it.youtube.com/watch?v=bXViWxmSumI
• Scrivere con gli occhi
http://it.youtube.com/watch?v=fOt-nm1ats0
Tastiere per mobile computing
• Mobilità:
– piccole dimensioni
– uso di una sola mano per la digitazione
• Piccole dimensioni:
– riduzione della dimensione dei tasti (“miniature
Qwerty”), oppure
– riduzione del numero dei tasti -> necessità di
associare ad ogni tasto più caratteri (overloading)
Piccole Qwerty: esempi
NB: Non è possibile la scrittura a tastiera cieca
(solo digitazione con una o due dita)
Lo standard di fatto: tastiera a 12 tasti
Dal telefono fisso (a tastiera) al cellulare:
Metodi per l’immissione di testo:
• multitap – ogni tasto è premuto più volte (lento)
• predittivi (più veloce, il più noto: T9)
T9 (“Text on 9 keys”)
• Sistema per l'inserimento facilitato delle parole tramite una tastiera
numerica (a 9 tasti)
• Utilizzando un vocabolario integrato, è in grado di prevedere quale
parola l'utente sta scrivendo e propone di completarla,
risparmiando la pressione dei tasti corrispondenti alle lettere
mancanti
• L’algoritmo è in grado di apprendere
• Le prestazioni possono essere lievemente migliori di quelle
raggiunte da piccole tastiere qwerty, ma possono anche essere
inferiori a multitap (dipende dalle parole usate)
• E' sviluppato dalla Tegic, ed è stato adottato inizialmente dalla
Nokia (dal 1999)
• le lingue attualmente supportate sono circa 40
Esempio
BACI
Multitap:
22 2 222 444
(problema della
segmentazione)
T9:
2224
(ma anche: BACH e ABBI)
Tastiere virtuali per device mobili
dito
Stylus
(richiede due mani)
Virtual keyboard per Apple i-phone: video
http://it.youtube.com/watch?v=HrEEzS4mRCI
http://it.youtube.com/watch?v=dU33DfFAV9w
Tastiere portatili: esempio
Scrittura
a mano libera
Pen computing
superficie
sensibile
stilo
software di
riconoscimento
Riconoscimento della scrittura
(handwriting recognition)
• Problema molto complesso; le differenze individuali
sono molto grandi
• Non ci si può aspettare un riconoscimento al 100%,
e in ogni caso gli utenti dovranno cercare di scrivere
con chiarezza
• Tassi di riconoscimento del 97% sono accettabili
Riconoscimento della scrittura:
scelte possibili (I)
• Riconoscimento on-line / off-line
– off-line: analisi effettuata quando il testo è stato scritto;
– on-line: analisi effettuata in tempo reale durante la scrittura
• Riconoscimento di corsivo / stampatello
– lo stampatello è molto più facile da riconoscere
– lo stampatello è stato standardizzato (ANSI OCR handprinting standard,
1974)
• Input “boxed” / “free-form”
– incasellare i singoli caratteri per semplificarne la individuazione, oppure no
• Riconoscimento di lettere / parole
– in corsivo è più facile riconoscere intere parole (con l’aiuto di un dizionario)
che non le singole lettere
– necessità di avere dizionari personalizzabili
Riconoscimento della scrittura:
scelte possibili (II)
• Addestramento del riconoscitore
– ogni utente ha il suo stile personale; il riconoscitore può continuare ad
imparare durante l’uso;
– per questo deve ricevere dei feedback
• Utilizzo di informazioni di contesto
– il riconoscimento del contesto può facilitare il riconoscimento di caratteri
in una parola e di parole in una frase
•
•
•
•
Permettere di mescolare testo e grafica
Set di caratteri ASCII / Unicode
Rappresentazione bitmapped / vettoriale
Permettere correzioni amodali
- correzioni ˝a penna˝ durante la scrittura
Il progenitore: Apple Message Pad (˝Newton˝)
• Progetto iniziato nel 1990 da John Sculley.
Obiettivo‫ ׃‬ridefinire il personal computing
• Scenario paradigmatico‫ ׃‬un architetto prepara
uno schizzo, visitando un cantiere (mobilitá)
• Sul mercato dal 1993 al 1998
(vari modelli successivi)
• schermo inizialmente abbastanza grande
(non tascabile), orizzontale o verticale,
tastiera opzionale
• riconosceva maiuscolo e corsivo, sulla base
di un dizionario estensibile, con
addestramento; schizzi, forme,
modeless error correction
• troppo in anticipo sui tempi, la tecnologia
di riconoscimento era immatura e costava
troppo: fu un flop
Newton MessagePad (1993)
Il Tablet PC (dal 2002…)
Basato sulla piattaforma
software di Microsoft
Esempio:
Windows Journal
Esempio: editing
Esempio:
riconoscimento
Esempio: input alle
applicazioni
- da tastiera reale
- da tastiera virtuale
- da handwriting
Un uso importante dell’handwriting è
nelle annotazioni
(PowerPoint + annotazioni)
Interactive whiteboard
• “Lavagne” elettroniche condivise, di grandi dimensioni, connesse
a un computer, per supportare lavoro di gruppo (brainstorming,
classroom)
• Superficie sensibile + penna + videoproiezione (varie tecnologie)
Interactive whiteboard (II)
• Per supportare lavoro di gruppo serve del software apposito
• Es. (ancora dal Parc!): Tivoli (1993), MeetingBoard (1995):
MeetingBoard: editing a mano libera
MeetingBoard: editing a mano libera
Handwriting: un approccio molto più semplice...
Unistrokes (Goldberg & Richardson, PARC, 1993)
• Ogni simbolo è rappresentato da un singolo tratto di penna
– Il software lo discrimina facilmente
– L’utente lo impara facilmente
• Disaccoppiamento di scrittura e lettura (le posizioni sullo schermo
sono differenti)
Questo è il
testo riconosciut_
qui si
scrive un
carattere
alla volta
Unistrokes
5 segni base:
x 4 orientamenti x 2 direzioni
= 40 possibili variazioni
Palm Pilot (1996)
• Il ˝Personal Digital Assistant˝
(PDA)
• utilizza ˝Graffiti˝, una evoluzione di
Unistrokes realizzata da Palm
Computing
• comprende molti segni di
interpunzione e caratteri
speciali
• il primo “palmare” di grande
successo commerciale
Un Palm
Il testo deve
essere scritto qui
(a sx lettere a dx
cifre)
Punctuation
Shift
.
Punctuation shift:
per entrare nel
“modo
punteggiatura”
Symbol shift:
per entrare nel “modo simbolo”
Graffiti 2
• Evoluzione di Graffiti
• Alcuni caratteri vengono realizzati con due tratti
Vedi simulatore in http://www.palmone.com/us/products/input/graffiti2.html
Sistemi di dettatura
Riconoscimento del parlato
speaker
independence
difficile
facile
vocabolario
connected
speech
Sistemi di dettatura
Oggi esistono sistemi commerciali in grado di
riconoscere con “ragionevole precisione” parlato
connesso, indipendente dal parlante (previo
addestramento), con ampio vocabolario (in molte
lingue)
Es.: Dragon Systems Naturally Speaking, IBM
ViaVoice, Lernout&Hauspie Speech Products, ...
Sistemi di dettatura: aspetti
- Tutte le lingue principali (con possibilità di
definizione di dizionari utente)
- Breve fase di addestramento iniziale, e possibilità di
addestramento continuo
- Vasto set di comandi vocali (amodalità)
- Alto tasso di errore (errori non predicibili)
- Correzioni con comandi vocali richiedono tempo
Sempre caro mi fu quest'eremo colle,
e questa siepe, che da tanta parte
dell'ultimo orizzonte riguardo esclude.
Ma sedendo e mirando, in terminati
spazi di là da quella, e sovrumani
silenzi, e profondissima quiete
Dio nel pensiero mi fingo; ove per poco
il corno si sta un'ora. E come il vento
odo stormire fra queste piante, io quello
infinito silenzio a questa voce
un po' comparando: e mi sovviene l'eterno,
e le molte stagioni, e la presente
visiva, è il suon di lei. Così tra questa
immensità s'annega il pensiero mio:
e il naufragar m'è dolce in questo mare con
ermo
il guardo
interminati
io
cor non si spaura
vo
e viva
.
(Dragon Naturally Speaking, versione 2001)
Sistemi di dettatura: conclusioni
• Per non “perdere il controllo” è necessario attendere che
la frase dettata compaia sullo schermo, e procedere subito
ad eventuali correzioni
• L’interazione diviene spesso “naturalmente” multi-modale
(voce + tastiera e mouse)
• Tranne che per persone particolarmente addestrate, la
tastiera si rivela ancora più efficiente della dettatura
Prestazioni a confronto
Metriche
• Velocità: wpm (words-per-minute)
(1 parola si considera di 5 caratteri)
• Accuratezza: % di caratteri sbagliati
• Devono essere misurate entrambe (più velocità,
meno accuratezza, e viceversa)
accuratezza
velocità
Prestazioni a confronto
• Difficile dare misure “assolute”: le variabil sono
molte (tecnologia, abilità, condizioni sperimentali)
• Tipicamente, in modo qualitativo:
Due+ dita
Touch typing
WPM
0
10
20
30
40
50
60
Handwriting
Dettatura a voce
(con correzioni multimodali, utente esperto)
Curva di apprendimento
• Segue la legge esponenziale della pratica
• Esempio (per due tipi diversi di soft keyboards):
(da MacKenzie & Zhang, 1999)
Un confronto di prestazioni fra vari metodi di text-entry
Soukoreff, R. W. & MacKenzie, I. S. (1995)
Graffiti o Virtual Keyboard?
• I PDA normalmente forniscono entrambe le modalità(es.Palm)
• Alcuni esperimenti con Graffiti 2 mostrano che:
- l’input con Graffiti è più lento di quello con virtual keyboard
(es.: 9.2 wpmm vs 13.6 wpm)
- gli errori con Graffiti sono più frequenti (es.: 19.3% vs 4.1%)
- ma l’uso di Graffiti è preferito dagli utenti, perché più naturale
- l’uso di software per il completamento automatico delle parole non
aumenta sostanzialmente la velocità nè diminuisce il tasso di errore
(8.22 wpm e 18,8% rispettivamente)
(CHI 2004)
Dove studiare
Libro di testo:
- Cap.2, pagg.53-62
Su questi argomenti, le voci di Wikipedia (anche in
italiano) sono in genere aggiornate e affidabili