ESSE3: Architettura dell’Informazione centrata sull’Utente Stefano Bussolon [email protected] Università di Trento, Dipartimento di Scienze della Cognizione e della Formazione ESSE3 User Group – Bologna, 21 novembre 2007 – p. 1 Introduzione L’architettura dell’informazione è il processo di costruzione delle modalità di accesso all’informazione finalizzato a permettere agli utenti di navigare velocemente e produttivamente all’interno del sito. McCracken (2005). In tale processo vanno tenute in considerazione 3 dimensioni (Rosenfeld and Morville, 2002): • il contesto: gli scopi di business, le politiche, la cultura, la tecnologia, le risorse, i vincoli; • i contenuti del sistema informativo: i documenti, i file, le applicazioni, i servizi, i metadati; • gli utenti del sistema. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 2 Aree di intervento Rosenfeld and Morville (2002) identificano 4 aree di intervento: 1. Organizzazione: il modo in cui l’informazione deve essere organizzata e strutturata. 2. Labeling: il lessico da usare per etichettare le risorse e le categorie del sistema di informazione. 3. Navigazione: gli strumenti dell’interfaccia che permettono agli utenti di navigare nel sistema. 4. Ricerca: gli strumenti che permettono agli utenti di cercare un’informazione. Le aree di intervento dove l’approccio centrato sugli utenti è più importante sono l’organizzazione e il labeling ESSE3 User Group – Bologna, 21 novembre 2007 – p. 3 Cosa vogliono gli utenti? Cosa si aspettano di trovare, gli utenti, nel sito che stiamo costruendo? • Come si aspettano che l’informazione sia strutturata, organizzata, classificata e presentata? • Qual’è il loro lessico? Che vocabolario dobbiamo usare per essere comprensibili? Quali etichette? • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 4 Strutture organizzative Le strutture organizzative si occupano della modalità di immagazzinamento e presentazione delle informazioni. Vi sono molteplici tipi di strutture: gerarchiche, tabellari, ipertestuali (Rosenfeld and Morville, 2002), a faccette, a parole chiave (tags). Le strutture tabellari sono generalmente associate agli schemi esatti, mentre, salvo particolari eccezioni, le strutture gerarchiche si basano quasi esclusivamente su schemi ambigui. Una struttura gerarchica divide il dominio semantico della struttura informativa in partizioni. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 5 Labeling Con etichetta (label) si intende un’unità informativa di piccole dimensioni, finalizzata ad identificare una risorsa: un documento, un file audio, un prodotto, un filmato, una persona. L’etichetta è generalmente testuale, ma può essere anche una piccola immagine (un’icona) e, in determinati casi, anche un suono. Nel design (o nel redesign) di un sito internet ci si trova però spesso a dover affrontare il problema di etichette poco informative, oppure di acronimi noti soltanto ai progettisti. Una buona etichetta deve essere breve, informativa, non ambigua. Un sistema di labeling dev’essere coerente all’interno dell’intero sito. Quando possibile è importante rispettare le convenzioni. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 6 Il processo L’architettura dell’informazione centrata sull’utente si basa su di un processo di sviluppo che, attraverso le fasi progettuali, coinvolga i committenti, gli editori e gli utenti nella definizione dell’architettura informativa. Una buona progettazione permette di creare siti più utili, usabili, con informazioni più facilmente reperibili e, se la progettazione è orientata non solo al presente ma anche agli sviluppi futuri, anche molto meno soggetti ad obsolescienza (Fuccella and Pizzolato, 1998). Il processo che presentiamo, focalizzato sulle fasi di analisi e architettura, costituisce l’integrazione di differenti proposte (Fuccella and Pizzolato, 1998; Caprio and Ghiglione, 2003; Sinha and Boutelle, 2004; McGovern, 2002; McQuaid et al., 2003). ESSE3 User Group – Bologna, 21 novembre 2007 – p. 7 Fasi progettuali Caprio and Ghiglione (2003) identificano quattro fasi di progettazione: 1. discovery: identificazione degli obiettivi del sito, definizione dei requisiti, evidenziazione di eventuali vincoli progettuali; 2. analisi: prevalentemente l’inventario dei contenuti e l’analisi dei profili utente; 3. architettura: labeling, categorizzazione dei contenuti, navigazione, definizione del database; 4. sviluppo: il sito viene sviluppato e testato. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 8 Dominio semantico Questa fase, che Fuccella and Pizzolato (1998) definiscono raccolta dei compiti e dei requisiti, è finalizzata a definire i contenuti del sito web, identificando e priorizzando i contenuti correnti e futuri e i requisiti del sito. Nella fase di analisi si procederà a delle analisi non empiriche (analisi dei contenuti del sito esistente e all’analisi competitiva) ed empiriche (free listing, valutazione di importanza, card sorting). ESSE3 User Group – Bologna, 21 novembre 2007 – p. 9 Free listing È importante adottare un approccio orientato all’utente anche nella definizione dei contenuti, in quanto può aumentare non solo l’usabilità e la reperibilità delle informazioni, ma anche la loro utilità. La tecnica del free listing può essere utilizzata per coinvolgere gli utenti nella definizione dei contenuti (Coxon, 1999). Più in particolare può essere usata per due funzioni: 1. elencare i contenuti, l’ambito e i confini del dominio semantico; 2. elicitare il lessico implicito degli utenti. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 10 Come condurre il free listing Condurre un questionario di free listing è estremamente facile. È sufficiente chiedere ai partecipanti di produrre una lista di voci partendo da un dominio o una categoria specifica. Ad esempio “Elenca fino a dieci emozioni che conosci ”; “In quale località turistica ti piacerebbe andare in vacanza? ”“Cosa ti aspetti di trovare nel portale dell’Università di Trento? ”; “Quali sono, secondo te, i servizi più importanti che Esse 3 dovrebbe offrire ai suoi utenti?” ESSE3 User Group – Bologna, 21 novembre 2007 – p. 11 Analizzare i risultati Se si hanno un numero adeguato di partecipanti attraverso questo metodo si può ottenere una lista degli elementi di un dominio semantico; la lista dovrebbe rappresentare le aspettative degli utenti e i termini (le etichette) che usano per definire le risorse. Questi risultati dovrebbero dunque costituire la base non solo per la definizione del dominio informativo, ma anche del sistema di labeling. Se si usa, per la somministrazione del questionario, una interfaccia web, si ottiene una lista molto lunga di voci. Sarà pertanto necessario elaborare tale lista, al fine di eliminare le ridondanze e le risposte non pertinenti (Conci, 2006). ESSE3 User Group – Bologna, 21 novembre 2007 – p. 12 Integrazione delle voci La lista ottenuta dal free listing va integrata con quella ottenuta dall’analisi dei contenuti del vecchio sito (se esistente), dall’analisi competitiva e dall’elenco di risorse previste dagli stakeholders. La lista finale sarà la base per il card sorting. Se la lista supera le 60 - 80 voci è preferibile usare soltanto le 60 - 70 voci che utenti e committenti considerano più importanti. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 13 Valutazione di importanza La valutazione dell’importanza delle risorse consiste in un questionario in cui vengono elencate le risorse identificate nella fase precedente e viene chiesto ai partecipanti di esprimere, attraverso una scala Likert, quanto ritengano importante ognuna delle voci elencate (Rugg and McGeorge, 1997). Attraverso la valutazione di importanza sarà possibile identificare le aree informative dove varrà la pena focalizzarsi. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 14 Scopi permettere agli editori del sito di identificare gli argomenti più importanti per gli utenti; • decidere a quali risorse dare maggiore risalto nel sito, magari nella home page. • far emergere eventuali differenze fra gruppi di utenti, di cui tener conto nella progettazione della navigazione. • il card sorting funziona con un massimo di 60-70 elementi. Se l’elenco è più lungo useremo solo le 60 voci considerate più importanti dagli utenti. • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 15 Il card sorting Attraverso il card sorting è possibile identificare il criterio di classificazione usato dagli utenti e di identificare il contenuto e l’etichetta dei gruppi da essi generati. È possibile far emergere eventuali differenze di categorizzazioni fra diversi gruppi di partecipanti. È una tecnica facile da realizzare e facile da far comprendere ai partecipanti; gli utenti la considerano un metodo di classificazione naturale; può essere utilizzata con individui di ogni estrazione culturale; ESSE3 User Group – Bologna, 21 novembre 2007 – p. 16 Finalità Attraverso il card sorting possiamo far emergere: • i criteri che i partecipanti adottano per categorizzare e cercare le informazioni; • la struttura informativa che implicitamente si aspettano di trovare; • le eventuali differenze fra diversi gruppi di utenti; • le etichette delle categorie, espresse nella sintassi degli utenti. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 17 Cluster analysis La cluster analysis gerarchica si ottiene a partire dalla matrice di dissimilarità (Tullis and Wood, 2004; Faiks and Hyland, 2000). Dalla cluster analysis è possibile ottenere un dendrogramma della classificazione, detto albero di classificazione gerarchica (Coxon, 1999; Sinha and Boutelle, 2004). È inoltre possibile applicare la cluster analysis k-means sulle dimensioni dell’analisi delle componenti principali, ottenendo una clusterizzazione basata sulle componenti principali (Capra, 2005). ESSE3 User Group – Bologna, 21 novembre 2007 – p. 18 Netsorting Netsorting è una web application finalizzata alla somministrazione on line di tecniche di elicitazione della conoscenza quali il free listing, la valutazione di importanza ed il card sorting. Per ogni tipologia di questionario netsorting fornisce una interfaccia appropriata, dove vengono presentati il nome del dominio informativo, una breve descrizione, una descrizione del questionario specifico e alcune istruzioni. A netsorting è dedicato il sito www.cardsorting.info ESSE3 User Group – Bologna, 21 novembre 2007 – p. 19 Free listing ESSE3 Da dicembre 2006 a marzo 2007 abbiamo raccolto 780 utenti. 372 maschi, 408 femmine. Età media 24 anni. unicam.it 46 unimore.it 178 uninsubria.it 85 unisa.it 477 Gli utenti hanno fornito una lista di più di 1900 voci. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 20 Free listing: risposte • • • • • • • • • • • • • prenotazione esami: 42 materiale didattico: 22 prenotazioni esami: 15 date esami: 14 libretto: 12 esiti esami: 11 risultati esami: 11 iscrizione esami: 10 orari delle lezioni: 10 orari lezioni: 10 appelli: 9 modulistica: 9 esami: 8 ESSE3 User Group – Bologna, 21 novembre 2007 – p. 21 Pulitura delle voci Le voci hanno subı̂to varie rielaborazioni al fine di: • eliminare le ridondanze, ovvero gli items che esprimono lo stesso concetto con termini leggermente differenti; • eliminare le voci non pertinenti (consigli, commenti, critiche, stupidaggini). Da questa elabroazione è risultata una lista di circa 83 voci. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 22 Valutazione di importanza Da marzo a luglio 2007 abbiamo raccolto quasi 312 utenti. 152 maschi, 142 femmine, 18 non dichiarato. Età media 25 anni. unicam.it 22 unimore.it 66 uninsubria.it 38 unisa.it 175 sconosciuto 11 ESSE3 User Group – Bologna, 21 novembre 2007 – p. 23 Importanza: risposte N 1 2 3 4 5 6 7 8 9 10 11 Voce Calendario Esami Registrazione esami Appelli esami Dispense e materiale didattico Risultati degli esami Libretto elettronico Iscrizione agli esami Variazioni orari (lezioni, ricevimento) Orari delle lezioni Avvisi Informazioni segreteria Media 5,36 5,28 5,27 5,22 5,13 5,1 5,1 5,05 4,92 4,88 4,87 ESSE3 User Group – Bologna, 21 novembre 2007 – p. 24 Importanza: risposte N 74 75 76 77 78 79 80 81 82 83 Voce Profilo personale docente Mobilità internazionale Laurea magistrale Forum discussione studenti Domanda di trasferimento Agenda Mappa del campus Statistiche Web community Blog Media 3,75 3,65 3,59 3,55 3,46 3,29 3,13 3,09 2,95 2,64 ESSE3 User Group – Bologna, 21 novembre 2007 – p. 25 Card sorting Nella fase attuale stiamo applicando il card sorting aperto alle 60 voci più importanti ottenute dalla valutazione di importanza. Da ottobre abbiamo raccolto circa 30 utenti. Risultati preliminari Abbiamo applicato l’analisi dei cluster gerarchica e l’analisi K-means sull’analisi delle componenti principali. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 26 10 15 20 25 Domanda di laurea Conseguimento Titolo Laurea Diritto allo studio Scadenziario Informazioni segreteria Segreteria studenti Anagrafica studente Autocertificazione Certificati Modulistica Immatricolazione Iscrizioni (agli anni successivi) Borse di Studio Rimborsi tasse Guida alle tasse Esoneri tasse Pagamento tasse Posta Elettronica News Avvisi Bacheca per gli studenti Biblioteca E−learning Offerta Didattica Informazioni sui corsi di laurea Master Corsi di Studio Corsi post lauream Corsi di laurea specialistica Corsi di specializzazione post laurea Strutture d’ateneo: facoltà, dipartimenti, bibliot Facoltà Manifesto degli studi Valutazione della didattica da parte dello student Stage e tirocini Scelta Lingue Straniere Scelta Percorso (curriculum/indirizzo) Iscrizione ai Corsi Calendario Appelli di Laurea Registrazione esami Risultati degli esami Iscrizione agli esami Appelli esami Calendario Esami Piano di studi Libretto elettronico Calcolo cfu (crediti formativi) Media aritmetica voti Docenti Ricevimento docenti Variazioni orari (lezioni, ricevimento) Registro delle lezioni (docente) Programmi dei corsi di insegnamento Orari delle aule Orari delle lezioni Appunti delle lezioni Dispense e materiale didattico Attività Didattiche/insegnamenti Didattica 5 Height 30 Cluster gerarchico Classificazione servizi di ateneo distanza hclust (*, "average") ESSE3 User Group – Bologna, 21 novembre 2007 – p. 27 K-means Classificazione servizi di ateneo 0.2 Facoltà Corsi di Studio laurea specialistica Corsi Informazioni sui laurea corsi di laurea Corsi post lauream Corsi di di specializzazione post Master facoltà, dipartimenti, biblioteche Strutture d’ateneo: Manifesto degli studi Offerta Didattica Laurea Biblioteca 0.1 E−learning Informazioni Conseguimento Titolo segreteria 2 Programmi dei corsi di insegnamento Didattica Stage e tirocini Docenti Scelta Percorso (curriculum/indirizzo) −0.1 0.0 Scelta Lingue Straniere Attività Didattiche/insegnamenti Piano di studi Registro delle lezioni (docente) Valutazione della didattica da parte dello studente docenti OrariRicevimento delle Appunti delleaule lezioni Orari delle lezioni didattico Dispense e materiale Variazioni orari (lezioni, ricevimento) Segreteria studenti Diritto allo studio Posta Elettronica News Avvisi Anagrafica studente −0.2 Bacheca per gli studenti Iscrizione ai Corsi Media aritmetica voti Calendario Esami Registrazione esami Risultati degliesami esami di Laurea Appelli Calendario Appelli Iscrizione agli esami Calcolo cfu (crediti formativi) Libretto elettronico Borse Studio Guidadialle tasse Pagamento tasse Scadenziario Domanda di laurea Immatricolazione Rimborsi tasse Esoneri tasse Modulistica Autocertificazione Certificati Iscrizioni (agli anni successivi) −0.2 −0.1 0.0 1 0.1 0.2 ESSE3 User Group – Bologna, 21 novembre 2007 – p. 28 Struttura (1) • Piano di studi Scelta Percorso (curriculum/indirizzo) Piano di studi - Anagrafica studente - Media aritmetica voti - Calcolo cfu (crediti formativi) - Libretto elettronico - Scelta Lingue Straniere Insegnamenti (corsi) Attività Didattiche/insegnamenti - Programmi dei corsi di insegnamento - Offerta Didattica - Iscrizione ai Corsi - Orari delle lezioni - Orari delle aule - Variazioni orari (lezioni, ricevimento) Appunti delle lezioni - Dispense e materiale didattico Registro delle lezioni (docente) - Ricevimento docenti • Esami Calendario Esami - Appelli esami - Iscrizione agli esami - Risultati degli esami - Registrazione esami Calendario Appelli di Laurea • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 29 Struttura (2) Offerta didattica Strutture d’ateneo - Facoltà Informazioni sui corsi di laurea - Corsi di Studio Manifesto degli studi - Corsi di laurea specialistica Corsi di specializzazione post laurea - Master • Laurea e post-laurea Domanda di laurea - Laurea Conseguimento Titolo - Stage e tirocini • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 30 Struttura (3) • Segreteria Segreteria studenti - Informazioni segreteria - Modulistica - Autocertificazione - Certificati - Diritto allo studio - Immatricolazione - Iscrizioni (agli anni successivi) - Scadenziario - Borse di Studio - Guida alle tasse - Pagamento tasse - Esoneri tasse - Rimborsi tasse - News - Avvisi - Bacheca per gli studenti ESSE3 User Group – Bologna, 21 novembre 2007 – p. 31 Voci disperse • • • • • E-learning Biblioteca Docenti Posta Elettronica Valutazione della didattica da parte dello studente ESSE3 User Group – Bologna, 21 novembre 2007 – p. 32 Commenti degli utenti (1) Netsorting permette agli utenti di lasciare dei commenti. • bisogna forse chiarire con cosa si intendono alcuni termini: tipo facoltà e laurea, che ho inserito in due gruppi differenti ma forse sbagliando. però non si capisce che informazioni volevate dare: informazioni generali conoscitive, informazioni burocratiche su come laurearsi, informazioni personali riguardanti la propria facoltà o corso di laurea...ecc... in questo modo non è possibile classificare con criterio, una persona và a cercare le informazioni che le servono anche in base al contesto, non rifacendosi solamente alla parola pura e semplice. • come mai non funziona nulla?? • continuate cosi • fate schifo ESSE3 User Group – Bologna, 21 novembre 2007 – p. 33 Commenti degli utenti (2) • • • • • il vostro sito non funziona bene: ho perso quasi 10 ore per entrare lella mia area utente con nome utente e password, ma non sono riuscita ad entrarci. non ho perciò potuto inserire i miei dati isee via email io vorrei far presente che il sito delle carriere degli studenti non è aggiornato; vengono segnati solo alcuni degli esami effettuati e quindi il conteggio dei crediti e il calcolo della media non sono esatti. non è molto utile come servizio se non viene aggiornato mettere chiaramente la voce di iscrizione agli esami ed accesso immediato a tutti gli appelli previsti divisi per facolta non funziona niente non vanno per niente bene ESSE3 User Group – Bologna, 21 novembre 2007 – p. 34 Commenti degli utenti (3) salve! per quanto riguarda il piano di studi, dato che ultimamente sta cambiando ogni anno e alcuni esami non esistono più, son stati sostituiti o divisi... nel sistema non vengono nemmeno configurati. la modulistica dovrebbe essere accessibile a tutti, cosı̀ da evitare code lunghissime in segreteria. ci si dovrebbe poter iscrivere agli appelli degli esami online... e, a proposito, come mai ancora oggi 6 ottobre non si conoscono le date degli appelli di novembre?!!! • se tutte queste funzioni funzionassero e fossero largamente utilizzate dai professori sarebbe davvero comodissimo • visto che è impossibile iscriversi on line come fare? • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 35 Commenti degli utenti (4) Dovete assolutamente aggiornare i libretti on-line! Ma è possibile che ho fatto un esame a fine febbraio e ancora nn me lo avete segnato?!?!?!!!!!!!!!!!!!!!!??????!?! • Maggiore aggiornamento su appunti, orari lezione ed eventuali rinvii. • Il personale addetto agli sportelli,soprattutto le signore dello sportello di xxx siano piu edudate. • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 36 Commenti degli utenti (4) Deve esistere un unico sito per facoltà, ad esempio adesso per farmacia funziona sia esse3 che il sito vecchio e le informazione sono frammentate tra i due siti. Il libretto elettronico può essere valido solo se la segrateria non impiega anni come fa adesso per aggiornarlo, altrimenti crea solo panico. • Il sito dovrebbe risultare di approccio più immediato a mio parere, in particolar modo gli lementi di maggior interesse (orari lezioni, variazioni) dovrebbero essere messi in evidenza. • Formattate il server, formattate la cartella del sito, formattate i vostri cervelli, e formattate i vostri portafogli per creare qualcosa che funga veramente! • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 37 Conclusioni Metodo: l’utente è coinvolto nel redesign del servizio. Risultati: • architettura dell’informazione centrata sugli utenti: una struttura più facile da navigare, con dei menu più chiari; • terminologia più facile da comprendere per gli utenti; • feedback e commenti ricevuti dagli utenti. ESSE3 User Group – Bologna, 21 novembre 2007 – p. 38 Direzioni future Valutazione di usabilità, per confrontare la versione attuale e la versione emersa con il card sorting. • Continuare a rendere disponibile agli utenti la possibilità di segnalare problemi, errori, suggerimenti. • Raccogliere il suggerimento di rendere più integrati i portali di facoltà e i servizi kion. • ESSE3 User Group – Bologna, 21 novembre 2007 – p. 39 Riferimenti bibliografici Boster, J. S. (2001). The information economy model applied to biological similarity judgment, pages 203 – 225. Capra, M. G. (2005). Factor analysis of card sort data: an alternative to hierarchical cluster analysis. In Proceedings of the Human Factors and Ergonomics Society. Caprio, L. and Ghiglione, B. (2003). Information Architecture. Tecniche Nuove, Milano. Sage Conci, M. (2006). Portale unitn: architettura dell’informazione centrata sull’utente. Master’s thesis, Facoltà di Scienze Cognitive – Università degli Studi di Trento. Coxon, A. P. M. (1999). Sorting data. Publications. Collection and analysis. Faiks, A. and Hyland, N. (2000). Gaining user insight: a case study illustrating the card sort technique. College and Research Libraries, pages 349 – 357. 39-1 Fincher, S. and Tenenberg, J. (2005). Making sense of card sorting data. Expert Systems, 22(3):89 – 93. Fuccella, J. and Pizzolato, J. (1998). Creating web site designs based on user expectations and feedback. Technical report, IBM Corporation. Gatewood, J. B. (1999). Culture ... one step at a time. The Behavioral Measurement Letter. Maurer, D. and Warfel, T. (2004). Card sorting: a definitive guide. Technical report, World Wide Web. McCracken, C. S. (2005). Bringing order to intranet chaos with information architecture: A case study. Master’s thesis, University of North Carolina at Chapel Hill. McGovern, G. (2002). A step-by-step approach to web classification design. Technical report. McQuaid, H. L., McManus, M., and Goel, A. (2003). Designing for a pervasive information environment: the importance of information architecture. In HCI 2003: Designing for Society, volume 2, Bath, UK. British HCI Group. 39-2 Nielsen, J. (2004). Card sorting: How many users to test. html page, World Wide Web. Nielsen, J. and Sano, D. (1994). Sunweb: User interface design for sun microsystem’s internal web. In Proceedings of the 2nd World Wide Web Conference ’94: Mosaic and the Web, pages 547–557. R Development Core Team (2006). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0. Rosenfeld, L. and Morville, P. (2002). Information architecture for the World Wide Web – 2nd ed. O’Reilly and Associates, Inc., Sebastopol, CA, USA. Rugg, G. and McGeorge, P. (1997). The sorting techniques: a tutorial paper on card sorts, picture sorts and item sorts. Expert Systems, 14(2):80 – 93. Sinha, R. and Boutelle, J. (2004). Rapid information architecture prototyping. In DIS ’04: Proceedings 39-3 of the 2004 conference on Designing interactive systems, pages 349–352, New York, NY, USA. ACM Press. Tullis, T. and Wood, L. (2004). How many users are enough for a card-sorting study? In Proceedings UPA’2004, Minneapolis, MN. 39-4