Sommario Sistemi di progettazione di contenuti informativi e multimediali Fabio Pittarello ([email protected]) Università Università Ca’ Ca’ Foscari di Venezia Dipartimento di Informatica Scenario di riferimento: sviluppo della rete Da un insieme di reti proprietarie scollegate ad un mondo totalmente connesso Scenario di riferimento Rete Devices Mobilità Mobilità Esperti di contenuti Progettare contenuti multimediali in relazione al contesto Profilo utente Dispositivo Tempo Locazione Storia dell'utente Contesti multipli Problemi aperti Scenario di riferimento: sviluppo della rete II A partire dal 1994 il web è diventato il paradigma principale per la distribuzione di informazione e servizi, anche per le applicazioni e per gli utenti che non sono connessi alla rete La parallela definizione di standard internazionali (W3C, ISO, etc.) per la descrizione e la presentazione di contenuti ipermediali ha costituito un'importante opportunità dal punto di vista della progettazione, contribuendo a semplificare la fase del design dei contenuti stessi. Scenario di riferimento: aumento della potenza di calcolo II Scenario di riferimento: aumento della potenza di calcolo I Open OS 3D Interfaces Computing power 2D WIMP Interfaces Text Interfaces Performance DMIPS 0.13u XScale 600 ARM11 480 280 Embedded Control ARM1026EJ-S 440 Punch Cards 1950 Samsung ARM10 ARM926EJ-S SC210 Secure ARM946 SC110 2000 2000 2001 2002 2003 2004 2005 ARM CPU Roadmap Scenario di riferimento: diversificazione dei dispositivi Scenario di riferimento: web man walking ... La mobilità dell'utente, supportata da un insieme di dispositivi sempre più leggeri (mobile computing), incorporati nell'ambiente (ubiquitous computing) e spesso connessi al web è una caratteristica fondamentale degli ultimi anni di sviluppo dell'informatica. Progettare contenuti multimediali in relazione al contesto Scenario di riferimento: esperti e non ... Crescente domanda da parte di esperti di contenuti di accedere a tool di progettazione che non richiedano skill informatici Spesso, grazie alla ricerca nell'ambito dell'HCI, abbiamo sistemi facili da usare per l'utente finale; questo non è sempre vero per gli autori Mancanza di tool è un serio ostacolo per lo sviluppo di contenuti informativi interessanti Designer Tempo Tool Luogo Cont. Multim. I profili utente: In alcuni casi (es. utenti non vedenti, utenti mobili)sono assimilabili ad un tipo di dispositivo, richiedendo solo una presentazione adeguata alle possibilità del device In altre situazioni gli utenti (es. scolari vs. docenti, anziani vs. giovani, etc.) richiedono contenuti specifici Internazionalizzazione Profilo e storia dell'utente Dispositivo Altri contesti I contesti dispositivo e profilo utente I contesti dispositivo e profilo utente Rete contesti Requisiti per i tools: Supportare l'accesso al contenuto multimediale da classi di dispositivi e profili utente singoli/multipli Sistemi di progettazione e gradi di libertà Tool visuali con pieno supporto dei linguaggi per il web Wikipedia tools Content Management Systems (CMS) Single Designer vs. Collaborative design Wikipedia tools I contesti dispositivo e profilo utente II Contenuti multimediali accessibili Approcci per la progettazione Sistemi che supportano la progettazione di un contenuto unico e diverse regole di presentazione per ogni tipo di dispositivo (approccio W3C) o profilo utente Sistemi che supportano la progettazione di contenuti diversi per ogni tipo di dispositivo o profilo utente Il ruolo del Consorzio W3C per la produzione di contenuti accessibili I Il termine accessibilità nel contesto del web è riferito alla possibilità di accedere a informazioni e servizi da parte del più ampio numero di categorie di utenti e dispositivi W3C e WAI impegnati nello sviluppo di standaed che garantiscano la produzione di contenuti ipermediali accessibili. L'Accessibilità descrive il grado fino al quale un sistema può essere utilizzato dal maggior numero di persone possibile senza modifiche. Accessibilità: Usabilità di un prodotto, servizio o ambiente, riferito a persone con i gradi più diversi di capacità (ISO/TS 16071) Il ruolo del Consorzio W3C per la produzione di contenuti accessibili II Linee guida per l'accessibilità rivolte a: Autori (WCAG) Sviluppatori di strumenti per il browsing (UAAG) Sviluppatori di tools per l'authoring dei contenuti (ATAG) Contenuti multimediali accessibili e legislazione Contenuti multimediali accessibili e legislazione 2 La necessità di disporre di tool di supporto per la generazione di contenuti multimediali è accresciuta da recenti disposizioni di legge che suggeriscono o prevedono esplicitamente il supporto a utenti con disabilità Section 508 per gli USA Disability Discrimination Act per la Gran Bretagna Disability Act 2005 per l'Irlanda Legge n.9/1/2004 (Legge Stanca) per l'Italia La legge Stanca si applica alla pubblica amministrazione e alle aziende private che sono licenziatarie di servizi pubblici. I soggetti a cui fa riferimento la legge sono obbligati a rispettare i requisiti di accessiilità; tutti i contratti che non rispettano tali requisiti devono essere considerati come nulli. Contenuto unico + molte presentaz. I contesti dispositivo e profilo utente: Tools device 1 presentation document 1 device 2 presentation document 2 multimedia document presentation document 3 device 3 Tools WYSIWYG: Dreamweaver, FrontPage, Supporto visuale all'autore Richiesti comunque skill XHTML, CSS, JSP PHP, etc. I contesti dispositivo e profilo utente: Tools Caso di studio A: Palazzo Grassi 2004 Logo di P. Grassi Path Menu Content Wikipedia tools e CMS Supporto visuale all'autore Parziale inibizione delle possibilità possibilità espressive per facilitare l'authoring Caso di studio A: Palazzo Grassi 2004 Text-to speech Standard Screen Small Screen Caso di studio B: CMS e portale multimodale per l'Università Ca’ Foscari Editorial board CSS style for screen CSS style for handheld Content Management System XHTML content Standard Screen CSS style for print Print Text to speech presentation Verso la comunicazione coordinata dell'identità di un ente I Caso di studio B: CMS e portale multimodale per l'Università Ca’ Foscari Logo di Ca’ Foscari Immagine di Ca’ Foscari Prima dell'applicazione di tools a supporto della progettazione: una collezione di siti con diversi stili comunicativi e stili di interazione Collegamento per login Martedì 24 Giugno … Ateneo Elezioni del Rettore Statuto Organi di Ateneo Organizzazione Ateneo Biblioteche di Ateneo Bandi e Concorsi Appalti e Gare Gare Telematiche … Audio Browser Visual Browser Standard Screen Visual Browser Small Screen Verso la comunicazione coordinata dell'identità di un ente II Sito principale Siti di Facoltà e di Dipartimento Verso la comunicazione coordinata dell'identità di un ente III Dopo l'applicazione di tools a supporto della progettazione: una presentazione unificata che enfatizza l'identità dell'ente Sito principale Siti di Facoltà Sito principale Siti di Dipartimento Verso la comunicazione coordinata dell'identità di un ente IV Internazionalizzazione Sito principale Intranet Molti contenuti + molte presentaz. multimedia document L'adozione di tool di supporto alla progettazione può aiutare a gestire problemi legati all'internazionalizzazione, come il posizionamento di blocchi di contenuto (relazionati alle convenzioni attraverso le quali gli individui leggono il testo) Molti contenuti + molte presentaz. device 1 device 2 multimedia document device 3 multimedia document virtual document Celentano, Gaggi (2003(2003-2006) Il contesto tempo Tools basati su rappr. a timeline Il contesto tempo Requisiti Prevale l'aspetto di supporto alla sincronizzazione dei diversi elementi multimediali impiegati Supporto a modelli temporali lineari e non lineari Il contesto tempo Tools basati su rappr. a grafo Celentano, Gaggi [2006]: Presentazioni sincronizzate diversificate diversificate a seconda delle variazioni di altri contesti Final Cut 3DStudio Max Premiere Maya Il contesto tempo Tools per avatar tridimensionali Department of Defense's Joint Advanced Distributed Learning (JADL) (JADL) CoCo-Lab - Iraqi Checkpoint course L'utilizzo di uno strumento di authoring (Vcommunicator Studio) permette di definire la gestualità gestualità (gesti, espressioni facciali, sguardi) e di sincronizzarla con i dialoghi associati agli avatar 3D, al fine di generare sequenze didattiche didattiche utili a comprendere i diversi protocolli culturali e ad evitare fraintendimenti. Manuali virtuali Il contesto locazione Sincronizzazione di elementi didattici al movimento di parti tridimensionali ai fini didattici (Parallelgraphics, 2006) Interfacce post-wimp Le interfacce post wimp (windows icon mouse pointer) vanno oltre la metafora visuale bidimensionale La tridimensionalità viene utilizzata come metafora intuitiva per persone che non sono esperte nel dominio informatico, al fine di comunicare informazione ed erogare servizi In alcuni casi la scena 3D stessa è parte dell'informazione da comunicare l'utente (es. ricostruzione di siti archeologici, ecc.) Progettazione di contenuti che vanno fruiti in locazioni spaziali diverse da un utente in movimento Gli ambiti spaziali appartengono allo scenario della mixed reality Necessaria comprensione dei problemi relativi alle interfacce post-wimp Mixed reality (P. Milgram P. e F. Kishino, 1994) Computer system lightweight mixed reality Real world Computer system augmented reality Real world Computer system Real world desktop virtual reality, immersive environments Problemi da risolvere II Problemi da risolvere I La definizione di semplici e consistenti metafore per la navigazione rimane una sfida importante per la computer grafica tridimensionalità; il problema dell'accessibilità è così significativo che forse tutti possiamo essere considerati come afflitti da problemi di accessibilità nella maggior parte delle scene tridimensionali. (Don Brutzman, Web3D Consortium, 2002) Difficoltà nell'identificare le parti significative della scena 3D Difficoltà nell'orientamento e nella navigazione Difficoltà nella definizione di interazioni complesse Linee guida: Aggiungere semantica ai mondi 3D Problemi da risolvere III Per le interfacce 2D è stato formalizzato un set di elementi visuali standard e di regole per utilizzarli Interazioni consistenti con diverse applicazioni hanno contribuito ad rendere meno ripida la curva di apprendimento di nuove applicazioni • Per le interfacce 3D ci sono solo paradigmi ad hoc per esperti per la manipolazione di elementi in wireframe (architetti, ingegneri civili e meccanici) Rappr. 3D tree man science sun modello home Venice mouse computer fashion high apple Zuppa di lemmi Mesh poligonali autore utente Nel processo di creazione di mondi 3D gli autori associano implicitamente alle entità a basso livello una semantica che viene condivisa con gli utenti che esaminano le proprietà visuali degli oggetti 3D. Aggiungere semantica ai mondi 3D Tools per definire metadata Metadata e Ontologie P. Halabala, P., Semantic metadata creation - 2003. H. Mansouri, Using Semantic Descriptions for Building and Querying Virtual Environments - 2005 I. M. Bilasco Bilasco , J. Gensel , M. Villanova-Oliver , H. Martin, 3DSEAM: a model for annotating 3D scenes using MPEG-7, 2005 F. Pittarello, A. De Faveri, Semantic description of 3D environments: a proposal based on web standards, 2006 Flux Studio include un editor di Metadata Caso di studio: aggiungere metadata agli oggetti Descrizione ad alto livello di luoghi e oggetti interattivi: Interaction Locus Il concetto di Interaction Locus [Pittarello 1998] denota la scena 3D in un numero di zone semanticamente rilevanti per l’utente in termini morfologici e di uso dello spazio Queste zone sono associate a: ARCO Project 2001-2003 Martin White, Krzysztof Walczak, Nick Mourkoussis, Rafal Wojciechowski, Wojciechowski, Wojciech Cellary Elementi multimodali che esprimono l’identita’ identita’ del luogo; Liste di azioni proibite/consentite; Contenuti multimediali complessi Gli Interaction Loci, gli oggetti interattivi contenuti e le azioni sono suddivisi in classi Actions IL 1 Actions IL 2 Type A Type B Type C Type A Type B Type D IL 2 IL 1 Actions IL 4 Type I Type K IL 3 IL 4 IL 6 IL 5 IL 7 Actions IL 3 Type E Type F Descrivere oggetti e spazi semantici utilizzando X3D e RDF La descrizione semantica viene memorizzata nei file X3D ed RDF [Pittarello, De Faveri 2006] Associare un’ontologia alla descrizione ad alto livello della scena: il dominio dell’ambiente urbano Level 0 city river Level 1 canal quarter sestiere calle park campo boat Zone semantiche Descrizione Descrizione della dellascena scena3D 3D X3D X3D palace Level 2 church architect street garden square boat stop architect building year year description description staircase entrance loggia courtyard atrium corridor gangway room platform boat gate Level 1 step Oggetti semantici Ontologia Ontologia indipendente indipendente dalla dallascena scena RDF RDF colonnade balcony door wall work of art pavilion pavement chair rail ARCO Project 2001-2003 River space Quarter space sliding rail Level 4 author description year Palace space well Level 2 Level 5 column Level 6 capital Door space body sharedBy Street space Square space Bridge space Garden space Boat stop space synonym info Staircase space Room space Loggia space Courtyard space Corridor space Atrium space Entrance space Gangway space Platform space Boat gate space Level 3 plinth RELATIONS containedBy Church space threshold Level 4 Pavilion space subClass containedBy or sharedBy object with a boundedBy relation Specifica di oggetti semantici Caso di studio: allestire un'esposizione in una galleria virtuale City space Level 0 Level 3 Connection Space RELATIONS Action Space containedBy Space Specifica di spazi semantici Caso di studio: allestire un'esposizione utilizzando un'interfacccia per mixed reality ARCO Project 2001-2003 Gullivers' World The interface Mixed Reality Installation ‘Gulliver’ Gulliver’s World’ World’: Interactive Content Creation in Nonlinear Exhibition Design Ars Electronica Futurelab - Linz, Austria Linee guida: assistere l'utente nell'esplorazione di mondi 3D Paradigmi di navigazione Navigazione libera Esame della scena da un punto di vista statico Set di punti di vista interessanti Navigazione lineare controllata dall’utente Navigazione lineare automatizzata Navigazione non-lineare Utilità di navigazione assistita ... E. Haik et al. , Investigation into effective navigation in desktop virtual interfaces, 2002 ... e di paradigmi di navigazione multipli F. Pittarello, The Time-Pillars World, 2004. Tools per assistere la navigazione I Generazione automatica di tour guidati Chittaro, Ranon e Ieronutti, Guiding Visitors of Web3D Worlds through Automatically Generated Tours, 2003 Tools per assistere la navigazione II Linee guida: multimodalità La multimodalità ha un ruolo chiave nella vita reale, dove il campo visivo, auditivo e tattile vengono stimolati simultaneamente dall’ambiente. Generazione automatica di mappe Ieronutti, Ranon e Chittaro, Automatic Derivation of Electronic Maps from X3D/VRML Worlds, 2004 Introduzione di artefatti uditivi Caso di studio: la Torre Einstein Un osservatorio solare progettato da Erich Mendelsohn e costruito a Potsdam dal 1919 al 1923 per Albert Einstein. La torre viene scelta come simbolo per la mostra Espressionismo Tedesco, svoltasi a Palazzo Grassi nel 1997. Caso di studio: la Torre Einstein Ogni Interaction Locus è stato definito come un insieme coordinato di informazione visuale ed uditiva per aumentare la percezione di una determinata locazione da parte dell’utente Interfacce per esperti di contenuti: tool per generare tool guidati 2 Interfacce per esperti di contenuti: tool per generare tool guidati F. Pittarello, A. Celentano (2001) Interfacce per esperti di contenuti: tool per generare tool guidati 3 Caso di studio: Audiolibri Il contesto storia dell'utente Progettazione di contenuti multimediali in base all'interazione effettuata dall'utente N. Rö Röber, C. Huber, K. Hartmann, M. Feustel, M. Masuch, Interactive Audiobooks: Combining Narratives with Game Elements, 2006 Il contesto storia dell'utente - tools Il contesto storia dell'utente – tools 2 Cosmo Worlds, Silicon Graphics 1998 Internet Scene Assembler, Parallelgraphics, 2006 Il contesto storia dell'utente Storie interattive start Il contesto storia dell'utente – tools 3 end2 end3 end4 Caso di studio: U-Create Contesti multipli Necessario definire delle priorità per il design di strumenti di progettazione Tempo Luogo S. Sauer, K. Osswald, X. Wielemans, M. Stifter, U-Create: Creative Authoring Tools for Edutainment Applications, 2006 Profilo e storia dell'utente Rete contesti end1 U. Spierling, S. A. Weiss e W. Müller, Towards Accessible Authoring Tools for Interactive Storytelling, 2006 Dispositivo Altri contesti Contesti multipli: una proposta per ambienti navigazionali II Contesti multipli: una proposta per ambienti navigazionali I (Pittarello, 2006) I modi di produzione di un autore di contenuti vengono scelti come punto di partenza per definire la struttura dei documenti multimediali Profilo dell'utente: l'autore scrive per una specifica audience Locazione: l'autore crea contenuti per un ambiente navigazionale associandolo a diverse locazioni Storia dell'utente: l'autore può guidare l'evoluzione di unacerta unacerta esperienza come risultato delle azioni compiute e del contenuto esaminato dall'utente Tempo: vedi storia dell'utente Dispositivi (o profili utente riconducibili a dispositivi): il lavoro lavoro dell'autore può essere minimizzato con tecniche automatiche Rete: vedi dispositivi Definire una struttura dati per memorizzare contenuti da fruire in un ambiente navigazionale La struttura dati (Livello di esperienza) per memorizzare i contenuti multimediali utilizza i contesti di livello più alto della gerarchia come principio organizzativo primario. Non tutti i contesti sono uguali in relazione alla produzione di contenuto Intervento dell'autore in relazione a variazioni del contesto elevato scarso Profilo utente Locazione Storia utente Tempo Dispositivo Rete contesto Un'architettura context-aware per la fruizione di contenuti multimediali in un ambiente navigazionale I screen Filtro e presentazione basate su un set di agenti software cooperativi hand held tv multimedia data asssociated to IL E1.1 ... IL E1.1: 3D components Altri contesti print IL E1.1: other data •Struttura dati associata ad ogni IL: •Contenuto multimediale XHTML multimedia organizzato in una struttura gerarchica •Regole CSS per presentare i contenuti •Descrizione (X3D) dei limiti spaziali dell'IL •Altri dati Contenuti e servizi tempo screen hand held Locazione tv multimedia data asssociated to IL E1.2 print ... IL E1.2: 3D components IL E1.2: other data experience layer 1 utente Profilo e storia dell'utente contesti Un'architettura context-aware per la fruizione di contenuti multimediali in un ambiente navigazionale II output devices m.m. cache internet enhanced 3D world 3d geometry interactionobjects objects interaction U S E R other proximity sensors sensors other other sensors sensors input devices user data user history device profile user profile IL IL experience experience handler handler (genius) (genius) user experience handler (numen) experience sel. & integr. timer net analyzer indexing service IL m.media data IL 3D comp. Caso di studio: Una Storia Semplice Un giallo scritto da Leonardo Sciascia Un eminente diplomatico, Giorgio Rocella, torna all'improvviso nella sua vecchia villa di famiglia nei pressi di una piccola citt cittàà siciliana alla ricerca di alcune lettere di corrispondeza tra membri membri della sua famiglia ed alcune famosi personaggi italiani come Luigi Luigi Pirandello e Giuseppe Garibaldi. Mentre si trova lìlì chiama la polizia, ma prima che questa possa intervenire, viene ucciso. Uno Uno dei poliziotti, Antonio Lagandara, sospetta un assassinio e svela svela intricate attività attività illegali svoltesi nella villa durante l'assenza di Giorgio Rocella. experience layers repository 3D base internet world internet Modellazione dell'ambiente 3D Navigare attraverso Una Storia Semplice action 1 action 2 action 3 action 4 location court location entrance location garret location garret object box location study option 1.a location study object telephone option 2.a ... option 2.b ... option 1.b option 1.c location study location study object paper object gun Problemi aperti Navigare attraverso Una Storia Semplice Il design di sistemi a supporto della progettazione di contenuti multimediali è ancora un problema aperto Molto spesso ancora necessarie competenze informatiche (es. CSS) Il problema è particolarmente sentito per gli ambienti tridimensionali navigazionali, anche per la mancanza di standard Sistemi di progettazione che prendano in considerazione contesti multipli Alessandra Florian, Accademia di Belle Arti di Venezia, tesi di laurea (2005) – relatore F. Pittarello Domande? Riferimenti F. Pittarello Fabio Pittarello ([email protected]) http://www.dsi.unive.it/~pitt/ PITTARELLO F., PITTARELLO M, ITALIANO G.F. (1998). Architecture and Digital Exhibitions - The Einstein Tower World. Virtual Environments '98. June 1616-18, 1998. (pp. 162162-171). : SpringerSpringer-Verlag. PITTARELLO F., CELENTANO A. (2001). 3D Authoring for Content Experts: Experts: a Collaborative Approach. HCC '01, IEEE Symposia on Human Centric Computing Languages and Environments. Environments. September 55-7, 2001. (pp. 344344-345). : IEEE Computer Society (UNITED STATES). PITTARELLO F. (2001). Multi Sensory Guided Tours for Cultural Heritage: Heritage: the Palazzo Grassi Experience. ICHIM '01, International Cultural Heritage Informatics Meeting. September 33-7, 2001. (vol. 1, pp. 7373-90). CELENTANO A, PITTARELLO F. (2001). A ContentContent-Centered Methodology for Authoring 3D Interactive Worlds for Cultural Heritage. ICHIM '01, International Cultural Heritage Informatics Informatics Meeting. September 33-7, 2001. (vol. 1, pp. 7373-90). CELENTANO A, PITTARELLO F. (2001). Classes of Experience: a High Level Approach to Support Content Experts for the Authoring of 3D Environments. Structured Design of Virtual Environments nvironments and 3DComponents Workshop at the E 3D Web3D 2001 Conference. February 19, 2001. : ShakerShaker-Verlag (GERMANY). COSTAGLIOLA G, DI MARTINO S, FERRUCCI F, PITTARELLO F. (2002). An An Approach for Authoring 3D Cultural Heritage Exhibitions on the Web. SEKE '02, 14th International Conference Conference on Software Engineering and Knowledge Engineering. July 1515-19, 2002. (pp. 601601-608). : ACM Press (UNITED STATES). COSTABILE M.F, DE ANGELI A, PITTARELLO F., ARDITO C. (2003). Can Audio Help Navigating in Virtual Environments? An Experimental Evaluation. INTERACT 2003, 9th IFIP IFIP TC13 International Conference on HumanHumanComputer Interaction. September 11-5, 2003. (pp. 733733-736). PITTARELLO F. (2003). Accessing Information Through Multimodal 3d 3d Environments: Towards Universal Access. UNIVERSAL ACCESS IN THE INFORMATION SOCIETY. vol. 2(2), pp. 189189-204 ISSN: 16151615-5289. PITTARELLO F. (2004). The TimeTime-Pillars World. A 3D Paradigm for the New Enlarged TV Information Domain. In: L. Ardissono, A. Kobsa and M. Maybury editors Personalized Digital Television. Targeting Programs to Individual Viewers. (pp. 287287-320). ISBN: 11-40204020-21632163-1. : Kluwer Academic Publishers (NETHERLANDS). PITTARELLO F. (2005). ContextContext-based Management of Multimedia Documents in 3D Navigational Environments. Environments. LECTURE NOTES IN COMPUTER SCIENCE. vol. 3665, pp. 146146-162 ISSN: 03020302-9743. PITTARELLO F., DE FAVERI A. (2006). Improving Access of Elderly People to Real Environments: a Semantic Based Approach. AVI 2006, International Working Conference on Advanced User Interfaces. May 23– 23–26, 2006. (pp. 364364-368). : ACM Press (UNITED STATES). PITTARELLO F., DE FAVERI A. (2006). Semantic Description of 3D Environments: Environments: a Proposal Based on Web Standards. Web3D 2006, 11th International Conference on 3D Web Technology. Technology. April 1818-21, 2006. (pp. 8585-95). : ACM Press (UNITED STATES).