Diss. ETH No. 18514
A Publishing Infrastructure for
Interactive Paper Documents
Supporting Interactions across the
Paper-Digital Divide
A dissertation submitted to the
SWISS FEDERAL INSTITUTE OF TECHNOLOGY
ZURICH
for the degree of
Doctor of Sciences
presented by
Nadir Weibel
Dipl. Informatik-Ing. ETH
born February 18, 1978
citizen of Jonschwil, SG, Switzerland
accepted on the recommendation of
Prof. Dr. Moira C. Norrie, examiner
Prof. Dr. David F. Brailsford, co-examiner
Prof. Dr. James D. Hollan, co-examiner
2009
Abstract
Paper has been repeatedly recognised as an important medium for exchanging, editing and managing documents throughout the document
life-cycle. Despite their static nature, paper documents still represent
one of the preferred way of handling information in different situations,
such as on the move or in collaboration. In order to overcome the limitations of paper and exploit the advantages of digital interfaces, new
technologies for interactive paper have been introduced in recent years.
Technologies such as the Anoto Digital Pen and Paper enable users to access digital information through interactions with printed copies. Links
to digital content and services are defined on paper and activated when
users interact with the paper sheet by means of a digital pen.
Various research projects have investigated how to best enable interactions with digital services through interactive paper interfaces. The developed prototypes showed the potential of the available technologies for
bridging the paper-digital divide and how paper and digital documents
can be effectively interwoven. However, most of the existing approaches
concentrate on enriching paper-digital interactions only, very often forgetting to take into account the process of producing interactive paper
documents and the effective management of information across the two
interfaces. The current lack of support for generating rich interactive
paper documents leads to a separation of paper-digital documents in two
detached entities, that can hardly be mapped again as the paper and
digital instances of the same document.
To further enrich the information exchange across the paper-digital
boundary and to support a better management of paper-digital documents, we introduce a set of general concepts and models for supporting
a novel information-centric infrastructure for publishing interactive paper
documents. Our approach supports the automatic and semi-automatic
generation of paper-based links to digital information, by intercepting
the publishing process of a digital document and applying document
analysis techniques to the underlying document models. Furthermore,
i
ii
the presented solution supports the large-scale production of interactive
paper documents with the aid of a Web Content Management System
(CMS), thus enabling the development of innovative paper-based Web
applications. Finally, our approach also enables the management of information that continuously moves between the digital and the paper
worlds, allowing users to work with the medium that is best suited to
a particular task. The introduction of a novel document model for storing mixed physical-digital information fully supports the bidirectional
mapping of paper and digital interactions at different granularity levels.
We implemented our publishing framework on top of the existing infrastructure for interactive paper offered by the iPaper/iServer system.
However, the approach and the architecture are general enough to be applied to other toolkits as well. Our framework supports the management
of different document models and the coupling with a range of authoring
tools, through the definition of a flexible plug-in interface. Furthermore,
the developed publishing framework also provides extended support for
generating and printing Anoto-based interactive paper documents.
The generality, flexibility and extensibility of the presented infrastructure enable the rapid development of plug-ins for different kinds of documents, services and interactions, thus supporting the rapid prototyping
of innovative rich interactive paper applications. Our approach has been
validated through the development of a range of applications and prototypes enabling rich interactions across the paper-digital divide. These
prototypes have been presented and discussed with academic and industrial partners from computer science, printed and organic electronics,
paper engineering, social science, the publishing industry and interaction
design.
We believe that the provision of a central infrastructure for publishing
interactive paper documents and the handling of the underlying information in a data-centric way, as enabled by our approach, are the key to
support the seamless transition between the digital and paper worlds.
Our innovative publishing infrastructure supports a full interplay between paper and digital documents, eventually enabling the development
of richer interactive paper applications.
Riassunto
I documenti cartacei sono stati più volte riconosciuti come importante
mezzo di comunicazione per lo scambio, la modifica e la gestione di informazioni. Nonostante si tratti di un supporto essenzialmente statico,
l’utilizzo della carta rimane il modo più diffuso di maneggiare documenti,
soprattutto in situazioni che richiedono un’elevata mobilità o la collaborazione di più persone. Ai fini di superare la staticità di questo supporto
e le sue limitazioni, sono state recentemenete sviluppate nuove tecnologie
basate sul concetto di carta interattiva. Tecnologie come “Anoto Digital
Pen and Paper” permettono l’accesso ad informazioni digitali dinamiche
grazie alla semplice interazione con normali supporti cartacei per mezzo
di una speciale penna digitale. L’accesso a contenuti e servizi digitali
viene reso possibile grazie alla definizione su carta di speciali collegamenti ipertestuali (links), attivati attraverso la diretta interazione della
penna digitale con questi ultimi.
Diversi progetti di ricerca hanno esaminato il modo migliore per arricchire le interazioni con il mondo digitale, partendo da supporti cartacei e
sfruttando le nuove tecnologie basate sulla carta interattiva. I prototipi
recentemente sviluppati hanno dimostrato il potenziale di queste tecnologie sia nel colmare la distanza attualmente ancora esistente tra carta
ed informazione digitale, sia nel permettere una migliore coesistenza di
documenti digitali e cartacei. Tuttavia, la maggior parte degli approcci
esistenti è focalizzata unicamente sull’arricchimento delle interazioni tra
carta e supporto digitale, dimenticando molto spesso di considerare sia il
processo di produzione di un documento cartaceo interattivo, sia l’efficace
gestione delle informazioni che si trovano a cavallo delle due interfacce.
La mancanza di tale supporto, ha portato sinora ad una netta separazione dei documenti in due entità distinte e difficilmente riconducibili allo
stesso documento di partenza.
L’arricchimento dell’attuale processo di scambio d’informazioni attraverso il confine carta-digitale, e la migliore gestione dei documenti che
coesistono nei due mondi, vengono affrontati attraverso l’introduzione di
iii
iv
un insieme di concetti e modelli generali, focalizzati sulla gestione delle
informazioni, a supporto di un’innovativa infrastruttura per la creazione
di documenti cartacei interattivi. Il nostro approccio permette la generazione automatica e semi-automatica di collegamenti digitali su carta,
attraverso l’intercettazione del processo di pubblicazione dei documenti
digitali e l’applicazione di tecniche per l’analisi dei loro contenuti, della
loro struttura e dei loro modelli fondamentali. Inoltre, le soluzioni proposte permettono la produzione su larga scala di documenti interattivi,
con l’aiuto di un sistema per gestione dei contenuti (Content Management
System – CMS) basato su tecnologie Web. Questo approccio permette
lo sviluppo di soluzioni basate su carta interattiva anche nel campo delle
applicazioni Web. Infine, l’approccio proposto supporta la gestione di
informazioni, che si muovono continuamente tra mondo digitale e documenti cartacei, permettendo agli utenti finali di scegliere in ogni momento
quale supporto utilizzare, a dipendenza del particolare compito da risolvere. L’introduzione di un nuovo modello per la gestione di informazioni
a cavallo tra carta e digitale consente una sincronizzazione bidirezionale
delle interazioni a differenti livelli di granularità.
La nostra infrastruttura per la pubblicazione di documenti interattivi
è stata realizzata sulla base dell’esistente framework per l’interazione
con la carta interattiva iPaper/iServer. Nonostante ciò, l’approccio e
l’architettura utilizzati sono universali e possono quindi venire applicati
anche ad altri sistemi. La soluzione proposta, unitamente a permettere la
gestione di diversi modelli fondamentali di documenti, può anche essere
associata a vari strumenti per la loro redazione, attraverso un’interfaccia
per la definizione di estensioni dedicate. Infine, anche la creazione e la
stampa di documenti interattivi basati sulla tecnologia Anoto è supportata dal nostro framework.
La generalità, la flessibilità e l’estensibilità dell’infrastruttura proposta permettono la rapida definizione di estensioni per diversi tipi di
documenti, servizi e interazioni, supportando quindi il rapido sviluppo
di nuovi prototipi nel campo della carta interattiva. Il nostro approccio è stato convalidato attraverso l’implementazione di varie applicazioni
interattive che arricchiscono l’attuale panorama. Questi prototipi sono
stati presentati e discussi con partner attivi nei campi dell’informatica,
dell’elettronica organica e dei polimeri, dell’ingegneria della carta, delle
scienze sociali, dell’editoria a della progettazione delle interazioni, sia in
campo accademico sia nell’industria.
Siamo convinti che la creazione di un’infrastruttura centralizzata per
la pubblicazione di documenti cartacei interattivi e la focalizzazione sui
v
dati nella gestione delle informazioni alla loro base, come introdotto dal
nostro approccio, sono la chiave per permettere un’efficace transizione
delle informazioni tra mondo digitale e cartaceo. La nostra innovativa infrastruttura supporta la piena integrazione di carta e documenti digitali,
permettendo un importante arricchimento nello sviluppo di applicazioni
interattive su carta.