Visor
Video Surveillance Online Repository
Dott. Roberto Vezzani
Imagelab – Dip. di Ingegneria dell’Informazione
Università di Modena e Reggio Emilia
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Laboratorio di Pattern Recognition,
Visione Artificiale e Multimedia
•Analisi di video per videosorveglianza sia indoor
che outdoor, applicazioni domotiche,
sistemi di trasporto intelligenti
Imagelab
Dipartimento di Ingegneria
dell’Informazione
Università di Modena
e Reggio Emilia.
• Strumenti e tecniche multimediali per
annotazione in video digital library, transcodifica di
video e content-based video adaptation
• Analisi di immagini per automazione industriale
•Analisi di immagini per medical imaging
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Laboratorio di Pattern Recognition,
Visione Artificiale e Multimedia
STAFF
Prof. Rita Cucchiara (Professore ordinario)
Ing. Andrea Prati (Ricercatore)
Ing. Costantino Grana (Ricercatore)
Imagelab
Dipartimento di Ingegneria
dell’Informazione
Università di Modena
e Reggio Emilia.
Ing. Roberto Vezzani (Assegnista di Ricerca)
Ing. Simone Calderara (Dottorando)
Ing. Giovanni Gualdi (Dottorando)
Ing. Borghesani Daniele (Collaboratore)
Ing. Rudy Melli (Spin-off industriale Vision-E)
Ing. Emanuele Perini (Spin-off industriale Vision-E)
Ing. Giuliano Pistoni (Spin-off industriale Vision-E)
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Analisi di traffico veicolare
Progetti con:
•UCSD – San Diego
•Traficon N.V.
(Belgio)
•Digitek spa
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Sorveglianza di persone
Progetti:
•Fondazione Cassa Risparmio
di Modena
•NATO - Israele (Besafe)
•FreeSurf (MUR)
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Applicazioni forensi
Collaborazioni con
Polizia di Modena
Carabinieri di Sassuolo
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Progetti di ricerca @ Imagelab
L.A.I.C.A.: Laboratorio di Ambient Intelligence per una Città Amica
(2004-2006) – Videosorveglianza di parchi cittadini - Comune di
Reggio Emilia
BESAFE: Behavioral lEarning in Surveilled Areas with Feature
Extraction (2006-2008) – NATO – collaborazione con Israele per
controllo di comportamenti anomali
FreeSURF: FREE SUrveillance in a pRivacy-respectFul way
(2006-8) – MUR (Unimore, Unifi, Unipr, ITC-irst) – Tecniche
innovative di visione artificiale per la sorveglianza
VidiVideo: Interactive semantic video search with a large thesaurus
of machine-learned audio-visual concepts (2007-2009) –
Sottoprogetto VISOR (Unimore – IIT Bombay, India)
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
VISOR: Video Surveillance Online Repository
Interactive semantic
video search
with a large thesaurus
of machine-learned
audio-visual concepts
•Intelligent Systems Lab (Amsterdam)
•Informatics and Telematics Institute (Greece)
•Institute for Systems and Computer Engineering
(Portugal)
•Centre for Vision, Speech and Signal Processing
(University of Surrey UK)
•Media Integration and Communication Centre
(Università degli Studi di Firenze)
•Computer Vision Center (Barcelona)
•Sound & Vision, the Dutch national audio and video
archive (The Netherlands)
•FDR, Fondazione Rinascimento Digitale (Firenze)
Visor
Video Surveillance
Online Repository
Università di Modena e
Reggio Emilia
Indian Institute of
Technology, Bombay
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Un problema reale: la mancanza di dati di Videosorveglianza
• Per valutare la bontà di un sistema: fase di test, ovvero
sperimentazione su una grande mole di dati (video)
• Validazione e valutazione dei risultati: servono i dati reali/attesi
(annotazioni)
• Confronto di prestazioni: servono video comuni e dati in un
formato comune.
• Molte tecniche richiedono una fase di “addestramento”
NIST – Trecvid
No videosorveglianza
I-Lids (Polizia inglese)
Non libera
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
PETSS
Limitata
Visor - VIdeo Surveillance Online Repository
È una collezione condivisa di video relativi alla sorveglianza
Per ogni video….
Contiene annotazioni sia manuali che automatiche
Fornisce tali informazioni in un formato comune di annotazione
(formato Viper – University of Maryland)
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Formato Viper e Viper-GT
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Contenuto delle Annotazioni
Physical Object
Persone, oggetti fissi,
oggetti mobili
individuati nella scena
Content
Action/Event
Concept
Context
Azioni di o tra
persone, interazioni,
eventi
Autore del video, caratteristiche della telecamera, località, orario
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Ricerca di video basata sul contenuto
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Il rispetto della Privacy
• Accesso protetto consentito solo ad utenti registrati
• Abilitazione dell’account moderata
• Alcuni contenuti video modificati per eliminare informazioni utili
alla identificazione
• Materiale a solo uso di ricerca
• Responsabilità a carico
del proprietario (uploader)
del video (cfr. youtube)
• Collaborazione in atto con la Facoltà di Giurisprudenza
• Centro Interdipartimentale per la Sicurezza (Modena)
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
System Features – Memorizzazione
• Video
–
–
–
–
Supporto di diversi formati video
Indicizzazione con parole chiave
Informazioni video (autore, data di creazione, …)
Caratteristiche del sistema di acquisizione
(Tipo di telecamera, infrarossi,
telecamera statica/mobile, dati di calibrazione, …)
• Annotazioni
– Memorizzate su Database
– Divise in due categorie: automatiche e manuali
– Completamente personalizzabile
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
System Features – Gestione
• Video
–
–
–
–
–
•
Anteprima
Screenshot singolo
Sommario (sequenza dei frame salienti)
Accesso protetto
Ricerca per parola chiave,
per contenuto, per metadati
Annotazioni
– Importazione ed Esportazione in diversi formati (Viper, MPEG7, custom)
– Esportazione di una sottoparte della annotazione
– Unione di differenti annotazioni provenienti da differenti autori
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Usergroup e Forum
• Usergroup di quanti
ricercano nell’ambito della
videosorveglianza
• Creazione di un Forum
– Topic generici sulla
videosorveglianza
– Topic su VISOR (es:
richieste di video,
annotazioni, commenti,
suggerimenti, ecc…)
– Un topic per ogni video
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Un invito per tutti…
• Contribuire alla nascita e alla espansione del portale
condividendo i propri video (e le proprie annotazioni)
• Unirsi alla comunità, anche tramite il forum creato
• Inviare suggerimenti, critiche, richieste…
http://imagelab.ing.unimore.it/visor
Ing. Roberto Vezzani
Prof. Rita Cucchiara
Dipartimento d’Ingegneria
dell’informazione, Modena
Dipartimento d’Ingegneria
dell’informazione, Modena
[email protected]
Tel +39-059-2056270
[email protected]
Tel +39-059-2056136
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Visor
Video Surveillance Online Repository
http://imagelab.ing.unimore.it/visor
Ing. Roberto Vezzani
Prof. Rita Cucchiara
Dipartimento d’Ingegneria
dell’informazione, Modena
Dipartimento d’Ingegneria
dell’informazione, Modena
[email protected]
Tel +39-059-2056270
[email protected]
Tel +39-059-2056136
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Grazie
dell’attenzione
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia
Annotation Format – Viper
•XML based
•Config and data
are separated
•Widely diffused
•Easy to use
•Clear
•Documentation
•Compact
•Extensible
•Annotation Tool
(VIPER-GT)
Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia