FREE SURF
FREE SUrveillance in a pRivacy-respectFul way
Kickoff meeting
Firenze, 21-22 Marzo 2007
http://imagelab.ing.unimo.it
FREE SURF
FREE Surveillance
in a pRivacy-respectFul way
http://imagelab.ing.unimo.it
FREE SURF: Partecipanti
 Free surf –PRIN (PROGRAMMI DI RICERCA SCIENTIFICA DI
RILEVANTE INTERESSE NAZIONALE)
 Partecipanti
 UNIMORE: Dip. INGEGNERIA DELL'INFORMAZIONE Università di Modena e Reggio Emilia (Coordinatore)
 UNIFI: Dip. SISTEMI E INFORMATICA Università di Firenze
 UNIPA: Dip. INGEGNERIA INFORMATICA Università di Palermo
Partner esterni:
 ITC-IRST (Trento)
 aziende/enti:




Alcatel Italia,
SIRTI SpA,
Regione Emilia-Romagna,
Parco Archeologico “Valle dei Templi” Agrigento
http://imagelab.ing.unimo.it
VALUTAZIONE MIUR
 Criteri di Valutazione
1) Rilevanza e originalità della ricerca proposta e capacità di realizzazione di un significativo
avanzamento delle conoscenze rispetto allo stato dell'arte: (fino a punti 35/60)
33
 Il progetto è rilevante ed i proponenti dimostrano ottima conoscenza dello stato dell’arte
nel campo. La sinergia con enti esterni ed aziende industriali è apprezzabile.
2)Qualità scientifica del coordinatore nazionale e delle unità operative coinvolte: (fino a punti
15/60)
14
 Ottima qualità scientifica.
3)Grado di realizzabilità del progetto, anche in relazione alla integrazione e complementarità
delle unità operative coinvolte: (fino a punti 10/60)
9
 Grado di realizzabilità e complementarietà delle unità operative molto buoni.
La rilevanza e originalità della proposta sono ottime e si collocano
pienamente in un contesto internazionale. Il gruppo di ricerca
possiede ottime competenze per il raggiungimento degli obbiettivi.
Si raccomanda il finanziamento con alta priorità.
Voto finale 56 Voto massimo 60
http://imagelab.ing.unimo.it
FREE SURF: Budget finanziato
 Progetto finanziato con tagli circa dell’80%
 Quota Cofinanziamento MIUR:
 Quota Cofinanziamento ATENEO:
 Quota forfetaria:
 Totale finanziamento
Elenco unita' di ricerca
 UNIMORE:
 UNIPA:
 UNIFI:
http://imagelab.ing.unimo.it
101.549
68.572
89.300
180.000 Euro (214.400)
58.667 Euro
20.754 Euro
259.421 Euro (308.000)
FREE SURF: Rideterminazione
Regole per la rideterminazione
 Visto il finanziamento assegnato inferiore alla richiesta, è necessario ridistribuire
proporzionalmente le risorse economiche del piano nell’ambito delle voci già
indicate all’atto della domanda stessa,
 Dato che il finanziamento assegnato è inferiore alla richiesta, le singole voci di
spesa non potranno essere aumentate
 La rideterminazione delle voci di spesa dovrà tenere conto delle esigenze della
ricerca stessa, con l’obiettivo del pieno raggiungimento dei risultati prefissati.
 Termine ultimo per la rideterminazione: 30 marzo
http://imagelab.ing.unimo.it
FREE SURF: Rideterminazione
Rideterminazione Univ. Modena
Richiesta
Materiale inventariabile
Materiale di consumo e
funzionamento
Personale a contratto
Servizi esterni
Missioni
Pubblicazioni
Partecipazione /
Organizzazione convegni
TOTALE
http://imagelab.ing.unimo.it
riform
12000,00
9000
9000,00
8041
69800,00
57300
0,00
11200,00
11200
2000,00
2000
14000,00
14000
118000,00
101541
Free-surf Scenario
http://imagelab.ing.unimo.it
Innovazione (dal Modello A)



Il progetto FREE SURF ha lo scopo di proporre nuove tecnologie per le future generazioni di sistemi di video
sorveglianza orientati al controllo automatico e in tempo reale della presenza e delle azioni dell’uomo nell’ambiente,
senza il diretto controllo dell’operatore umano. I
l progetto FREE SURF è nato con un duplice obiettivo: di ricerca scientifica innovativa nel campo della Visione Artificiale e della Pattern
Recognition e di ricerca applicata, propria dell’Ingegneria Informatica, per la realizzazione di nuove generazioni di sistemi di video
sorveglianza efficaci, ma nello stesso tempo accettabili socialmente per i problemi di privacy.
Il primo obiettivo è un’attività di ricerca scientifica per il controllo in tempo reale delle persone in sistemi “structural
constraint FREE” cioè liberi da vincoli strutturali e ambientali.
Il controllo visivo automatico della presenza e delle azioni umane in un ambiente è infatti uno dei problemi più studiati
nell’ultimo decennio.
Esiste attualmente una vastissima letteratura che presenta algoritmi ed implementazioni robuste per il riconoscimento
di singole persone in video acquisiti in ambienti strutturalmente vincolati: ambienti chiusi con illuminazione controllata,
aperti con larghi campi di vista (per considerare le persone come piccoli corpi rigidi in movimento), con poche persone
e solo parzialmente occluse e controllate da telecamere fisse (per segmentare gli oggetti come differenza dallo sfondo)
e installate con una precisa calibrazione manuale (per un’esatta ricostruzione 3D).
Lo scopo principale del progetto è di studiare metodologie e tecniche innovative per andare oltre: si vuole
lavorare in ambienti liberi da vincoli strutturali, in ambienti con più persone che vivono e interagiscono tra
loro, come nei parchi o in zone turistiche.




Le attività previste si rivolgono a forme di cattura ed elaborazione di dati visuali da sistemi distribuiti di telecamere, da sistemi ibridi con
telecamere attive capaci di orientarsi automaticamente sul target, da telecamere mobili e coordinate a reti di sensori.
Saranno studiati nuovi algoritmi ed implementati prototipi per la segmentazione ed il tracking nel tempo di persone riprese da più
telecamere autocalibrate, impiegando informazioni geometriche e di apparenza (colore e texture).
Saranno sviluppate metodologie per il controllo di telecamere attive e di mosaicatura dell’ambiente da telecamere in movimento.
Saranno sperimentate tecniche di comunicazione tra agenti mobili per il coordinamento di telecamere e reti di sensori in ambienti molto
estesi come ad esempio i siti archeologici.
Queste tecniche saranno implementate in moduli separati dalle diverse UR, ma coordinate in un’unica architettura per fornire un’interfaccia
comune per i moduli di ragionamento
http://imagelab.ing.unimo.it
Innovazione (dal Modello A)
 Tutti i moduli precedenti hanno il comune scopo di estrarre dati visuali sulle persone nella
scena.
 In particolare, ci si rivolgerà al calcolo delle traiettorie con invarianti indipendenti dal punto
di vista, all’analisi della postura delle persone e a dati di “soft biometry”.
 A differenza di progetti che riguardano l’analisi biometrica, il progetto FREE SURF si orienta
ad un’analisi visuale automatica della presenza e del comportamento delle persone
indipendentemente dalla loro identità, identità che certo non è sempre definibile in video
rumorosi, a bassa risoluzione e con vasti campi visivi come quelli dei sistemi distribuiti di
video sorveglianza.
 A ulteriore supporto, però, sistemi ibridi con telecamere PTZ (Pan, Tilt, Zoom) e in
movimento possono fornire, se necessario, informazioni più dettagliate che potranno essere
impiegate in “posterity jogging” dagli addetti al controllo.
I
 dati visuali saranno forniti a moduli per attività complementari: per monitorare situazioni
pericolose in tempo reale e per annotare situazioni di interesse per future interrogazioni offline. Il primo tipo è di interesse strategico per coadiuvare l’operatore umano nella
prevenzione e nell’alta reattività a fatti che riguardano la sicurezza, il secondo vuole offrire
un valido supporto alle indagini successive ad eventi criminosi. Queste soluzioni potranno
rendere efficaci in modo preventivo i tanti sistemi di sorveglianza ora installati.
http://imagelab.ing.unimo.it
Innovazione (dal Modello A)




Gli obiettivi indicati nel progetto sono certo ambiziosi ma attuabili nella durata del progetto. Malgrado la
richiesta contenuta di finanziamento al MIUR, le UR hanno messo a disposizione molti mesi uomo di
persone che già lavorano nel settore e possono avvalersi di risorse già esistenti nei laboratori
dell’Università, sia dal punto di vista hardware che software.
Il consorzio dei proponenti è composto da 3 UR molto attive a livello nazionale, soprattutto nell’ambito
del GIRPR (www.girpr.it): tutte e tre le UR hanno organizzato sia la Conferenza Internazionale del
GIRPR (ICIAP), sia la scuola per dottorandi (VISMAC) che si sono tenute/si terranno a Firenze, Palermo
e Modena, negli anni 1999, 2001 e 2007 (ICIAP) e 1992, 2006 e 2000 (VISMAC).
Sono molto attive a livello internazionale, con frequenti scambi di dottorandi e ricercatori con centri di
ricerca americani e non (come l'University of Technology, Sydney, Australia), e hanno diversi progetti
in corso nel settore.
Un aspetto estremamente peculiare del progetto è che esso ha già contribuito alla nascita di una rete di
espressioni di interesse e di collaborazione. In particolare l’ICT-iRST di Trento, uno dei centri non
universitari di punta nella video sorveglianza, partecipa esternamente, mentre aziende di rilevanza
nazionale come SIRTI ed ALCATEL hanno indicato la loro espressione di interesse (si vedano allegati 1
e 2). Enti pubblici come la Regione Emilia Romagna (allegato 3) e il Parco Valle dei Templi di Agrigento
(allegato 4) hanno dichiarato l’interesse al progetto come utilizzatori finali.

http://imagelab.ing.unimo.it
Innovazione (dal Modello A)




Il secondo obiettivo del progetto è di definire nuove soluzioni per rispondere adeguatamente alle esigenze
sociali di salvaguardia della sicurezza pubblica e personale con soluzioni che nascono da criteri rispettosi della
privacy.
L’Italia, come il mondo intero, si sta ricoprendo di telecamere, installate ovunque.
Ciò non costituirebbe un problema sociale se queste fossero solo sensori intelligenti, come ad es. i sensori
antincendio, capaci esclusivamente di elaborare video e di generare allarmi. Il disagio sociale nasce dal fatto
che dietro ad ogni telecamera c’è potenzialmente un operatore umano che controlla, ledendo la privacy
dell’individuo. Mentre è accettabile l’uso di telecamere da parte delle forze dell’ordine per la sicurezza in luoghi
pubblici, meno tollerabile è la diffusione di sistemi a circuito chiuso da parte di privati, centri commerciali, o
addirittura la diffusione attraverso webcam della vita in luoghi pubblici di interesse turistico. Le vigenti leggi
della privacy sono giustamente molto restrittive, ma attualmente non c’è mezzo tecnologico per garantire che
tali leggi vengano rispettate: molti dei sistemi ora installati, che non forniscono alcuna elaborazione del video, o
non soddisfano le leggi vigenti o sono di fatto inutilizzabili ed usati solo come deterrente alla criminalità dato
che dichiarano di avere una risoluzione così bassa e un campo di vista così ampio da impedire l’individuazione
dell’identità.
Lo scopo del progetto è invece quello di fornire strumenti automatici per l’estrazione delle informazioni visuali
sulle persone che possano da una parte essere impiegate in sistemi autorizzati per il monitoraggio automatico
ma che dall’altro possano essere impiegati per garantire l’eliminazione di dati biometrici e quindi la
compatibilità con le leggi sulla privacy. In particolare, algoritmi robusti di tracciamento delle persone e di
riconoscimento della testa o del volto potranno servire per oscurare i dati biometrici in tempo reale.
http://imagelab.ing.unimo.it
Struttura progetto
http://imagelab.ing.unimo.it
Criteri di verificabilità

L'ampio spettro degli obiettivi di questo progetto presuppone diverse attività e quindi diversi criteri per verificare i risultati
proposti.
Essi si possono riassumere come segue
--- Pubblicazioni scientifiche
E' obiettivo delle UR svolgere attività di ricerca di rilevanza scientifica internazionale. L'obiettivo e' di ottenere pubblicazioni
scientifiche di alto rilievo pubblicate inizialmente in conferenze del settore pattern recognition, computer vision e multimedia( ad
esempio ICPR, CVPR, ICCV, ECCV, AVSS, VS, ICIAP, BMVC, ICME, ACM Multimedia..) ed in seguito in riviste internazionali
con alto IF, secondo gli standard della comunità di Computer Engineering e Computer Science.
--- Disseminazione Scientifica con Workshop e Conferenze
I traguardi raggiunti tramite ricerche svolte non vogliono essere protetti, quanto invece divulgati. Workshop e Conferenze
permettono non solo la disseminazione, ma anche il ricevere importanti feedback sulla validità delle ricerche effettuate. Per
questo non solo si rpevede di presentare i lavori raggiunti, ma anche di organizzare workshop e conferenze tematiche e panel di
discussione epr avviare la discussione a livello italiano ed euriopeo sui sistemi di videosorveglianza della prossima generazione
--- Presenza di un sito web.
Si vuole dotare il progetto di un sito web che permetta la disseminazione immediata del lavoro svolto. Questo inoltre sara' anche
essere utilizzato dalle UR per la raccolta di dati e scambio di informazioni, anche aperto alla comunità nazionale e internazionale
--- Sviluppo prototipi
Lo studio svolto non sarà solo teorico, ma è supposto trovare applicatività pratica, tramite prototipi che confermano le ricerche
affrontate.
--- Contatti con aziende
Il mondo dell'impresa è sempre attento all'innovazione scientifica che possa mostrare risvolti praticamente utilizzabili, cosa che il
presente progetto di ricerca certamente offre. Si ritiene che la ricerca svolta possa dare luogo a contatti con aziende e ad una
profiqua sinergia università-impresa privata.
In corso d'opera altri criteri potrebbero essere ritenuti idonei e quindi aggiunti a quelli qui riportati.
http://imagelab.ing.unimo.it
Pubblicazione scientifica, disseminazione e sito web
 Sito web da fare in collaborazione ( e con strumenti collaborativi)
 Logo da cercare
 Pubblicazioni:
 Ricordarsi sempre Acknowledgement: FREE SURF 2006-2008 (Italian MIURPRIN Project 2006099482)
 Comunicare sul sito ogni pubblicazione inerente: link al proprio sito
Disseminazione:
- logo di Free surf in ogni presentazione inerente
- organizzazione di workshop, seminari e competition sull’argomento
- Modena-Firenze-Palermo
http://imagelab.ing.unimo.it
Obiettivi (dal Modello A)
 Questo progetto si propone di realizzare soluzioni innovative per individuare la presenza
umana in modo automatico elaborando video acquisiti in tempo reale.
 Tecniche originali e robuste verranno applicate in installazioni libere da vincoli strutturali,
ed in particolare in sistemi con più telecamere distribuite (fisse, PTZ e mobili) e coordinate
con reti di sensori.
 I dati visuali sulle persone serviranno per riconoscere alcune situazioni modellabili con
tecniche statistiche e di apprendimento automatico al fine di generare allarmi in situazioni
pericolose.
 Tecniche di “information retrieval” basate sul contenuto visuale saranno impiegate per
riconoscere occorrenze delle stesse persone o di situazioni simili in video acquisiti in tempi
diversi e da telecamere differenti, fornendo così strumenti efficaci per il supporto ad indagini
o all’analisi a posteriori.
 Tecniche di individuazione del volto saranno impiegate per estrarre ed eliminare dati
biometrici dai video in tempo reale.
 In questo modo, tali sistemi potranno anche essere utilizzati per trasmettere su web
informazioni sull’ambiente che ci circonda senza trasmettere dati sensibili per la privacy.
Potranno perciò essere installati in luoghi pubblici in modo socialmente ben tollerabile,
senza cadere nella sindrome da “grande fratello”.
http://imagelab.ing.unimo.it
WP0: Project
Management
 Coordinamento tra U.R.
 Coordinamento con aziende/enti esterne:
 SIRTI, Regione ER (UNIMORE), Alcatel Italia (UNIFI), Parco Archeologico
(UNIPA), ITC-IRST
 Coinvolgimenti altre “parti interessate”
 Organizzazione meeting (anche in teleconferenza)
 Realizzazione e manutenzione sito web
(Coinvolte: tutte UR; principalmente UNIMORE)
http://imagelab.ing.unimo.it
WP1: System
Architecture
Definizione architettura del sistema
Definizione formati dati visuali estratti dai vari moduli
Definizione eventi di interesse e case study
Definizione strumenti per interoperabilità (ambiente di sviluppo, linguaggio,
tecniche scambio dati – XML/MPEG-7)
(Coinvolte: tutte UR; principalmente UNIMORE)




http://imagelab.ing.unimo.it
WP2: Surveillance Data Extraction
 Workpackage principale
 Suddiviso in 4 tasks:
Task A) Distributed Multicamera Surveillance
Task B) Hybrid Multicamera Surveillance
Task C) Moving Camera Surveillance
Task D) Sensors & Cameras Surveillance
 Attività separate ma il più possibile sinergiche
 WP1 definirà modi (e tempi) per l’integrazione
http://imagelab.ing.unimo.it
Task T2_A: Distributed Multicamera Surveillance
 Tracking di persone in scene
outdoor da telecamera sovrapposte
 Estensione per telecamera non sovrapposte
 Algoritmi di calibrazione automatica
 Limitata necessità di parametrizzazione
 Collaborazione con ITC-IRST, UCF (Orlando), UCSD (San Diego) e UTS
(Sydney)
(Coinvolta: UNIMORE)
http://imagelab.ing.unimo.it
Task T2_B: Hybrid
Multicamera Surveillance
 Sviluppo sistemi ibridi (camere
fisse e attive)
 Sviluppo tecniche di reinforcement learning per scheduling ottimale
telecamera attiva
 Acquisizione immagini ad altra risoluzione per annotazione automatica di
video
 Collaborazione con Alcatel
(Coinvolta: UNIFI)
http://imagelab.ing.unimo.it
Task T2_C: Moving Camera Surveillance
 Uso di telecamere con moto
non vincolato
 Estrazione ed analisi di oggetti in movimento con moto anche parzialmente
concorde con la telecamera
 Sistema di patrolling visivo e creazione mosaico scena
 Sistema di trasmissione video con bande wireless molto limitate
(Coinvolta: UNIMORE)
http://imagelab.ing.unimo.it
Task T2_D: Sensors &
Cameras Surveillance
 Studio di reti di sensori distribuiti per applicazioni di sorveglianza
 Utilizzo sia di “motes” che di “microservers”
 Analisi del compromesso tra robustezza ed efficienza nella trasmissione dei
dati nella rete
 Tecniche di ritrasmissione efficiente
(Coinvolta: UNIPA)
http://imagelab.ing.unimo.it
WP3: Support for
privacy-respectful systems
 Analisi della normativa vigente sulla privacy per i sistemi di sorveglianza
 Studio di metriche “univoche” per la misura della potenziale dannosità di un
dato estratto da sistema automatico di video sorveglianza
 Tecniche di estrazione ed oscuramento automatico del volto e di altri dati
biometrici
 Passaggio da dati visuali a feature vectors
 Collaborazioni con Questure e enti pubblici
(Coinvolte: UNIMORE, UNIFI)
http://imagelab.ing.unimo.it
WP4: Real-time
Automatic Monitoring
 Studio di tecniche per il riconoscimento di eventi e comportamenti di
interesse
 Utilizzo di soft-biometries per l’interpretazione dei comportamenti
(consistent behaviours)
 Uso di un “ragionatore logico” per le reti di sensori distribuiti
(Coinvolte: UNIPA, UNIMORE)
http://imagelab.ing.unimo.it
WP5: Posterity Logging & Retrieval
 Studio di rappresentazioni invarianti di traiettorie per retrieval
 Tecniche di dynamic texture analysis
 Miglioramento del “ragionatore logico” per ricerche complesse off-line
(Coinvolte: UNIFI, UNIPA)
http://imagelab.ing.unimo.it
WP6: Dissemination
 Coinvolgimento aziende/enti esterni
 Creazione benchmark di video con ground-truth per confronto tecniche
 Organizzazione eventi con “parti interessate”
 Organizzazione di conferenze e workshop tematici (ICIAP 2007, CIVR 2007, …)
 Organizzazione special issues su riviste internazionali
 Sperimentazione prototipi separati e integrazione tra di essi
(Coinvolte: tutte le UR)
http://imagelab.ing.unimo.it
Tempistica
DA RIMODULARE!!!
http://imagelab.ing.unimo.it