Tecniche di annotazione per contenuti
multimediali
Tecniche di annotazione per contenuti multimediali
Sommario
Introduzione
Annotazioni Audio
Annotazioni di Immagini
Annotazioni di Video
Applicazioni Informatiche
2
Tecniche di annotazione per contenuti multimediali
Sommario
Introduzione
Annotazioni Audio
Annotazioni di Immagini
Annotazioni di Video
Applicazioni Informatiche
3
Introduzione
Librerie Digitali
4
Una libreria digitale è
• Un collezione di oggetti informativi
• Una collezione di servizi che supportano
– gli utenti nella gestione di oggetti informativi
– le organizzazioni nella presentazione di questi
oggetti
direttamente o indirettamente attraverso canali
elettronici/digitali
DLib Working Group on Digital Library
Applicazioni Informatiche
Introduzione
Dati delle librerie musicali
5
Dati: i file digitali memorizzati
• Testo (e-book, documenti Word, pagine Web,
PDF, Blog, etc.)
• Audio
– Parlato (broadcasting, podcasting, registrazioni,
etc.)
– Musica (CD, MP3, etc.)
• Immagini/Photo: collezioni di pixel
• Video: sequenze di immagini + audio (musica
e/o parlato)
Applicazioni Informatiche
Introduzione
Attività associate a una libreria digitale
Memorizzazione e “conservazione” dei dati in
formato elettronico
• Trasformazioni (digitalizzazione di libri, foto,
etc.)
• Cambi di formato
Reperimento dei contenuti e creazione di
interfacce per la ricerca dei dati
Estrazione e/o generazione dei metadati
(o annotazioni)
Gestione copyright, etc.
Applicazioni Informatiche
6
Introduzione
Cose’è un metadato?
I metadati sono dati relativi ai dati
• Descrivono in modo strutturato
proprietà dei dati
– Esempio: creatore, proprietario, data di
creazione, modifica, descrizione
Alcuni metadati sono presenti in modo
esplicito nei dati
• Esempio: dimensione file, nome, etc.
Altri sono impliciti e sono estratti
tramite algoritmi di analisi dei dati
Applicazioni Informatiche
7
Introduzione
Utilità dei metadati
8
I metadati servono per
• Migliorare le ricerche interrogando non
solo i dati ma anche i metadati
– I metadati spesso contengono delle
informazioni che sono contenute in
forma implicita nei dati
• Facilitare lo scambio di informazioni tra
sistemi diversi
– Se si utilizzano gli stessi metadati o
metadati “compatibili”
- Esempio: formati XML (MPEG7, Dublin
Core, etc.)
Applicazioni Informatiche
Introduzione
Perché annotare contenuti multimediali?
I computer non sono in grado di
comprendere il significato di un
contenuto multimediale
• Un calcolatore, a differenza di un
essere umano, non può
comprendere che questa immagine
rappresenta un tramonto
• Pixel e campioni audio non portano
semantica, ma solo informazione
binaria
E’ necessario produrre
rappresentazioni trattabili
da un calcolatore
• Esempio: testo o numeri
Applicazioni Informatiche
9
Introduzione
Perché annotare automaticamente contenuti multimediali?
10
L’annotazione manuale di oggetti multimediali è
un processo
• Costoso
– Esempio: la segmentazione manuale di un video
richiede circa 10 ore di lavoro per 1 ora di video
– Le collezioni multimediali possono anche contenere
milioni di oggetti
• Incompleto o inaccurato
– un utente può non essere in grado di cogliere tutti i
significati associati ad un oggetto multimediale
– “una immagine vale più di mille parole!”
• Difficoltoso
– Alcuni contenuti sono difficili da descrivere a parole
-
Esempio: una melodia senza accompagnamento vocale
e con una struttura irregolare
Le tecniche di annotazione automatica consentono
di creare annotazioni di buona qualità e a
“basso” costo
Applicazioni Informatiche
Introduzione
Esempi di utilizzo di annotazioni multimediali
11
Archiviazione
• Gestione efficiente di grosse collezioni di dati
multimediali
• Aggregazione di contenuti in insiemi coerenti
per significato
– Esempio: insieme delle canzoni di genere “Indie”
Ricerca
• Trovare tutti i contenuti aventi la stessa
annotazione
– Esempio: cercare tutte le puntate dei Simpson in
cui viene pronunciata la parola “ciambella”
Applicazioni Informatiche
Introduzione
Esempi di utilizzo di annotazioni multimediali
12
Comparazione
• Identificazione di contenuti MM equivalenti
– Esempio: Protezione del brand e della
proprietà intellettuale
• Individuazione di contenuti simili
– Esempio: trovare abiti aventi lo stesso tipo di
tessuto e colore
Applicazioni Informatiche
Tecniche di annotazione per contenuti multimediali
Sommario
Introduzione
Annotazioni Audio
Annotazioni di Immagini
Annotazioni di Video
Applicazioni Informatiche
13
Audio
Segmentazione
14
OBIETTIVO: dividere una traccia audio in
segmenti omogenei al fine di determinare il
loro tipo
•
•
•
•
•
Musica
Parlato
Rumore
Musica e parlato
…
Possibili utilizzi
• Miglioramento performance di altre
tecnonologie di annotazione (es. parlato,
musica)
• Meccanismi di accesso al contenuto di un video
• Rimozione o identificazione pubblicità
Applicazioni Informatiche
Audio
Segmentazione - Esempio
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
15
Audio
Identificazione dello speaker
16
OBIETTIVO: identificare automaticamente gli
individui che prendono parte ad una
conversazione
ERIC
DAVID
JOHN
UTILIZZI:
• Meccanismi di ricerca e catalogazione
– Esempio: trova tutte le registrazioni in cui viene
intervistato X
• Individuazione di un parlatore in videoconferenze
• Esecuzione di comandi vocali
Applicazioni Informatiche
Audio
Word spotting
17
OBIETTIVO: riconoscere automaticamente dal
parlato parole appartenenti a un vocabolario
chiuso
Call
Open
Bomb
UTILIZZI:
• Riconoscere parole specifiche nel parlato
spontaneo
– Esempio: blacklist words (attack, bomb,…)
• Esecuzione di comandi vocali
• Controlli di accesso (password vocali),
possibilmente combinato con il riconoscimento
del parlatore
Applicazioni Informatiche
Audio
Speech to text
18
OBIETTIVO: riconoscere automaticamente dal
parlato parole appartenenti ad un dizionario
completo
UTILIZZI:
• Trascrizione automatica
• Meccanismi di ricerca e catalogazione
– Esempio: trova tutti i video in cui qualcuno
pronuncia la parola “ciambelle”
Applicazioni Informatiche
Audio
Trascrizione automatica del parlato - Esempio
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
19
Audio
Identificazione di eventi sonori
OBIETTIVO: identificare automaticamente
nell’audio la presenza di eventi sonori
significativi
• Esempio: spari, urla
UTILIZZI:
• Meccanismi di ricerca e catalogazione
• Creazione di sommari automatici
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
20
Audio
Identificazione di eventi sonori
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
21
Audio
Classificazione di generi musicali
22
OBIETTIVO: identificazione automatica del
genere musicale di una data canzone
• Rock, pop, Jazz, Blues, etc.
Rock
Dance!
UTILIZZO:
• Meccanismi di ricerca e catalogazione
– Esempio: trova tutte le canzoni Pop nella
collezione musicale
• Selezione automatica di canzoni in una playlist
Applicazioni Informatiche
Audio
Individuazione di strumenti
23
OBIETTIVO: identificazione automatica degli
strumenti utilizzati per l’esecuzione di una
canzone
• Batteria, chitarra elettrica, chitarra acustica,
pianoforte, etc.
UTILIZZO:
• Meccanismi di ricerca e catalogazione
• Input per algoritimi di identificazione del genere
Applicazioni Informatiche
Audio
Caratteristiche ritmiche
OBIETTIVO: identificazione automatica delle
caratteristiche ritmiche di una data canzone
• Esempio: BPM
UTILIZZO:
• Ricerca e catalogazione
• Nike+ per iPod
• Composizione automatica di playlist
Applicazioni Informatiche
24
Audio
Caratteristiche di struttura
25
OBIETTIVO: segmentare automaticamente una
canzone nelle sue componenti strutturali
•
•
•
•
Intro
Chorus
Outro
Etc..
UTILIZZO:
• Ricerca e catalogazione
• Composizione automatica di playlist
• Tecniche avanzate di navigazione nel file
musicale
Applicazioni Informatiche
Tecniche di annotazione per contenuti multimediali
Sommario
Introduzione
Annotazioni Audio
Annotazioni di Immagini
Annotazioni di Video
Applicazioni Informatiche
26
Immagini
Estrazione feature di basso livello
OBIETTIVO: estrarre caratteristiche implicite
di una immagine
Luminosità
Colore dominante
Orientamento dell’immagine
Presenza di tessiture
UTILIZZO:
Classificazione e ricerca (anche per
similarità)
Input per successivi algoritmi di analisi
Applicazioni Informatiche
27
Immagini
Segmentazione testo/immagine di documenti
OBIETTIVO: identificare la tipologia di
contenuto di una immagine
testo/immagine
Sezioni di una immagine
UTILIZZO:
Classificazione e ricerca
Input per successivi algoritmi di analisi
delle immagini
Applicazioni Informatiche
28
Immagini
Optical character recognition (OCR)
OBIETTIVO: convertire le
parole contenute all’interno di
una immagine nel
corrispondente testo
• Digitializzazione di testi
cartacei
• Estrazione di testo da
fotografie
– Targhe, sottotitoli, etc.
UTILIZZO:
• Meccanismi di ricerca e
catalogazione
– Esempio: trova tutte le
immagini in cui appare la targa
X
• Meccanismi di archiviazione
digitale
Applicazioni Informatiche
29
Immagini
Riconoscimentoedidentificazionedivolti
OBIETTIVO: riconoscere e
identificare I volti presenti
all’interno di una immagine
UTILIZZO:
• Conteggio di persone
• Applicazioni di sicurezza
• Ricerca e catalogazione
CREDITS: Thorsten
Hermes@SSMT2006
Applicazioni Informatiche
30
Immagini
Riconoscimento ed identificazione di volti
Applicazioni Informatiche
31
Immagini
Riconoscimento ed identificazione di volti
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
32
Tecniche di annotazione per contenuti multimediali
Sommario
Introduzione
Annotazioni Audio
Annotazioni di Immagini
Annotazioni di Video
Applicazioni Informatiche
33
Immagini
Riconoscimento di persone
OBIETTIVO: riconoscimento di
persone all’interno di una
immagine
UTILIZZO:
• Conteggio di persone
• Applicazioni di sicurezza
(riconoscimento di situazioni
potenzialmente “critiche”)
• Ricerca e catalogazione
– Trova tutte le immagini che
contengono folle dipersone
Applicazioni Informatiche
34
Immagini
Riconoscimento di oggetti
Obiettivo: identificare e registrare gli oggetti
che compaiono in una immagine
• Palleda tennis, calcio, basket, etc.
• Automobili
Possibili utilizzi
• Archiviazione e ricerca
• Sicurezza
• Aiuti visuali per gli spettatori
Applicazioni Informatiche
35
Immagini
Riconoscimento di oggetti attraverso esempi
Obiettivo: identificare degli
oggetti in una immagine
dato un esempio
• Riconoscimento indipendente da
posizione dello scatto,distanza
etc.
Possibili utilizzi
• Archiviazione e ricerca
• Identificazione di contenuti MM
equivalenti
– Esempio: Protezione del brand
e della proprietà intellettuale
Applicazioni Informatiche
36
Video
Motion identification
37
Obiettivo: identificare
movimenti della camera
durante la registrazione
di una scena
• Zoom
• Rotazione
• Panoramica (orizzontale o
verticale)
Possibili utilizzi
• Identificazione automatica
di tecniche di regia
• Riconoscimento di registi
• Input per algoritmi di
segmentazione
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
Video
Motion identification
38
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
Immagini
Inseguimento di oggetti
OBIETTIVO: riconoscimento di un
oggetto all’interno di un video
• Persone
• Palle da tennis, calcio, basket,
etc.
• Automobili
UTILIZZO:
• Riconoscimento del movimento
delle persone
• Applicazioni di sicurezza
(riconoscimento di
comportamenti “sospetti”)
• Ricerca e catalogazione
– Trova tutte le immagini che contengono
folle di persone
• Aiuti visuali per gli spettatori
• On-line gaming
• Tactics analysis
Applicazioni Informatiche
39
Immagini
Riconoscimento del movimentodellepersone
Obiettivo:riconoscere il tipo di movimento
effettuato da una persona
• Camminare
• Correre
• Cadere
Possibili utilizzi
• Applicazioni di sicurezza (riconoscimento di
comportamenti “sospetti”)
• Ricerca e catalogazione
Applicazioni Informatiche
40
Video
Segmentazione – Fotogrammi chiave
OBIETTIVO: dividere una traccia video in
funzione dei suoi fotogrammi chiave
• Compressione
• Temporalmente equidistanti
Possibili utilizzi
• Sommario del video
• Analisi dei fotogrammi chiave per annotazioni
su immagini
Applicazioni Informatiche
41
Video
Segmentazione – Riprese
OBIETTIVO: dividere una traccia video in segmenti
dove la ripresa della camera è ininterrotta
•
•
•
•
Transizioni instantanee
Fades
Uno shot ha lunghezza minore o
uguale ad una scena
Una scena può contenere più shot
Possibili utilizzi
• Sommario del video
• Estrazione di keyframe
• Composizione “semantica” di video (manuale o
automatica)
Applicazioni Informatiche
42
Video
Esempi di segmentazione – Riprese
DISSOLVE
FADE-IN
Applicazioni Informatiche
43
HARD CUT
FADE-OUT
CREDITS: Thorsten Hermes@SSMT2006
Video
Segmentazione - Scene
44
Obiettivo: dividere una traccia video in
segmenti che riguardano una azione coerente
•
•
•
•
Master scene
Flashback scenes
Introduction scenes
…
Possibili utilizzi
• Sommario del video
• Composizione “semantica” di video (manuale o
automatica)
Applicazioni Informatiche
Video
Video OCR
Obiettivo: estrarre testo da filmati
•
•
•
•
•
Titoli introduttivi
Titoli di coda (attori, registi etc.)
Sottotitoli
Nome di luoghi, persone, fatti etc.
Data/ora registrazione
Possibili utilizzi
• Indicizzazione per ricerca testuale
Applicazioni Informatiche
45
Video
Video Summarization
46
Obiettivo: creare automaticamente una
versione compatta di un filmato, capace di
trasmetterne sintenticamente il suo contenuto
• Composizione “intelligente” di segmenti eterogenei
Come?
• Segmentazione
– Video
– Audio
Possibili utilizzi
• Trailers di film
• Preview
• Pubblicità
CREDITS: Thorsten Hermes@SSMT2006
Applicazioni Informatiche
Tecniche di annotazione per contenuti multimediali
References
47
Slides del corso di “Archivi Multimediali e Data Mining”,
Politecnico di Torino, Prof. Silvia Chiusano
Slides e video delle lezione tenute dal Prof. Thorsten Hermes
presso la summer school SSMS 2006
Applicazioni Informatiche