Spazi dei colori, Bayer pattern
e robotica umanoide
Lezione del 14 marzo 2006
Anno Accademico 2005/2006
Tommaso Guseo
http://robotics.dei.unipd.it/~tommy
Tommaso Guseo Lezione: 14 marzo 2006
Sommario della lezione
• Il sistema visivo umano
• Modelli per gli spazi dei colori.
• L’interpolazione del Bayer Pattern.
• Il robot umanoide Leonardo.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Il sistema visivo umano
La tricromia
Il sistema visivo umano
• Le cellule visive sono formate da
coni e bastoncelli.
• I bastoncelli sono attivi al buio e
in condizioni di bassa luminosità.
• Alla luce del giorno solo i coni
sono responsabili della visione.
• I coni sono sensibili a 3 differenti
lunghezze d’onda.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Il sistema visivo umano
La tricromia
La Tricromia
• Esperimenti hanno dimostrato
la necessità di tre componenti
cromatiche per poter ricostruire
un colore.
• L’occhio umano è più sensibile
alla componente verde rispetto
alla rossa e alla blu.
• I tre stimoli CIE hanno valore
X,Y,Z.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Modelli per gli spazi dei colori
Esempio tratto dal dizionario Webster:
Rosso Tiziano:
“Un arancione tendente al bruno che
appare un po’ più giallo e chiaro del
marrone spezia, come pure del
marrone prateria e del marrone di
Windsor, ma un po’ più rosso e scuro
del colore ambra o del fagiano dorato”
(“Luce colore visione”, Editori Riuniti)
Tiziano, Flora (1515), Firenze Uffizi
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
• Necessità di un modello per definire i colori in
maniera standard, condivisa e comunicabile.
• Standard Hardware:
 RGB (Red, Green, Blue): monitor e telecamere;
 CMYK (Cyan, Magenta, Yellow, blacK): stampanti;
 YCbCr, YUV: nelle trasmissioni per la televisione.
• Standard Software per l’elaborazione:
 RGB (Red, Green, Blue): monitor e telecamere;
 YUV (luminance, chrominance);
 HSI/HSV (Hue, Saturation, Intensity/Value).
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Sintesi additiva
Somma di onde luminose di diversa frequenza
che raggiungono il nostro occhio (monitor e TV)
• La somma di due colori primari produce
un colore Es.: R+G= giallo,
R+B=magenta, B+G=ciano.
• Ciano (C), magenta (M) e giallo (Y)
sono colori secondari o complementari.
• Miscelando i tre primari o un secondario
con il suo primario opposto, nella giusta
intensità, produce bianco.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Sintesi sottrattiva
La luce bianca (emessa dal una sorgente luminosa)
colpisce il pigmento e ne viene selettivamente
riflessa (ovvero selettivamente assorbita).
• Si parte dalla luce bianca sottraendo, per
assorbimento alcune componenti dello
spettro, fino ad arrivare al nero.
• Ciano (C), magenta (M) e giallo (Y) sono
colori primari di questo spazio, spesso
assieme al nero (K).
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Tinta, saturazione e brillantezza
Le caratteristiche che si usano per distinguere un
colore da un altro sono tinta, saturazione e brillantezza.
Tinta (Hue):
• legata alla lunghezza d’onda dominante;
• la tinta è l’attributo fondamentale di un colore:
quando chiamiamo un colore arancio, rosso o giallo
stiamo specificando la tinta.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Saturazione (Saturation):
• si riferisce alla purezza relativa del colore ovvero
alla quantità di bianco aggiunto al colore puro;
• rosa è meno saturo del rosso;
• i colori puri sono pienamente saturati;
Brillantezza (Brightness):
• è legato alla nozione acromatica di intensità;
• è un attributo soggettivo e difficile da misurare;
• alcune tinte sono implicitamente più luminose
(brillanti) di altre.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
• Hue e saturation assieme si chiamano
cromaticità;
• Un colore è descritto dalla sua luminosità e
cromaticità.
• Un modo di specificare i colori è il diagramma
di cromaticità CIE.
•
CIE: Commission Internationale de l'Eclairage,
è l’istituzione che regola la definizione dei sistemi
di colore.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Lo spazio XYZ
Normalizzando i
coefficienti X,Y,Z si
hanno i cosiddetti
coefficienti tricromatici:
X
x
,
X Y  Z
Y
Z
y
, z
X Y  Z
X Y  Z
Si noti che x + y + z = 1,
quindi z = 1 - x – y ;
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
• Sono coefficienti (positivi) che dipendono solo dal valore di tinta e
saturazione (croma) e sono indipendenti dalla brillantezza.
• La componente del rosso e del verde variano rispettivamente
lungo l’asse x e y.
• L’asse del blu (z) è perpendicolare al piano.
• Il diagramma rappresenta tutti i valori cromatici visibili, ma NON la
brillantezza.
• I colori corrispondenti a punti interni sono misture di colori puri.
• Il diagramma è utile nella miscela di colori, poiché una linea retta
tra due punti rappresenta tutti i diversi colori che si possono ottenere
dalla combinazione additiva dei due.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Legge di Grassman
• La combinazione di tre
colori è definita dal
triangolo che ha i tre punti
per vertici.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Lo spazio RGB
• Il classico spazio dei computer;
• 3 canali differenti in relazione ai tre stimoli;
R
G
B
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
• Nel modello RGB, un colore è definito da 3
componenti che rappresentano i colori primari.
• Per convenienza, si normalizzano le
componenti in modo da avere un cubo con
componenti RGB appartenenti all’intervallo [0,1].
• Tutti i colori che giacciono all’interno del cubo
possono essere riprodotti da un sistema di
riproduzione che si basa sui colori primari
(monitor).
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Original Image
R-Component
G-Component
B-Component
Lo spazio CYMK
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Lo spazio YUV
• Modello usato per lo standard
di trasmissione televisivo PAL.
• La componente Y è la
luminanza ed è la sola che serve
per la visualizzazione in bianco e
nero.
• La crominanza è rappresentata
da UV
Piano UV per Y=0.5
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
RGB->YUV in forma ANALOGICA
Y
U
V
YUV->RGB in forma DIGITALE con saturazioni [16,240]
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
• YCbCr usato in JPEG ed MPEG, YIQ usato in
NTSC.
• La componente Y (luminanza) e le compoenti
UV (crominanza) sono ortogonali.
• Una variazione della luminosità influisce
esclusivamente sulla luminanza e non sulle
componenti di crominanza.
• Il nostro sistema visivo è più sensibile ai cambi
di luminanza che di crominanza: si assegna più
risoluzione alla componente Y e meno alle altre 2
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Original Image
U-Component
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Intensity
V-Component
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Gli spazi HSx (HSI / HSV / HSL)
Richiamo:
• Hue è l’attributo che descrive il colore puro;
• Saturation è una misura del grado di purezza
con cui il colore puro è diluito con la luce bianca;
La componente Intensity (I), o Value (V), Lightness
(L) è ortogonale alle componenti cromatiche (HS).
L’ortogonalità permette di ottenere l’informazione
cromatica indipendentemente dall’illuminazione.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
• Hue (H) è definita come angolo
fra 0 e 2:
• “red” at angle of 0;
• “green” at 2/3;
• “blue” at 4/3.
• Saturation (S) modella la
purezza del colore:
• S=1 for a completely pure or saturated
color;
• S=0 for a shade of “gray”.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
H
S
I,V,L
• Lo spazio HSI o i suoi simili, risultano
essere molto utili nella scelta dei colori
e molto impiegati ad esempio nei
programmi di fotoritocco per la
ortogonalità delle componenti.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Original Image
Saturation
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Hue
Intensity
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Lo spazio CYMK
• Il modello CMY (Cyan, Magenta, Yellow), è usato
nella stampa a colori.
• Cyan, Magenta, Yellow sono i colori primari dei
pigmenti (secondari nella luce).
• A differenza di tutti quelli visti finora si basa sulla
sintesi sottrattiva del colore.
• La stampa del colore viene invece fatta
sovrapponendo inchiostro colorato sulla carta
bianca, che non emette ma riflette la luce incidente.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Lo spazio XYZ
Lo spazio RGB
Lo spazio YUV
Gli spazi HSx (HSI/HSV/HSL)
Lo spazio CYMK
Lo spazio CYMK
• In generale, il pigmento assorbe (sottrae) dalla
luce (bianca) i colori complementari al suo e riflette
il resto.
 C  1  R 
M   1  G 
Ad esempio che il ciano
    
puro assorbe il rosso…
 Y  1  B 
• Per vedere il nero basterebbe miscelare in parti
ugyuali i tre pigmenti. In realtà si ottiene un colore
marrone, quindi si preferisce aggiungere il nero
direttamente (blacK)  CMYK.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
L’interpolazione del Bayer Pattern
• Come più volte evidenziato
per ricostruire un colore sono
necessarie tre componenti.
• Due metodi per ottenere le
tre componenti necessarie:
 3-CCD, 3-CMOS sensor;
 Color Filter Array (CFA)
come il Bayer pattern.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Il Bayer pattern, rispetto alla tecnologia
3-CCD presenta alcuni vantaggi:
• Necessità di un solo sensore;
• Non sono necessari prismi;
• Non è necessario l’allineamento;
• Costo e dimensioni inferiori;
• Peso inferiore: dispositivi portatili.
In compenso l’informazione del Bayer
pattern è campionata. In ogni pixel è
necessario ricostruire le componenti
mancanti, si parla di DEMOSAICING.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
L’interpolazione del VGA Bayer Pattern
Il VGA Bayer pattern è il CFA attualmente
più diffuso nei dispositivi fotografici.
In letteratura sono presenti numerosi metodi
di interpolazione, ne analizzeremo 3.
• Nearest Neighbor Replication (NNR)
• Bilinear Interpolation (BI)
• Linear Interpolation with Laplacian
Second-order Correction Terms (LIL2)
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Nearest Neighbor Replication
• Le componenti mancanti vengono interpolate
con i valori dei pixel vicini.
• Il più vicino può essere in qualsiasi delle quattro
direzioni fondamentali, sopra, sotto, sinistra o
destra.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Nearest Neighbor Replication (cont.)
PREGI:
• L’interpolazione computazionalmente più veloce.
DIFETTI:
• Propagazione alcune componenti cromatiche.
• Creazione di molti falsi colori che possono creare
problemi a livello di image processing.
• Zipper effect: transizioni a gradiente elevato
risultano essere molto frastagliate.
• L'immagine interpolata tende ad essere rumorosa.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Bilinear Interpolation
• Le componenti mancanti vengono interpolate
con un’interpolazione bilineare dei pixel vicini.
• Le componenti possono essere interpolate
contemporaneamente.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Bilinear Interpolation (cont.)
• Verde (b):
• Blu (c):
• Rosso (d):
• Rosso (e):
• Blu (f):
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Bilinear Interpolation (cont.)
PREGI:
• Questo algoritmo risulta molto efficiente e spesso
costituisce la base per altri migliori.
DIFETTI:
• Il colore “puro” di pixel adiacenti può cambiare in
maniera brusca.
• Effetto di blur: l'intera immagine è soggetta ad un
filtraggio di tipo passa basso.
• Zipper effect ridotto ma non eliminato.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Linear Interpolation w. Laplacian 2° Correction
• Le componenti mancanti vengono interpolate in
maniera adattativa, seguendo i gradienti cromatici.
• Massime performance nel caso di immagini con
edge verticali o orizzontali.
• Prioritaria l'interpolazione dei pixel verdi.
Adattativo = opera in modo
differente adattandosi alla
variabilità tipica
dell’immagine in esame.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Linear Interpolation with Laplacian… (cont.)
• VERDE: si definiscono i gradienti orizontale e verticale,
• L’interpolazione segue l’algoritmo
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Linear Interpolation with Laplacian… (cont.)
• ROSSO/BLU: vi sono 3 possibili casi
 I due pixel più vicini dello stesso colore della componente
mancante si trovano nella stessa colonna:
R1
R4
R7
 I due pixel più vicini dello stesso colore della componente
mancante si trovano nella stessa colonna:
R1 R2
Tommaso Guseo Lezione: 14 marzo 2006
R3
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Linear Interpolation with Laplacian… (cont.)
• ROSSO/BLU: Si definiscono i gradienti orizontale e verticale,
• L’interpolazione segue l’algoritmo
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Comparison VGA Interpolation
Original
Nearest
Bilinear
Tommaso Guseo Lezione: 14 marzo 2006
Laplace
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Comparison VGA Interpolation (cont.)
Original
Nearest
Bilinear
Tommaso Guseo Lezione: 14 marzo 2006
Laplace
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
QVGA Bayer pattern
• Accanto al funzionamento VGA con
risoluzione (640x480) la maggior parte
delle telecamere ne fornisce uno a
risoluzione ridotta QVGA (320x240).
• Questa risoluzione è ottenuta
campionando il Bayer pattern classico
eliminando due colonne ogni quattro.
• L’interpolazione di questo tipo di
Bayer pattern non è trattata in
letteratura.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Demosaicing QVGA Bayer pattern
• Nel funzionamento a risoluzione
ridotta non si vuole ricostruire tutta
l’immagine in alta risoluzione.
• Si considerano come unità base le
celle in giallo centrate nei pallini.
• Si ricostruisce quindi la struttura a
tre componenti all’interno di ogni cella.
• I primi due metodi di interpolazione
presentati sono la naturale estensione
dei precedenti al QVGA.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Nearest Neighbor Replication
• La componente verde non viene interpolata.
• Le componenti rosse e blu mancanti vengono
interpolate con i valori dei pixel vicini.
• Il più vicino può essere in qualsiasi delle due
direzioni fondamentali: sinistra o destra.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Bilinear Interpolation
• La componente verde non viene interpolata.
• Le componenti rosse e blu mancanti vengono
interpolate con una bilineare.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Periodic Reconstruction Interpolation
• Necessità di ricostruire una struttura periodica.
• Componente verde viene interpolata, per prima.
• Nella strutture precedenti la distanza fra due
pixel verdi non è costante all'interno della matrice.
• Scelta di algoritmo adattativo.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Periodic Reconstruction Interpolation
VERDE:
• Si considera un interpolazione che
approssimi una bilineare su un dominio
non regolare:
• Si pesano i pixel inversamente in
funzione della distanza.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Periodic Reconstruction Interpolation
ROSSO e BLU:
• Si definiscono i gradienti nelle direzioni
negativa, positiva e orizzontale.
• Opera l’algoritmo seguente:
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Comparison QVGA Interpolation
Original
Nearest
Bilinear
Tommaso Guseo Lezione: 14 marzo 2006
Periodic
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Stima dell’efficacia dei metodi di interpolazione
Il confronto non può svolgersi solo visivamente:
• palese soggettività;
• assenza di riproducibilità
• necessità di lavorare ad alta risoluzione;
• impossibilità di creare metodi automatici.
ESEMPI DI FUNZIONI DI STIMA
Mean Square Error (MSE)
Peak Signal to Noise Ratio (PSNR)
Normalized Difference Criterion (NCD)
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Stima dell’efficacia dei metodi di interpolazione
1. non forniscono un indice normalizzato;
2. MSE e PSNR sono indici assoluti; sono non
significativi tra immagini di variabilità differente;
3. non si possono confrontare immagini di
dimensioni differenti;
4. NCD introduce classi di equivalenza legate alla
luminosità nell'immagine.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
VGA Bayer pattern
QVGA Bayer pattern
Periodic Reconstruction Interpolation
Stima dell’efficacia dei metodi di interpolazione
Indici di dipendenza
L’indice di dipendenza normalizzato è definito come
ove
è l’informazione sulla prima
mutabile fornita dalla seconda e ove
sono l’entropie congiunte, residue e marginali.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Il robot umanoide Leonardo
Caratteristiche di Robovie-M
• Alto circa 290 mm e pesante circa 1,9 Kg.
• Dotato di 22 gradi di libertà così suddivisi:
 6x2 DOF Gamba,
 4x2 DOF Braccio,
 2 DOF Busto.
• Accelerometro situtato nel busto.
• Gli attuatori sono servomotori.
Robovie-M della VStone
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
RobotCore: Firmware per la scheda VS-7054
• Microprocessore SH7054 a 40MHz Renesas.
• Periferiche: RAM esterna, EEPROM esterna,
accelerometro, telecamera digitale, 32 motori.
Scheda VS-7054 con
Telecamera OV7620
• Algoritmi di visione per l’individuazione del
target rappresentato da una palla.
• Algoritmi di reasoning.
• Algoritmi di movimentazione.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Architettura software
Classico paradigma Hierarchical
SENSE
REASONING
ACT
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Architettura software
ROUTE
PROCESS
MOTOR
Struttura a tre anelli
• Motor: genera il segnale PWM per i servocomandi.
• Process: gestisce la ricezione di comandi da seriale e altre funzioni
rapide e l’interpolazione delle posizioni dei motori.
• Route: è il processo più lento si occupa della cattura ed elaborazione
dell’immagine e della scelta dell’azione da compiere.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Visione
Scopo del
sistema di
visione è
l’individuazione
del target e di
altre features
nell’ambiente.
ACQUISIZIONE
SEGMENTAZIONE
BLOB DETECTION
Tommaso Guseo Lezione: 14 marzo 2006
FEATURES
EXTRACTION
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Acquisizione
Il processo di acquisizione è costituito di
due fasi:
• acquisizione nei formati RGB e YUV,
tramite canale DMA;
• interpolazione del QVGA Bayer Pattern
al fine di ricostruire un immagine.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Segmentazione
Il processo di segmentazione
è la fase di riconoscimento
dei colori nell’immagine.
Si utilizza una Look Up Table
generata off-line su un
insieme di immagini
campione e salvata nella
EEPROM del robot.
Immagine originaria
Immagine quantizzata
L’immagine viene quantizzata in uno spazio a nove colori.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Blob Detection
L’operazione di Blob
detection ha come scopo
l’estrazione di
componenti connesse del
medesimo colore.
Componente rossa
nell’immagine
Blob detection con
l’individuazione
della palla
Riduzione degli effetti del rumore mediante
erosione e dilatazione. Si calcolano:
•
•
•
•
baricentro (x,y);
varianza (x,y);
area;
numero di pixel.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Decisore dell’azione
Il decisore dell’azione da
compiersi valuta la
posizione della palla e
decide l’azione.
if ( blob_target is at right )
playMove(turnRight)
else if ( blob_target is at left )
playMove(turnLeft)
else if ( blob_target is in front and far )
playMove(walk)
else if ( blob_target is in front and near )
playMove(kickAndStop)
else if ( don’t see blob_ target )
playMove(rotateHead)
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Movimentazione
Il sistema di movimentazione
implementa la camminata
statica: in ogni istante il robot
assume posizioni di equilibrio
statico.
La proiezione del baricentro
sul piano di appoggio è
sempre interna all’area della
superficie d’appoggio.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Movimentazione
La funzione utilizzata per interpolare due posizioni
successive è una cubica: questo permette accensioni e
spegnimenti dei motori dolci limitando le vibrazioni.
Tommaso Guseo Lezione: 14 marzo 2006
Il sistema visivo umano
Modelli per gli spazi dei colori
L’interpolazione del Bayer Pattern
Il robot umanoide Leonardo
Architettura software
Visione
Decisore dell’azione
Movimentazione
Fine
Domande?
Tommaso Guseo Lezione: 14 marzo 2006