Microsoft Kinect
IR PATTERN
PROJECTO
R
IR CAMERA
RGB
CAMERA
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Microsoft Kinect: How it works?
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Microsoft Kinect
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Microsoft Kinect
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Microsoft Kinect
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Microsoft Kinect: Data
• points3D_Irsys.m: 3xN matrix of 3D
points measured and associated RGB
color
• calibData.m : intrinsic and extrinsic
parameters of IR and RGB camera
• imRGB.m : image captured by RGB
camera
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Microsoft Kinect: Data
points3D_IRsys: 3xN matrix of 3D points expressed in
IR camera reference system
X
x1
x…
xn
Y
y1
y…
yn
Z
z1
z…
zn
Number of points N should be 640x480 = 307200!
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Microsoft Kinect: Calibration Data
calibData.m : intrinsic and extrinsic
parameters of IR and RGB camera
•K_rgb : 3x3 : intrinsic parameters matrix of RGB camera
•kc_rgb : 1x5 distortion paramteres of RGB camera
•K_ir
: 3x3 : intrinsic parameters matrix of IR camera
•kc_ir
: 1x5 distortion parameters of IR camera
•rotRGB2IR
: 3x3 rotation matrix from RGB to IR reference system
•trasRGB2IR
: 1x3translation vector of IR reference system respect to
RGB
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Reminder
NOTA: nel
sistema
CCD la
colonna
corrisponde
alla x, la riga
alla y
z
SCCD
x
OCCD
y
OP
x
p
z
SC
f
y
OC
C
P C  TCCD
 P CCD
0 1/ s
1
0

0
0

0
0
0
0
1
0
y0 / s   colonna 
 x0   riga 


f   0 
 

1   1 
Il modello geometrico (ideale) della
telecamera impiega il modello pinhole
(stenoscopio), per cui entrano in gioco
i seguenti parametri:
• il centro della prospettiva (Oc):
corrisponde al secondo punto nodale
del sistema ottico;
• il piano immagine (p): il piano
coincidente con lo schermo sul quale
si forma l’immagine;
• l’asse principale: la retta coincidente
con l’asse ottico (zc);
• il punto principale (OP), intersezione
dell’asse ottico con il piano immagine;
• la distanza focale della telecamera
(f): misura la distanza tra il centro
della prospettiva ed il punto principale
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Reference System:
From Camera to CCD
SCCD
K_rgb : intrinsic parameters matrix of RGB camera
K_ir : intrinsic parameters matrix of IR camera
 fx

K 0
 0
0
fy
0
x0 

y0 
1 
fx , fy : focal length (in pixel) of the camera
x0, y0: coordinate of principal point
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
z
x
OCCD
y
OP
y0 p
x0
x
P
1
SRGB
OC
z
PC
y
Reference System:
From Camera to CCD
Homogeneous coordinate:
 Pxcam
  Pxcam

Pzcam  
Pzcam 

 Pzcam
  Pzcam

Pn  

Pzcam  
Pzcam 
 Pz
 

1
 cam
 

Pz
cam 



Expressed in pixel
Pccd  kc  K RGB  Pn
Alredy compensated in the image
given by Kinect
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
SCCD
z
x
OCCD
y
OP
y0 p
x0
x
Pccd
z
SRGB
OC
1
Pn
y
NOTE: the x coordinate in
CCD reference system is
the column and the y is
the row
Refernece System:
From IR to RGB
S CCD
z
y
PIR
x
PRGB  R 1 ( PIR  T )
O
P
where :
p
Z IR
YRGB
Z RGB
S IR
S RGB
X RGB
X IR
YIR
RT
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
R  rotRGB 2 IR
T  trasTGB2 IR
Microsoft Kinect: RGB image
Distorsion alredy
compensated
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion
Things to do:
Goal: find in 3d space the blue (or red) cube
(dimension 10x10x10 cm )
Steps:
• Associate 3D points in IR sys with RGB info
• Identify ground plane and eliminate it (Ransac)
• Found the position of two cubes (SQ and
Ransac)
• Chose the blue (or red) cube
M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion