Tema 4: Sistemi di V.A. Gaussiane
Vettore Gaussiano: N v.a. congiuntamente Gaussiane X  [ X1 X 2
ddp congiunta
di ordine N
f X ( x) 
 1

exp   (x  m X )T CX1 (x  m X ) 
 2

det(C X )
1
(2 ) N / 2
E  X N 
m X  E X   E  X 1 E  X 2 
Vettore valori medi
[ statistica di ordine 1 ]
Matrice di covarianza
[ statistica di ordine 2 ]

X N ]T
  X1  X 2
 X 
  X2 1

 cX X
C X  E ( X  m X )( X  m X )T    2 1

cX X
 N 1

[C X ]i , j  E ( X i   X i )( X j   X j )  cX i X j   X i X j  X i  X j
T
T
N
c X1 X 2
 X2
2
c X N X N 1
c X1 X N 


c X N 1 X N 
 X2 N 
Proprietà dei vettori Gaussiani
Proprietà 1: la ddp congiunta di ordine N di un vettore aleatorio
Gaussiano è completamente specificata dal vettore valori medi e
dalla matrice di covarianza
Proprietà 2: una trasformazione lineare di vettori Gaussiani
preserva la Gaussianità: y  Ax  b
mY  Am X  b
CY  AC X AT
Proprietà 3: una qualsiasi r-upla di v.a. estratte da X è ancora
un vettore aleatorio Gaussiano, in particolare ogni Xk è una v.a.
Gaussiana

f X1 ,
, X k 1 , X k 1 , , X N
f X k ( xk )  
( x1 , x2 ,
 f
, xk 1 , xk 1 ,
, xN ) 

f X ( x1 , x2 ,
, xk 1 , xk , xk 1,
, xN )dxk

X
( x1 , x2 ,
, xk 1 , xk , xk 1 ,
, xN )dx1dx2
dxk 1dxk 1
dxN
Proprietà dei vettori Gaussiani
Proprietà 4: Funzione caratteristica di un vettore Gaussiano
 X ( )   X (1 ,

,  N )  E e  j (1 X1 
 N X N )


 E e  j
Τ
X

1


 exp  j Τ m X   Τ C X  
2


• Se {Xi; i=1,2, … , N} sono v.a. Gaussiane indipendenti:
1 N 2 2 N
1
 N


 X ( )  exp  j  X i i   X i i    exp  j X i i   X2 i i2 
2 i 1
2


 i 1
 i 1
• Se {Xi; i=1,2,3,4} sono v.a. Gaussiane con valori medi nulli:
1
 4  X ( )
E  X1 X 2 X 3 X 4   4
 c X1 X 2 c X 3 X 4  c X1 X 3 c X 2 X 4  c X1 X 4 c X 2 X 3
j 1234
Proprietà dei vettori Gaussiani
Proprietà 5: se N v.a. congiuntamente Gaussiane sono a due
a due incorrelate, esse sono anche indipendenti
cX i X j
 X2 1

 0
 0 per i  j  C X  

 0
N
 (x  m X ) C (x  m X )  
T
1
X
i 1
( xi   X i )

2
Xi
0
 X2
2
0
2
0 


0 
 X2 N 
N
 f X ( x)  
i 1

1
2
2
Xi
e
• Se sono anche identicamente distribuite: C X   X2 I ,
dove I è la matrice identità, e m X   X 1   X [11 1]T
( xi  X i ) 2
2 X2 i
N
  f X i ( xi )
i 1
Proprietà dei vettori Gaussiani
Proprietà 6: la ddp di una qualsiasi r-upla di v.a. condizionata
ad un qualsiasi sottogruppo di k v.a. (prese tra le rimanenti N-r)
è Gaussiana
f Xr Xk ( x r x k ) 
(2 ) r / 2
1
 1

exp   (x r  m r ,k )T Cr,1k (x  m r ,k ) 
det(Cr ,k )
 2

Cr ,k  E ( X r  m r ,k )( X r  m r ,k )T X k 
m r ,k
 E Xr Xk    E  X 1 Xk  E  X 2 Xk 
vettore valori medi e matrice di covarianza condizionati
E  X r Xk 
T
Sistema di 2 v.a. congiuntamente Gaussiane
Densità di Probabilità (ddp) di due v.a. congiuntamente Gaussiane:
f X ,Y ( x, y ) 
1
2
2 X  Y 1   XY


1
exp  
Q( x, y ) 
2
 2 1   XY 

2
 x  X 
 x   X  y  Y
Q ( x, y )  

2



XY 


X
X



  Y
  y  Y 



Y
 

 X  0 Y  0
 X  1 Y  1
 XY  0
f X ,Y ( x, y )  f X ( x) fY ( y )
y
x
2
Influenza di valori medi e varianze
 Q ( x, y )   0
f X ,Y ( x, y )  z0
Curve di livello:
 X  0, Y  0,  XY  0
8
6
8
X 2
6
Y  4
4
2
4
y
0
2
X  0
-2
X  4
Y  0
-4
Y  2
-6
-8
-10
-8
-6
y
-4
-2
0
2
4
6
0
-2
8
10
-4
X 4
-6
Y  2
x
 X  2,  Y  2,  XY  0
-8
-10
-8
-6
-4
-2
0
x
2
4
6
8
10
Influenza del coefficiente di correlazione
8
6
4
8
 X  0, Y  0
 X  2,  Y  2
 XY  0.5
6
4
2
y
X 2
Y  2
2
y
0
 XY  0.95
-2
X 4
0
Y  2
-2
-4
-4
-6
-8
-10
 X  0, Y  0
 XY  0.95
-6
-8
-6
-4
-2
0
2
4
6
8
-8
-10
10
x
Y X  E Y X  x   yfY X ( y x)dy  Y   XY

 Y2 X  var Y X  x  E Y  Y X

2

-8
-6
-4
-2
0
x
2
4
6
Y
( x   X )  curva di regressione
X


2
X  x  E Y 2 X  x  E Y X  x   Y2 (1   XY
)
2
8
10
Esempio di file.m: ddpgausscorr.m
% Calcolo analitico della ddp congiunta di coppia di v.a. cong. Gaussiane
function ddp=ddpgausscorr(vx,vy,ex,ey,sx,sy,rho,graf)
% IN:
%
%
%
%
% OUT:
%
vettori dei valori di cui calcolare la ddp, vx,vy;
media della prima e seconda v.a. Gaussiana, ex, ey;
dev. standard della prima e seconda v.a. Gaussiana, sx, sy;
coefficiente di correlazione, rho;
flag grafico 3D/curve di livello (0,1), graf
matrice di valori della ddp congiunta;
uscita su video della ddp congiunta
x=repmat(vx,size(vy,2),1);
y=repmat(vy,size(vx,2),1);
y=y';
% prepara una matrice di valori di x per y costanti
% prepara una matrice di valori di y per x costanti
fattnorm=1/(2*pi*sx*sy*sqrt(1-rho^2));
fattesp=1/(2*(1-rho^2));
formaquadr=(x-ex).^2/sx^2-2*rho*(x-ex).*(y-ey)/(sx*sy)+(y-ey).^2/sy^2;
ddp=fattnorm*exp(-fattesp*formaquadr); % valuta la ddp
if graf == 0
mesh(x,y,ddp)
else
contour(x,y,ddp)
hold on
plot([min(vx) max(vx)],[0 0],'g--')
hold on
plot([0 0],[min(vy) max(vy)],'g--')
end
% grafico 3D
% curve di livello
ddp marginali e condizionate
0.2
0.18
0.16
0.14
fY | X ( y | X  2)
 XY  0
 fY ( y )
essendo Gaussiane, sono indipendenti:
la ddp condizionata coincide con la ddp marginale
0.12
y
0.1
0.08
Y X  Y   XY
0.25
0.06
 XY  0.5
fY |X ( y | X  2)
0.04
0.2
0.02
0
-8
-6
-4
-2
0
2
4
6
Y
( x  X )
X
2
 Y2 X   Y2 (1   XY
)
8
0.15
y
0.1
8
0.7
6
0.05
0.6
 XY  0.95
fY | X ( y | X  2)
4
0.5
2
y
0
-2
0
-8
X  0
Y  0
Y  2
-6
 XY  0, 0.5, 0.95
-6
-2
0
2
4
6
8
0.4
0.3
X 2
-8
-4
y
-4
-8
-10
-6
0.2
-4
-2
0.1
0
x
2
4
6
8
10
0
-8
-6
-4
-2
0
2
y
4
6
8
ddp marginali e condizionate
0.25
Y X  Y   XY
 XY  0.5
fY | X ( y | X  0)
0.2
2
 Y2 X   Y2 (1   XY
)
0.15
0.1
Y
( x  X )
X
fY ( y )
0.25
 XY  0.5
fY | X ( y | X  2)
0.05
0.2
0
-8
-6
-4
-2
0
2
4
6
8
0.15
y
0.1
0.25
8
6
X  0
4
Y  0
2
y
0
0.05
X 2
0
-8
-6
-4
-2
0
y
Y  2
 XY  0.5
retta di
regressione
-2
2
4
6
 XY  0.5
fY | X ( y | X  4)
0.2
8
0.15
0.1
-4
0.05
-6
-8
-10
-8
-6
-4
-2
0
x
2
4
6
8
10
0
-8
-6
-4
-2
0
y
2
4
6
8
Esempio di file.m: ddpcondgauss.m
% Calcolo analitico della ddp condizionata Y|X per coppia di v.a. X,Y cong. Gaussiane
function ddpc=ddpcondgauss(x,vy,ex,ey,sx,sy,rho)
% IN:
%
%
%
%
valore della v.a. X a cui condizionare la v.a. Y, x;
vettore dei valori di Y di cui calcolare la d.d.p. cond., vy;
media della prima e seconda v.a. Gaussiana, ex, ey;
dev. standard della prima e seconda v.a. Gaussiana, sx, sy;
coefficiente di correlazione, rho;
% OUT: vettore di valori della ddp cond.;
%
uscita su video della ddp cond.
etaycond=ey+rho*sy/sx*(x-ex);
sigmaycond=sy*sqrt(1-rho^2);
% calcola media e dev. standard cond.
ddpc=normpdf(vy,etaycond,sigmaycond); % calcola ddp cond.
plot(vy,ddpc)
hold on
plot(0,0,'go')
hold on
plot(etaycond,0,'r*')
% valor medio cond.
Generazione di V.A. cong. Gaussiane correlate
fW (w ) 
 1

exp   ( w  mW )T CW1 (w  mW ) 
 2

det(CW )
1
(2 ) N / 2
?
mW  0 , CW  I
mZ  b
CZ  AAT
mZ , CZ desiderati
m Z  AmW  b
b  mZ
A  [Chol (CZ )]T
oppure
z  Aw  b
CZ  ACW AT
Chol () Decomposizione di Cholesky
matrice triangolare superiore
CZ  VVT Decomposizione spettrale
CZ  V1/ 21/ 2VT  (V1/ 2 )(V1/ 2 )T  AAT
A  V1/ 2
z  V1/ 2w  mZ
Generazione di V.A. cong. Gaussiane correlate
Vettore Gaussiano 2-D: N=2
X  N ( X , X2 ),
Y X  Y   XY
Y  N (Y , Y2 ),
Y
(x  X )
X
Z X Y
coeff.corr.   XY
2
 Y2 X   Y2 (1   XY
)
X  N ( X , X2 ), Y X  N (Y X , Y2 X )
Metodo per N=2: Y  Y   XY
Y
2
( X   X )  W dove W  N (0, Y2 (1   XY
))
X
M
M coppie di campioni di v.a. X ed Y cong. Gaussiane: {zi  [ xi yi ]}i 1
Calcolo di “scatterplot” e coeff. di correlazione
- Generare M realizzazioni del vettore 2-D Z=[X Y], X ed Y v.a. cong. Gaussiane
-Visualizzare lo “scatterplot” (diagramma di dispersione,
rappresentazione cartesiana delle coppie di campioni)
[istruzioni utili: load, plot, axis]
- Calcolare le medie, le varianze ed il coefficiente di correlazione
[istruzioni utili: mean, std]
 XY 
c XY
 XY

E{( X   X )(Y  Y )}
 XY
 ˆ XY
1
M

M
i 1
- Confrontare lo scatterplot con la ddp analitica determinata
dai parametri calcolati elaborando N coppie di campioni
[Sugg.: utilizzare il programma ddpgausscorr.m]
( xi  ˆ X )( yi  ˆY )
ˆ X ˆY
Esempio di risultati
scatterplot
Valori dei parametri della ddp:
media X = 2;
media Y = 4;
varianza X = 9;
varianza Y = 4;
coeff. di correlazione  = -0.5
y
load coppie.mat
plot(x,y,'.')
axis([-8 12 -4 12])
hold on
plot([-8 12],[0 0],'g--')
plot([0 0],[-4 12],'g--')
x
Esempio di risultati e file.m: calcrho.m
% Misura empirica del coefficiente di correlazione
function rho = calcrho(x,y)
% IN:
vettori di realizzazioni della coppia di v.a. (x,y)
% OUT: coefficiente di correlazione rho
etax=mean(x);
etay=mean(y);
sigx=std(x,1);
sigy=std(y,1);
% calcola le medie e deviazioni standard
rho=mean((x-etax).*(y-etay))/(sigx*sigy); % calcola la covarianza
% normalizzata
Valori effettivi:
» mean(x)
» mean(y)
» std(x)^2
» std(y)^2
1.9904
3.9958
9.1204
4.0664
» calcrho(x,y) -0.5192
media X = 2;
media Y = 4;
varianza X = 9;
varianza Y = 4;
 9 3
 CZ  

 3 4 
coeff. di correlazione  = -0.5
Esempio di risultati
hold on
ddpgausscorr([-8:.1:12],[-4:.1:12],mean(x),mean(y),std(x),std(y),calcrho(x,y),1);
Scatterplot
+
Curve di livello
y
x
Esempio di risultati
ddpgausscorr([-8:.1:12],[-4:.1:12],2,4,3,2,-0.5,1);
hold on
ddpgausscorr([-8:.1:12],[-4:.1:12],mean(x),mean(y),std(x),std(y),calcrho(x,y),1);
12
10
Confronto tra ddp effettiva
8
e la ddp analitica con
6
i parametri misurati dai dati
y
4
2
0
-2
-4
-8
-6
-4
-2
0
2
x
4
6
8
10
12
Esempio di file.m: gengausscorr1.m
% Generazione coppie di v.a. cong. Gaussiane correlate
% metodo della decomposizione di Cholesky
function [x,y] = gengausscorr1(n,etax,etay,sig2x,sig2y,rho)
% IN:
%
%
%
numero di realizzazioni, n;
media della prima e seconda v.a. Gaussiana, etax, etay;
varianza della prima e seconda v.a. Gaussiana, sig2x, sig2y;
coefficiente di correlazione, rho;
% OUT: vettori di realizzazioni della prima e seconda v.a. Gaussiana, x,y;
R=[sig2x sqrt(sig2x*sig2y)*rho; sqrt(sig2x*sig2y)*rho sig2y]; % matrice di covarianza
Ch=chol(R);
A=Ch.';
% determina la trasform. lineare 2x2 tramite decomposizione di Cholesky;
w=randn(2,n);
% genera n realizzazioni di un vettore di 2 v.a. Gaussiana standard indip.
% organizzate in una matrice 2xn;
c=A*w;
% trasformazione lineare 2x2
% applicata a tutte le realizzazioni;
x=c(1,:)+etax; % impone le medie
y=c(2,:)+etay;
Esempio di file.m: gengausscorr2.m
% Generazione coppie di v.a. cong. Gaussiane correlate
% metodo della decomposizione agli autovalori
function [x,y] = gengausscorr2(n,etax,etay,sig2x,sig2y,rho)
% IN:
%
%
%
numero di realizzazioni, n;
media della prima e seconda v.a. Gaussiana, etax, etay;
varianza della prima e seconda v.a. Gaussiana, sig2x, sig2y;
coefficiente di correlazione, rho;
% OUT: vettori di realizzazioni della prima e seconda v.a. Gaussiana, x,y;
R=[sig2x sqrt(sig2x*sig2y)*rho; sqrt(sig2x*sig2y)*rho sig2y]; % matrice di covarianza
[V,L]=eig(R);
% determina le matrici degli autovettori e degli autovalori;
A=V*L.^(1/2);
% calcola la trasformazione lineare 2x2
w=randn(2,n);
% genera n realizzazioni di un vettore di 2 v.a. Gaussiana standard indip.
% organizzate in una matrice 2xn;
c=A*w;
% trasformazione lineare 2x2
% applicata a tutte le realizzazioni;
x=c(1,:)+etax; % impone le medie
y=c(2,:)+etay;