Accademia Navale, Livorno
Processi Aleatori :
Introduzione – Parte II
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Processi aleatori Gaussiani
2
Un processo X(t) si dice Gaussiano se per ogni N e per ogni N-upla di
istanti t1 , t2 , …, tN , il vettore delle N variabili aleatorie
X = [ X(t1) X(t2) … X(tN) ]T
è un vettore Gaussiano, ovvero le N v.a. sono congiuntamente Gaussiane
Vettore Gaussiano: N v.a. congiuntamente Gaussiane X  [ X1 X 2
ddp congiunta
di ordine N
f X ( x) 
 1

exp   (x  m X )T CX1 (x  m X ) 
 2

det(C X )
1
(2 ) N / 2
X N ]T
Processi aleatori Gaussiani
3
La ddp congiunta di ordine N è univocamente determinata dalla conoscenza
della funzione valor medio e della funzione di autocovarianza del processo:
E  X N 
m X  E X   E  X 1 E  X 2 
Vettore valori medi
[ statistica di ordine 1 ]
  E  X (t1 ) E  X (t2 )
E  X (t N )
  X (t1 )  X (t2 )
T
T
T
 X (t N ) 
Matrice di covarianza
[ statistica di ordine 2 ]
  X2 1

 c X 2 X1
T
C X  E ( X  m X )( X  m X )   

cX X
 N 1
c X1 X 2
 X2
2
c X N X N 1
c X1 X N 


c X N 1 X N 
 X2 N 
[C X ]i , j  c X i X j  E ( X (ti )   X (ti ))( X (t j )   X (t j ))  C X (ti , t j )
Proprietà dei vettori Gaussiani
4
Proprietà 1: la ddp congiunta di ordine N di un vettore aleatorio
Gaussiano è completamente specificata dal vettore valori medi e
dalla matrice di covarianza
Proprietà 2: una trasformazione lineare di vettori Gaussiani
preserva la Gaussianità: y  Ax  b
mY  Am X  b
CY  AC X AT
Proprietà 3: una qualsiasi r-upla di v.a. estratte da X è ancora
un vettore aleatorio Gaussiano, in particolare ogni Xk è una v.a.
Gaussiana

f X1 ,
, X k 1 , X k 1 , , X N
f X k ( xk )  
( x1 , x2 ,
 f
, xk 1 , xk 1 ,
, xN ) 

f X ( x1 , x2 ,
, xk 1 , xk , xk 1,
, xN )dxk

X
( x1 , x2 ,
, xk 1 , xk , xk 1 ,
, xN )dx1dx2
dxk 1dxk 1
dxN
Proprietà dei vettori Gaussiani
5
Proprietà 4: Funzione caratteristica di un vettore Gaussiano
 X ( )   X (1 ,

, N )  E e
 j (1 X1 
 N X N )
  E e
 j Τ X

1


 exp  jm X  Τ   C X  Τ 
2


• Se {Xi;i=1,2, … , N} sono v.a. Gaussiane indipendenti:
1 N 2 2 N
1
 N


 X ( )  exp  j  X i i   X i i    exp  j X i i   X2 i i2 
2 i 1
2


 i 1
 i 1
• Se {Xi;i=1,2,3,4} sono v.a. Gaussiane:
rX i X j  E  X i X j 
1
 4  X ( )
E  X1 X 2 X 3 X 4   4
 rX1 X 2 rX 3 X 4  rX1 X 3 rX 2 X 4  rX1 X 4 rX 2 X 3   X1 X 2 X 3 X 4
j 1234
Proprietà dei vettori Gaussiani
6
Proprietà 5: se N v.a. congiuntamente Gaussiane sono a due
a due incorrelate, esse sono anche indipendenti
cX i X j
 X2 1

 0
 0 per i  j  C X  

 0
N
 (x  m X ) C (x  m X )  
T
1
X
i 1
( xi   X i )

2
Xi
0
 X2
2
0
2
0 


0 
 X2 N 
N
 f X ( x)  
i 1

1
2
2
Xi
e
• Se sono anche identicamente distribuite: C X   X2 I ,
dove I è la matrice identità, e m X   X 1   X [11 1]T
( xi  X i ) 2
2 X2 i
N
  f X i ( xi )
i 1
Proprietà dei vettori Gaussiani
7
Proprietà 6: la ddp di una qualsiasi r-upla di v.a. condizionata
ad un qualsiasi sottogruppo di k v.a. (prese tra le rimanenti N-r)
è Gaussiana
f Xr Xk ( x r x k ) 
(2 ) r / 2
1
 1

exp   ( x r  m r ,k )T Cr,1k (x r  m r ,k ) 
det(Cr ,k )
 2

Cr ,k  E ( X r  m r ,k )( X r  m r ,k )T X k 
m r ,k
 E Xr Xk    E  X 1 Xk  E  X 2 Xk 
vettore valori medi e matrice di covarianza condizionati
E  X r Xk 
T
Sistema di 2 v.a. congiuntamente Gaussiane
8
Densità di Probabilità (ddp) di due v.a. congiuntamente Gaussiane:
f X ,Y ( x, y ) 
1
2
2 X  Y 1   XY


1
exp  
Q( x, y ) 
2
 2 1   XY 

2
 x  X 
 x   X  y  Y
Q ( x, y )  

2



XY 


X
X



  Y
  y  Y 



Y
 

 X  0 Y  0
 X  1 Y  1
 XY  0
f X ,Y ( x, y )  f X ( x) fY ( y )
y
x
2
Generazione di V.A. cong. Gaussiane correlate
fW (w ) 
 1

exp   ( w  mW )T CW1 (w  mW ) 
 2

det(CW )
1
(2 ) N / 2
?
mW  0 , CW  I
oppure
CZ  ACW AT
T
A  [Chol (CZ )]T
z  Aw  b
m Z  AmW  b
b  mZ
mZ  b
C Z  AA
mZ , CZ desiderati
Chol () Decomposizione di Cholesky
matrice triangolare superiore
CZ  VVT Decomposizione spettrale
CZ  V1/ 21/ 2VT  (V1/ 2 )(V1/ 2 )T  AAT
z  V1/ 2w  mZ
A  V1/ 2
9
Campionamento di processi tempo-continui
Sia dato un processo tempo- continuo Y(t), stazionario almeno in senso
lato, con funzione di autocorrelazione e densità spettrale di potenza date:
a
FT
RY ( )  E Y (t )Y (t   ) 
Campioniamo Y(t) negli istanti
tn=nT, in modo da ottenere la
sequenza di v.a. Y[n]=Y(nT),
ovvero il processo tempodiscreto Y[n]
a
SY ( f a )
T  1 2B
filtro anti-aliasing
La ACF di Y[n] è data dalla versione campionata
di quella del processo tempo-continuo Y(t), infatti:
RY [m]  E Y [n]Y [n  m]  E Y (nT )Y (nT  mT )  a RY (mT )
10
Campionamento di processi tempo-continui
Il legame tra la PSD di Y(t) e quella di Y[n] è noto dal Teorema
del Campionamento: campionamento nel tempo comporta la
periodicizzazione nel dominio della frequenza:
RY [m]  RY (mT )
a
SY  e
j 2 f
DTFT

SY  e
j 2 f

   R [ m] e
m
1  a 
k
  T  SY  f a  T 
k 
fa  f
 j 2 mf
Y
T
fa è la frequenza analogica [Hz] - f è la frequenza discreta [Adimens.]
Potenza media : PY  E  X 2 [ n]  RY [0] 
12

1 2
SY  e j 2 f  df
11
Processo bianco tempo-discreto
12
Un processo tempo-discreto Y[n] si definisce “bianco” quando è
formato da una sequenza di v.a. incorrelate e a valor medio nullo,
ovvero quando la sua ACF ha la seguente forma:
2


, m0
RY [m]   Y2 [m]   Y
 0, m  0
La PSD di Y[n] è quindi data da:
SY  e
j 2 f

     [ m] e
m
2
Y
 j 2 mf
  Y2
ovvero è costante per tutte le f, giustificando
l’apellativo “bianco”
E Y [n]  0
Nota bene: la potenza media è
finita, a differenza dei processi
bianchi tempo-continui:
12
PY 

1 2
SY  e j 2 f  df   Y2
Processi lineari tempo-discreti
Y [n]  X [n]  h[n]
h[ n]
X [ n]
13
  k  h[k ] X [n  k ]

Processo bianco
RX [m]   X2  [m]
SX e
j 2 f
 
Il processo in
uscita è
“colorato” dal
filtro
MATLAB:
y=conv(x,h)
Risposta in frequenza:
H e
2
X
j 2 f



h[k ] e  j 2 mf
m 
RY [m]  RX [m]  h[m]  h[m]   X2 h[m]  h[m]
SY  e
j 2 f
  S e
X
j 2 f
 H e
j 2 f

2
  H e
2
X
j 2 f

2
Processi Autoregressivi a Media Mobile ARMA(P,Q)14
Filtro IIR
X [ n]
P
Q
k 1
k 0
Y [n]   akY [n  k ]   bk X [n  k ]
h[ n]
WGN
White Gaussian Noise
x=randn(N,1)
Eq. alle differenze ricorsiva
Poli del filtro
= soluzioni
dell’Equazione
Caratteristica
MATLAB:
y=filter(b,a,x)
H  e j 2 f  
k 0
P
1   ak e  j 2 kf
k 1
1   ak z  k  0
k 1
 j 2 f
e
 zk 

Q
Q
 j 2 kf
b
e
k
P
 k0
k 1
P
 j 2 f
e
 pk 

k 1
Processi Autoregressivi AR(P)
15
Filtro IIR di ordine P
P
Y [n]   akY [n  k ]  X [n]
h[ n]
X [ n]
k 1
WGN
White Gaussian Noise
x=randn(N,1)
Poli del filtro
= soluzioni
dell’Equazione
Caratteristica
MATLAB:
y=filter(b,a,x)
H e
j 2 f

Eq. alle differenze ricorsiva
1
P
1   ak e j 2 kf
k 1

P
1   ak z  k  0
k 1
k0
 j 2 f
e
 pk 

P
k 1
Spettro di un processo AR(1)
1
2
SY ( f )   X
1  ae j 2 f
2

16
 X2
1  a 2  2a cos  2 f 
f
Processi a media mobile MA(Q)
17
Filtro FIR di ordine Q
Q
X [ n]
Y [n]   bk X [n  k ]
h[ n]
WGN
White Gaussian Noise
x=randn(N,1)
k 0
Eq. alle differenze non ricorsiva
Risp. impulsiva:
Q
h[n]   bk [n  k ]
k 0
Zeri del filtro
= soluzioni
dell’equazione
MATLAB:
y=filter(b,a,x)
Q
k
b
z
 k 0
k 0
H  e j 2 f    bk e  j 2 kf  k0   e  j 2 f  zk 
Q
Q
k 0
k 1
ACF e spettro di un processo MA(16)
18
Filtro a media mobile
N
1
Y [ n]   X [ n  k ]
k 0 N
1
h[n] 
N
per n  0,1, 2,
,N
 X2 
m
RY [m] 
1  
N  N
per m  0, 1, 2, ,  N
SY (e
j 2 f
)
2
 X2 sinc  Nf 
N
2

sinc 2  f 
f
Segnali tempo-discreti: ACF e PSD
19
Confronto tra alcune definizioni
per segnali aleatori e deterministici
RX [m]  E  X [n] X [n  m]
rX [m]   x[n]x[n  m] 
N 2
1
 lim
x[ n] x[ n  m]

N  N  1
n  N 2
 X ( e j 2 f ) 2 
 N

j 2 f
S X (e
)  lim E 

N 
N


S X (e
X N (e j 2 f )  DTFT  X [n]n0 


N 1
j 2 f
)  lim
N 
X N (e
j 2 f
N
)
2
Segnali tempo-discreti: ACF e PSD
Confronto tra alcune definizioni
per segnali aleatori e deterministici
FT
FT
RX [ m]  S X (e
S X (e
j 2 f
)
j 2 f
)

R
m 
rX [m]  S X (e j 2 f )
X
[m]e
 j 2 fm
PX  E  X [n]
 RX [0] 

1 2
 r [m]e
m 
 j 2 fm
X
N 2
1
PX  x 2 [n]  lim
x 2 [ n]

N  N  1
n  N 2
2
12
S X ( e j 2 f ) 

S X (e j 2 f )df
12
 rX [0] 

1 2
S X (e j 2 f )df
20
Processi ergodici tempo-discreto
 Come nel caso di processi ergodici tempo-continui, per processi ergodici
tempo-discreti è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
qualsiasi realizzazione:
valor medio
ACF
N 2
1
 X  E  X [n]  x[n]   lim
x[n]  mx

N  N  1
n  N 2
RX [m]  E  X [n] X [n  m]  x[n]x[n  m] 
N 2
1
 lim
x[n]x[ n  m]  rx [m]

N  N  1
n  N 2
21
Analisi in potenza di un processo ergodico
 In pratica, valor medio, funzione di autocorrelazione e densità spettrale di
potenza di un processo s.s.l., ergodico, si misurano dai dati come segue:
 x[n]; n  0,1, 2,
dati
valor medio
ACF
1 N 1
ˆ X   x[n]
N n 0
N  m 1
1
Rˆ X [m] 
x[n]x[n  m] ,

N  m n 0
1
Rˆ X [m] 
N
PSD
, N  1
Sˆ X (e
j 2 f
N  m 1

m  N 1
x[n]x[n  m]
n 0
)  DTFT  Rˆ X [m] 
2
1
j 2 f
ˆ
S X (e
)  DTFT  x[n]
N
N 1

 ( N 1)
Rˆ X [m]e  j 2 fm
[ di fatto, si
usa la FFT ]
22
Analisi di Fourier: segnali tempo-continuo
23
Trasformata Serie di Fourier di un segnale periodico tempo-continuo (FS o TSF)
x(t ) 


n 
j 2
X ne
n
t
T0
FS

FS
x(t )  periodico tempo-continuo (T0 ) 
Xn 
1
T0
T0 2

 j 2
x(t )e
n
t
T0
dt ,    n  
T0 2
X n  aperiodico frequenza-discreta
Trasform. Continua di Fourier di un segnale aperiodico tempo-continuo (FT o TCF)

x(t ) 

X ( f )e
j 2 ft
FT
df



X(f ) 

x(t )e  j 2 ft dt ,    f  

FT
x(t )  aperiodico tempo-continuo 
X ( f )  aperiodico frequenza-continua
Analisi di Fourier: segnali tempo-discreto
24
Trasformata Serie di Fourier di un segnale periodico tempo-discreto (DTFS o DFT)
N 1
x[n]   X [k ]e
j 2
k
n
N
 j 2 n
1 N 1
N
X [k ]   x[n]e
, k  0,1,
N n 0
k
DTFS

k 0
x[n]  periodico tempo-discreto (N )
DTFS

, N 1
X [ k ]  periodico frequenza-discreta (N )
Trasformata Continua di Fourier di un segnale aperiodico tempo-discreto (DTFT)
1 2
x[n] 

X (e
j 2 f
)e
j 2 fn
DTFT
df

)

 x[n]e
 j 2 fn
, 1 2  f  1 2
n 
1 2
x[n]  aperiodico tempo-discreto
X (e
j 2 f
DTFT

X (e j 2 f )  periodico frequenza-continua (1)