ELABORAZIONE DI
SEGNALI TEMPORALI
CON RETI NEURALI
SISTEMI STATICI E DINAMICI
SD-1
Sistemi statici risposta istantanea a partire dall’input attuale
 risposta costante nel tempo a input costante nel tempo



Sistemi dinamici  risposta non istantanea all’input
 risposta costante nel tempo ad un input costante
SOLO DOPO un “Tempo di Stabilizzazione”
x(n)
z-1
z-1
z-1
x(n)
S
y(n)
+
y(n)
z -1
y(n-1)
(SISTEMI LINEARI)
1-m
RETI STATICHE E DINAMICHE
Reti Neurali Statiche
(MLP)
SD-2
pesi  memoria a lungo termine dei
dati di training
pesi  memoria a lungo termine dei
dati di training
Reti Neurali Dinamiche
dati  memoria a breve termine
(informazione sul passato)
Importante differenza
le reti dinamiche sono sensibili alla sequenza di presentazione
dell’informazione.
TIME LAGGED FEEDFORWARD NETWORK SD-3
Le Reti neurali dinamiche includono esplicitamente una relazione
temporale nel mappaggio I/O
Time Lagged Feedforward Network (TLFN)
Filtro FIR
Rappresentazione
nel tempo
+
MLP
Mappaggio
NON LINEARE
Focused TLFN concentrano la memoria sull’ingresso.
(struttura semplificata)
SD-4
xt   xn
campioni
passati
finestra
attuale
t
Memoria Esterna alla Rete
t
campioni
passati
T
Memoria Incorporata nella Rete
FOCUSED TIME DELAY NEURAL NETWORK SD-5
Sostituiamo all’input di un MLP una linea di ritardo
Focused Time Delay Neural Network
(FTDNN)
x(n)
Sommatore + non-linearità
z-1
x(n-1)
z-1
+
y(n)
+
z-1
x(n-K)
STRATO FILTRANTE  i filtri adattativi sono in
numero pari ai neuroni
dello strato nascosto
Applicazioni:
Classificazione
Identificazione
Predizione
SD-6
Osservazione
Una FTDNN è equivalente ad un MLP che ha in ingresso anche
dei campioni passati
Una FTDNN può essere addestrata con la BP statica
Una FTDNN è un ottimo compromesso tra SEMPLICITA’ e
POTENZA di ELABORAZIONE
SD-7
IL NEURONE MEMORIA
x0(n)
x1(n)
+

xP (n)
g( )

g( )
y0(n)
y1(n)
y   y0 n ,, yD n 
T
g(.) è una funzione di ritardo
yD (n)
MEMORIA A BREVE TERMINE
 yk n   g  yk 1 n  k  1,  , D

P
 y n    x n 
j
 0
j 1
Le uscite sono una versione ritardata di y0
Neurone linea di ritardo
Neurone-memoria
Neurone context
SD-8
IL NEURONE LINEA DI RITARDO
La memoria è
implementata dal ritardo
x1(n
)
x2(n
)

xP(n)
S
y(n)
z-1
y(n-1)
z-1
y   y0 n ,  , y D n  D 
P
y n    x j n 
j 1
z-1
y(n-D)
g    n  1
Il contributo di un ingresso precedente l’istante n-D non è
rappresentato in uscita.
SD-9
IL NEURONE CONTEXT
La memoria è implementata dalla retroazione
x1(n)
x2(n)

xP(n)
1m
+
1m
z -1
y(n)
b
y n   1  m   y n  1   xi n   b
P
i 1
+
y(n)
DEFINIZIONI
•Profondità della memoria M
SD-10

M   ng D (n)
n 0
Momento del primo ordine di gD(n)
gD(n) = d(n-D)
La risposta impulsiva totale della linea di ritardo è data dalle D
convoluzioni successive di g( ).
•Risoluzione della memoria R
Numero di taps per campione (o unità di tempo)
Per D taps
RM
RM=D
SD-11
PROPRIETA’
x1(n
)
x2(n
)

xP(n)
S
y(n)
(0)
y(n-1)
h(m)
z-1
z-1
D
z-1
y(n-D)
ingresso
0
mD
=0
m>D
lunghezza della h
regione di supporto
• Brusca transizione dalla memoria all’oblio in n = D+1 
la risposta perde tutta l’informazione dell’impulso
• Una modifica della profondità di memoria comporta una
modifica della topologia
• I campioni passati sono conservati esattamente
SD-12
C’è un solo tap per unità di tempo:
•Risoluzione della memoria R=1
Numero di taps per campione (o unità di tempo)
•Profondità della memoria M=D

M   ng D (n)  0  1 (1  D).....  D ( D  D)  D
n 0
(Momento del primo ordine di gD(n))
Numero di campioni per i quali l’output ricorda l’impulso
in n=0
(0)
x1(n)
x2(n)

xP(n)
1m
b
h(m) 0
z -1
y(n)
+
R= m
M
1
m
ingresso
SD-13
m
La regione di supporto è
infinita.
In realtà h va a zero con 1
una costante di tempo  
m
h(m)  0
m > m*
• Graduale transizione dalla memoria all’oblio
• Una modifica della profondità di memoria può essere
effettuata semplicemente agendo su m
• I campioni passati non sono conservati esattamente
(l’output passato è pesato e sommato agli input)
La regione di supporto è infinita.
In realtà h va a zero con una costante di tempo t
h(m)  0
m > m*
e
1 / 
 1 m   
R= m
M
1
m
RM=D=1
1
m
0<m<1
1 h(n)
SD-14
(stabile)
m decrescente
n
SD-15
IL FILTRO MEMORIA
neurone-memoria
a singolo input
+
SINAPSI FIR
neurone
sigmoidale
x (n)
collegati attraverso un set di pesi
D
net n    wi yi n 
i 0
net è la proiezione dell’input sul peso
y0(n)
y1(n)
w0
w1
yD (n)
wD
+
net n
SIMILE AL
COMBINATORE
LINEARE
Linea di ritardo: i pesi sono indipendenti da asse a asse
Context: i pesi NON sono indipendenti da asse a asse:
Il campione più recente è pesato da 1-m
Il successivo da (1-m)2
Etc.
Peso max
SD-16
LA MEMORIA GENERALIZZATA
g k n   g n   g k 1 n  k  1
g0(n) assegnata
g0(n)
g(n)
g(n)
indice del tap
Gk z   G z   Gk 1 z   G0 z   G k z 
g0(n)
g1(n)
gD(n)
Scelta di g(n)  scelta degli assi dello spazio di proiezione degli input
x(n)
g0(n)
x(n) input
yk n   g n   yk 1 n  k  1
y0 n   g 0 n   xn 
xˆ n    wk yk n 
D
k 0
g(n)
g(n)
y0(n
)w0
y1(n
)1
w
+
yD(n
)wD
+
x̂n 
Ogni traccia di memoria è la convoluzione della precedente e di g(n)
SD-17
Neurone linea di ritardo
g n    n  1 
g 0 n    n 
yk n   xn  k 
(TDNN)
Le tracce di memoria immagazzinano i
campioni passati dell’input
Neurone context
yn  1  m  yn 1  m  xn
y 1  1  m   y0  m  x1
y 2  1  m   y0  (1  m ) m  x1  m  x(2)
...
n
n i
y n    m  1  m  xi 
2
i 0
Memoria
generalizzata a
singolo tap
Dalla y0 n  g0 n xn  g0 n  m  1  m 
n
SD-18
IL NEURONE MEMORIA GAMMA
g n   m  1  m 
g 0 n    n 
n
n 1
G(z)
u(n)
m
1-m
+
g0(n)
D = 1  neurone context
m = 1  neurone linea di ritardo
 n  1 k
nk
 m 1  m 
g k n   
 k  1


m

Gk z , m   
 z  1  m  
z -1
G(z)
g1(n)
g1(n)
polo z = 1-m
g2(n)
g3(n)
n  k, k  1
k
gD (n)
2/
m
molteplicità k
n/m
SD-19
IMPORTANTE
PROPRIETA’
L’asse dei tempi è scalato da m.
M e D sono disaccoppiate
Adattare m sulla base dell’
MSE consente di scegliere
la migliore scala dei tempi
M
D
m
La memoria gamma può rappresentare
N campioni passati, in D tap, con N > D
Rappresentazione più parsimoniosa rispetto
alla linea di ritardo
R=m
SD-20
Esempio
•Un’applicazione richiede una memoria di 100 (M) campioni
MA
•sono sufficienti 3 parametri liberi per il modello
La linea di ritardo dovrebbe avere D=100 e 97 pesi nulli…
L’unità context può disaccoppiare M dai parametri liberi del
sistema, ma può modellizzare solo uno dei modi dell’input
La memoria gamma produce uno spazio di dimensione M=100
grazie al parametro m, con un numero di taps D<M
SD-21
IL FILTRO GAMMA
Topologia lineare ottenuta pesando i tap
della memoria gamma
Topologia
globalmente feedforward
localmente IIR
x(n)
g
g
S
y(n)
g
E’ simile al combinatore lineare
Spazio di proiezione di taglia uguale alla dimensione del filtro
Output = proiezione sul vettore peso
Basi = convoluzione dell’input con le basi gamma
PROPRIETA’ DEL FILTRO GAMMA
SD-22
Disaccoppiamento di M e R  errore minore rispetto ad un
combinatore lineare dello stesso
ordine
MSE = MSEm

Superficie di performance 
non convessa
Possibile instabilità
una variazione di m non
comporta modifiche topologiche
minimi locali
RETI TIME LAGGED FEEDFORWARD (TLFN) SD-23
•Connessione feedforward di neuroni memoria e non linearità
•I neuroni memoria possono essere di qualunque tipo
•Godono delle proprietà delle reti feedforward (ex. Stabilità)
•Elaborano informazione temporale
RETI TIME LAGGED FEEDFORWARD FOCUSED
(focused TLFN)
+
I neuroni memoria compaiono u (n)
solo nello strato in ingresso
+
SD-24
+
I STADIO DI
RAPPRESENTAZIONE
LINEARE
(FILTRO MEMORIA)
L’output dello stadio di rappresentazione è la proiezione
dell’input nello spazio di proiezione
L’input all’MLP è l’output allo stadio di rappresentazione
II STADIO
MAPPANTE
NON LINEARE
(MLP)
TLFN focused con linea di ritardo (TDNN)
I STADIO
II STADIO


SD-25
trova la migliore proiezione dell’input in
uno spazio di proiezione intermedio (spazio
del segnale)
pesi ottimali

proiez. ortogonale
approssima funzioni arbitrariamente
complesse nel nuovo spazio del segnale
La TDNN è un approssimatore universale di funzioni*
nello spazio del segnale
*(con
regione di supporto finita)
La dimensione dell’input del MLP è quella dello spazio di proiezione
SD-25
IDENTIFICAZIONE DI SISTEMI NON LINEARI
x ( n)
d (n)  f ( x(n))  ???
Il modello neurale deve approssimare
f usando un set di basi definite dalla
topologia del sistema
d(n)
?
x(n)
Modello
y(n)
+
e(n)
SD-26
x(n)
Z-1
Z-1
y (n  1)  f ( x(n), x(n  1),..., x(n  k  1))
y(n+1)
TDNN
x(n)
y (n  1)  f ( y (n), y (n  1),..., y (n  k  1), x(n))
Z-1
Z-1
y(n+1)
SD-27
x(n)
Struttura più generale
Z-1
Z-1
Z-1
y(n+1)
y (n  1)  f ( x(n), x(n  1),..., x(n  k  1),
y (n), y (n  1),..., y (n  j  1))
Z-1
E’ necessario scegliere opportunamente le basi
TLFN focused con neurone - context
SD-28
•I campioni passati sono conservati indirettamente (l’output passato è
pesato e sommato agli input)
m1
x1(n)
+
•Topologia ricorrente
m2
y(n)
x2(n)
+
ricorrenza LOCALE
xk(n)
+
Stabilità ottenibile facilmente
mk
vincolando m

I STADIO
•Minore versatilità rispetto alla TDNN
II STADIO
TLFN focused con memoria -gamma
SD-29
• Approssimatore di funzioni universale
• MSE minore rispetto ad una focused TDNN con lo stesso
numero di parametri, nel caso di lunghe regioni di supporto
(impianti reali)
ADDESTRARE TLFN focused
TDNN
focused
TLFN
focused
Non hanno parametri adattabili nella
struttura di memoria 
BP statica
m = costante
BP statica
m  costante
BP statica
SD-30
SD-31
PREDIZIONE ITERATA
Predizione di serie temporali prodotte da modelli non lineari
Primo passo verso la modellizzazione del sistema dinamico
Identificazione del sistema che ha creato la serie temporale
x(n)
Rete
neurale
x(n+1)
x(n)
Rete
neurale
x(n+1)
Z-1
1) Predizione di un passo
2) Predizione iterata