Reti Neuronali Adattative
Teoria della risonanza adattativa
Adaptive Neural Networks
(Adaptive Resonance Theory, ART)
Meccanismo psico-fisiologico di adattamento all’ambiente:
1) Attenzione selettiva: ricerca di una situazione nel dominio dell’attuale
conoscenza
2) Risonanza: se l’ attenzione selettiva rileva una situazione nota l’attuale
conoscenza viene aggiornata
3) Orientamento: ricerca o creazione di una nuova conoscenza
Vantaggi: compatibilità fra plasticità e stabilità
Svantaggi: complessita’ della struttura e dell’algoritmo di apprendimento
pattern da classificare
Altre classi conosciute?
ORIENTAMENTO
no
sì
Scegli la prossima classe
ATTENZIONE SELETTIVA
no
La RISONANZA è
verificata?
Generazione della nuova classe
(rappresentata dal pattern applicato
CREAZIONE DI CONOSCENZA
sì
Aggiorna le connessioni sinaptiche
ADATTAMENTO
e classificazione
fine
Schema di principio della implementazione della Teoria della risonanza adattativa
F2 strato dei nodi
delle categorie
STM la categoria estratta
LTM informazione appresa e
memorizzata (in F1 e F2)
F1 strato dei nodi
delle rappresentazioni
STM la rappresentazione
selezionata o filtrata
Il paradigma della risonanza adattativa
Apprendimento:
Attivazione dello strato di riconoscimento con competizione SOM (attenzione
selettiva)
Retropropagazione della rappresentazione della classe allo strato di confronto e
verifica con il segnale d’ingresso
Creazione di un nuovo neurone in caso di impossibilità di risonanza (orientamento)
strato di
riconoscimento
1
j
P
zj
wj
strato di
confronto
1
i
x1
N
xi
xN
P+1
ART1
Pattern x con componenti binarie
y1
1
yh
yj
h
t hi
x1
yP
j
P
P+1
b ij
xi
xN
Apprendimento di ART1 (Pao)
Inizializzazione: tji0=1 e bji0=1/(1+N)
Fase di competizione: yj=bjTx
j=argmax[yp; p=1÷P]
Attenzione selectiva: verifica della risonanza
se tjTx>r||x|| la risonanza è verificata
aggiornamento dei pesi:
tjik+1= tjik xi e bjik+1= tjik xi/(0,5+ tjkTx) = bjik+1/(0,5+ tjkTx)
altrimenti: ricerca selettiva di una categoria risonante;
altrimenti: creazione di un nuovo nodo con due possibilità:
a) tji=1 e bji= xi per facilitare la scelta della nuova categoria
b) tji= bji= xi per scelta più selettiva della nuova categoria
1
strato di
riconoscimento
h
j
P
wih
strato di
confronto
1
zji
i
x1
N
xi
xN
Attenzione selettiva: j=argmax [xTwh, h=1÷P]
Risonanza/orientamento/nuova conoscenza:
parametro di vigilanza: r:
Se xTzj >r si ha risonanza e quindi adattamento di wj e zj a x
Se xTzj<r si orientamento con ricerca di : xTzh con h  j
Se xTzh <r per ogni h si crea il nuovo nodo P+1 con wP+1= zP+1 = x
P+1
ART2
Reset se |r|<r
F2: sottosistema
di orientamento
Valut. risonanza
r=(u+cp)/(|u|+c|p|)
p=u+Sj g(yj)
q= p/|p|
v=f(x)+bf(q)
u=v/|v|
F1: sottosistema selettivo
x=w/|w|
w=i+au
r
F2: sottosistema
di orientamento
Attenzione seletttiva/ risonanza/ orientamento/ nuova conoscenza
1
n
j
z1
zj
r
+
n
c
P
g(yj)
p
zP
j
zP+1=i
+
n
q
bf(q)
n
Attenzione selettiva,
g(yj) non attivato:
j =argmax [pTzh; h=1÷P];
Ricerca della risonanza,
g(yj) attivato e se |r|>r:
aggiornamento pesi
Altrimenti orientamento h≠j
Nuova conoscenza:
nuovo nodo: zP+1=i
F1: sottosistema
di selezione
P+1
u +
n
i
+
f(x)
a
+
v
w
x
n
Architettura di ART2 originale
Filtro non lineare:
If x < q then f(x)= 0
else f(x) =x
In risonanza si effettua l’apprendimento per la categoria j:
Per omogeneità con il programma si pone zj=zBJ e g(yj) = d zTJ
Dove d svolge la funzione del coefficiente di apprendimento
(h dei percettroni e delle SOM)
Aggiornamento dei pesi di F1-F2
F1
F2
F2: DzBJ= du-d(1-d)zBJ
F1: DzTJ= du-d(1-d)zTJ
Orientamento:
Selezione della categoria con la successiva e inferiore pTzh
Se nessuna risonanza: creazione di una nuova categoria
Programma dell’attenzione selettiva e risonanza
Scelta della categoria
Iterazione in F1
wn= aun+i
xn= wn/|wn|
pn = un
xn= pn/|pn|
vn= bf(q,qn) + f(q,xn)
un+1= vn/|vn|
quindi:
Th=pT.zBh
j= argmax [Th, h= 1÷P]
Parametri: a;b;q
Risonanza/Orientamento
Retropropagazione e iterazione in F1
wn=aun+i
xn=wn/|wn|
pn =un +dzTJn
xn=pn/|pn|
vn=bf(q,qn) + f(q,xn)
un+1=vn/|vn|
Calcolo della risonanza
r= (un+cpn)/(|un|+c|pn|
risonanza se: |r|> r
Parametri: d,c,r
START
New signal i
Resonance computation: rn
F1 loop filtering
no
no
|un+1-un|<e
yes
yes
Competitive category selection:
node J
and top-down back propagation
|rn|> r
any more
category?
zBJ and z TJ
weights
updating
no
New category P+1
zB(P+1)=zT(P+1)=i
F1 loop filtering
no
yes
|un+1-un|<e
yes
END
a)
b)
Classificazione adattativa
con con soglia di attenzione selettiva bassa (a) e alta (b)
Da: G.A. Carpenter e S. Grossberg: Applied Optics, 1987, Vol 26 p. 4920, 49221
Un esempio di ART 2: il quantizzatore vettoriale adattativo
yj
1
Strato dei vettori quantizzati
xqj
j
wj
P
P+1
Strato del confronto
x =(xi; i=1÷N)
j=argmin [SiAi(xi-wji)2; i=1÷N, j=1÷P];
r=1/(1+SiBi(xi-xqJi)2; i=1÷N)
Se r>r si ha risonanza e si aggiornano DwJi=Ci(xi-wJi); DxqJi=Di(xi-xqJi); i=1÷N
Se r<r si crea un nuovo centro di quantizzazione ponendo wP+1=x q(P+1) =x
Ai, Bi, Ci e Di con i=1÷N dipendono dalla quantizzazione desiderata
r
Attenzione seletttiva/ risonanza/ orientamento/ nuova conoscenza
F2: sottosistema
di orientamento
1
j
w1
P
w’I
wP j
wI
R=exp(-|h-l|/d)
l = w’I se w’I  0
altrimenti l = h
wP+1= x
R
f
l
w’I
P+1
p
w’I
I = argmin[|p-wj|, j=1÷P]
+
n
s
h
bf(s)
x
|x|
Modifica pesi in risonanza
w I= w’I = 1/2(|x|u+w’I)
|.|
u
+
n
x
+
f(x)
a
+
v
z
q
F1: sottosistema
di selezione
n
Architettura di ART2 modificata
Caratteristiche di ART2
a. Compromesso fra stabilità e plasticità
b. Compromesso fra ricerca e accesso diretto
c. Compromesso fra inizializzazione e confronto
d. Invarianza delle rappresentazioni (STM) durante l’estrazione
delle informazioni memorizzate (LTM)
e. Coesistenza dell’estrazione di LTM e normalizzazione di STM
f. Invarianza di LTM all’ applicazione di ingressi particolari
g. Scelta stabile fino all’azzeramento della capacità di memoria
h. Aumento del contrasto, soppressione del rumore e riduzione del
confronto con filtraggi non lineari
i. Autostabilizzazione veloce
j. Normalizzazione
k. Elaborazione locale