La valutazione dei modelli VaR
Slides tratte da:
Andrea Resti
Andrea Sironi
Rischio e valore
nelle banche
Misura, regolamentazione, gestione
Egea, 2008
Rischio e valore nelle banche
La valutazione dei modelli VaR
AGENDA
• Il backtesting dei modelli VaR
• Il test dell’unconditional coverage
• Il test della conditional coverage
• Il test di Lopez
• I test basati sull’intera distribuzione
• Esercizi
© Resti e Sironi, 2008
2
Rischio e valore nelle banche
La valutazione dei modelli VaR
La valutazione dei modelli VaR
• I test retrospettivi (backtesting) sono basati sul confronto fra le indicazioni del
modello e i risultati dell'attività di negoziazione
confronto tra la stima giornaliera del VaR
e le perdite effettive del giorno successivo
Se il modello è corretto, le perdite effettive dovrebbero
risultare superiori al VaR con una frequenza coerente
con quella definita dal livello di confidenza
Se il VaR giornaliero è 83 e il livello di confidenza del modello
è pari al 99%, ci si attende perdite superiori a 83 unicamente nell'1% dei casi,
cioè 2,5 giorni su 250 giorni di negoziazione annui
© Resti e Sironi, 2008
3
Rischio e valore nelle banche
La valutazione dei modelli VaR
Un esempio di backtesting
• Backtesting del VaR di un portafoglio azionario
Portafoglio equiponderato investito in due indici azionari
(FTSE100 e Dow Jones Industrial Average)
Orizzonte temporale: dal 26 luglio 2004 al 22 luglio 2005
Valori effettivi del portafoglio
(257 dati giornalieri)
7000
6800
Il portafoglio è partito da un
valore di circa 6.000 euro ed
ha chiuso il periodo in esame
a un valore di 6.817 con
rendimento del 13.6% circa.
6600
6400
6200
6000
5800
5600
© Resti e Sironi, 2008
26/06/2005
26/05/2005
26/04/2005
26/03/2005
26/02/2005
26/01/2005
26/12/2004
26/11/2004
26/10/2004
26/09/2004
26/08/2004
5400
26/07/2004
Evoluzione
del valore
del portafoglio
4
Rischio e valore nelle banche
La valutazione dei modelli VaR
Un esempio di backtesting
150
96
67
1218 36
5 17
22 36
48
4
3742
4
28
33
31
1321
22
4
32
18 2834
40
026 13
2
58
37
61
37
45 59
53
44
39
28
11
4
2
4 10
14 33 50
56
21
60
14 2733 45
26
9
11
52
22 4248
65
73
11 2631
914 27
28
32
45 59
10
26
12
10
10
36
32
9
45
23 32
6 18
7
2 10
55 67
10
43
8
30 48 61
11 33
55
10
37
14
7 24
72
9
17
59
2 89
27
31
48
11
7
24
7
1520
30 39
14
50
31 47 64
100
76
96
Evoluzione del VaR giornaliero stimato con l’approccio varianzecovarianze con livello di confidenza 95% nel periodo considerato
26/07/2004
26/10/2004
26/01/2005
Variazione di valore reale
26/04/2005
VaR al 95%
-62
-21
-20 -6
-150
0
-11
-38 -22 -5
-32 -11 -3
-17
-13-8
-40 -27
-27
-3
-40
-19
-31 -17
-14
-44
-44
0
-1
-31
-28
-9
-8
-8
-47
-42
0
-8
-9
-39-30
-4
-35 -22 -6
-16
-31-22
-33
-1
-5
-27
-7
-22 -3
-21 -5
-50
-19
-12
-50
-11
-7
-43 -19-10
-9
0
-78
-13
-12
-26
-23
-24
-16 -7
-21-11
-1
-21
-49
-95
-50
-58
-41
-38 -25
-100
-97
-66
0
-22-13
-8
-24
-32
-52-43
-38
-29
-40 -21 -1
-28
-32
-36
-30
-6
-34
-38
-6
-15 -1
-43
-46
-50
-1
-13-8
-17
-29
-26-15
-8
0
La perdita giornaliera
del portafoglio risulta
superiore al VaR in
10 dei 257 giorni
considerati, ossia nel
3,9% dei casi
Risultato coerente
con il livello di
confidenza
26/07/2005
desiderato
Il valore degli errori di stima connessi a tali eccezioni raggiunge tuttavia, in
alcuni casi, importi rilevanti, anche il 100% del VaR stimato
© Resti e Sironi, 2008
5
Rischio e valore nelle banche
La valutazione dei modelli VaR
Un esempio di backtesting
Evoluzione del VaR giornaliero stimato con l’approccio varianze-covarianze,
con una volatilità stimata attraverso l’EWMA (decay factor : 0,94 e 0,97)
100,0
80,0
60,0
40,0
20,0
0,0
-20,0
-40,0
-60,0
-80,0
-100,0
26/07/2004
26/10/2004
Variazione di valore effettiva
© Resti e Sironi, 2008
26/01/2005
VaR al 95%, lambda=0,94
26/04/2005
26/07/2005
VaR al 95%, lambda=0,97
6
Rischio e valore nelle banche
La valutazione dei modelli VaR
Un esempio di backtesting
• Come si nota dalla figura della slide 6, un valore di lambda minore produce un
VaR più reattivo alle condizioni recenti
il VaR sale più rapidamente in presenza di rendimenti recenti
fortemente negativi o positivi e si riduce più velocemente
quando le variazioni giornaliere sono contenute
• L’uso di un lambda minore consente di stimare meglio il rischio del portafoglio
quando le perdite elevate sono precedute da altre perdite elevate
• In questo caso:
 VaR con decay factor 0,94
 VaR con decay factor 0,97
© Resti e Sironi, 2008
9 eccezioni su 257 giorni
(tasso di errore 3,5%)
10 eccezioni
(tasso di errore 3,9%)
7
Rischio e valore nelle banche
La valutazione dei modelli VaR
Un esempio di backtesting
evoluzione del VaR giornaliero stimato con il
modello delle simulazioni storiche
Il VaR ottenuto con
questo metodo presenta
un’evoluzione
temporale peculiare,
caratterizzata da una
certa stabilità interrotta
da improvvisi “salti”
100
80
60
40
20
0
-20
-40
-60
-80
-100
26/07/2004
26/10/2004
26/01/2005
Variazione di valore effettiva
Numero di eccezioni = 11
© Resti e Sironi, 2008
26/04/2005
26/07/2005
Quando la perdita
relativa al percentile
corrispondente al livello
di confidenza prescelto
esce dal campione il
VaR cambia
VaR storico al 95%
Errore massimo = 119% del VaR
8
Rischio e valore nelle banche
La valutazione dei modelli VaR
Un esempio di backtesting
• Il risultato dell’approccio delle simulazioni storiche risulta abbastanza simile a
quello connesso all’approccio varianze-covarianze
• Il portafoglio ha una distribuzione simile ad una normale e ha un payoff lineare
16,0%
14,0%
I vantaggi della
simulazione storica,
full valuation e
distribuzione dei
rendimenti non
vincolata a nessuna
variabile casuale
nota, vengono
ridimensionati
% di casi nel campione
12,0%
10,0%
8,0%
6,0%
4,0%
2,0%
0,0%
Rendimenti giornalieri
© Resti e Sironi, 2008
9
Rischio e valore nelle banche
La valutazione dei modelli VaR
Un esempio di backtesting
Evoluzione congiunta del VaR
secondo i tre approcci
100,0
80,0
VaR
Parametrico (media
semplice)
Parametrico (l=94%)
Parametrico (l=97%)
Storico
Numero di
eccezioni
Errore massimo, in
% del VaR stimato
11
9
10
11
109%
115%
110%
119%
60,0
40,0
20,0
il secondo
approccio
(parametrico
EWMA)
produce stime
di VaR più
volatili
0,0
-20,0
-40,0
-60,0
-80,0
-100,0
26/07/2004
26/10/2004
© Resti e Sironi, 2008
26/01/2005
26/04/2005
Variazione di valore effettiva
EWMA, lambda = 0,94
Simulazione storica
Media mobile semplice
26/07/2005
10
Rischio e valore nelle banche
La valutazione dei modelli VaR
La valutazione dei modelli VaR – Hendricks 1996
• Nello studio empirico condotto da Hendricks sono stati confrontati:
4 modelli di VaR
storico (orizzonte
temporale di 125, 250,
500 e 1.250 giorni)
8 modelli VaR
varianza/covarianza del tipo a
medie mobili semplici (calcolate
su 50, 125, 250, 500 e 1250 gg)
ed esponenziali (con l pari a
0.94, 0.97 e 0.99)
• Sono stati creati 1.000 diversi portafogli valutari, ciascuno composto con pesi
casuali da 8 valute diverse.
• Il VaR giornaliero di ciascuno di questi 1.000 portafogli è stato calcolato con
ciascuno dei 12 diversi modelli per circa 12 anni (3.000 osservazioni giornaliere,
dal gennaio 1993 al dicembre 1995)
• Livelli di confidenza 95% e 99%
© Resti e Sironi, 2008
11
Rischio e valore nelle banche
La valutazione dei modelli VaR
La valutazione dei modelli VaR – Hendricks 1996
Risultati:
Metodologia
Media mobile semplice 50 gg.
Media mobile semplice 125 gg.
Media mobile semplice 250 gg.
Media mobile semplice 500 gg.
Media mobile semplice 1.250 gg.
Media mobile esponenziale (l=0,94)
Media mobile esponenziale (l=0,97)
Media mobile esponenziale (l=0,99)
Simulazione storica 125 gg.
Simulazione storica 250 gg
Simulazione storica 500 gg
Simulazione storica 1.250 gg
Valore di riferimento distribuzione normale
Rapporto % tra numero di eccezioni Rapporto medio tra perdita in
e totale giorni
eccesso al VaR e VaR
VaR al 95%
VaR al 99%
VaR al 95%
VaR al 99%
94,8
98,3
1,41
1,46
95,1
98,4
1,38
1,44
95,3
98,4
1,37
1,44
95,4
98,4
1,38
1,46
95,4
98,5
1,36
1,44
94,7
98,2
1,41
1,44
95,0
98,4
1,38
1,42
95,4
98,5
1,35
1,40
94,4
98,3
1,48
1,48
94,9
98,7
1,43
1,37
94,8
98,8
1,44
1,37
95,1
99,0
1,41
1,30
1,254
1,145
valore teorico che il rapporto medio tra perdita effettiva e
VaR dovrebbe assumere se la distribuzione dei rendimenti
dei fattori di mercato fosse normale e se il VaR fosse corretto
© Resti e Sironi, 2008
12
Rischio e valore nelle banche
La valutazione dei modelli VaR
La valutazione dei modelli VaR – Hendriks 1996
• Per quanto riguarda il rapporto % tra numero di eccezioni e totale
giorni:
i modelli offrono una buona performance,
avvicinandosi considerevolmente al valore
teorico indicato dal livello di confidenza
• L’esame del rapporto medio tra perdita in eccesso al VaR e VaR mostra
come le perdite superiori al VaR siano mediamente molto maggiori della perdita
attesa in ipotesi di normalità
• La differenza tra la distribuzione normale e la vera distribuzione dei dati è
particolarmente sensibile “oltre il VaR”, cioè nelle code estreme della
distribuzione
© Resti e Sironi, 2008
13
Rischio e valore nelle banche
La valutazione dei modelli VaR
La valutazione dei modelli VaR
• Una corretta valutazione della qualità di un modello VaR andrebbe
fondata su due diversi aspetti:
la coerenza del numero di
eccezioni (numero di giorni in cui le
perdite superano la stima del VaR)
la “dimensione” delle eccezioni
(valore della perdita in eccesso
rispetto al VaR)
• La metodologia di backtesting proposta dal Comitato di Basilea si fonda sul
primo criterio
© Resti e Sironi, 2008
14
Rischio e valore nelle banche
La valutazione dei modelli VaR
La valutazione dei modelli VaR
• Come stimare il risultato economico giornaliero con la quale confrontare il VaR?
1.Effettivo risultato economico derivante dalle vendita delle posizioni in portafoglio
realmente liquidate dalla banca
Inadeguato in quanto contrario a mark-to-market
2.Il risultato economico che si ottiene rivalutando alle nuove condizioni di mercato,
a fine giornata, il portafoglio effettivamente detenuto dalla banca in quel
momento
Impreciso a causa delle modifiche nella composizione del
portafoglio della banca, intervenute durante la giornata
3.Il risultato economico che si ottiene rivalutando alle nuove condizioni di mercato
di fine giornata il portafoglio detenuto dalla banca la sera del giorno precedente
Risultato economico statico o “static profit & loss”  più
appropriato, confronta il VaR con una misura di perdita
ad esso omogenea
© Resti e Sironi, 2008
15
Rischio e valore nelle banche
La valutazione dei modelli VaR
Tecniche alternative di backtesting
• Nell’esempio delle slide 4-10 si è concluso che un numero di eccezioni giornaliere
pari a 9, 10 o 11 (su 257 giorni di negoziazione) fosse coerente con il livello di
confidenza del 95%
E’ una questione di significatività statistica
1.Qual è la percentuale massima di eccezioni coerente con il livello di confidenza
del modello?
2.Qual è la percentuale minima di eccezioni oltre la quale si deve concludere che il
modello non è valido (e in particolare, che la banca è esposta a rischi superiori a
quanto indicato dal VaR)?
Se si considera un modello VaR con livello di confidenza pari al 99% e nel
backtesting si ottengono 2 eccezioni (2%)
La percentuale di eccezioni è il
doppio di quella attesa (2%
anziché 1%), ma l’errore è esiguo
© Resti e Sironi, 2008
difficile concludere
se il modello è
corretto o scorretto
16
Rischio e valore nelle banche
La valutazione dei modelli VaR
Tecniche alternative di backtesting
• Numerosi test statistici sono stati proposti nel corso della seconda metà degli
anni novanta
• I test possono essere suddivisi in 3 categorie:
1. Test basati sulla frequenza delle eccezioni
Si basano sul confronto fra il numero di giorni in cui la perdita ha
superato il VaR e il relativo livello di confidenza
2.Test basati su una funzione di perdita
Considerano oltre alla frequenza, anche la dimensione delle
perdite (excess losses)
3.Test basati sull’intera distribuzione di profitti e perdite
Si confronta l’intera distribuzione delle variazioni di valore
previste dal modello VaR con i profitti e le perdite effettivamente
realizzati
© Resti e Sironi, 2008
17
Rischio e valore nelle banche
La valutazione dei modelli VaR
Tecniche alternative di backtesting
• In tutti i casi, l’ipotesi oggetto di test (“ipotesi nulla”, o H0) è che il modello VaR
della banca sia corretto
• Se H0 viene rigettata, si deve concludere che il modello VaR non sia
sufficientemente accurato
• I test sono esposti a due tipi di errori:
Primo tipo
rigettare l’ipotesi nulla
quando è corretta
Secondo tipo
accettare l’ipotesi
nulla quando è falsa
• Per finalità di risk-management si è interessati alla capacità del test di
minimizzare l’errore del secondo tipo (“potenza” del test), incorrendo in un errore
del primo tipo elevato
Esiste un trade-off tra i due tipi di errori
© Resti e Sironi, 2008
18
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• È il proportion of failures test proposto da Kupiec nel 1995
• IPOTESI H0: la frequenza delle eccezioni empiricamente rilevate, , è coerente
con quella “teorica” desiderata,  (tasso di eccezioni implicito nei valori
osservati=  )
• Tale verifica non è condizionata a ulteriori ipotesi, perciò il test è “unconditional”
• Se l’ipotesi nulla è corretta allora la probabilità di osservare x eccezioni in un
campione di N osservazioni (tasso di eccezioni pari a p  x/N) è data da una
distribuzione binomiale con media  N :
N!
N  x ! x!
N x
pr ( x  , N )    (1   ) N  x
x
• Considerando un campione di 250 osservazioni giornaliere e un livello di
confidenza del 99%, la probabilità di ottenere x eccezioni è:
 250 
0,01x  0,99 250 x
pr ( x; 1%, 250)  
 x 
© Resti e Sironi, 2008
19
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• È possibile calcolare la probabilità associata a
x
0
1
2
3
4
5
6
7
8
9
10
qualsiasi numero di eccezioni:
30%
25%
Frequenza
20%
15%
10%
5%
(1)
pr(x)
8,1%
20,5%
25,7%
21,5%
13,4%
6,7%
2,7%
1,0%
0,3%
0,1%
0,0%
2
S[pr(x)]
8,1%
28,6%
54,3%
75,8%
89,2%
95,9%
98,6%
99,6%
99,9%
100,0%
100,0%
3
1S[pr(x)]
91,9%
71,4%
45,7%
24,2%
10,8%
4,1%
1,4%
0,4%
0,1%
0,0%
0,0%
0%
0
1
2
3
4
5
6
7
8
9
10
Numero di eccezioni
© Resti e Sironi, 2008
20
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• Se il modello è corretto, la probabilità che si verifichi un numero di eccezioni pari
o inferiore a 4 è 89,2% (seconda colonna tabella precedente), quindi la
probabilità di avere più di 4 eccezioni è 10,8 (terza colonna)  se si desse come
regola quella di rifiutare l’ipotesi nulla ogni volta che si verificano più di 4
eccezioni, l’errore del primo tipo (rifiutare un modello corretto) sarebbe pari a
10,8%.
• Se si rifiutasse il modello solo se le eccezioni sono più di 6, il rischio di rifiutare
un modello corretto sarebbe molto basso (1,4%)
• Poiché l’errore che più preoccupa nell’ottica del risk management non è rifiutare
un modello corretto, ma fidarsi di un modello sbagliato (errore secondo tipo)…
…è preferibile la prima delle due regole
• Ad una logica di questo tipo si ispira il Comitato di Basilea: fino a 4 eccezioni il
modello viene considerato di buona qualità, fino a 9 parzialmente adeguato e da
10 eccezioni non accurato.
© Resti e Sironi, 2008
21
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• TEST INFERENZIALE: è possibile valutare la rispondenza tra il tasso di
eccezioni registrato durante il backtesting (π x/N) e il tasso di eccezioni atteso se
il modello è corretto () con un classico test di tipo likelihood ratio
Il test si basa sul rapporto tra due funzioni di verosimiglianza
Una è non vincolata, la probabilità di osservare un determinato
fenomeno viene posta pari alla probabilità osservata nel campione.
Lx     1   
x
probabilità non vincolata di osservare x eccezioni,
basata sul tasso di errore campionario
N x
La seconda funzione di verosimiglianza è invece vincolata al
rispetto dell’ipotesi nulla (probabilità che si verifichi un errore = )
Lx     x 1   
N x
  x (1   ) N  x 
LRuc ( )  2 ln  x
N x 
  1    
© Resti e Sironi, 2008
Test: se π è significativamente diverso da 
assumerà valori positivi ed elevati, se invece
sono vicini la statistica tenderà a zero
22
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• Riprendiamo il caso visto in precedenza (VaR con =1% e sottoposto a
backtesting con N=250 giorni)
• Ipotizziamo che le eccezioni siano 4
• Il valore della statistica LRuc sarà:
π  x/N = 4/250 1,6%
 1% 4 (1  1%) 2504 
LRuc  2 ln 
 0,77
2504 
4
1,6% 1  1,6%

se l’ipotesi nulla è corretta la statistica LRuc si distribuisce
secondo una distribuzione chi quadrato con 1 grado di libertà
LRuc
12
• È quindi possibile:
 stabilire un valore soglia che comporti un errore del primo tipo
sufficientemente elevato (ad esempio 2,7055 – corrispondente al 90% della
funzione di ripartizione)
 respingere l’ipotesi nulla (modello inadeguato) se LRuc si colloca al di
sopra della soglia
© Resti e Sironi, 2008
23
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• Riferendoci all’esempio in esame: poiché 0,77 non supera 2,7055, il modello VaR
è da considerarsi accettabile
• Se il valore della statistica LRuc fosse maggiore di 2,7055, allora il modello
potrebbe essere “rifiutato”
10%
Se si accetta un errore del primo tipo
più elevato la soglia fissata sarebbe
più bassa: una soglia pari a 0,4549
genererebbe un errore del primo tipo
nel 50% dei casi, e in questo caso il
modello VaR sarebbe rigettato.
Se la soglia fosse 0,77 il modello
comporterebbe un rischio di errore
(tutt’altro che modesto) del 38%
0,77
2,70
50%
0,45
0,77
38%
0,77
© Resti e Sironi, 2008
24
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• Il p-value del test è definito come la probabilità, nel caso in cui l’ipotesi nulla sia
corretta, di ottenere valori di LRuc superiori a quello osservato
p  1  F LRuc 
2
1
funzione di densità cumulata di una
chi-quadro con un grado di libertà
• Minore è il p-value, meno affidabile è il modello
• Un punto cruciale nell’ambito del backtesting è rappresentato dalla scelta del
valore-soglia, cioè la significatività del test.
Questa scelta dipende fondamentalmente dal costo associato ai due tipi di errori
• Gli errori del secondo tipo (considerare corretto un modello che non lo è) sono i
più costosi.
© Resti e Sironi, 2008
nel risk management si utilizzano
frequentemente livelli di significatività statistica
relativamente elevati, non inferiori al 10%.
25
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test dell’unconditional coverage
• È possibile dimostrare che la potenza statistica del test di Kupiec (definita come il
complemento a uno dell’errore del secondo tipo) è piuttosto bassa
Vi è sempre un’alta probabilità di accettare
l’ipotesi nulla quando essa è falsa.
Questa probabilità è tanto maggiore:
• Quanto più il valore  dell’ipotesi nulla diminuisce
• Quanto maggiore è il livello di confidenza del modello
• Quanto più piccola è la dimensione del campione
• In generale il test di Kupiec richiede un campione composto da un numero
elevato di dati (circa 10 anni di dati giornalieri) per poter generare risultati
veramente affidabili.
© Resti e Sironi, 2008
26
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test della conditional coverage
• Il test di Kupiec si focalizza unicamente sul numero di eccezioni e non considera
la loro distribuzione temporale
Un modello che alterna
periodi in cui il VaR è sottostimato (numero di eccezioni elevato)
a periodi in cui il VaR è sovrastimato (numero di eccezioni basso)
potrebbe risultare accettabile
• Il test è “non condizionato”: la qualità di un modello è valutata in modo
indipendente dalla capacità di reagire prontamente a nuove condizioni di mercato
• Se un modello è in grado di reagire correttamente alle nuove informazioni, allora
la probabilità che si verifichi un’eccezione nel giorno t dovrebbe essere
indipendente da eventuali eccezioni registrate il giorno t-1
• Se le eccezioni sono serialmente concentrate (clustered), è verosimile attendersi
che se il giorno t-1 si è verificata un’eccezione la probabilità (condizionata) di
avere un’altra eccezione il giorno t sia superiore alla media
© Resti e Sironi, 2008
27
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test della conditional coverage
• È preferibile che le eccezioni siano indipendenti:
se così non fosse, all’indomani dell’eccezione, il risk manager dovrebbe
aumentare il VaR su livelli superiori in modo che la probabilità
condizionale di un’eccezione rimanga in linea con il valore desiderato.
• Un test rivolto a valutare la conditional coverage di un modello VaR è quello
proposto da Christoffersen nel 1998
La statistica LRuc viene estesa
per verificare che le eccezioni siano serialmente indipendenti
• Vengono definite:

probabilità che un’eccezione
1,1 in t-1 sia seguita da un’altra
eccezione in t
1, 0
 0,1
probabilità che un’eccezione
in t-1 sia seguita da una non
eccezione in t
© Resti e Sironi, 2008
probabilità che in t si verifichi
un’eccezione senza che questa
si sia verificata in t-1
 0, 0
probabilità che non
vi siano eccezioni in
t-1 e in t
28
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test della conditional coverage
• C’è INDIPENDENZA SERIALE se:
 0,0  1,0  1  
la probabilità di avere o meno
un’eccezione in t è indipendente
dal fatto che in t-1 si sia o meno
verificata un’eccezione
1,1   0,1  
• Si consideri un campione N di osservazioni:
x1,1 = numero di eccezioni che
x1,0 = numero di eccezioni che
x0,1 = numero di eccezioni che
x0,0 = numero di mancate
sono state precedute da
un’altra eccezione
non sono state precedute
da un’altra eccezione (si
noti che, per definizione,
avremo x0,1 + x1,1  x)
© Resti e Sironi, 2008
non sono state seguite da
un’altra eccezione
eccezioni precedute da
altre mancate eccezioni
(per definizione, x1,0 +
x0,0 = N - x)
29
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test della conditional coverage
• È possibile ora stimare le probabilità attraverso le relative frequenze campionarie
 1,1 
 0,0 
x0,0
x0,0  x0,1
x1,1
 0,1 
x1,0  x1,1
 1   0,1

x0,1  x1,1
N
x

N
x0,1
x0, 0  x0,1
x1,0
1,0 
 1  1,1
x1,0  x1,1
• Funzione di verosimiglianza non vincolata delle N osservazioni del campione:
Lx  0,0 , 1,0 , 0,1 , 1,1    0,0  0,1  1,0  1,1
x0 , 0
x0 ,1
x1, 0
x1,1
• Funzione di verosimiglianza vincolata (stimare  con la relativa frequenza
campionaria π):
Lx    1    
x0 , 0
© Resti e Sironi, 2008
x0 ,1
1    
x1, 0
x1,1
 1   
N x

x
30
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test della conditional coverage
• Likelihood ratio:
LRind


L( x  )
 2 ln 

 Lx  0,0 ,  1,0 ,  0,1 ,  1,1 
la probabilità
(verosimiglianza) di
ottenere x eccezioni sotto
l’ipotesi che le eccezioni
siano serialmente
indipendenti
la verosimiglianza massima (non vincolata)
per il campione di dati osservati
• La statistica LRind si distribuisce asintoticamente come una chi-quadro con un
grado di libertà.
• L’ipotesi nulla di indipendenza seriale va dunque rifiutata quando LRind è
maggiore del valore-soglia prescelto
© Resti e Sironi, 2008
31
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test della conditional coverage
• Non sono stati in realtà testati
1,1   0,1  
e
 0,0  1,0  1  
ma le loro grandezze equivalenti basate sulle frequenze campionarie
 1,1   0,1  
 0,0   1,0  1  
• Il test non ci fornisce dunque alcuna informazione sulla correttezza del parametro

• Mediante questa statistica è possibile testare unicamente l’indipendenza delle
eccezioni, non la correttezza del modello (cioè il fatto che π= )
• Per ottenere un test completo di copertura condizionale occorre dunque
combinare fra loro:
Il test di indipendenza
© Resti e Sironi, 2008
Il test di unconditional coverage
32
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test della conditional coverage
• Il test è dato da:


Lx    
LRcc  2 ln 

 L 0,0 ,  1,0 ,  0,1 ,  1,1 
coincide con il numeratore del
test di unconditional coverage
(ottenuto dal numeratore
di LRind imponendo = )
funzione di verosimiglianza non vincolata
• LRcc si distribuisce asintoticamente come una chi-quadro con due gradi di libertà
• Per le proprietà dei logaritmi inoltre vale che:
LRcc  LRuc  LRind
• La metodologia di backtesting proposta da Christoffersen è più completa ed
efficiente di quella analizzata in precedenza.
la scomposizione in 2 componenti evidenzia tiene conto del problema
le cause che conducono al rifiuto del modello
dell’indipendenza
© Resti e Sironi, 2008
33
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test di Lopez basato su una funzione di perdita
• I test precedenti presentano due principali problemi:
sono caratterizzati
da una bassa
potenza statistica
trascurano la dimensione
delle perdite
Non è rilevante se l’eccezione sia stata determinata da una
perdita pari al 110% o al 300% del VaR.
• Un’alternativa alla valutazione di un modello VaR tramite test statistici è quella
proposta da Lopez nel 1999
Il modello si basa sulla minimizzazione di
una funzione di perdita costruita in modo
da tenere in considerazione gli interessi del
risk manager o dell’organo di vigilanza
© Resti e Sironi, 2008
34
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test di Lopez basato su una funzione di perdita
• La perdita (costo) associata al giorno t+1 assume la seguente forma:
Ct 1
 f  t 1 ,VaRt  se  t 1  VaRt

 g  t 1 ,VaRt  se  t 1  VaRt
rendimento
del portafoglio
con
f x, y   g x, y x, y
stima del VaR elaborata all’istante t e riferita
al periodo t+1, espressa in termini percentuali
• Ottenuti i valori di Ct 1per gli N giorni che compongono il campione di
backtesting, la perdita totale è: C M 
N
C
t i
i 1
• Lopez propone di utilizzare questa perdita totale per confrontare modelli di
istituzioni diverse o per la stessa istituzione in periodi diversi
• È possibile costruire un benchmark di riferimento, C*, con cui giudicare la qualità
di un modello (inadeguato se CM  C * ).
© Resti e Sironi, 2008
35
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test di Lopez basato su una funzione di perdita
•
:
• L’autore descrive tre funzioni di perdita alternative:
1. una funzione binaria, che
assume valore 1 quando
si verifica un’eccezione e
0 in caso contrario
Ct 1
1 se  t 1  VaRt

0 se  t 1  VaRt
2. una funzione di perdita “a
zone”, che rispecchia l’attuale
schema di backtesting proposto
dal Comitato di Basilea
3. una funzione di perdita
crescente rispetto all’errore
cumulando le perdite relative a più periodi si
ottiene una misura di performance relativa che
può essere impiegata in un confronto :
fra diversi periodi temporali
fra diverse istituzioni
rispetto a un valore di riferimento
© Resti e Sironi, 2008
36
Rischio e valore nelle banche
La valutazione dei modelli VaR
Il test di Lopez basato su una funzione di perdita
•
:
• Nel caso della terza forma funzionale invece:
Ct 1
2

1   t 1  VaRt 


0

se  t 1  VaRt
se  t 1  VaRt
La funzione assegna
punteggi maggiori
alle eccezioni di
maggior dimensione
• L’approccio di Lopez è apprezzabile in quanto valuta anche l’entità delle eccezioni
• In questo modo si valuta però la qualità di un modello VaR sulla base di una
caratteristica estranea alla sua logica
i modelli VaR sono costruiti senza alcuna
attenzione alla dimensione delle perdite
la correttezza di un modello VaR dovrebbe essere valutata solo
sulla base della frequenza delle “excess losses”
© Resti e Sironi, 2008
37
Rischio e valore nelle banche
La valutazione dei modelli VaR
I test basati sull’intera distribuzione
•
:
• Questo approccio diverso, denominato “distribution forecast method”, è
stato proposto da Crnkovic e Drachman nel 1996 e ripreso da Diebold, Gunther
e Tay nel 1998 e da Berkowitz nel 2001.
• Le tecniche di backtesting finora presentate si sono focalizzate sulla coda della
distribuzione dei profitti e delle perdite
• L’approccio proposto da questi autori prevede di considerare la
distribuzione di probabilità utilizzata la sera del giorno t per
calcolare il VaR e di trovare il percentile pt corrispondente al
rendimento εt+1 effettivamente osservato il giorno dopo
• Se le distribuzioni osservate per derivare il VaR e la distribuzione empirica dei
rendimenti sono coerenti tra loro, i valori di pt dovrebbero seguire una
distribuzione uniforme ed essere serialmente incorrelati
© Resti e Sironi, 2008
38
Rischio e valore nelle banche
La valutazione dei modelli VaR
I test basati sull’intera distribuzione
•
:
• Crnkovic e Drachman propongono il test di Kupier basato sulla distanza fra la
distribuzione di probabilità prevista e la distribuzione effettiva dei rendimenti del
portafoglio
• Diebold, Gunther e Tay sottolineano che i test inferenziali sono spesso di
scarsa utilità pratica perché possono condurre al rifiuto dell’ipotesi nulla senza
dare indicazioni su quale sia la “vera” distribuzione dei dati
• Essi privilegiano quindi un’analisi grafica della distribuzione dei percentili
associati ai rendimenti osservati, calcolati in base alla funzione di densità di
probabilità del modello utilizzato per il calcolo del VaR
Se gli istogrammi assumono tutti un’altezza grosso
modo identica, allora la distribuzione dei percentili è
uniforme ed il modello può essere giudicato accurato
© Resti e Sironi, 2008
39
Rischio e valore nelle banche
La valutazione dei modelli VaR
I test basati sull’intera distribuzione
•
:
• Se la distribuzione dei percentili non è uniforme e il modello non è accurato
La forma degli istogrammi aiuta
a comprendere da dove nasca
l’inaccuratezza del modello:
Ad esempio se gli istogrammi centrali e
quelli estremi risultano più alti della
media, è probabile che la “vera”
distribuzione dei rendimenti sia
leptocurtica, per esempio una t di Student
• Berkowitz infine introduce un’innovazione basata su una trasformazione dei
dati tale da ottenere una nuova variabile casuale distribuita normalmente e da
poter successivamente ricorrere ai classici test statistici associati alla gaussiana
© Resti e Sironi, 2008
40
Rischio e valore nelle banche
I modelli per la stima della volatilità
Esercizi/1
1. Una banca sta effettuando il backtesting del suo modello VaR
usando un campione di 400 rendimenti giornalieri passati. In 12
giorni su 400, le perdite hanno superato il VaR al 99% di
confidenza. Usando una distribuzione binomiale, calcolate la
probabilità associata ad un simile risultato se il modello VaR è
corretto. Inoltre, calcolate il test di copertura non condizionale
(usando l’equazione [4] in questo capitolo) e (usando la tabella
semplificata riportata qui di seguito, oppure la funzione
DISTRIB.CHI(.) in Excel) stimate l’errore del primo tipo (pvalue). Dite infine in cosa consiste il significato pratico di questo
valore di errore.
© Resti e Sironi, 2008
41
Rischio e valore nelle banche
I modelli per la stima della volatilità
Esercizi/1
Distribuzione di probabilità cumulata di x distribuito secondo una
chi-quadrato con m gradi di libertà
x
0.25
0.5
1
2.5
1
38.29
%
52.05
%
12
0.00% 0.00% 0.00% 0.18%
5
10
20
40
80
160
m
68.27
%
88.62% 97.47% 99.84% 100.00% 100.0% 100.0% 100.0%
100 0.00% 0.00% 0.00% 0.00%
© Resti e Sironi, 2008
4.20% 38.40% 93.29% 99.99% 100.0% 100.0%
0.00%
0.00%
0.00%
0.00%
7.03% 99.99%
42
Rischio e valore nelle banche
I modelli per la stima della volatilità
Esercizi/2
2.Considerate
le seguenti affermazioni: “il backtesting di un
modello VaR per i rischi di mercato consiste nel…”
I.… calcolare il VaR associato a differenti scenari, corrispondenti a
shock estremi nei rendimenti dei fattori di mercato già accaduti in
passato;
II.… calcolare il VaR associato a differenti scenari, corrispondenti a
shock estremi nei rendimenti dei fattori di mercato mai accaduti
in passato;
III.… calcolare il VaR associato a differenti scenari, corrispondenti
a shock medi nei rendimenti dei fattori di mercato accaduti in
passato;
© Resti e Sironi, 2008
43
Rischio e valore nelle banche
I modelli per la stima della volatilità
Esercizi/2
IV.… calcolare il VaR associato ai singoli sottoperiodi passati e
confrontarlo con le perdite o i profitti che si sono effettivamente
verificati.
Quali di esse sono corrette?
a) solo la II;
b) la I e la II;
c) la IV;
d) la II e la IV.
© Resti e Sironi, 2008
44
Rischio e valore nelle banche
I modelli per la stima della volatilità
Esercizi/3
3. Una banca ha effettuato il backtesting del suo modello VaR su
un insieme di 500 osservazioni, trovando 7 eccezioni (cioè valori
superiori al VaR) consecutive. Calcolate il test di copertura non
condizionale, il test di indipendenza seriale e il test di copertura
condizionale. Usando la funzione DISTRIB.CHI(.) in Excel o la
tabella qui di seguito, calcolate i p-values dei tre test.
Commentate i risultati.
Distribuzione di probabilità cumulata di x distribuito secondo una
chi-quadrato con m gradi di libertà
x 0.2
0.5
0.7
5
m
1 34.53% 52.05% 59.72% 97.47%
2 9.52% 22.12% 29.53% 91.79%
7 0.00% 0.06% 0.17% 34.00%
© Resti e Sironi, 2008
6.2
6.9
7.5
10
15
20
98.72% 99.14% 99.38% 99.84% 99.99% 100.00%
95.50% 96.83% 97.65% 99.33% 99.94% 100.00%
48.34% 56.06% 62.13% 81.14% 96.40% 99.44%
45