Uncertainty and Sensitivity Analysis
in Risk Assessment and Management
Emanuele Borgonovo, Ph.D. (MIT)
Istituto di Metodi Quantitativi
Bocconi University
[email protected]
1
Il Problema
 Siete manager di un’azienda che gestisce
parcheggi e dovete decidere se e come
costruire un nuovo parcheggio.
 Siete manager evoluti dal punto di vista
quantitativo, ovvero avete seguito il corso del
Prof. Rocca.
2
Il Processo di Decisione
Ipotesi
Input (Paramteri)
Analisi di
Sensibilità
Modello a Supporto
delle decisioni
Criterio di
Valutazione
Clemen (1997, Ch.1)
3
Modelli
 Un modello è uno strumento matematico-logico che
l’analista, il manager, lo scienziato, l’ingegnere sviluppa
per:



Predire il comportamento della realtà
Predire l’andamento di un mercato
Prendere una decisione relativa ad un investimento
 Elementi comuni ai modelli:





Incertezza iniziale
Una serie di ipotesi
Una serie di input
Eventi
Risultato (output) del modello
4
Attenzione!!
Forecasting is easy …
…. for the past
by
(Niels Bohr, Nobel Prize for Physics)
5
Costruzione del modello
 Costruire
un
modello
conoscenza approfondita di:





richiede
una
Problema
Eventi rilevanti rispetto al problema
Fattori che influenzano il comportamento delle
quantità di interesse
Raccolta dei dati e delle informazioni
Statement e calcolo delle incertezze
 Occorre la verifica della coerenza del modello
mediante analisi empirica, se possibile, e
analisi di sensibilità
6
Esempio: la legge di gravità
 Vogliamo descrivere la caduta verticale di un corpo
sulla superficie della terra. Adottiamo il modello:
F=mg per la caduta dei corpi
 Ipotesi (?):



Corpo puntiforme (niente rotazioni)
Niente attrito
Niente correnti atmosferiche
 Funziona per la caduta di un corpo posto a grande
distanza dalla superficie terrestre?
7
Il modello in generale
 Modello:
Y = f(X1, X2,..., Xn )
Output
Parametri: sono I fattori
Che influenzano l’output
Forma Funzionale non Necessariamente Nota
8
Esempio
 Torniamo alla forza di gravità:
F = mg
 Vediamo il modello in generale:
F →Y
x1 = m,
x2 = g
Y = f (x1 , x2 ) = x1 x2
9
Un primo uso dell’analisi di sensibilità
 Cosa succede se m passa dal suo valore di
riferimento al suo doppio, da m0 a 2m0?
 Dettagliamo meglio la domanda:

F aumenta o diminuisce?
 Stessa domanda ma più in generale:

L’output (Y) risponde con segno positivo o
negativo alla variazione di uno o più parametri?
 Samuelson (1947, Nobel prize per l’Economia):
“the response of our system to changes in
certain parameters”
10
Attenzione…
 Le cose si complicano nella vita reale, perchè i
modelli diventano complessi e non sono di solito
trattabili analiticamente
Y
x
?
Input
Output
 D’ora in poi, quindi assumiamo di non conoscere
più la forma funzionale: ovvero, I metodi che
discutiamo si applicano ad ogni modello
11
Cos’è la Sensitivity Analysis
E’ un insieme di metodi matematici
che permettono, tramite la risposta
a domande:
“What if….?”
di aprire la scatola nera
12
Black Box
 “Sensitivity analysis: would You go
to an orthopaedist that does not
use X-Ray?”
 By A.Saltelli, Joint Research Center EC
13
Cosa “esce” dalla Black-Box
Misure di Importanza
Analisi di Rischio
Analisi di Incertezza
Verifica della Correttezza
14
Importanza dei fattori in gioco
•E’ possibile stabilire l’importanza di ciascun fattore?
• Quale ipotesi influenza l’output del modello e quindi
la decisione di più?
•E’ possibile quantiticare l’importanza di gruppi di
ipotesi?
•L’applicazione dell’Analisi di Sensibilità permette di
rispondere a queste domande
15
Analisi di Incertezza
E’ possibile avere una misura del livello di confidenza
nei risultati del modello?
E’ possibile ripartire l’incertezza nei vari fattori?
Dove ci si dovrebbe focalizzare per ridurre
il più possibile l’incertezza nei risultati?
L’applicazione di tecniche dell’Analisi di Sensibilità
(globale) permette di rispondere a queste domande
16
Informazioni nell’analisi del rischio
•Come si distribuisce il rischio tra i fattori?
Quale ipotesi tenere sotto osservazione per ridurre il
rischio?
E’ possibile trarre indicazioni dall’analisi di sensibilità in
relazione all’analisi del rischio (anzi, l’origine è proprio
quella…!)
17
Requisiti dei metodi di SA
 La tecnica utilizzata dovrebbe essere:



Quantitativa e indipendente dal modello
Capace di evidenziare interazioni, ovvero
l’effetto di più variabili
Evitare di escludere parametri rilevanti
18
Metodi di SA
19
Numerical Convenience
Uncertainty
Categorie di Metodi di SA
 Tecniche di SA locali
 [Cheok
et al (1998), Borgonovo and
Apostolakis (2001), Borgonovo et al (2003)]
 Screening Methods
 Morris (1991) and Kleijnen (2005)]
 Non-Parametric Techniques
 [Saltelli and Marivoet (1990)]
 Variance Based Techniques
 [Saltelli et al (1999), Sobol’ (1993), (2001),
(2003)]
 Moment Independent Global SA techniques
 [Park and Ahn (1994), Chun et al (2000),
Borgonovo (2005) and (2006)]
20
Analisi di Sensibilità Locale
Y=f(X1,X2)
Y0
x 10
x 20
X1
X2
21
Il Rationale delle tecniche di sensibilità
locale
22
La misura di importanza differenziale
 Sia f(x) differenziabile in x0 . Allora, si definisce
importanza differenziale del parametro xi la quantità
[Borgonovo and Apostolakis, 2001; Borgonovo and
Peccati, 2004, and 2006]:
di Y
Di =
dY
x0
 Di è la frazione del differenziale di f(x0) associate con xi.
23
Proprietà
m
1) Additività: Ds ,s ,...,s ( x , dx)   Ds ( x , dx)
0
1
2
m
j1
n
0
j
0
0
2) Somma ad 1:
DS ( x , dx )   Ds ( x , dx)  1
j1
j
3) Generalizza Derivate Parziali ed Elasticità
 H1: Uniform Changes
dx j  dx i
i, j
 H2: Proportional Changes
dx j
dx i
  i, j (i  j)
0
D1s ( x ) 
0
fs ( x )
n
 f (x
j1
j
0
fs ( x )  x 0s
0
D2s ( x ) 
0
)
n
 f (x
j1
j
0
)  x 0j
24
Misura di Importanza Differenziale
Applicazioni
Inventory
Models
Influence
Diagrams
Investment
Project
Evaluation
Food Safety
Probabilistic
Risk
Assessment
25
Applicazione all’analisi
di investimento
Investire in un parcheggio
26
Project Contractual Structure
Shareholder
Agreement
Insurance
Contracts
Loan
Agreement
SPC
Engineering
Procurement
Construction
Contract
Merchant Sale
Operation
&
Mantenance Contract
27
Large Projects Valuation: Criteria
 Sponsor’s Side:
N
 Lender’s Side
e
CFi
NPV  
i
i 0 1  ke 
 or
DSCR j 
FCFj
I j  Pj
 or
N
CFi
0
i
i  0 1  IRR e 
 FCF
N
e
LLCR j 
k j
k
(1  k d ) k
D jN
28

Model Structure
Inputs
Auxiliary
Calculations
Finstats
Results
29
Stima dei flussi di cassa
Balance
Sheet
Income Statement
Re ve nue s Ne t o f Turno ve r Ta x
LESS
Op e ra ting Exp e nse s
Cash Flow Statement
EBITDA
LESS
Long-term loans interest
Subdebt Interests
Interest Income
EBTDA
LESS
Taxes
Net Profit
LESS
Equals
Operating Expenses
LESS
Taxes
Operating Cash Flows
Trapped cash Previous year
Cash Before Capex
Capital Expenditures
Equity Injections
Subdebt Injection
Principal Injections
Cash Flows Available for interest payment
Debt Interests
Cash Flows Available for principal payment
Depreciation
EBT
LESS
Revenues Net of Turnover Tax
LESS
Dividends
Retained Earnings
Legal Reserve
Plus
LESS
Plus
Plus
Plus
Less
LESS
Princ ip a l Rep a ym ent
equals
Ca sh Flow s Ava ila b le for SD interest
LESS
Shareholder Interests
Equals
Cash Flows Available for SD Principal
LESS
LESS
Shareholder Principal
IOE
Cash flow available for dividends
Dividends
Trapped cash
equals
Equals
Assets
Current Assets
Cash
Inventory
Riceivable
Long Term Assets
Total Assets
Liabilities
Current Debt
Equity
Retained Earnings
Legal Reserve
Shareholder Debt
Debt
Total Liabilities
 Proiezione della vita economica del progetto
 Livello di dettaglio molto elevato per progetti
di ampio respiro
30
Determinazione dei Key-Drivers
 “Complex Non-linear models” (Van Groenendaal
(1998), Kleijnen and Van Groenendaal (1997),
(2002)).
 L’elevato numero di parametri in genere produce:



Assenza della conoscenza di f(x)
Problemi di computo (i.e., alti costi e tempi di
calcolo [Kleijnen and Van Groenendaal (2002)] )
Problemi nella comunicazione dei risultati
 SA
gioca ruolo cruciale nello svelare la
dipendenza del Modello dai parametri
 SA è
quindi essenziale nello sfruttare
l’informazione del modello
31
Metodologia
 Numero di parametri: 428
 Categorie:
 Entrate
 Costi di Costruzione
 Fiscali
 Finanziari
 Macroeconomici
 Spese Operative
 Valuation Criteria: NPV e <DSCR>
 Tre livelli di raggruppamento
 Level 3: parametri (428)
 Level 2: 17 grouppi
 Level 1: 6 grouppi
 Confronto attraverso i Savage Score corr. Coeff.
32
Algoritmo di calcolo
δR s
 Definizione Operativa: D s ( x , dx )  lim
δ x  0 δR
0
 



j

0
 Allora la successione: r j :  r  R x i  δx i  R0 , i  1,..., n 
n
i

j
0
 
R x s  δx s  R 0


 
s 1











 j1
tende a D per ogni successione xj tendente a 0.
 Per i=1,…,n, definendo: 0
ωi  c i0
xi
j
,

δ
x

 j1
i
j
j
ω
ωi  mωi
i
Si usa il criterio di Cauchy per fermare l’algoritmo.
m
n
 Test:
max i r(ω )  r(ω )  ε
 Notate che si ottiene una risposta automatica ad una
33
serie di “what if” questions
Local Risk
 Risk: “… potential variability of financial
outcomes …” (White,
Fried,1997) (=dV).
Sondhi
and
 Thus,
locally, the parameter that is
associated with the highest Ds is the one
that causes the highest change in the
valuation criterion (Borgonovo and Peccati
(2006a).
34
Equity NPV, dalla
parte degli investitori
35
Parameter ranking (Level 3)
Rank
NPV
1
1
3
3
5
6
7
7
9
10
11
14
366
367
Parameter
Nr. Of parking slots from 5 year on
Daily occupation days from 5 year on
Tariff for first two hours
Rotation number for the first 2 hours
Percentage of Occupation of the First 2 hours
ke
Tariff after the first two hours
Rotation number after the first 2 hours
VAT on Revenues
kd
Night Tariff
Rotation Number
Percentage of nightly occupation
Rooms construction costs
Geological Inspection Cost
Days payables for electricity connection costs
36
NPV: Level 1
NPV: factors grouped into 6 main categories
1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0
Opex
Constr.
Costs
Infl
Rev Ass
Fisc.
Financing
37
NPV: Level 2, 17 categories
NPV: Importanza gruppi di ipotesi (Livello 2)
60%
50%
40%
30%
20%
10%
0%
Opex
Parcheggi
Autom
Amm
GiOcc
Perc. Occ.
mesiOccupaz
Ass.Fiscali
k
38
Riassunto sui risultati per l’NPV
1. I parametri relativi alle entrate sono i più
importanti
2. ke gioca un ruolo importante
3. La leva finanziaria non è tra i
20 fattori più
importanti
4. 60 Parametri non influenti
39
Debt Service Coverage
Ratio: dalla parte della
Banca
40
DSCR: Level 3
Rank DSCR
1
1
3
3
3
6
7
8
9
9
9
12
13
13
13
368
Parameter
Nr. Of parking slots from 5 year on
Daily occupation days from 5 year on
Tariff for first two hours
Rotation number for the first 2 hours
Percentage of occupation for the first two hours after 5° year
kd
Rooms construction costs
Leverage
Tariff after first 2 hours
Rotation number after first two hours
Percentage of Occupation after 5 two hours from year 5 on
VAT on Revenues
Night Tariff
Number of Night Rotation
Percentage of Night Occupation after 5 year
Cost for workplace set up
41
DSCR: Level 1
DSCR: Level 1
1.60
1.40
1.20
1.00
0.80
0.60
0.40
0.20
0.00
Opex
Constr.
Costs
Infl
Rev Ass
Fisc.
Financing
42
DSCR: Level 3
DSCR Level 3
60%
50%
40%
30%
20%
10%
0%
Opex
Aule
Parch.
Viab. V.
Autom.
Infl.
Amm.
Tariffe
GiOcc
Nrot
Perc.
Occ.
PostiDiSt mesiOcc PostMot Ass.Fisc. Ass.Fin/k
k
43
Riassunto sui risultati per l’NPV
1. Parametri delle entrate sono i più importanti
2. Il costo del debito gioca un ruolo importante
(simmetrico a kd)
3. La leva è significativa (8th)
4. Equity relevant parameters ke and retention ratio
are non influential
5. Tasse impattano di più NPV che DSCR
44
Confronto incrociato
45
Parametri singoli
Rank
NPV
1
1
3
3
5
6
7
7
9
10
11
14
366
367
Parameter
Nr. Of parking slots from 5 year on
Daily occupation days from 5 year on
Tariff for first two hours
Rotation number for the first 2 hours
Rank
DSCR
1
1
3
3
Parameter
Nr. Of parking slots from 5 year on
Daily occupation days from 5 year on
Tariff for first two hours
Rotation number for the first 2 hours
Percentage of Occupation of the First 2 hours
ke
Tariff after the first two hours
Rotation number after the first 2 hours
VAT on Revenues
kd
Night Tariff
Rotation Number
Percentage of nightly occupation
Rooms construction costs
Geological Inspection Cost
Days payables for electricity connection costs
3
6
7
8
9
9
9
12
13
13
13
368
Percentage of occupation for the first two hours after 5° year
kd
Rooms construction costs
Leverage
Tariff after first 2 hours
Rotation number after first two hours
Percentage of Occupation after 5 two hours from year 5 on
VAT on Revenues
Night Tariff
Number of Night Rotation
Percentage of Night Occupation after 5 year
Cost for workplace set up
46
Analisi del Ranking
X <= -45.8
5.0%
2.5
X <= 65.7
95.0%
•30 parametri invariati di posizione
•338 shifts.
•Max Shift: -352 (ke)
•Media: +9 positions.
Values x 10^-2
2
1.5
1
0.5
0
-400
-350
-300
-250
-200
-150
-100
-50
0
50
Rank Correlation:
0.88
100
Savage Score Correlation:
0.93
1) C’è un sostanziale accordo
2) Key drivers tendono a coincidere
3) Differenze rilevanti:
ke e kd che si invertono
leva
47
Level 3
NPV vs DSCR: Parameter Group Importance
1.6
1.4
1.2
1
0.8
NPV
0.6
DSCR
0.4
0.2
0
Opex
Constr.
Costs
Infl
Rev Ass
Fisc.
Financing
 Financial Structuring
48
0%
k
FINANCIAL
FISCAL
Slots for bikes
OCC TIME
Nr of PLACES
PERC.OCC
ROTATIONS
DAYS
TARIFF
AMORTIZ
INFLATION
AUTOM
GREEN
PARKING
ROOMS
OPEX
NPV vs DSCR, Level 2
NPV vs DSCR importance of 17 categories
60%
50%
40%
30%
20%
NPV
DSCR
10%
49
Conclusioni
 Introduzione alla SA (Misura di Importanza
differenziale,
Complesso)
Applicazione
a
modello
 Analisi di SA consente di sfruttare appieno lo
sforzo (ed il costo) della costruzione del modello
50
Grazie!!
Domande?
51