Analisi dei Dati
Università Carlo Cattaneo
Emanuele Borgonovo
Metodi Probailistici, Statistici e Processi
Stocastici
1
Capitolo I
Metodi Probailistici, Statistici e Processi
Stocastici
2
Introduzione
• Processo Stocastico: un processo stocastico è
un processo che è costituito da eventi la cui
realizzazione non è deterministica, ma
caratterizzata da incertezza
• Esempio: i tempi di arrivo dei clienti in un
grande centro commerciale o il numero di
clienti che arriva al centro commerciale
nell’intervallo dt attorno al tempo t.
Metodi Probailistici, Statistici e Processi
Stocastici
3
Elementi introduttivi di Teoria della
Probabilità
Metodi Probailistici, Statistici e Processi
Stocastici
4
Probabilità
• E’ possibile definire la Probabilità?
• Sì, ma ci sono due scuole
• La prima dice che la probabiltà è una
porprietà oggettiva degli eventi (Scuola
Frequentista)
• La seconda dice che la Probabilità è una
misura “soggettiva”della verosimiglianza degli
eventi (De Finetti)
Metodi Probailistici, Statistici e Processi
Stocastici
5
Gli Assiomi di Kolmogorov
U
B
A
P(U)  1
P( A )  0
Se A e B mutuamente esclusivi ,
P( A  B)  P( A )  P(B)
Metodi Probailistici, Statistici e Processi
Stocastici
6
Aree e rettangoli?
U
A B
C
D
E
U  A B  C D E
• Supponete di saltare dentro U a caso. Chiamate P(A) la
probabilità di saltare in A. Quanto vale?
• Sarà l’area di A diviso l’area di U: P(A)=A/U
• In questo caso P(U)=P(A)+ P(B)+ P(C)+ P(D)+ P(E)
Metodi Probailistici, Statistici e Processi
Stocastici
7
Legge della somma delle probabilità
• Dati n eventi non mutuamente esclusivi, in
generale la probabilità dell’unione di detti n
eventi sarà la somma delle probabilità degli
eventi singoli, cui si sottrarrà la somma delle
probabilità delle doppie intersezioni, si
sommeranno le probabilità delle triple
intersezioni e così via.
• In termini di aree
Metodi Probailistici, Statistici e Processi
Stocastici
8
Legge della somma delle probbilità in termini di
aree
• 2 eventi
U
B
AB A
• 3 eventi
U
Metodi Probailistici, Statistici e Processi
Stocastici
B
C
AB A
9
IL teorema della probabilità Totale
A4
A1
UE
A2
A3
1  P( A1 )  P( A 2 )  P( A 3 )
 P( A 4 )
• Teorema probabilità totale: dati N eventi mutuamente esclusivi
(A1, A2,…,AN) e esaustivi, la probabilità di un altro evento E in
U è data da:
P(E)  P(E A1 )  P( A1 )  P(E A 2 )  P( A 2 )  ...  P(E AN )  P( AN )
Metodi Probailistici, Statistici e Processi
Stocastici
10
Esempio
•
•
•
•
•
•
•
•
•
•
•
Ad una lotteria, si gioca con una scatola che contiene cappelli eleganti e sportivi
in egual proporzione. Il gioco è il seguente. Si estrae un cappello. Se è
elegante si ha diritto a tirare una moneta. Se esce testa, si estrae un altro
cappello. Non si ha diritto ad altre estrazioni. Qual è la probabilità di vincere
due cappelli eleganti?
Soluzione: Applichiamo il teorema della probabilità totale a P(2 cappelli eleganti):
P(2 cappelli eleganti)=P(II cap. el.|1 estrazione)*P(1estrazione)+P(II cap. el.|II
estrazione)*P(II estrazioni).
Chiaramente P(2 cappelli|1 estrazione)=0, quindi:
P(II cappelli elegante)=P(II cap. el.|II estrazione)*P(IIestrazione).
P(II estrazione)= P(II estrazioni|I sprt)*P(I sprt)+P(II estrazione|I eleg)*P(I eleg)
Ora: se il primo è sportivo non si ha diritto a seconda estrazione.
Osserviamo poi che: P(II estrazione| I eleg)= P(testa) =1/2
Quindi: P(II estrazione)=1/2·1/2=0.25
Inoltre: P(II cap. el .)=P(II cap. el.|II estrazione)*P(II estrazione)=1/2*0.25=0.125
Per esercizio calcolare:
– La probabiltà di uscire con un cappello
– La probabilità di uscire con un cappello elegante e con uno sportivo
•
Ripetere gli stessi calcoli se I cappelli sono in proporzione 2/3 sportivi/eleganti
Metodi Probailistici, Statistici e Processi
Stocastici
11
Funzione di Partizione
• La funzione di partizione (cumulative distribution) di una
variabile casuale risponde alla definizione di essere la
probabilità che il valore della variabile casuale sia
inferiore ad un valore di riefrimento.
• Scriviamo:
FX(x)=P(X<=x)
• Per una variabile discreta: FX ( x )   P( X  y )
yx
• Per una variabile continua deve esistere una funzione
f(u) tale che:
x
FX ( x)   f (u )du

• La funzione f(u) è detta densità di probabilità di X
Metodi Probailistici, Statistici e Processi
Stocastici
12
Relazione tra F(x) ed f(x)
• Se f(x) è continua, allora vale:
F' ( x )  f ( x )
• Esempio. Sia 0<T< una variabile casuale caratterizzata
da una distribuzione esponenziale, ovvero f(t) dt=e- tdt è
la probabilità che T abbia un valore compreso tra t e dt.
• Qual è la probabilità che T<t?
Soluzione
t
• P(T<t)=F(t)=  λeλudu  1  eλt
0
Metodi Probailistici, Statistici e Processi
Stocastici
13
Valore atteso

• Il valore atteso di una
variabile
aleatoria
continua è definito da:
E[ X] 
 xf ( x )dx


• Esempio:
1
E[T]   tλe dt 
λ
0
• Per
una
variabile
discreta:
• Esempio: calcolare il
valore atteso della
variabile aleatoria in
Tabella a fianco
E[ X]   xiP( X  xi )
Metodi Probailistici, Statistici e Processi
Stocastici
 λt
i
i
Xi
pi
Xipi
E[X]
1
0.1
3
0.3
51.89
2
0.2
4
0.8
3
0.1
22
2.2
4
0.15
46
6.9
5
0.12
77
9.24
6
0.05
89
4.45
7
0.28
100
28
14
Varianza
• La varianza esprime lo scostamento quadratico medio
dal valor medio. E’ definita da:


VX  E ( x  Ex)2   ( x  Ex)2f ( x)dx
X
• Notiamo la relazione tra V[X] e E[X2]. Si ha:
VX   ( x 2  2xEX  EX )f ( x )dx  E[ X2 ]  2EX xf ( x )dx  EX 
2
X
 E[ X2 ]  EX
2
X
2
• E[X2] è detto momento di ordine 2 o secondo momento
della distribuzione f(x).
Metodi Probailistici, Statistici e Processi
Stocastici
15
Skewness
• E’ il parametro che misura il grado di asimmetria di una distribuzione.
• La definiamo come momento centrale del III ordine:
sk   x  μ f ( x )dx
3
• Se la distribuzione è simmetrica la skewness è nulIa.
• Di sotto la skewness delle distribuzioni più comuni
Distribuzione
Binomiale
Skewness
1  2p
np (1  p)
Beta
Esponenziale
Gamma
2(b  a) 1  a  b
(2a  b)
ab
2
2
γ
Normale
Poisson
Uniforme
0

λ
0
1
2
Metodi Probailistici, Statistici e Processi
Stocastici
16
..alla distribuzione di Poisson
λ λ
lim P(n, k; p)  e  P(k; λ)
n
k!
k
• P è detta distribuzione di Poisson
•  prende il nome di rateo o tasso della
distribuzione
• Significato: probabilità di avere k eventi, dato il
tasso .
Metodi Probailistici, Statistici e Processi
Stocastici
17
Momenti della distribuzione di Poisson

k
t
k

λ
(
e
λ
)
Poisson
tk
λ
λ
λ ( e t 1)
Ψ
(t)   e
e e 
e
k!
k!
k 0
k 0
d λ( e t 1)
λ ( e t 1)
t
Ek   e

e
λ
e
t 0
t 0  λ
dt
d λ( e t 1) t
2
Ek  e
λe t 0  λ(1  λ )
dt
 
• Quindi:
V[k]  λ  λ  λ  λ
2
Metodi Probailistici, Statistici e Processi
Stocastici
2
18
La distribuzione Beta
• La distribuzione beta della variabile X, con ax  b è
definita come segue:
 1 ( x - a ) r -1 (b - x) q -1
a ≤ x ≤b

 X ( x; q, r )    (q, r ) (b - a ) q  r -1
0 altrimenti

con
1
 ( q, r )  ∫
( x) r -1 (1 - x) q -1 dx
0
• (q,r) è detta funzione beta.
E[ x] =
• Momenti della distribuzione:
Metodi Probailistici, Statistici e Processi
Stocastici
r (b - a )
+a
q+r
2
rq (b - a )
V [x] =
( r + q )2 ( r + q + 1 )
19
La distribuzione Beta (2)
• Grafico
per
b=10, q=2,r=3
• Grafico
per
b=10,
(simmetrico)
a=-10,
a=-10,
q=3,r=3
b(x;3,3)
b(x;2,3)
0.016
0.014
0.014
0.012
0.012
0.01
0.01
0.008
0.008
0.006
0.006
0.004
9.71
8.55
7.39
6.23
5.07
3.91
2.75
1.59
-0.7
x
0.43
-1.9
-3
-4.2
-5.4
-6.5
-7.7
-10
9.71
8.55
7.39
6.23
5.07
3.91
2.75
1.59
-0.7
0.43
-3
-1.9
-4.2
-5.4
-6.5
-7.7
-10
0
-8.8
0.002
0
-8.8
0.004
0.002
x
b(x;3,3)
9.71
8.55
7.39
6.23
5.07
3.91
2.75
1.59
0.43
-0.7
-1.9
-3
-4.2
-5.4
-6.5
-7.7
-8.8
q=4,r=3
-10
•
0.016
0.014
0.012
0.01
0.008
0.006
0.004
0.002
0
x
Metodi Probailistici, Statistici e Processi
Stocastici
20
La distribuzione 
• Una variabile continua  () segue una distribuzione  se la sua
densità di probabilità è data da:
• Dove:
βα ( λ  μ)α1 β( λμ)
γ( λ; α,β,μ) 
e
Γ(α)
–  (parametro di forma), (parametro di scala)>0 e
– () è la funzione , una funzione notevole, che generalizza il concetto di
fattoriale ai numeri non interi. () è definita come segue:

Γ α   x α1e  x dx
0
• I parametri  (parametro di locazione) e sono legati al valore medio ed
alla varianza di  dalle seguenti relazioni:
α
Eλ  μ 
β
Metodi Probailistici, Statistici e Processi
Stocastici
α
Vλ  μ  2
β
21
Grafici della distribuzione 
f(,2,1,3)
1.2
1
0.8
0.6
0.4
0.2
f(,2,1,3)
12
12.8
13.6
14.4
12.8
13.6
14.4
11.2
12
11.2
9.6
10.4
10.4
8
8.8
7.2
6.4
5.6
4
4.8
3.2
2.4
1.6
0
0.35
0.8
0
0.4
0.3
0.25
0.2
0.15
0.1
0.05
f(,2,3,2)
14.4
13.5
12.6
11.7
10.8
9.9
9
8.1
7.2
6.3
5.4
4.5
3.6
2.7
1.8
0
0.9
0
1.2
1
0.8
0.6
0.4
0.2
9.6
8
8.8
7.2
6.4
5.6
4.8
4
3.2
2.4
1.6
0
Metodi Probailistici, Statistici e Processi
Stocastici
0.8
0
22
Capitolo VI:
Statistica Multivariata
Metodi Probailistici, Statistici e Processi
Stocastici
23
Distribuzioni multivariate
• Consideriamo un fenomeno casuale in cui si combinino due variabili.
Ad esempio, I ricavi di un supermercato derivano dai clienti che entrano
nel supermercato e dal tipo di acquisti che i clienti effettuano.
Modellizziamo il problema chiamando X la variabile aleatoria relativa al
numero di clienti che entrano nel supermercato e Y quella relativa al
valore dell’acquisto. Chiaramente quanto si venderà è funzione di X e
Y.
• F(x,y) sarà la probabilità che arrivino X<=x clienti e che acquistino per
un valore pari ad Y<=y. Se a questa funzione cumulativa corrisponde
una funzione densità di probabilità, scriveremo: f(x,y)dxdy la probabilità
che arrivino x clienti e comperino per un valore y.
• Qual è la probabilità che i clienti comperino X<=x indipendentemente da
x

y?
FX ( x ) 
 dx'  dy' f ( x', y' )


• Analogo ragionamento si applica alla determinazione della distribuzione
marginale FY(y).
Metodi Probailistici, Statistici e Processi
Stocastici
24
Distribuzioni Multivariate
• Più formalmente, se xy è il nostro spazio degli eventi, dove
un evento è una combinazione dei valori di xy FXY(x,y)
rappresenta la probabilità che X sia minore di x e, allo
stesso tempo, Y sia minore di y:
• FXY(x,y)=P(Xx,Y  y).
• Per soddisfare gli assiomi della probabilità deve essere:
• F(, )=1
• F(, y)=FY(y), F(x, )=FX(x)
• F(-, -)=0,
• F(-, y)=0, F(x, -)=0
• F(, y)=FY(y)
Metodi Probailistici, Statistici e Processi
Stocastici
25
Distribuzioni multivariate
• Ora, logicamente ci si aspetta che Y dipenda in
qualche modo da X. Infatti, più clenti arrivano più
sarà facile raggiungere valori alti di Y. Ma, se per
caso, in un mondo poco reale, si verificasse che Y
non dipende da X, ci troveremmo di fronte al fatto
che P(X<=x) è indipendente dal valore di Y. Dunque:
• P(X,Y)=P(X<=x) P(Y<=y)
• Quindi: F(X,Y)=FX(x) FY(y)
• od anche: f(x,y)dxdy=f(x)dx f(y)dy
• Diremo che X e Y sono indipendenti se:
fX|Y(x|y)=fX(x)
Metodi Probailistici, Statistici e Processi
Stocastici
26
Esempio
• Considerate due variabilie X e Y caratterizzate dalla
y
( x )
seguente possibile densità:
e x
f ( x, y ) 
c
• Trovate c
• Sol:  f ( x, y)  1  c  e dxdy 1  c  1
• X e Y sono indipendenti?
• Sono indipendenti se possiamo scrivere: fX|Y(x|y) =
fX(x).
f (x, y)
f
(x
|
y)

 f (x).
• Ovvero:
Nel nostro caso è facile
f (y)
verificare che questa condizione non può essere
verificata e quindi le due variabili non sono
indipendenti. La ragione è legata alla presenza del
termine di interazione y/x
y
( x )
x
XY
X| Y
X
Y
Metodi Probailistici, Statistici e Processi
Stocastici
27
Valore atteso condizionale
EX Y  y    xf ( x y )dx
• Si può dimostrare che:
EX   fY ( y )dy  xf ( x y )dx
• Nel caso X e Y siano indipendenti
EX Y    fY ( y )dy  xf ( x )dx   xf ( x )dx EX
Metodi Probailistici, Statistici e Processi
Stocastici
28
Parte II:
Processi stocastici
Metodi Probailistici, Statistici e Processi
Stocastici
29
Somma di un Numero Casuale di Variabili casuali
•
Siete i gestori di un supermercato. Ogni cliente spende Xi, dove I è il numero
che indica l’i-esimo cliente. In media I clienti spendono 75EUR a testa. Il
numero medio di clienti giornaliero è una variabile casuale N con valor medio
300. Quanto vi aspettate di incassare al giorno?
N
•
Soluzione. L’incasso giornaliero è dato da:
I   Xi
i 1
•
•
N


Dobbiamo quindi calcolare il valore atteso di I: E
I  E  Xi 
 i1 
Per farlo, condizioniamo sul valore che assumerà N. Abbiamo:
E[I]  EN EI N  K 
K  K
EI N  K   E  Xi    E[ Xi ]  KμX
 i1  i1
EN EI N  K   EN [NμX ]  μXEN [N]  μXμN
•
Quindi ci attentiamo un incasso di 75*300=22500EUR/Giorno
Metodi Probailistici, Statistici e Processi
Stocastici
30
Processi di Poisson
Metodi Probailistici, Statistici e Processi
Stocastici
31
Processi di Conteggio
•
•
•
•
Consideriamo un processo stocastico, in cui siamo
interessati a contare arrivi e tempi di arrivo. Per esempio gli
arrivi di clienti al supermercato, di telefonate ad un centralino
etc.
Denotiamo con N(t) il numero di eventi che si verificano nel
tempo t, cioè nell’intervallo di tempo 0-t.
N(t)=numero di eventi tra 0 e t.
Non è difficile intuire che:
1. N(t) è un numero intero non negativo, t
2. N(s)<=N(t) se s<t
3. N(t)-N(s) è il numero di eventi che si sono verificati nel
tempo t-s. Si chiamerà incremento dei conteggi tra t e s.
Notazione: indicheremo con tk il tempo del k-esimo arrivo.
Metodi Probailistici, Statistici e Processi
Stocastici
32
Processi di Conteggio (2)
•
Il tempo Xk=Tk-Tk-1 è il tempo di attesa tra il k-esimo e il k-1-esimo evento
•
Es. Supponete che il supermercato apra alle 9. Il primo cliente arriva alle
9.01 e il secondo alle 9.05. Abbiamo T1=1min, T2=5min, X2=4min
•
Vale che: Tn=X1+X2+…Xn
•
Due proprietà sono di interesse: indipendenza e stazionarietà degli
incrementi
1.
Incrementi Indipendenti: Un processo viene detto ad incrementi
indipendenti, se i numeri di eventi che si verificano in intervalli di tempo
disgiunti sono indipendenti tra loro: P[N(t+s)-N(t)=k|N(t’+s)-N(t’)]=
P[N(t+s)-N(t)=k]
2.
Incrementi Stazionari: Un processo viene detto ad incrementi stazionari
se il numero di eventi che si verifica in un intervallo dipende solo dalla
lunghezza dell’intervallo. Sia s la lunghezza dell’intervallo. In termini di
probabilità si scrive: P[N(t+s)-N(t)=k]=P[N(t’+s)-N(t’)=k]
Metodi Probailistici, Statistici e Processi
Stocastici
33
Processi di Poisson
•
Un processo di conteggio è detto processo di
Poisson se verifica le seguenti proprietà:
1. N(0)=0
2. Il processo è a incrementi indipendenti
3. Il processo è a incrementi stazionari e la
probabilità di k eventi nel tempo t è data da:

s 
PN ( s  t )  N (t )  k  
k
k!
•
e
 s
 è detto intensità o tasso del processo
Metodi Probailistici, Statistici e Processi
Stocastici
34
Distribuzione dei tempi di arrivo
• Quanto dobbiamo attendere per il primo arrivo?
• In termini di probabilità, scriviamo la domanda come: qual è la
probabilità che X1 sia maggiore di t): P(X1>t).
• La
risposta
è
la
distribuzione
cumulativa
di
X1:
P(X1>t)=P[N(t)=0]=P(; k=0)=e-t
• Qual è la distribuzione di X2?
• P(X2>t|X1=s)=P[N(t-s)=0|X1=s]= grazie a proprietà di intervalli
indipendenti = P[N(t-s)=0]= P(;k=0)=e-(t-s)
• Ne segue:
• I tempi di arrivo X1,X2,...,Xn di un processo di Poisson sono
variabili aleatorie indipendenti con legge esponenziale di
tasso 
Metodi Probailistici, Statistici e Processi
Stocastici
35
Distribuzione di Tn
• La distribuzione del tempo di attesa Tn risponde alla
domanda: come è distribuita la somma degli Xi? Infatti:
Tn=X1+X2+…Xn
• Dunque:P[Tn>t]=P[X1+X2+…Xn >t]
• Si dimostra che Tn~(n, )
• Ricordiamo che I tempi di arrivo sono iid esponenziali.
Utilizziamo la funzione generatrice dei momenti:
 
E esTn
 s  Xi 
 E e i1   E es ( X1  X 2 ...  X N )  E esX1 esX2 ...esXN 




N

    
 

 
 indip .  E esX1 E esX2 ...E esXN  identic .  E esX1
Metodi Probailistici, Statistici e Processi
Stocastici
N
 λ 


 λ s 
N
36
Esempio
• Gli arrivi orari ad un supermercato sono distribuiti secondo
una Poisson di media 100[1/ore].
• Qual è il tempo di attesa perchè arrivino 500 clenti?
• Risposta: 5 ore
Metodi Probailistici, Statistici e Processi
Stocastici
37
Processi di Poisson con selezione
• Consideriamo un processo di Poisson con arrivi di
tasso .
• Ad ogni arrivo associamo un tasso di successo p.
Per esempio successo è se un cliente compera più di
tre tipi di prodotto diverso.
• Indichiamo con M(t) il numero di successi ottenuti
fino al tempo t.
• M(t) viene detto processo di Poisson con selezione.
• Si dimostra che:
• M(t) e un processo di Poisson di intensità p.
Metodi Probailistici, Statistici e Processi
Stocastici
38
Applicazione
• Supponiamo che se un cliente compera più di tre
prodotti il guadagno sia G. Se compera meno di tre
prodotti si ha una perdita L. Quali sono i valori del
tasso di arrivo dei clienti e della probabilità p per
avere il break-even, se gli arrivi orari seguono un
processo di poisson di tasso  e la probabilità che
comperino più di tre prodotti è p?
• Sol.
Poissimo dividere il processo in due
sottoprocessi di tassi p e (1-p) rispettivamente. Il
valore atteso degli acquisti in un’ora è dato
rispettivamente da: p e (1-p). Affinchè vi sia break
even occorre che
• pG= (1-p)L p/(1-p)=L/G
Metodi Probailistici, Statistici e Processi
Stocastici
39
Processi di Poisson composti
• Consideriamo un processo in cui gli eventi costituiscono un processo di
poisson di tasso . Ogni volta che un evento si realizza, si ha una
conseguenza Xi . Per esempio I clienti giungono al supermercato nei tempi
ti ed ognuno spende un ammontare Xi. Quanto spendono in totale i clienti, e
, dunque, quanto incassa il supermercato? N ( t )
X( t )   X i
i 1
• Il processo X(t) è detto processo di Poisson composto. In generale lo
caratterizzeranno due distribuzioni, quella di Poisson e quella degli Xi. La
distribuzione degli Xi potrà essere continua o discreta.
λ
Pr ocesso Poisson Composto 
F(X)
Metodi Probailistici, Statistici e Processi
Stocastici
40
Valori Attesi
• I processi che coinvolgono la somma di variabili
casuali sono più facilmente trattabili in termini della
funzione generatrice dei momenti. Nel nostro caso
dobbiamo calcolare:

Ψ(X( t ))  E esX( t )

N(t)
  s N( t ) X i 

  s N( t ) X i  
 s  Xi 
 E e i1   E N ( t ) E e i1  N( t )  E N ( t ) E e i1  



 
 

 
 

 
E e E e ...E e  
E e   E Ψ (s)  

 E N ( t ) E X es ( X1  X 2 ...  X N ) N( t )  E N ( t ) E X esX1 e sX2 ...esX N 
 E N(t)
 E N(t)
sX1
X
sX N
sX 2
X
X
sXi N ( t )
X
N(t)
N(t)
X
n  λt
n  λt

(
λ
t
)
e
(
Ψ
(
s
)
λ
t
)
e
  ΨX (s) n
 X
e λt ( ΨX (s ) 1)
n!
n!
n 0
n 0

Metodi Probailistici, Statistici e Processi
Stocastici
41
Valori Attesi (cont.)
• Da cui, derivando la funzione generatrice dei
momenti, è facile verificare che:
E[X( t )]  λtE[X]
V[X( t )]  λtE[X ]
2
Metodi Probailistici, Statistici e Processi
Stocastici
42
Applicazione
• I clienti che arrivano al supermercato spendono secondo la
seguente tabella: EUR p
p
EUR
i
25
30
35
40
45
50
55
60
65
70
75
80
85
90
i
2%
3%
3%
3%
3%
4%
4%
4%
4%
4%
5%
5%
3%
3%
95
100
105
110
115
120
125
130
135
140
145
150
155
160
5%
5%
4%
4%
4%
4%
4%
3%
3%
3%
3%
3%
3%
2%
• Arrivano in media 100 clienti all’ora. Nell’arco di una giornata (8
ore), quanto incassa il supermercato?
• Risposta: 100*8*E[euro spesi]=100*8*91.6=73280 EUR
• Incertezza (vedi esempio Excel)
Metodi Probailistici, Statistici e Processi
Stocastici
43
La rovina dell’assicuratore
The compound Poisson process is very
important in insurance, as a model for the
arrival of claims at an insurance office. The
standard model assumes that premiums
arrive at a constant rate c and looks to find
the probability that the surplus
S(t) = S(0) + ct - X(t)
ever hits 0 (ruin occurs).
Metodi Probailistici, Statistici e Processi
Stocastici
44
Capitolo IX:
Processi di Markov Discreti e Omogenei
Metodi Probailistici, Statistici e Processi
Stocastici
45
Gestione di Magazzino
• Siete i gestori di un concessionario di automobili di lusso.
Avete posto per 7 auto. Il tempo di consegna delle
automobili è di due giorni, per cui se ordinate l’auto al
Venerdì, per il Lunedì mattina sono in vetrina. Se al Venerdì
della n-esima settimana avete 2 auto o meno di 2 in vetrina,
ne ordinate altre in modo da riportavi a 7. Le vendite
arrivano secondo una distribuzione di Poisson con media 4
e sono pronta consegna.
• Chiamiamo Xn il “numero di auto in vetrina all’inizio della nesima settimana.” Xn è una variabile aleatoria. Infatti,
dipendendo dal numero di vendite, potremmo avere
7,6,5,4,3 auto in vetrina ogni Lunedì mattina. Analizziamo
come si piò descrivere il comportamento di X
• Per il nostro problema, notiamo che se mettiamo sull’asse
orizzontale il numero della settimana e su quello verticale le
auto vendute, abbiamo un risultato del tipo:
Metodi Probailistici, Statistici e Processi
Stocastici
46
Evoluzione temporale: Processi Discreti
X
Xn
7
6
5
.....
4
3
2
1
0
1
2
3
...
...
n-1 n
n+1 ...
t
• Notiamo che il sistema procede “ a scatti nel
tempo”, ovvero ogni settimana il sistema si
evolve.
• Tale tipo di processo è detto discreto
(ovviamente dal punto di vista temporale)
Metodi Probailistici, Statistici e Processi
Stocastici
47
Stati del sistema ed Evoluzione temporale
• Chiamiamo stati del sistema (S) i valori che la variabile aleatoria
X può assumere.
• Nella figura della pagina precedente, si tratta dell’asse verticale.
• Nel nostro caso sono 3,4,5,6,7. Abbiamo quindi 5 stati possibili.
• In generale useremo la notazione S={1,2,…,N} per indicare gli
stati del sistema
• Dato il sistema in un determinato stato alla n-esima settimana,
alla n+1-esima il sistema può rimanere ancora nello stesso stato
o passare ad un altro stato la settimana successiva
• Per esempio, se abbiamo 4 auto in vetrina alla 30-esima
settimana (X30), e se non si presentano clienti, avremo ancora 4
auto il lunedì della n+1-esima settimana. Se vendiamo 2 auto,
X31=7.
Metodi Probailistici, Statistici e Processi
Stocastici
48
Diagramma degli stati
• E’ una rappresentazione grafica degli stati del
sistema e delle transizioni che il sistema può
compiere
p23
p12
1
2
p22
3
p33
p31
Metodi Probailistici, Statistici e Processi
Stocastici
49
Probabilità di transizione e Processi di Markov
• Il sistema si muove da uno stato all’altro con della probabilità, che
vengono dette probabilità di transizione.
• Le probabilità di transizione rispondono alla domanda: qual è la
probabilità che il sistema si muova nello stato j ad n+1 dato che al
tempo n era nello stato i e nei tempi precedenti in Xn-1,…X0?
• In notazione probablistica, la probabilità cercata è:
P( Xn1  j Xn  i,Xn1,..., X0 )
• Ora, un processo viene detto Markoviano se la probabilità che il
sistema passi allo stato j al tempo n+1, dato che è nello stato i al
tempo n, dipende solo dal fatto che il sistema è nello stato I al tempo n
e non dipende dagli stati nei quali il sistema si trovava prima di i.
Ovvero, è indipendente dal modo in cui il sistema è arrivato in i.
• In formule:
pij (n)  P( Xn1  j Xn  i,Xn1,..., X0 )  P( Xn1  j Xn  i)
Metodi Probailistici, Statistici e Processi
Stocastici
50
La matrice di Markov
• Si definisce matrice di Markov una matrice:
 p11 (k )
 p (k )
P(k )   21
 ...

 pn1 (k )
p12 (k ) ...
p22 (k ) ...
...
...
pn 2 (k ) ...
p1n (k ) 
p2 n (k )
... 

pnn (k ) 
• i cui elementi sono le probabilità di transizione di un sistema
markoviano. La i-esima riga descrive lo stato di partenza, la j-esima
colonna lo stato di arrivo.
• Si dimostra che gli elementi della matrice soddisfano le seguenti
proprietà:
1) pij (k )  0 i, j
N
2)  pij (k )  1 i
j 1
• La seconda proprità dice che, se il sistema è in i al tempo n, allora con
probabilità 1 al tempo n+1 sarà in uno degli stati del sistema
Metodi Probailistici, Statistici e Processi
Stocastici
51
E’ un magazzino Markoviano?
•
•
•
Studiamo se il processo che abbiamo a disposizione nella nostra gesione di
magazzino è un processo di Markov.
Innazitutto scriviamo Xn+1 in forma matematica:
7 se Xn  Vn  2
Xn1  
Xn se Xn  Vn  2
Dove Vn rappresenta le vendite della n-esima settimana. Ricaviamo poi la
probabilità di Xn.
P( Xn1  j Xn  i, Xn1,..., X0 )  P( Xn  Vn  j Xn  i, Xn1,..., X0 ) 
 P(i  Vn  j Xn  i, Xn1,..., X0 )  P( Vn  i  j Xn  i, Xn1,..., X0 )
•
P(Vn)=s dipende solo da vendite in settimana n-esima e non dalle vedntie delle
settimane precedenti. Quindi possiamo scrivere:
pij (n)  P( Xn1  j Xn  i)
•
•
Si tratta quindi di un processo di Markov.
In più notiamo che la probabilità non dipende dal fatto di essere nella
settimana n-esima. Si tratta quindi di un processo di Markov omogeneo.
Metodi Probailistici, Statistici e Processi
Stocastici
52
Definizione di Processo di Markov Omogeneo
• Un processo stocastico sullo spazio degli stati S, si
dice di Markov discreto se n:
pij (n)  P( Xn1  j Xn  i,Xn1,..., X0 )  P( Xn1  j Xn  i)
• E’ omogeneo se verifica
pij  P( Xn1  j Xn  i)
• ovvero la matrice di Markov non dipende dal
tempo n.
Metodi Probailistici, Statistici e Processi
Stocastici
53
La matrice di Markov nel nostro esempio
• La matrice sarà della forma:
p11 p12
p
p22
P(n)   21
 ... ...

p51 p52
... p15 
... p 2n 
... ... 

... p55 
• dove
abbiamo
catalogato
X1=3,X2=4,…,X5=7
• Si ha:
gli
stati
P( Vn  i  j) j  3,.., 6; i  j  1,..., 7

pij  P( Xn1  7 Xn  i)  P( Xn  Vn  2 Xn  i)  P( Vn  i  2)

P( Xn1  7 Xn  7)  P( Vn  i  2)  P( Vn  0)
Metodi Probailistici, Statistici e Processi
Stocastici
come
j  7; i  3,..., 6
54
Matrice di Markov dell’esempio
• L’ultimo passo prima di riempire la matrice è quello di calcolare
le pij mediante la distribuzione di Poisson.
λk  λ
P( V  k; λ)  e
k!
p11  P( V  0; λ  4)  0.018
0
1
2
3
4
5
6
=4 0.018
0.073
0.146
0.195
0.195
0.156
0.104
k
• Infine:
0
0
0
.981 
 0.018
 0.073 0.018

0
0
0
.
909


P(n)  0.1465 0.073 0.018
0
0.762 


0
.
195
0
.
1465
0
.
073
0
.
018
0
.
566


 0.156 0.195 0.1465 0.073 0.21487
Metodi Probailistici, Statistici e Processi
Stocastici
55
Evoluzione temporale della matrice di transizione
• Indichiamo con ai le probabilità iniziali del sistema: ai=P(X0=i) (non è
condizionale!!!)
• Qual è la probabilità che al tempo k, Xk=j dato X0=i?
• Definiamo la matrice delle probabilità di transizione a k-passi come:
P( k )
p(k )11 p(k )12
 (k )
(k )
p
p
21
22


 ...
...
 (k )
p n1 p(k )n2
... p(k )1n 

... p(k ) 2n 
...
... 
(k ) 
... p nn 
(k )
• Dove pij  P( Xk  j X0  i)
• Indichiamo la probabilità incondizionale di Xk=j con a(k)
• Che differenza c’è tra a(k) e P(k)?
Metodi Probailistici, Statistici e Processi
Stocastici
56
Evoluzione temporale della matrice di transizione
• Calcoliamo P(0) e P(1).
• Per P(0) notiamo che pij=P(X0=j|X0=i)=1 se i=j, altrimenti=0.
P( 0 )
p( 0 )11 p( 0 )12
 (0)
(0)
p
p
21
22

 ...
...
 (0)
p n1 p( 0 )n2
... p( 0 )1n   1 0 ... 0 


(0) 
... p 2n   0 1 ... 0 


... ... ... ...
...
...


(0) 
... p nn   0 0 ... 1 
• Per P(1), notiamo che: pij(1)=P(X1=j|X0=i)=pij. Quindi P(1)=P
Metodi Probailistici, Statistici e Processi
Stocastici
57
La distribuzione non condizionale
• Definiamo: a( k )  a  P( k )
• a(k) è la distribuzione (discreta) della probabilità che
il sistema si trovi in un determinato stato per t=k.
• Infatti, per definizione a(k) è un vettore il cui
elemento s-esimo è dato da:
as
(k )
n
  al  pls
l1
(k )
n
  p( X0  l)  p( Xk  s X0  l)  p( Xk  s)
l1
Metodi Probailistici, Statistici e Processi
Stocastici
58
Teorema: relazione tra P(k) e P
• Per un processo markoviano discreto e
omogeneo vale:
(k )
P
P
k
Dim. :
pij
(k )
N
 P( Xk  j X0  i)   P( Xk  j Xk 1  s, X0  i)P( Xk 1  s X0  i) 
s 1
N
  pis
s 1
N
P( Xk  j Xk 1  s)   pis
( k 1)
s 1
( k 1)
psj
( k 1)
che in forma matriciale equivale a scrivere:P  P
Quindi per k=2, si vede che P( 2)  P P  P2 ;
per k=3, P( 3 )  P( 2)P  P2P  P3
Per k=s vale:P( s)  P( s1)P  P( s2)PP  ...  Ps
Metodi Probailistici, Statistici e Processi
Stocastici
(k )
P
59
Un esempio
• Consideriamo il seguente gioco. Una pallina può trovarsi sulla metà
superiore o inferiore del flipper, rimbalzare da una metà all’altra ed
uscire. Rappresentiamo il problema con i seguenti stati:
– j=1: la pallina è sulla metà superire
p23
p12
– j=2:la pallina è sulla metà inferiore
– j=3: la pallina è uscita
3
2
1
• Determiniamo gli stati del sistema:
0.8 0.2 0 
P  0.5 0.3 0.2 0.8
 0
0
1 
0.2
0.2
3
2
1
0.5
0.3
• Lo stato 3 è detto assorbente, perchè il sistema può solo entrare in 3 e
non uscire
Metodi Probailistici, Statistici e Processi
Stocastici
60
Equazione di Chapman-Kolmogorv
• Il teorema di C-K stabilisce che le probabilità di
transizione a n passi soddisfano la seguente
equazione:
pij
( s l )
N
 p p
k 1
s
ik
l
kj
E quindi, in forma matriciale:
( s l )
P
Metodi Probailistici, Statistici e Processi
Stocastici
P P
s
l
61
Evoluzione Temporale per l’esempio
1
0.8
40
0.6
30
X40
0.4
20
20
0.2
30
40
0 1
1.5
Metodi Probailistici, Statistici e Processi
Stocastici
2
j
2.5
3
62
Esiste una distribuzione di probabilità limite?
• Dettagliamo la domanda nel titolo in tre punti:
– Per n che tende l’infinito, la distribuzione di Xn tende ad
una distribuzione limite?
– Se esiste tale distribuzione limite, è unica?
– Se esiste ed è unica, come si calcola?
• Notazione: indichiamo con
π  lim a
k 
(k )
ovvero
π j  lim P( Xk  j), j  1...N
k 
• Se il limite esiste,  è detta distribuzione limite del
processo
Metodi Probailistici, Statistici e Processi
Stocastici
63
Calcolo della distribuzione limite
• Teorema 1: se esiste una distribuzione limite, allora soddisfa le seguenti
N
proprietà:
1) π j   π ipij
i 1
N
2) π j  1
j1
• Dimostriamo la prima.
N
1) π j  lim P( Xk  j)  lim  P( Xk  j Xk 1  i)P( Xk 1  i) 
k 
k 
N
N
i1
i1
i1
N
N
 lim  pijP( Xk 1  i)   lim pijP( Xk 1  i)  pij lim P( Xk 1  i)   pij π i q.e.d.
k 
k 
• In forma matriciale:
Metodi Probailistici, Statistici e Processi
Stocastici
i1
k 
i1
  P
64
Esistenza della distribuzione limite
• Notiamo che dal punto di vista dell’algebra
lineare la distribuzione limite deve soddisfare
il sistema lineare:
π  (P  I)  0
T
• Ricordiamo che la condizione necessaria
affinchè il sistema non possegga la sola
soluzione nulla è:
det(P  I)  0
T
• Quindi non è garantita l’esistenza della
distribuzione limite
Metodi Probailistici, Statistici e Processi
Stocastici
65
Unicità della distribuzione limite
• Anche l’unicità della distribuzione limite non è
in genere garantita. Per un esempio vedi
Kulkarni, p.129.
Metodi Probailistici, Statistici e Processi
Stocastici
66
Periodicità, Irriducibilità e Esistenza
• Un processo di Markov discreto e omogeneo è detto periodico
di periodo d se >1 d è l’intero più grande per cui vale:
P( Xn  i X0  i)  0
• Con n multiplo di d. Se d=1 il processo è detto aperiodico.
• In pratica il concetto di periodicità risponde alla domanda: è
possibile tornare ad i dopo essere partiti da i? Se il processo è
periodico di periodo d allora è possibile tornare ad I solo ai tempi
d,2d,…kd. Non è possibile in tempi intermedi.
• Il periodo può essere calcolato per via grafica dai diagrammi di
transizione. Si deve definire un ciclo diretto nel diagramma
come il ciclo da un nodo a se stesso. Se tutti I cicli diretti nel
diagramma sono multipli di d allora il periodo è d.
Metodi Probailistici, Statistici e Processi
Stocastici
67
Periodicità, Irriducibilità e Esistenza
• Un processo di Markov discreto e omogeneo è detto
irriducibile se, i,j esiste k>0 tale che
P( X k  j X 0  i)  0
• La precedente proprietà dice che è possibile muoversi dallo
stato i allo stato j in uno o più passi per tutti gli stati i e j.
• Condizione sufficiente di esistenza e unicità:
un processo di Markov irriducibile e aperiodico
ammette un’unica distribuzione limite.
Metodi Probailistici, Statistici e Processi
Stocastici
68
Distribuzione Stazionaria
• Una distribuzione * è detta stazionaria se:
P( X0  i)  π i *
P( Xn  i)  π i *
• per tutti gli stati (i) e per tutti i tempi n≥0.
• Anche la distribuzione stazionaria, se
N
soddisferà:
esiste
1) π j *   π i * pij
i1
N
2) π j *  1
j1
• Ne segue che se esiste una distribuzione limite essa
è anche una distribuzione stazionaria
Metodi Probailistici, Statistici e Processi
Stocastici
69
Costi o ricavi associati agli stati
• Spesso il fatto che il sistema sia in un determinato stato comporta
all’azienda un costo/ricavo gestionale (es. costo di magazzino delle parti di
ricambio o ricavo da vendite)
• Per sapere quanto è il costo totale atteso, occorre sapere quanto tempo il
sistema sta in un determinato stato. Ora notiamo che per modelli
markoviani discreti il sistema scatta da uno stato all’altro ogni n. Quindi il
tempo totale che il sistema trascorre in uno stato non è altro che la somma
del numero di volte che, passa dallo stato di interesse. Denotiamo con j lo
stato di interesse e con Xk=j l’evento: il sistema è nello stato j al tempo k.
Leghiamo ad Xk la variabile Zj(k) definita come segue:
1 se Xk  j
Z j (k )  
0 altrimenti
• Il numero di volte in cui il sistema passa per lo stato j èk proprio la somma
delle variabili Zj(k). Quindi: N j (k )  Z j (1)  Z j (2)  ... Z j (k )   Z j (r )
r 0
• Saremo interessati al valore atteso di Nj(k)

Metodi Probailistici, Statistici e Processi
Stocastici
 

k

E Nj (k )  E Z j (1)  Z j (2)  ... Z j (k )  E Z j (r )
 r 0

70
Tempi di occupazione
• Il sistema patirà dallo stato X0=i. Definiamo con mij(k) il numero di volte in
cui il sistema passa per lo stato j partendo dallo stato i al tempo 0.


mij (k )  E Nj (k ) X0  i


M(k )  mij (k )
• In forma matriciale:
i, j : 1...N
k
M(k )   Pr
• Si dimostra che:
r 0




k
 k
mij (k )  E N j (k ) X0  i  E  Z j (r ) X0  i   E Z j (r ) X0  i 
 r 0
 r 0
  1 PX(r )  j X0  i  0  (1  PX(r )  j X0  i)   PX(r )  j X0  i   p(ijr )
k
k
r 0
• In forma matriciale:
k
k
r 0
k
k
r 0
r 0
r 0
r 0
mij (k )   p(ijr )  M(k )   P(r )   Pr
Metodi Probailistici, Statistici e Processi
Stocastici
71
Esempio
• Esempio. Se k=10, scrivere la matrice di occupazione dell’esempio
“Pallina da flipper”.
0.8 0.2 0 
P  0.5 0.3 0.2
 0
0
1 
• Utilizziamo la formula precedente
k
M(k )   Pr  P0  P1  P 2  ...  P10 
r 0
2
 1 0 0 0.8 0.2 0  0.8 0.2 0 
0.8 0.2 0 
 0 1 0  0.5 0.3 0.2  0.5 0.3 0.2  ...  0.5 0.3 0.2
0 0 1  0
 0
0
1   0
0
1 
0
1 
10
 7 .3 1 .9 1 .8 
 4.7 2.6 3.7
 0
0
11 
• Notiamo il risultato. Se partiamo da 3, stiamo in 3 per 11 volte…sempre!
Metodi Probailistici, Statistici e Processi
Stocastici
72
Costi condizionali
• Costi da associare agli stati: C(Xj) è il costo associato al fatto che il
sistema è nello stato j.
c  C(1) C(2) ... C(N)
• Il costo totale generato nel periodo 0..k, è:

 C( X )
r
r 0

n
n
• Il valore atteso è: E  C( Xr )
 r 0

• Vettore dei costi condizionale allo stato del sistema a k=0:

n

g(k )  gi (k )  E C( Xr ) X0  i, i  1...N
 r 0


• Possiamo quindi ricavare il valore atteso del costo come:
n
• Forma matriciale g(k )  E C( Xr )  M(k )  c
 r 0

N
• Forma vettoriale
gi (k )   mis (K )c(s), i  1,..., N
Metodi Probailistici, Statistici e Processi
Stocastici
s 1
73
Esempio
• Nell’esempio del gioco, ogni volta che la
pallina finisce nello stato 3 si perdono 2EUR,
ogni volta che siete nello stato 1 o 2 vincete 1
EUR. In 10 partite, quanti soldi si perdono se
si parte dallo stato 1? E dallo stato 2? E da
3? E se aveste a=[0.5 0.5 0], vi convene
giocare?
 5.6
 5.6
g  0.1  E  a  g  0.5 0.5 0  0.1   2.75
22 
22 
Metodi Probailistici, Statistici e Processi
Stocastici
74
La distribuzione dell’occupazione
• Sia Nj(k) il numero di volte in cui il sistema visita lo stato j nel tempo
0…k.
E N j (k )
• L’occupazione dello stato j viene definita da: π̂ j  lim

k 

k 1
• Interpretazione: è la frazione di tempo che il sistema spende nello stato
j.
• La distribuzione di occupazione (^), se esiste, soddisfa le seguenti
equazioni:
N
1) π̂ j   π̂ ipij
i 1
N
2) π̂ j  1
j1
• Un processo markoviano irriducibile ammette un’unica distribuzione di
occupazione che è uguale alla distribuzione stazionaria.
Metodi Probailistici, Statistici e Processi
Stocastici
75
Costo per unità di tempo
• Il costo per unità di tempo è definito come:
gi (k )
gi  lim
k  n  1
• Dove i denota lo stato di partenza.
• Si dimostra che soddisfa la seguente eguaglianza
per un processo di Markov irriducibile ed è
indipendente da i:
N
g   π̂ s c s
s 1
Metodi Probailistici, Statistici e Processi
Stocastici
76
Esempio 1
• Consideriamo un processo di Markov
S={1,2,3,4}, discreto e irriducibile che sia
caratterizzato dalla seguente distribuzione di
occupazione degli stati: ^=[0.27 0.45 0.2
0.08] e costi per stato: c=[400 500 600 700].
Il sistema si muove su base settimanale.
• Quanto vi costa, nel lungo periodo, il sistema
alla settimana?
• Sol.: 509EUR per settimana
Metodi Probailistici, Statistici e Processi
Stocastici
77
Problemi
• Consideriamo un gioco in cui il sistema ha tre stati e
può passare da uno stato all’altro con le seguenti
probabilità, k=0,1,…:
 0.2 0.3 0.5
0.25 0.35 0.4


 0.3 0.4 0.3
• E’ un processo irriducibile?
• Se lo stato 1 dà un profitto di +10, lo stato 2 una
vincita di +15 e lo stato 3 una perdita di -20, vi
conviene giocare fino a k=10 se le probabilità di
partenza sono [0.3 0.3 0.4]? (Ans. 1.15, sì)
• E all’infinito? (0.1667)
Metodi Probailistici, Statistici e Processi
Stocastici
78
Capitolo X:
Processi di Markov Continui nel Tempo
Metodi Probailistici, Statistici e Processi
Stocastici
79
Introduzione
• Nel caso dei processi di Markov discreti, si
individuavano una serie di istanti k=0,1,…,n n cui
lo stato del sistema veniva osservato.
Supponiamo ora che il sistema sia osservato con
continuità.
• Un esempio può essere quello di un satellite che
gira nello spazio e può essere in 2 stati,
funzionante o rotto. Ci chiediamo se al tempo T il
satellite sia funzionante o rotto.
Metodi Probailistici, Statistici e Processi
Stocastici
80
Definizione: Markov continuo
• Processo di Markov continuo nel tempo:
• Un processo stocastico è detto di Markov, continuo del tempo se vale:
P( X(s  t )  j X(s)  i, X(u) con 0  u  s) 
 P( X(s  t )  j X(s)  i)
• dove X(s+t) indica lo stato del sistema al tempo t+s. Notiamo che s+t
sostituisce k al pedice nella noazione precedente.
• Interpr.: la probabilità che il sistema passi dallo stato I che occupava in s
allo stato j dopo un tempo t dipende solo dallo stato in cui il sistema si
trovava in s e da s.
• Matrice delle probabilità di transizione


P(s  t )  pij (s, t )
Metodi Probailistici, Statistici e Processi
Stocastici
i. j  1...N
81
Definizione: Markov continuo omogeneo
• Processo di Markov continuo nel tempo è
omogeneo se vale:
P( X(s  t )  j X(s)  i)  P( X(t )  j X(0)  i)
• Interpr.: la probabilità che il sistema passi
dallo stato i che occupava in s allo stato j
dopo un tempo t dipende solo di due stati e
non dal tempo s.
• Matrice delle probabilità di transizione:
P(s  t )  pij ( t ) i. j  1...N
Metodi Probailistici, Statistici e Processi
Stocastici
82
Proprietà della matrice prob. transizione
• La matrice delle probailità di transizione soddisfa le seguenti
proprietà:
1) pij ( t )  0 t, i, j
2)  pij ( t )  1
j
N

3  pij ( t  s)   pir (s)prj ( t )
Chapman  Kolmogorov : 
r 1
3  forma matriciale : P(s  t )  P(s)P( t )  P( t )P(s)

• Dimostriamo la 3
N
pij ( t  s)  P( X(s  t )  j X(0)  i)   P( X(s  t )  j X(s)  r, X(0)  i)P( X(s)  r X(0)  i) 
r 1
N
N
r 1
r 1
  P( X(s  t )  j X(s)  r )P( X(s)  r X(0)  i)   P( X( t )  j X(0)  r )P( X(s)  r X(0)  i) 
N
N
r 1
r 1
  P( X( t )  j X(0)  r )P( X(s)  r X(0)  i)  pir (s)prj ( t )  in forma matriciale  P(s)P( t )
Metodi Probailistici, Statistici e Processi
Stocastici
83
Equazioni di Chapman Kolmogorov
 1  pii ( t )
 νi
lim
t 0
t

lim pij ( t )  q
ij
 t 0 t
•
Valgono i due seguenti lemma:
•
I=tasso istantaneo di uscita dallo stato i, qij tasso di transizione dallo stato i allo
stato j. Sono le probabilità condizionale che il sistema compia la transizione
dallo stato I allo stato j nell’intervallo di tempo dt, dato che è nello stato i a t.
Si dimostra che le probabilità di transizione soddisfano le seguenti equazioni:
•
•
N
d
Backward : pij (t )   qikpkj (t )  ν ipii (t )
dt
k i,k 1
se si condiziona su h.
N
d
Forward :
pij ( t )   qkjp jk ( t )  ν ipij ( t )
dt
k i,k 1
•
Se si condiziona su t.
Metodi Probailistici, Statistici e Processi
Stocastici
84
Equazioni di C-K (2)
• Poniamo:
 ν i se i  j
αij  
qij se i  j
• ij è detto rateo di transizione ed è la probabilità
che nel tempo dt il sistema passi allo stato j dato
che è nello stato i.
• Le equazioni di C-K si possono quindi riscrivere
N
come:
d
Backward :
dt
pij ( t )   αik pkj ( t )
k 1
N
d
Forward :
pij ( t )   αkjp jk ( t )
dt
k i,k 1
Metodi Probailistici, Statistici e Processi
Stocastici
85
Equazioni di C-K (3)
d
P  Α P  P  Α
dt
• Dove A e’ la matrice dei ratei di transizione del
sistema, P e’ il vettore delle probabilita’ degli stati
del sistema.
Metodi Probailistici, Statistici e Processi
Stocastici
86
Costruzione della matrice di transizione

P12
1
2
P21
1

2
• Esempio: componente soggetto a rottura e riparazione. 2 stati: in
funzione o in riparazione, con tassi di guasto  e riparazione .
• Chi sono P12 e P21? Sono le probabilita’ di transizione in dt. Quindi:
P12= e P21= 
• La matrice di transizione e’ costruita con le seguenti regole:
• (+) se il salto e’ in entrata allo stato, (-) se il salto e’ in uscita
• Prendiamo lo stato 1: si entra in 1 da due con tasso  (+), si esce con
tasso  (-).
• Quindi:
Metodi Probailistici, Statistici e Processi
Stocastici
87
La matrice di transizione
1
2
1 λ λ
2 μ μ
• La matrice di transizione e’:
 λ λ 
A

 μ  μ
Metodi Probailistici, Statistici e Processi
Stocastici
88
Equazione delle Pi(t)
• Definiamo le probabilità incondizionali che il sistema si
trovi nello stato i al tempo t come:
P1(t)
P2 (t )
Pi (t )
PN (t)
• Si dimostra (vedi seguito) che le equazioni soddisfatte
dalle probabilità incondizionali sono:
d
P  PΑ
dt
Metodi Probailistici, Statistici e Processi
Stocastici
89
Differenza
• Che differenza c’è tra:
d
P  PA
dt
• e
d
P  PΑ
dt
Metodi Probailistici, Statistici e Processi
Stocastici
90
Soluzione delle equazioni
• E’ la probabilita’ che a t il componente sia nello
stato 1. Occorre risolvere il sistema di equazioni
differenziali lineari precedente. Modo piu’ usato in
affidabilita’ e’ mediante trasformata di Laplace.
• Con trasf. Laplace, le equazioni da differenziali
diventano algebriche. Dopo aver lavorato con
equazioni algebriche, occorre poi antitrasformare.
• Si ottiene dunque la disponibilita’ come funzione
del tempo. Il risultato per un componente singolo
soggetto a riparazioni e rotture e’ il seguente:
Metodi Probailistici, Statistici e Processi
Stocastici
91
Risultato
• Probabilità che il sistema
1=Disponibilita’ istantanea:
sia
nello
stato


P1( t ) 

 e (   )t
 
• Disponibilita’ asintotica:
μ
lim P1( t ) 
t 
μ λ
• Interpretazione: tempo che occorre
riparazione diviso il tempo totale
Metodi Probailistici, Statistici e Processi
Stocastici
in
media
alla
92
Probabilità limite
• Per t che tende ad infinito, se il processo
Markoviano è irriducibile, le probabilità limite
esistono e soddisfano le seguenti equazioni:
π  Α  0
N

π j (t)  1


• ovvero, j:
 j1
ν jPj 
N
N
 q P , e P (t )  1
s1,s j
ij s
j1
j
• Tale relazione esprime il bilancio tra le entrate e le
uscite dallo stato
Metodi Probailistici, Statistici e Processi
Stocastici
93
Esempio
• Si consideri un sistema con due componenti, con la possibilità di
riparare un solo componente alla volta, nel caso si rompa. I due
componenti sono identici e si rompono con tasso costante . Il tasso di
riparazione è . Rappresentare il sistema come processo di Markov,
scrivere le equazioni di C-K per il processo e trovare le probabilità
limite.

2
1
 0 2λ 0 


R  μ 0 λ 
 0 2μ 0
Metodi Probailistici, Statistici e Processi
Stocastici

2
3
2
2λ
0 
  2λ


A μ
λμ
μ 
 0
2μ
 2μ 
94
Distribuzione stazionaria
• Per
un
processo
di
Markov
continuo,irriducibile, la distribuzione limite è
anche la distribuzione stazionaria.
Metodi Probailistici, Statistici e Processi
Stocastici
95
Distribuzione di occupazione
• Sia T un tempo su cui osserviamo il sistema.
• Sia mij(T) il tempo speso dal sistema nello stato j dato
che è partito da I al tempo 0.
• Se il processo è irriducible, vale allora che:
– la frazione di tempo che il sistema passa nello stato j al
tendere di t all’infinito non dipende da i
– La frazione di tempo spesa da sistema nello stato j è:
lim
T 
mij (T )
T
 πj
– Quindi le probabilità limite si possono interpretare come
frazione del tempo che il sistema spende in un determonato
stato
Metodi Probailistici, Statistici e Processi
Stocastici
96
Modellazione dei Costi/Ricavo
• Il modello dei costi è il seguente.
• Sia c(X(t)) dt il costo istantaneo (tasso di costo)
associato al fatto che il sistema è nello stato j al
tempo t.
• Il
costo/ricavo
totale
che
il
sistema
sosterrà/produrrà nel tempo 0-T sarà:
T
C(T)   c(X( t ))dt
0
Metodi Probailistici, Statistici e Processi
Stocastici
97
Tasso di costo istantaneo limite
• Per un processo continuo, Markoviano, irriducibile
vale:
clim  π  c
• Esempio: supponiamo che se la macchina produce
incassiamo 1000. Se si rompe spendiamo costa 5000. Calcoliamo se, a regime, conviene investire
nella macchina quando =10-4 e =10-2.
 μ
π
 0.99
λ  μ

λ
 .01
λμ

c  1000  5000
• clim=+940, quindi conviene.
Metodi Probailistici, Statistici e Processi
Stocastici
98
Capitolo IX:
Problemi, dimostrazioni etc.
Metodi Probailistici, Statistici e Processi
Stocastici
99