MODELLO DI REGRESSIONE LINEARE
MULTIPLA
1.
Modello e assunzioni
2.
Stimatori OLS e proprietà
3.
R2 , variabilità totale , spiegata , residua
4.
Previsione
5.
Test per la verifica di ipotesi
6.
Vincoli lineari e variabili dummy
7.
Eteroschedasticità
8.
Multicollinearità
9.
Autocorrelazione dei residui
1
REGRESSIONE LINEARE MULTIPLA: IL PROBLEMA
•
•
Ricerca di un modello matematico in grado di
esprimere la relazione esistente tra una variabile
di risposta y (quantitativa) e ( ad esempio) k
variabili esplicative
Si tratta di una relazione asimmetrica del tipo
y  f x1... xk 
Nel caso del modello di regr.lineare multipla
abbiamo che:
f x1... xk   b1 x1  b2 x2 ...bk xk
che geometricamente corrisponde ad un iperpiano a
k dimensioni
•
Perché si studia tale modello
i) facilità con cui può essere interpretato un
iperpiano a k dimensioni
ii) ii) Facilità di stima dei parametri incogniti bj
( j = 1…k)
Nella realtà studiamo un modello del tipo
y  f x1... xk  u
Componente
sistematica
componente
casuale
2
IL MODELLO
yi  b1 xi1  b2 xi 2  b3 xi 3  ...bk xik  ui
In forma matriciale
y  Xb  u
dove
y : vettore (n x 1) di osservazioni sulla
variabile dipendente
X : matrice (n x k) di osservazioni su
k regressori
b : vettore (k x 1) di parametri incogniti
u : vettore (n x 1) di disturbi stocastici
3
Le matrici e i vettori sono così definiti
 y1 
 
 y2 
 
 . 
y  
n1  . 
 
 . 
 
y 
 n
 b1 
 
 b2 
 
 . 
b  
k 1  . 
 
 . 
 
b 
 k
 x11

 x21

 .
X 
 n k   .

 .

x
 n1
x12
. . .
x22
. . .
.
. . .
.
. . .
.
. . .
xn 2
. . .
x1k 

x2 k 

. 

. 

. 

xnk 
 u1 
 
 u2 
 
 . 
u  
n1  . 
 
 . 
 
u 
 n
N.B.
La matrice X ha la prima colonna unitaria nel
caso in cui si consideri un modello con
intercetta b1 nel sistema di riferimento
4
multidimensionale
1)
2)
3)
4)
5)
6)
7)
ASSUNZIONI DEL MODELLO
Esiste legame lineare tra variabile
dipendente e regressori
Le variabili sono tutte osservabili
I coefficienti bi non sono v.c.
I regressori X sono non stocastici
Il termine u non è osservabile
E ui   0
 0 per i  j
Covui , u j    2
 per i  j
 le ui sono omoschedastiche ed incorrelate
 2 0

2
 0 
E uu  
.
.

 0
0

8)
X ha rango pieno





. .  2 
0 . .
0 . .
. . .
.
0
0
.
rank (X) = k
condizione necessaria n  k
9)
u
N 0, 2 I 
hp aggiuntiva da
utilizzare nell’analisi inferenziale
5
STIMATORE OLS
Y = Xb + u
Si cercherà quel vettore b̂ che minimizza
gli scarti al quadrato:
n
min
y
i
2
 X ib 
i:1
dove Xi è la riga i-esima di X
In forma matriciale
e  uˆ   y  Xb 
min ee o
min
 y  Xb   y  Xb 

Q  ee   y  Xb   y  Xb 
  y   b X  y  Xb 
 y y  b X y  y Xb  bX  X b
=
perché scalare
Q
 2 X y  2 X Xb  0
b
(1)
6
 k n 
n1
1 1 . 1   y1 
 1

 
 x21 x22 . . x2 n   y2 
 
1k  
bX y  b1 ... bk   x31 x32 . . x3n   . 

 
 .
. . . .  . 

 
x
 y 
.
.
.
x
kn   n 
 k1
è uno scalare
bX y   bX y    yXb 
perché
dalla (1) si ottiene
2 X Xb  2 X y
 X X b  X y
pre-moltiplicando ambo i membri
 X X 1  X X b   X X 1 X y
perché rank (X’X) = rank (X) = k
X’X è a rango pieno ovvero invertibile
1
bˆ   X X  X y
stimatore OLS di b
7
CARATTERISTICHE STIMATORE OLS
Teorema di Gauss-Markov
b̂ è uno stimatore di tipo BLUE
Best Linear Unbiased Estimator
ovvero ha varianza minima nella classe degli
stimatori Lineari e Corretti
1.
1
bˆ   X X  X y
1
La matrice  X X  X  è formata da elementi
costanti per cui b̂ è una trasformazione lineare
di y .
1
1
bˆ   X X  X y   X X  X  Xb  u 
2.
  X X  X Xb   X X  X  u
1
1
 b   X X  X  u
1
b   u E  X
 X X   b  bˆ E
1
È uno stimatore corretto
Inoltre:
bˆ  b   X X 
1
X u
8





ˆ
ˆ
ˆ
Var b  E  b  b b  b 


3.

 E  X X  X  u u X  X X 
1
1

  X X  X  E u uX  X X 
1
1
1
1
  X X  X  2 I X  X X 
 2  X X  X X  X X   2  X X 
1
1














ˆ
ˆ
E b b b b  :


Si consideri più in dettaglio
 E bˆ  b 2
1
1

 ˆ
ˆ b
E
b

b
b
1
1
2
2


.

 ˆ
ˆ b
E
b

b
b
 k k 1 1
1




E bˆ 1  b1 bˆ 2  b2 . . E bˆ 1  b1 bˆ k  bk 
2

ˆ
E b2  b2
. .
.


.
. .
.

2

ˆ
.
. .
E bk  bk







2
ˆ
Pertanto la varianza E b j  b j di ogni parametro
b̂ j si desume prendendo il corrispondente valore
1



X
X
sulla diagonale principale della
, moltiplicato
2
per  :
1
Var bˆ j   X X  jj 2
9
  

Definiamo uno stimatore alternativo lineare
e corretto

b  bˆ  C  y
dove C è una matrice (n x k)
b   X X  X  y  C  y
1
  X X  X  Xb  u   C Xb  C  u
1
E b   b  C Xb  C X  0





V b  E b  b b  b  



  1 
1
 E   X X  X  C  uu  X X  X   C  


1
1
1













X
X
X
X
X
X

C
X
X
X
2
 

1
  X X  X C  C C 

 

ma
 

CX  0  X C
 2  X X   2 C C 
1


 Var bˆ  2 C C   Var bˆ
Pertanto la Var b̂ è la minima nella classe degli
stimatori lineari e corretti, e risulta provato il 10
teorema di Gauss-Markov

2
STIMA ̂
2
DI 


1
e  y  Xbˆ  Xb  u  X  X X  X  Xb  u 
 Xb  u  Xb  X  X X  X  u
1


 I  X  X X  X  u  M X u
1
MX
n n
MX è simmetrica e idempotente, cioè:

 

X I  X  X X  X 

1
1. M X  I  X  X X  X   I  X  X X  X   M X
2.
1

1
M X2  I  X  X X 
1
 I  X  X X  X   X  X X  X   X  X X  X X  X X  X 
1
1
1
 I  X  X X  X   M X
1
Da queste proprietà di MX si ottiene
Q  ee  u M X M X u  u M X u
E ee  E tree 
perché scalare
 E tr uM X u   E tr M X uu


 tr E M X uu  tr M X 2 
tr(ABC)=
tr(BCA)=
tr(BAC)11
1


 2tr I n  X  X X  X  
1


  n  tr X X 

 2 trI n   tr X  X X  X  
1
2
1

X X  2 n  trI n  
 2 n  k 
Se definiamo
ee
ˆ 
n  k 
2
1
ˆ


n  k 
E 
n  k 
2
2
 2
è uno stimatore corretto
ESEMPIO (Greene p.200)
Gi  b1  b2 Pgi  b3 yi  b4 Pqi  ui
i : 1960 … 1986 , n = 27
Gi = consumo di benzina in $
Pgi = indice dei prezzi benzina
Yi = reddito pro-capite in $
Pqi = indice dei prezzi auto nuove
12
Vettore y
x1
x2
x3
121.01034
130.20306
136.62968
134.39852
150.34150
171.88391
175.44395
172.03874
198.65222
208.37573
214.38531
228.52113
237.37202
234.34193
222.32567
228.16247
242.33362
248.32557
240.93266
229.58893
227.13648
210.44373
236.85998
255.36365
243.75057
277.31965
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
0.9250000
0.9140000
0.9190000
0.9180000
0.9140000
0.9490000
0.9700000
1.0000000
1.0470000
1.0560000
1.0630000
1.0760000
1.1810000
1.5990000
1.7080000
1.7790000
1.8820000
1.9630000
2.6560000
3.6910000
4.1090000
3.8940000
3.7640000
3.7070000
3.7380000
2.9210000
6036.0000
6113.0000
6271.0000
6378.0000
6727.0000
7027.0000
7280.0000
7513.0000
7891.0000
8134.0000
8322.0000
8562.0000
9042.0000
8867.0000
8944.0000
9175.0000
9381.0000
9735.0000
9829.0000
9722.0000
9769.0000
9725.0000
9930.0000
10421.000
10563.000
10780.000
x4
1.0450000
1.0450000
1.0410000
1.0350000
1.0320000
1.0090000
0.9910000
1.0000000
1.0440000
1.0760000
1.1200000
1.1100000
1.1110000
1.1750000
1.2760000
1.3570000
1.4290000
1.5380000
1.6600000
1.7930000
1.9020000
1.9760000
2.0260000
2.0850000
2.1520000
2.2400000
Matrice X’X;
27.000000
51.357000
229865.00
37.296000
Matrice inv (X’X);
51.357000
133.15081
473127.10
83.319118
2.6605735
0.51586178
0.51586178
0.30384762
-0.00029970528 -6.4047001e-07
-0.76246362
-0.78790617
Stime b=inv(X’X) * X’y;
-89.761482
-12.588147
0.039938109
-14.443884
229865.00
473127.10
2.0120502e+09
331319.22
37.296000
83.319118
331319.22
56.280428
-0.00029970528
-0.76246362
-6.4047001e-07
-0.78790617
6.6199636e-08 -0.00019015563
-0.00019015563
2.8089108
13
Y
121.01034
130.20306
136.62968
134.39852
150.34150
171.88391
175.44395
172.03874
198.65222
208.37573
n=10
X1
1.0000000
1.0000000
1.0000000
1.0000000
1.0000000
1.0000000
1.0000000
1.0000000
1.0000000
1.0000000
X2
0.92500000
0.91400000
0.91900000
0.91800000
0.91400000
0.94900000
0.97000000
1.00000000
1.04700000
1.05600000
X3
6036.0000
6113.0000
6271.0000
6378.0000
6727.0000
7027.0000
7280.0000
7513.0000
7891.0000
8134.0000
X4
1.0450000
1.0450000
1.0410000
1.0350000
1.0320000
1.0090000
0.9910000
1.0000000
1.0440000
1.0760000
(X’X)
10.000000
9.6120000
69370.000
10.318000
9.6120000
9.2665480
67031.717
9.9199470
69370.000
67031.717
4.8631105e+08
71575.421
10.318000
9.9199470
71575.421
10.651854
-30.407072
489.93203
-0.034015993
-198.24254
0.00072941000
-0.034015993
2.558142e-06
0.013782628
-167.53347
-198.24254
0.013782628
254.38467
Inv (X’X)
197.12839
-30.407072
0.00072941000
-167.53347
Beta =
inv(X’X)*X’y
-131.78025
-90.513381
0.045503884
61.076792
14
ANOVA
Analisi della varianza
Se vogliamo testare simultaneamente ipotesi su
tutti i parametri o coefficienti dei regressori
andiamo a considerare la statistica F di
Fisher-Snedecor.
Considerando il modello in forma di scarti
 bˆ 1 
 
 . 
1
bˆ      X X  X y
 . 
 
 bˆ 
 k
bˆ X y
R 
y y
2
yi
N 0, 2 
b̂i
N bi , 2  X X 


1

ii
15
Si può dimostrare che


ˆb  b  X y
2
 2k 1
e ricordando che
 p2 p
 q2 q


Fp,q
ˆb  b  X y
k  1
2

ee
n  k 
2

Sotto
Fk 1,n k 
H0 : b  0
bˆ X y k  1
R 2 k  1

1  R 2  n  k 
ee n  k 
Fk 1,n  k
16
TABELLA ANOVA
Causa var. Devianza
Modello
x2…..xk
Residuo
Totale
H0 :
G.L.
Stime var.
Ry y  y X ˆb
k-1
bˆ X y k  1
ee  yy 1  R 2 
n-k
ee n  k 
2
yy   yi2
n-1
b2  ...  bk  0
• Si costruisce la statistica F
• Si individua il 95% o il 99%
quantile della distribuzione F(k-1),(n-k)
• Se F  F1 ;k 1n k  si rifiuta H0
17
SCOMPOSIZIONE DELLA DEVIANZA
TOTALE
1)
CASO. Modello senza intercetta
La colonna della matrice X relativa alla
variabile X1 non è formata da tutte unità
Possiamo scrivere i valori stimati del modello
come
yˆ  y  ˆ
y  yˆ  ˆ
da cui
Notiamo che


1
1
ˆ  y  Xbˆ  y  X  X X  X y  I  X  X X  X  y  My
M simmetrica e idempotente
1
yˆ  Xbˆ  X  X X  X y  P y
P simmetrica e idempotente
 ˆ ˆ
2
ˆ

ˆ


 y    yˆ yˆ  ˆ yˆ  yˆ ˆ  ˆ ˆ
y

y
y

y


 i
n
i:1
=0
=0
18
Ma


1
yˆ ˆ  yˆ My  y PMy  y P I  X  X X  X  y 
y Py  y PX  X X  X y 
1
y Py  y X  X X  X X  X X  X y 
1
1
y Py  y Py  0
ˆ  X  My X  y MX 


y  I  X  X X  X  X 
1
y X  y X  X X  X X  0
1

y y  yˆ yˆ  ˆ  ˆ  bˆ  X y  ˆ  ˆ
TSS
ESS RSS
Somma quadr. Somma quadr.
totale
modello
Somma quadr.
residui
19
2. CASO. Modello con intercetta
n

ei2



ˆ
 ee  y  Xb y  Xbˆ

i:1
 yy  2bˆ X y  bˆ X Xbˆ
 yy  2bˆ X y  bˆ X y
1
X Xbˆ   X X  X X  X y  X y
Perché
yy   ei2  bˆ X y
 yy  bˆ X y
Se consideriamo
otteniamo che :
yi Y iY
2
2
2


y

Y

Y

Y

Y
 i  i
 i   2 YiY
2
  Yi  n Yi n   2n Yi n 
2
1
2
  Yi   Yi 
n
1
2

 Y Y   Yi 
n
2
2
2
20
Possiamo così scomporre la variabilità o
“devianza” della variabile dipendente Y
 y   Y  Y 
2
i
2
i
1
2
 Y Y   Yi  
n
1
2
ˆ



 e e  b X y   Yi 
n
dove:
Y 'Y 
1
 Yi 2
n
•
Devianza totale
•
Devianza dovuta al modello
ˆbX y  1  Y 2
i
n
•
TSS
ESS
Devianza residua o “non spiegata”
ee   ei2
RSS
COEFFICIENTE DI CORRELAZIONE MULTIPLA
 Yˆ  Y 
 Y  Y 
2
ESS
2
R 

TSS
i
2
i
2
1


Y
i
n

0
2
1
Y ' Y   Yi  21
n
bˆ X y 
R2 
2
e
i
TSS  RSS
 1
1
2
TSS
Yi
0  R2  1
Il coefficiente di correlazione è un indicatore
del legame lineare tra Y e i regressori.
Ha però un difetto:
Esso può aumentare anche se viene aggiunto un
regressore che non “spiega” y.
ei
RSS

2
R  1
 1
2
TSS
Y
i
2
Se dividiamo le devianze per i gradi di libertà
andiamo a pesare il contributo a R2 di ogni
regressore
Rˆ 2  1 
2
e
 i n  k 
2
Y
 i n  1

n  1
2
ˆ

R  1
1  R2 
n  k 
22
Consideriamo ancora gli scarti
Y Y
Y  b1  b2 X 2  ....  bk X k  u
 bˆ 1  bˆ 2 X 2  ....  bˆ k X k
(*)
yi  Yi  Y  b2 x2i  b3 x3i  ....  bk xki  ui  u
i : 1......n
 bˆ 2 x2i  bˆ 3 x3i  ....  bˆ k xki  ei
In forma matriciale
y  Xb  u  u
 Xbˆ  e
1.
Gli elementi di Y e X sono scarti
2.
Nella matrice X nx(k-1) non appare più
la colonna delle unità
3.
I vettori b e b̂ sono (k-1)x1
contengono più l’intercetta
e non
23
Sviluppando gli OLS
1
bˆ   X X  X y
è sempre uno stimatore BLUE poiché
Y  Xb  u  u
1
bˆ   X X  X  Xb  u  u 
 b   X X  X  u   X X  X  u
=0
 u  x2 i 


u x 
  3i 
X u   .   0
k n  n1 

 . 


u x 
ki 

1
1
Dalla (*) si ottiene
bˆ 1  Y  bˆ 2 X 2  bˆ 3 X 3  ....  bˆ k X k
24
L’unico cambiamento si nota nella definizione
di R 2
R 
bˆ X y
2
y y
bˆ X y  ESS
y y  TSS
25
APPLICAZIONE
Y  Xb  u
 b1 
 
b   b2 
b 
 3
n = 12
k= 3
yi  b1  b2 x2i  b3 x3i  ui
Facendo riferimento ai valori
Y 9
2
x
 2  10
X2  2
2
x
 3  15
X3  1
2
y
  200
 x y  12  x y  9  x x
2
3
2 3
Determinare il vettore di stime OLS
 11
26
Se consideriamo il modello in forma di scarti
dalle medie
 bˆ 2 
    X X 1 X  y
 bˆ 
 3
Dove
 x21
x
 22
X  .

 .
 x2 n
x31 
x32 

. 

. 
x3n 
x2i  X 2i  X 2
x3i  X 3i  X 3
bˆ 1  Y  bˆ 2 X 2  bˆ 3 X 3
  X 22i
 X X   
 X 2i X 3i
 X X 1  1
X X
X X
X
2i
2
3i
3i



  12  X 32i

  13  X X
2 i 3i

 13  X 2i X 3i 
 14  X 22i 
  X 32i


2 
2
2
 X 2i  X 3i   X 2i X 3i     X 2i X 3i
1
  X 2i X 3i 

2
 X 2i 
27
  X 2iYi 

X  y  

  X 3iYi 
da cui
 bˆ 2 
 
 bˆ 
 3
1

 X  X   X X 
 X  X Y   X
 
 X  X Y   X
2
2
2
2
3
2
2
3
2
2
3
2
3
X 3  X 3Y 


2 X 3  X 2Y 
2
15  12   11  9 180  99
bˆ 2 

 9.62
10  15  121
29
10  9   11  12 90  132
bˆ 3 

 7.65
10  15  121
29
bˆ 1  Y  bˆ 2 X 2  bˆ 3 X 3  9  2  9.62  7.65  17.89
 bˆ 1    17.89 
  

bˆ   bˆ 2    9.62 
 ˆ  

b
7
.
65
3


 
28
RICAPITOLANDO
1
bˆ   X X  X  y


 ˆ
ˆ
ˆ
V b  E  b  b b  b     X X 
E bˆ  b
1

ˆ 2 

2
2
e
i
nk
 
E ˆ 2  2
Fino ad ora nessuna ipotesi è stata posta per la
distribuzione degli errori nel problema della stima.
Aggiungiamo :
ui
u
N 0 , 2 
N 0 , 2 I 
29
STIMATORE DI MAX VEROSIMIGLIANZA
P u  
1
2 
2 n2
 1

exp   2 uu   Y
 2

N Xb ,2 I 
 1






P Y  
exp

Y

X
b
Y

X
b

2


2 n2
 2

2 
1
LY ; b,     P Yi 
n
2
i 1
n
n
1

lg L   lg 2   lg 2  2 Y  Xb  Y  Xb  
2
2
2
n
n
1
  lg 2  lg 2  2
2
2
2
2



Y

X
b
 i i
Determiniamo il max lg L rispetto al vettore b e
rispetto a 2:
 1 n
2
 max lg L  max   2  Yi  X ib  
b
b
 2 i 1

Equivale al
 n
2
min   Yi  X ib  
b
 i 1

30
Otteniamo quindi
1
bˆ   X X  X Y
Lo stimatore M.L. di b equivale allo stimatore
OLS di b
1
 n
2
2



  max
lg
L

max

lg


y

X
b


i
i
2 
2
2 
2
2

 lg L
n 2 12 n 2
  2  4  ei
2


 i 1
 lg L
2
2
2

0


n


e

0

S


i
2

2
e
i
n
Stimatore M.L. di 2 , che sappiamo essere non
corretto
Nota:
Lo stimatore M.L. di b gode (ovviamente) di tutte
le buone proprietà viste per lo stimatore OLS di b,
Quindi è BLUE
31
TEST PER LA VERIFICA DI IPOTESI
Dal teorema di GAUSS-MARKOV :

1
N b , 2  X X 
bˆ

H 0 : bi  0
Vogliamo testare
Ovvero vogliamo verificare se il regressore Xi
spiega effettivamente la variabile dipendente Y
nel caso (improbabile) che sia nota 2
bˆ i  bi

  X X 
2
Sotto
1
N 0 ,1

ii
H 0 : bi  0
statistica

andiamo a considerare la
bˆ i

1

  X X  ii
2
32
Se il valore cade all’esterno dell’intervallo di
confidenza al 95% della N (0,1)
(  1.96)
,
rifiutiamo H0 ed il parametro bi sarà
“significativamente” diverso da zero.
In generale rifiuto H0 al livello 100% di
significatività quando
bˆ i  bi
 q n 2
1
2
  X X  ii


33
QUANDO 2 NON E’ NOTA
Utilizziamo la sua stima ̂ 2
ee
ˆ 
n  k 
2
Abbiamo già visto che
e  MX u
ee  uM X M X u  u M X u
MX e idempotente con tr(MX) = n-k
da cui rank (MX) = (n-k)
Per il teorema spettrale
esiste una matrice ortogonale P :
P’P = In
P M X P   n  k
nn nn nn
nn
34
dove
 n k
 I n k

 0
0 (n-k)
0 k
(n-k) k
E’ una matrice diagonale con (n-k)
sulla diagonale principale
Esempio
1 0 0 0 0
0 1 0 0 0

n=6
0 0 1 0 0

k=2
0 0 0 1 0
0 0 0 0 0

0 0 0 0 0
unità e k zeri
0
0

0

0
0

0
Sulla base di P u può essere trasformato
u  P
n1
v ,
nn n1
v  P 1 u  P u
ee  u M X u  v P M X P v 
 v nk v 
 v12  v22  ... vn2k
35
u
N 0, 2 I 
v  P u
v
con P ortogonale
N 0, 2 I 
ee v12 v22
vn2k
 2  2  ...  2 
2




2
n k
 vi  n k
2
      N 0,1   2n k
i 1   
i 1
Inoltre dimostriamo che b̂ e ̂ 2 sono
indipendenti:
Si dimostra verificando che e è incorrelato da b̂


e  I  X  X X  X u

 ˆ
E e b  b  


1
1
bˆ  b   X X  X  u
36



 ˆ
E e b  b  




E I  X  X X  X  u uX  X X 
1

  X  X X 
1

 2 I  X  X X  X  X  X X 
1
2
1
1



1
1
 X  X X  X X  X X   0
e e b̂ sono Normali e incorrelate quindi
e e
2
indipendenti ; lo saranno anche b̂ e ˆ 
nk
N 0,1
N.B.

2
n k
n  k 
 t n  k 
bˆ i  bi
  X X  
2
1
ii
Quindi
e e
n  k 
2

tn  k
37
bˆ i  bi
ˆ aii

aii   X X 
1

ii
tn k
(*)
elemento generico di posto ii
nella diagonale della (X’X)
Le ipotesi su bi possono essere verificate
sostituendo i valori nella (*) e controllando poi
che la statistica superi o meno i valori della regione
critica della distribuzione tn-k .
38
price
BDR
FLR
FP
RMS
ST
LOT
TAX
BTH
CON
GaR
CDN
L1
L2
53
55
56
58
64
44
49
70
72
82
85
45
47
49
56
60
62
64
66
35
38
43
46
46
50
65
2
2
3
3
3
4
5
3
4
4
8
2
3
4
4
2
3
4
2
4
3
3
2
2
2
3
967
815
900
1007
1100
897
1400
2261
1290
2104
2240
641
862
1043
1325
782
1126
1226
929
1137
743
596
803
696
691
1023
0
1
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
5
5
5
6
7
7
8
6
8
9
12
5
6
7
8
5
7
8
5
7
6
5
5
4
6
7
0
0
1
1
0
0
0
0
1
0
1
0
0
0
0
1
1
0
0
0
0
0
0
0
0
1
39
33
35
24
50
25
30
29
33
40
50
25
25
30
50
25
30
37
30
25
25
50
27
30
30
30
652
1000
897
964
1099
960
678
2700
800
1038
1200
860
600
676
1287
834
734
551
1355
561
489
752
774
440
549
900
1.5
1.0
1.5
1.5
1.5
2.0
1.0
1.0
1.5
2.5
3.0
1.0
1.0
1.5
1.5
1.0
2.0
2.0
1.0
1.5
1.0
1.0
1.0
2.0
1.0
2.0
1
1
1
0
1
0
0
0
1
1
0
0
1
0
0
0
1
0
1
0
1
0
1
1
0
1
0.0
2.0
1.0
2.0
1.5
1.0
1.0
2.0
1.5
1.0
2.0
0.0
0.0
0.0
0.0
0.0
0.0
2.0
1.0
0.0
0.0
0.0
0.0
1.0
2.0
1.0
0
1
0
0
0
0
1
0
0
1
0
0
0
0
0
0
1
0
0
0
0
0
1
0
1
0
1
1
1
1
1
1
1
1
1
1
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
0
0
0
0
0
0
0
Price=selling price of house in thousands of dollars
*BDR= Number of bedrooms
*FLR= Floor space in sq.ft(computed bfrom dimension of each
room and then augmented by 10%)
*FP=Number of fireplaces ; * RMS=Number of rooms
*ST=Storm windows (1 if present, 0 if absent)
LOT=Front footage of lot in feet ; TAX=Annual taxes
BTH=Number of bathrooms
GAR=Garage size (0=no garage, 1=one-car garage,…)
CDN=Condition (1=‘needs work’, 0 otherwise)
L1=Location (L1=1 if property is in zone A , L1=0 otherw.)
L2=Location (L2=1 if property is in zone B , L2=0 otherw.)
39
R=14 , n=26
SOURCE: Ms.Terry Tasch of Long-Kogan Realty, Chicago.
MULTIPLE REGRESSION
dependent variable : Price
Var-Covar matrix of Regression Coefficients (B)
Below diagonal : Covariance . Above :
Correlation
FLR
ST
FP
BDR
RMS
FLR 1.116E-05 .06523 -.02657 .01127
-.41096
ST
5.112E-04 5.50163 .06414
-.03717
-.08660
FP -2.529E-04 .42872 8.11969 .00430
-.06912
BDR 7.452E-05 -.17250 .02423 3.91444
-.83394
RMS
-.00230 -.33964 -.32930 -2.75873
2.79561
----------------------Variables in the Equation----------------------------Variable
B
SE B 95%Conf.
Intrvl B
Beta
FLR
.019124 .003341
.012155
.026092 .696273
ST
11.253185 2.345555 6.360443 16.145926 .404586
FP
10.295264 2.849507 4.351296 16.239232 .301084
BDR -7.826966 1.978493 -11.954030 -3.699901 -.812218
RMS 4.863990 1.672008 1.376242 8.351738 .658351
Const. 24.172544 4.903762 13.943476 34.401612
----------------in----------------Variable
T
Sig T
FLR
5.724
.0000
ST
4.798
.0001
FP
3.613
.0017
BDR -3.956
.0008
RMS
2.909
.0087
(Const.) 4.929
.0001
End Block Number 1 PIN=.050 Limits reached
PRICE=24.17+0.019*FLR +11.253*ST+10.295*FP-7.827*BDR+
40
+4.864*RMR=24.17+0.019*(100)+11.253*(1)+10.295*(0)-7.827*(3)+4.864*(6)=43.026 (prezzo stimato)
RIPRENDIAMO L’ESERCIZIO
(Applicazione lucidi precedenti)
H 0 : b 2  b3  0
( F0.01 , 2 , 9 = 8.02)
R 2 k  1
ESS k  1
F

2
1  R  n  k  RSS n  k 
bˆ X  y
R 
y y
2


Ricordiamo:
n = 12
k = 3 con
intercetta 
2 var. esplicative
in forma di scarti  y1 
ˆb bˆ   x21
2
3
x
 31
 
. . x2 n   . 
    
. . x3n 
.
 
 yn 
ˆb bˆ    X 2 y   bˆ
ˆ
X
y

b

2
3
2
2
3 X3 y
 X y
3 

9.62  12  7.65  9 184.29
R2 

 0.92
200
200
0.92 2
9
valore
F
 11.5   51.75
1  0.92 9
2
empirico di F


Si rifiuta H0 con un livello di significatività del
99%
F empirico = 51.75 >F0.01,2,9 = 8.02 41
Se avessimo voluto testare
H 0 : b2  0
Ovvero la significatività di X2
t
a22 
bˆ 2  b2
ˆ a22
2
tn  k
o
F 1, n  k 
(t99.9 = 2.82)
2
X
 3
2
2
X
X
 2  3   X 2 X 3 
2

15
15

 0.51
150  121 29
e e TSS  ESS 200  184.29
ˆ 


 1.74
nk
9
9
bˆ 2
9.62
9.62
t


 10.2
valore
1.74  0.51 0.94
ˆ 2 a22
2
Anche adesso rifiutiamo H0 
è significativo
empirico
di t
il regressore X2
42
PROBLEMI DI PREVISIONE
Si vuole prevedere il valore di Yn+1 per un
insieme di valori X osservati.
Supponiamo però per X i valori
C  1 X 2,n 1 X 3,n 1 ... X k ,n 1
E’ possibile fare una previsione puntuale o stimare
un intervallo di previsioni.
Yn 1  b1  b2 X 2,n 1  ...  bk X k ,n 1  un 1
 C  b  un 1
1k k 1
E Yn 1   C b
11
Utilizzando le proprietà BLUE di b̂ avremo il
PREVISORE PUNTUALE
Yˆn1  Cbˆ
sarà BLUFF
Best Linear Unbiased Forecasting Function
43
Per ottenere un intervallo di previsione
è necessario individuare la distribuzione di
 

 ˆ
ˆ
ˆ
VarC b  E C b  C b C b  C b  
E C bˆ  C b





 
 ˆ
1
ˆ
 E C  b  b b  b C   C  X X  2C


1
C bˆ
N C b , 2C  X X  C


C bˆ  C b
 C  X X  C
e e
n  k 
2

1
tn  k
Quindi una stima intervallare con un livello
fiduciario del 100(1-)% :
1
C bˆ  t 2 C  X X  C
C bˆ  t 2
 Cb  C bˆ  t 2
44
APPLICAZIONE
Y  b1  b2 X  u
Voglio prevedere Y da X0. Per calcolare
l’intervallo devo determinare
 n
 X X   
 X
C  1
 X 
 X 
2
X 0
2
X

2
X
X

u
X

0
0
2
C  X X  C 
1
u  X   X 
Infatti
.
  X 2   X  1 
1
1 X 0 
  
2 
2
n  X 0 
n  X   X    X

1
n  X   X 

X


2
2
2
2
 1 
 X  X 0  X , X 0n   X  X  
 0


2
 X 0  X   X 02n  X 0  X 
n  X   X 
2
2
2

45

 X 2  2 X 0  X  nX 02
n X
2
  X 
2
1 X 0  X 

2
n
X

2

L’intervallo fiduciario sarà
C b  t 22 C  X X  C 
1
1 X 0  X 
 bˆ 1  bˆ 2 X 0  t 22

2
n
X



2
A parità di dati osservati l’intervallo sarà tanto più
largo quanto più X0 è distante da X
46
CENNI SULLE VARIABILI DUMMY
(Variabili di comodo)
Fino ad ora abbiamo assunto che nella equazione
generale
Y = Xb + u
Le variabili X siano variabili cardinali date dalla
teoria economica.
E’ possibile introdurre variabili cosiddette “di
comodo” che riescano a rappresentare diversi
fattori :
–
EFFETTI TEMPORALI
–
EFFETTI SPAZIALI
–
VARIABILI QUALITATIVE
47
È possibile che un modello economico possa
subire mutamenti strutturali :
FUNZIONE DI CONSUMO
C  1  b Y  u
Tempo di guerra
C  2  bY  u
Tempo di pace
Si ipotizza comunque che la propensione
marginale al consumo
C
b
Y
rimanga
invariata in entrambi i periodi
48
Invece di considerare i due modelli separatamente
(stime meno precise) vengono uniti in una sola
relazione
C  1 X1  2 X 2  bY  u
Dove X1 e X2 sono variabili dummy :
1
X 1  
2
anni di guerra
anni di pace
0

X2  
1
anni di guerra
anni di pace
 1 
 
b

La matrice b dei coefficienti sarà
 2
b

e la matrice dei dati
0 1 Y1 
0 1 Y2 
. . Y 
3


0
1
.


1
0
.
X   X 1 X 2 Y   1 0 . 


. . . 
1 0 . 
0 1 . 
. . . 
49
0 1 Yn 
La trappola delle variabili di comodo
Quando utilizziamo le variabili dummy è
necessariob fare attenzione a come viene
costruito il modello, per non rendere la matrice
(X’X) singolare .
Infatti se nel modello precedente lasciavamo una
intercetta : C  0  1 X 1  2 X 2  bY  u
1
1
.
1
1
X  1
.
1
1

.
1
0
0
.
0
1
1
.
1
0
.
0
1 Y1 
1 Y2 
. .
1 .
0 .
0 .
. .
0 .
1 . 
. .
1 Yn 
1 X 0  1 X1  1 X 2  0  Y  0
Abbiamo che le 4 colonne di X sono linearmente
dipendenti rank  X   rank  X X   3  k
50
(X’X) non è invertibile
Volendo utilizzare una regressione con intercetta si
utilizzerà così solo una dummy :
C  g1  g 2 X 2  b Y  u
0

X2  
1
•
anni di guerra
anni di pace
b = PMC in entrambi i periodi
1 = g1 = intercetta anni di guerra
2 = g1 + g2 = intercetta anni di pace
1 – 2 = g2 = differenza tra l’intercetta del
periodo guerra e pace
Cambiamento di coefficiente angolare
C    b1Y  b2  b1 X 2Y  u
0

X2  
1
anni di guerra
anni di pace
C    b1Y  u
C    b2Y  u
b2 – b1 = differenza propensione marginale51al
consumo nei due periodi
APPLICAZIONE
(p.255 Maddala)
Y = b1 + b2 SVA + u
Y = km / litro
SVA = Stima Vita Auto in anni
Yˆ  7.952 0.693 SVA
1.753
0.061
R 2  0.74
Y  b1  b2W  b3 S
A
 b4 G
D
 b5 SVA  u
W = peso in Kg
 0 cambio sta ndard
S 
A 1 cambio automatico

0 gas
G 
D 1 diesel

Yˆ  22.008 0.002 W  2.760 S
5.349
0.001
0.708
A
 3.28 G
1.413
D
 0.415 SVA
0.097
R 2  0.82
52
MULTICOLLINEARITA’
Quando tra due o più variabili esplicative vi è
perfetta collinearità o multicollinearità, la matrice
(X’X) non è più a rango pieno e le stime OLS non
possono essere calcolate.
Si può però facilmente fare una sostituzione di
variabile
Es :
Y    b1 X 1  b2 X 2  u
X 2  g X1  
Y    b1 X 1  b2  b2 g X 1  u
 1   2 X 1  u
1    b2
 2  b1  g b2
53
Il problema della multicollinearità esiste quindi
quando due o più regressori sono quasi-collineari
ovvero quando il coefficiente di correlazione tra i
regressori è alto .
•MODELLO A 3 VARIABILI
Y  b1  b2 X 2  b3 X 3  u
Y  b2 X 2  b3 X 3  u  u
 bˆ 2 
1
bˆ      X X  X  y
 bˆ 
 3

1
V bˆ  2  X X 
2

X

3



2
2
2
 X 2  X 3   X 2 X 3     X 2 X 3
2
  X2X3 

2
X
 2 
54
 
V bˆ 2 
2  X 32
X X
2
2
2
3
  X 2 X 3 
2

2  X 32

X X
2
2
2
3
 X
2
2
2
X
 3   X 2 X 3 
2
2
X
X
 2 3
2

2

2
2

X
1

r
 2 23 
 
2

V bˆ 3 
2
2

X
1

r
 3 23 
È facile vedere che valori molto alti di r232
rendono le stime OLS molto imprecise.
Inoltre piccole variazioni nella matrice dei dati
provocano o possono provocare grandi variazioni
nella stima dei parametri.
55
ESEMPIO-APPLICAZIONE:
instabilità delle stime
Y  b 2 X 2  b3 X 3  u  u
Dati :
2
X
 2i  200
2
X
 3i  113
bˆ 2 
X
X
X
2i
X 3i  150
Y  350
2i i
Y  263
3i i
2
X
 3  X 2Y   X 2 X 3  X 3Y
X X
2
2
  X 2 X 3 
2
2
3

113  350  150  263 39550  39450 100


 1
2
200  113  150
22600  22500 100
ˆb  52600  52500  100  1
3
22600  22500 100

X X 


X X
2
2
X2X3
r
2
2
2
3
2
3
1502

 0.995
200  113
56
Togliendo solo una osservazione:
X
X
2
2
 199
2
3
 112
 X X  149
 X Y  327.5
 X Y  261.5
2
3
2
3
ˆb  112  347.5  149  261.5   43.5 
2
199  112  149 2
87
ˆb  199  261.5  149  347.5  261 
3
199  112  149 2
87
1

2
3
Si modificano molto le stime
57
ETEROSCHEDASTICITA’
Avevamo ipotizzato che
E uu  2 I
tale assunzione è in molte situazioni non valida
dobbiamo quindi riformulare il problema nella forma
E uu   0
E uu   2
58
1
bˆ   X X  X  y
y  Xb  u

1
E bˆ  b   X X  X  E u   b
Sono ancora corretti ma non efficienti

1
1
V bˆ   X X  X  E uu X  X X 
1
1
  X X  X    X X  2
59
GOLDFELD – QUANDT TEST
- Si ordinano le osservazioni secondo la
variabile Xj che si ipotizza sia la causa
dell’eteroschedasticità
- Si divide il campione in tre parti di
numerosità n1 n2 n3 .
- Dopo la stima OLS nei tre sottocampioni si
calcola
e
e1 e1
e3 e3
e1 e1
F
Fn1 k , n2 k
e3 e3
Sotto H0 : omoschedasticità : (il valore di F è
piccolo)
Fempirico  Fteorico  Rifiuto H 0
60
RIMEDI
1. i
i=1,…,n
siano valori noti.
si applicano i MINIMI QUADRATI PESATI (WLS)
ovvero si applica OLS al modello trasformato
y
y  i
i
*
i
Ovvero
Dove
;
x 
*
ij
xij
i
;
*i 
i
i
yi*  b1 xi*1  b2 xi*2  ...  bk xik*  *i
2



1

Var *i   Var i   2 Vari   i2  1
i
 i  i
2.  relazione tra la componente stocastica e uno
dei regressori
yi  b1  b2 xi 2  ...  bk xik  i
Es.
Var i  C xi22
61
Trasformiamo il modello
yi
y 
xi 2
*
i
x 
*
ij
;
xij
xi 2
;
i
 
xi 2
*
i
yi
1
xik i

 b1
 b2  ...  bk

xi 2
xi 2
xi 2 xi 2
Dove
 i  1
Var    Var   2 Vari   C
 xi 2  xi 2
*
i
Applico OLS
62
ESERCIZIO
La stima di un modello lineare sulla base dei
valori del Reddito e del Consumo di 30 famiglie
americane fornisce i seguenti valori :
Cˆ  1480  0.788 y
3.29
29.37
R2  0.97
La stima dello stesso modello sulle prime 12 e
sulle ultime 12 osservazioni fornisce i seguenti
valori:
Cˆ  846.7  0.837 y
0.74 
9.91
Cˆ  2306.7  0.747 y
0.79 
5.00
R 2  0.91
SEQ  1069000
R 2  0.71
SEQ  3344000
Verificare l’ipotesi di presenza di
eteroschedasticità ed in caso affermativo
indicare la procedura di correzione.
3344000
F  C’è presenza
 3.12 di eteroschedasticità
F10,10  1.83
1069000
63
AUTOCORRELAZIONE DEI RESIDUI
Molto spesso la assunzione
E uu  2 I
cade perché gli errori sono autocorrelati, effetto
molto usuale nelle serie storiche.
Per illustrare il problema consideriamo una semplice
relazione a due variabili
yt    bX t  ut
ut   ut 1  t
 1
E t   0
2
E t t  s   
 0
s0
s0
ut   ut 1  t
  ut 2  t 1   t
64
 t   t 1  2 t 2  ... 

   r t  r
r:0

E ut   r E t r   0
r:0
E ut2   E t2   2 E t21   4 E t22   ...
0
0
2
 2 E t t 1   2 E t t 2   ...
0
 2 E t 1t 2   ...
 2 1  2  4  ...
2
2



u
1  2
65


E ut ut 1   E t   t 1  2 t 2  ...  t 1   t 2  ... 
  2  3 2  5 2  ... 
  2 1 2 4  ... 
2
2




u
1  2
t   t 1   2 t 2  3t 3  

E ut ut 2   E 
       2   ... 
t 3
t 4
 t 2

  2 2   42  62  ... 
2
2 2



u
2
1 
2
E ut ut  s    s u2
 1
 2
 
1 

E u u  V  u2  2

.
.
.
 .
n 1 n 2 .
. n 1 
. n 2 

.
. 
.  
 1 
66
CONSEGUENZE
1.
2.
3.
4.
Stime OLS di b corrette
Varianze di b̂ molto grandi ovvero
Sottostima di tali varianze
inefficienti
Conseguente non validità dei test t ed F
Infatti si può dimostrare che
 1  2 
E e e    u 
2
1




2
u
Solo se 2 = 0
 e e 
2
2
ˆ
E

E



u
 n  1
 
Con N=20 ;  = 0.5 :
 e e  18.3 2
E

u

 n  1 19
sottostima 4%
Con N=20 ;  = 0.8
 e e  15.4 2
E

u

 n  1 19
sottostima 19%
67
TEST DI DURBIN - WATSON
n
d
2


e

e
 t t 1
eˆ  y  Xbˆ
t 2
n
e
2
t
residui nella
stima OLS
t 1
n
n 2 n 2 
 et   et 1   2 et et 1
t 2
t 2

d   t 2
n
 et2
per n grande
t 1
ee

d 22
e
t
0
dL
autocorr.(+) ?
t 1
2
t
  et et 1 
 2 1 
 21  r 
2 

 et 
0d 4
dH
2
4-dH
No autocorr.
?
4-dL 4
Autocorr.(-)
Il limite tra la zona di accettazione e quella di
rifiuto è funzione della matrice X .
D – W hanno costruito delle bande valide 68
sempre.
METODI RISOLUTIVI
1.
GLS : se ho una stima di 
1 ˆ
ˆ 1
et et 1

ˆ 

2
 et
. .
. .
. ˆ n 1 
. . 
. . 
. 1 
Riesco a trovare la matrice T : T  T  1
e trasformo il modello in Ty  TXb  Tu
Var Tu   2 I 
stima OLS
2. Procedura iterativa per stimare 
, u t   u t 1   t
Avendo: y t    bX t  u t
E
 y t 1    bX t 1   u t 1
 y t   y t 1  1     bX t  X t 1   u t   u t 1 (1)
 y t    bX t   y t 1    bX t 1    t
t
(2)
Procedura:
 ˆ    X X 1 X  y

- Da (1) stimo  e b con OLS
 bˆ 
 
(partendo da un valore iniziale per  )
69
- Sostituisco ̂ e b̂ in (2)  ˆ