Regressione Lineare
parte 2
Corso di
Misure Meccaniche e Termiche
David Vetturi
Misure Meccaniche e Termiche
Regressione Lineare
Varianza residua:
Il modello generato attraverso il metodo dei minimi
quadrati descrive la variabilità della grandezza Y che
può essere pensata essere funzione diretta di X.
La quantità e2 indica quanto il modello non è in grado
di spiegare la variabilità delle Y complessivamente.
Tale “errore” può essere mediato fra tutti gli m punti
osservati e dunque
m
m
e   e    yk  y  xk 2
2
k 1
2
k
k 1
m
 02 
e
k 1
m
2
k
mn

2




y

y
x
 k
k
k 1
mn
2
Misure Meccaniche e Termiche
Regressione Lineare
Regressione lineare
Il metodo della stima ai Minimi Quadrati
presentato permette di valutare la ennupla di
parametri (a1, a2 … an) che identifica il modello
funzionale di relazione fra Y e X all’interno delle
funzioni di uno spazio vettoriale generato da una
base di funzioni (j1, j2 … jn)
3
Misure Meccaniche e Termiche
Regressione Lineare
Si può pensare cha la serie di m punti (xk,yk) sia
estratta dalla distribuzione congiunta fxy(x,y) e
che ne rappresenti un campione.
Per ogni campione estratto dalla popolazione X-Y
il metodo associa una ennupla (a1, a2 … an) che
può essere vista come una variabile casuale a ndimensioni funzione (attraverso il metodo) della
VC doppia X-Y
La quantità 02 indica la variabilità non spiegata
dal modella e permette di valutare la variabilità
dei parametri a (variabile casuale a n-dimensioni).
4
Misure Meccaniche e Termiche
Regressione Lineare
Varianza dei parametri a:
Nel caso in cui le funzioni di base risultano fra loro
ortogonali le quantità ai risultano tra loro indipendenti
e la loro varianza vale:
2

a 2  m 0
2



j
x
 i k
i
k 1
Mentre nel caso generale in cui le funzioni di base
non sono fra loro ortogonali si ha che la matrice di
covarianza della variabile casuale a a n dimensioni è
data da:
2
Caa   0  A1
dove Caa è la matrice di covarianza e A la matrice
del sistema lineare che permette di valutare i
parametri a
5
Misure Meccaniche e Termiche
Regressione Lineare
Varianza del modello:
Analogamente al caso dei parametri a, anche il
modello che questi definiscono è funzione del
“campione” estratto da X-Y.
La varianza dei parametri può essere dunque
propagata sul modello y(x).
Per ogni valore di x si ha:
 y( x)
2
n
2

  ji  x   a2i
i 1
6
Misure Meccaniche e Termiche
Regressione Lineare
Varianza del modello:
Mentre nel caso generale in cui le funzioni di base
non sono fra loro ortogonali si ha:
 y ( x ) 2  j  Caa  j T
dove
j   j1 ( x)
j2 ( x) .. jn ( x)
7
Misure Meccaniche e Termiche
Regressione Lineare
Varianza della previsione:
Se il modello viene utilizzato per fare previsioni,
ovvero se viene utilizzato per valutare il valore di y in
corrispondenza di una certa ascissa x si ha che le
cause di variabilità sono due:
- la variabilità del modello 2y(x)
- la variabilità delle Y non spiegata dal modello 20
e dunque:
y
2
prev
  y ( x )   02
2
8
Misure Meccaniche e Termiche
Regressione Lineare
Retta ai minimi quadrati:
esempio numerico - continuazione
Come mostrato precedentemente è possibile
calcolare i parametri della retta ai minimi quadrati a
partire dai punti (xk,yk) dati. Lo scarto indica quanto il
modello non è in grado di spiegare la variabilità delle
ordinate.
x
y
0.8
2.5
3.8
5.3
6.8
8.2
10.3
12.6
14.7
18.3
21
36
53
48
61
78
77
75
99
104
y(x)
scarto
31.30 -10.30
38.95 -2.95
44.80
8.20
51.56 -3.56
58.31
2.69
64.61 13.39
74.07
2.93
84.42 -9.42
93.88
5.12
110.09 -6.09
9
Misure Meccaniche e Termiche
Regressione Lineare
Come abbiamo visto la quantità e2 indica quanto il
modello non è in grado di spiegare la variabilità delle
Y complessivamente e in questo caso:
m
m
e   e    yk  y xk 2  541.7
2
k 1
2
k
k 1
e dunque la varianza non spiegata dal modello è:
m
 02 
2
e
 k
k 1
mn
m

2




y

y
x
 k
k
k 1
mn

541.7
 67.7
8
10
Misure Meccaniche e Termiche
Regressione Lineare
Come abbiamo visto la quantità e2 indica quanto il
modello non è in grado di spiegare la variabilità delle
Y complessivamente e in questo caso:
m
m
e   e    yk  y xk 2  541.7
2
k 1
2
k
k 1
e dunque la varianza non spiegata dal modello è:
m
 02 
2
e
 k
k 1
mn
m

2




y

y
x
 k
k
k 1
mn

541.7
 67.7
8
11
Misure Meccaniche e Termiche
Regressione Lineare
I parametri stimati a1 e a2 che sono stati valutati sono:
m
a1 
 y( x )
k
k 1
m
m

652
 65.2 a 2 
10
 y ( x )  x
k
k 1
k
 x
m
2
(
x

x
)
 k
1282.44

 4.50
284.841
k 1
e la varianza dei due parametri sono:
a 
 02
2
1
m
j1xk 
k 1
2
67.7
2

 6.77  a 2 
10
 02
m
2



j
x
 2 k
67.7

 0.2377
284.841
k 1
12
Misure Meccaniche e Termiche
Regressione Lineare
Retta
ai minimi quadrati:
.
esempio numerico – varianza del modello
Come è stato indicato precedentemente la varianza
dei parametri può essere dunque propagata sul
modello y(x). Analogamente per la varianza della
previsione effettuata a partire dal modello.
Per ogni valore di x si ha:
n
.  y ( x )   jix 2  a2
2
i 1
i
y
2
prev
  y ( x )   02
2
attorno al modello possono essere individuate due
fasce
di
ampiezza
k.
che
individuano
rispettivamente:
• inviluppo dei modelli probabili per la relazione
y=y(x)
• luogo dei punti ipotizzabili come previsioni di y a
partire dal modello y(x)
13
Misure Meccaniche e Termiche
Regressione Lineare
14
Misure Meccaniche e Termiche
Regressione Lineare
15