Regressione Lineare
parte 1
Corso di
Misure Meccaniche e Termiche
David Vetturi
Misure Meccaniche e Termiche
Regressione Lineare
Regressione lineare
Spesso, considerando congiuntamente due
caratteristica (X,Y) di una medesima realtà
statistica, risulta interessante ricercare un legame
funzionale fra le due quantità del tipo Y=f(X)
2
Misure Meccaniche e Termiche
Regressione Lineare
Regressione lineare
Il metodo della Regressione Lineare (o metodo di
stima ai Minimi Quadrati) si occupa di individuare,
all’interno di un certo ambito di funzioni, una
relazione fra le due quantità.
3
Misure Meccaniche e Termiche
Regressione Lineare
Ipotesi:
Siano noti m punti di coordinate
xk , yk 
con k  1..m
Sia data una base di funzioni che generi uno
spazio vettoriale di dimensione n
1 x , 2 x , ... ,n x 
La relazione funzionale fra x e y sia una
combinazione lineare delle n funzioni di base
n
y ( x)    i  i x 
i 1
4
Misure Meccaniche e Termiche
Regressione Lineare
criterio:
Fra tutte le funzione generate dalla base viene scelta
quella che “meglio” descrive la relazione funzionale
fra le due grandezze
Il criterio è dunque quello di scegliere la funzione che
minimizza la somma delle distanze di tutti i punti dal
modello
2
2
 k2
 2   yk  yxk  con k  1..m
k
k
m
m
k 1
k 1
 2    k2    yk  y  xk 2
5
Misure Meccaniche e Termiche
Regressione Lineare
soluzione:
Si può immaginare che la funzione =errore sia una
funzione degli n parametri  da minimizzare
 2  g 1 , 2,..,  n   min
e dunque i punti candidati a risultare minimi di tale
funzione sono quello di stazionarietà, ovvero che
soddisfano le seguenti n condizioni:
 2
 0 con i  1..n
 i
6
Misure Meccaniche e Termiche
Regressione Lineare
La scelta di operare la selezione della funzione che
lega X a Y all’interno delle funzioni generate come
combinazione lineare delle n funzioni di base
conduce il problema appena descritto a prevedere
una ed una sola soluzione che può essere
determinata risolvendo il seguente sistema:
A   B
con:
m
1
A  aij   i xk    j xk 
k 1
2

m
...
B  b j   y k   j  xk 
n
k 1
Si può dimostrare che la matrice del sistema ha
determinante non nullo quindi il sistema ammette una
sola soluzione
7
Misure Meccaniche e Termiche
Regressione Lineare
Prodotto scalare:
Nello spazio vettoriale generato dalla base di vettori
(funzioni) (x) è possibile considerare un prodotto
scalare con la seguente definizione:
m
f ( x)
g ( x )  f ( x )  g ( x )   f ( xk )  g ( xk )
k 1
e quindi gli elementi della matrice A e del vettore B
possono essere visti nel seguente modo:
m
aij   i xk    j xk   i x   j x 
k 1
m
b j   yk   j xk   ~y x   j x 
k 1
8
Misure Meccaniche e Termiche
Regressione Lineare
Ne consegue che se le funzioni di base (x) fossero
scelte in modo opportuno la matrice A sarebbe una
matrice “vuota” (sparsa) e la soluzione del sistema
più semplice dal punto di vista computazionale.
In particolare se A fosse diagonale il sistema lineare
si ridurrebbe ad una sequenza di n equazioni
disaccoppiate, ciascuna con una sola variabile.
E quindi sarebbe opportuno scegliere le funzioni di
base (x) fra loro ortogonali, cioè:
i x   j x   0 i  j
9
Misure Meccaniche e Termiche
Regressione Lineare
Ortogonalizzazione:
Come è noto è possibile ortogonalizzare la base di
uno spazio vettoriale utilizzando l’algoritmo di
Gram-Schmidt.
Quindi a partire dalla base di funzioni (x) si ottiene
una nuova base per il medesimo spazio vettoriale
di funzioni ’(x) fra loro ortogonali
i 1
ix   i x   
p 1
v2
v1
v2
i x   p x 
 p x   p x 
v1  v1
v2
  p x 
v2
v1  v1
10
Misure Meccaniche e Termiche
Regressione Lineare
E’ bene osservare che il cambio di base in cui
esprimere la funzione da ricercare, quest’ultima non
cambia.
Dunque la funzione che minimizza la somma delle
distanze al quadrato punto osservato-modello
diventa:
n
n
i 1
i 1
y ( x)    i  i x     i  ix 
Mentre la soluzione del sistema porta al seguente
risultato:
m
yk  ixk 

 i  k 1m
2




x
i k
k 1
11
Misure Meccaniche e Termiche
Regressione Lineare
Esempio: retta di regressione
Un caso molto comune e diffuso è quello di ricercare
un legame fra le quantità X e Y di tipo lineare, ovvero
si vuole ricercare la retta del piano che meglio
descrive il legame fra le due grandezze.
Le funzioni di base da utilizzare sono dunque:
1x   1
 2 x   x  x con x 
x
k
k
m
e dunque:
y( x)  1   2  x  x 
12
Misure Meccaniche e Termiche
Regressione Lineare
E dunque i parametri del modello diventano:
m
1 
y
k 1
k
m
m
 2 
 y  x
k 1
m
k
k
 x
2
(
x

x
)
 k
k 1
13
Misure Meccaniche e Termiche
Regressione Lineare
Retta ai minimi quadrati:
esempio numerico
Si considerano i seguenti 10 punti di coordinate X,Y
x
y
0.8
2.5
3.8
5.3
6.8
8.2
10.3
12.6
14.7
18.3
21
36
53
48
61
78
77
75
99
104
Si Ipotizza una relazione lineare fra Y ed X, ovvero
Y=m X + q
14
Misure Meccaniche e Termiche
Regressione Lineare
E dunque i parametri del modello ortogonalizzato
diventano:
1x   1
 2 x   x  x con x 
1 
k
k 1
m
k
k
m
 8.33
m
m
 y( x )
x
652

 65.2
10
 2 
 y ( x )  x
k
k 1
k
 x
m
2
(
x

x
)
 k

1282.44
 4.50
284.841
k 1
e quindi
ovvero
y( x)  65.2  4.50  x  8.33
y ( x)  4.50  x  27.70
15
Misure Meccaniche e Termiche
Regressione Lineare
Il modello calcolato in corrispondenza dei punti
assegnati fornisce i seguenti valori
x
y
y(x)
0.8
21
31.30
2.5
36
38.95
3.8
53
44.80
5.3
48
51.56
6.8
61
58.31
8.2
78
64.61
10.3
77
74.07
12.6
75
84.42
14.7
99
93.88
18.3
104
110.09
16