Regressione lineare Metodi Quantitativi per Economia, Finanza e Management Esercitazione n°10 Regressione lineare - Modello Modello di regressione lineare Y 0 1 X 1 2 X 2 ... pXp • si vuole modellare una relazione di tipo lineare tra una variabile dipendente e un insieme di regressori che si ritiene influenzino la variabile dipendente • si vuole approssimare la nuvola dei punti osservati (ogni punto rappresenta un intervistato) con una retta • tra tutte le infinite rette possibili si stima la retta che fornisce l’interpolazione migliore • stimare la migliore retta di regressione significa calcolare una stima dei coefficienti associati ai regressori che entrano nel modello (tutto ciò con il vincolo di minimizzare gli errori di approssimazione) Regressione lineare – Selezione regressori Nella scelta dei regressori bisogna cercare di mediare tra due esigenze: 1) maggior numero di variabili per migliorare il fit 2) parsimonia per rendere il modello più robusto e interpretabile Scelta dei regressori che entrano nel modello metodo di selezione automatica (PROC REG con opzione STEPWISE) Regressione lineare – Regressione stepwise Procedura sequenziale che valuta l’ingresso/uscita dal modello dei singoli regressori (in base a indicatori legati all’R-quadro) • • • • • Step 0si considerano tutti i potenziali regressori Step 1entra il primo regressore. Ossia, viene stimato un modello contenente un unico regressore tra quelli proposti (il regressore che spiega meglio la variabilità della variabile dipendente) Step 2si valutano tutti i possibili modelli contenenti il regressore individuato allo step 1 e uno dei rimanenti regressori, e si tiene il modello con il fit migliore (ossia entra il regressore che dà il contributo maggiore alla spiegazione della variabilità) Step 3come nello step 2, entra il regressore che dà il contributo maggiore alla spiegazione della variabilità Step 4si valuta l’uscita di ognuno dei regressori presenti (in base alla minor perdita di capacità esplicativa del modello) e l’ingresso di un nuovo regressore (in base al maggior incremento nella capacità esplicativa del modello) La procedura continua con l’ingresso/uscita dei regressori fino a quando non si può più migliorare la capacità esplicativa del modello. PROC REG – Sintassi Modello di regressione lineare – selezione automatica dei regressori (a partire da p regressori) proc reg data=dataset; model variabile_dipendente= regressore_1 ... regressore_p /option(s); run; OPTIONS: • stb calcola i coefficienti standardizzati • selection=stepwise applica la procedura stepwise per la selezione dei regressori • slentry=… livello di significatività richiesto per il test F parziale affinchè il singolo regressore possa entrare nel modello • slstay=… livello di significatività richiesto per il test F parziale affinchè il singolo regressore non sia rimosso dal modello PROC REG – Esempio Variabile dipendente e regressori Nome variabile soddisfazione_globale AccessoWeb_2 AltriOperatori_2 assistenza_2 Autoricarica_2 CambioTariffa_2 ChiamateTuoOperatore_2 ChiarezzaTariffe_2 ComodatoUso_2 copertura_2 CostoMMS_2 CostoSMS_2 diffusione_2 DurataMinContratto_2 immagine_2 MMSTuoOperatore_2 NavigazioneWeb_2 NoScattoRisp_2 NumeriFissi_2 Promozioni_2 SMSTuoOperatore_2 vsPochiNumeri_2 Livello di Livello di Livello di Livello di Livello di Descrizione variabile soddisfazione globale relativo al telefono cellulare soddisfazione relativo al costo di accesso a internet soddisfazione relativo ai costi verso altri operatori soddisfazione relativo al servizio di assistenza soddisfazione relativo alla possibilità di autoricarica Livello di soddisfazione relativo alla facilità di cambiamento della tariffa Livello di soddisfazione relativo alla possibilità di effettuare chiamate a costi inferiori verso numeri dello stesso operatore Livello di soddisfazione relativo alla chiarezza espositiva delle tariffe Livello di soddisfazione relativo alla possibilità di rivecere un cellulare in comodato d'uso Livello di soddisfazione relativo alla copertura della rete Livello di soddisfazione relativo al costo degli MMS Livello di soddisfazione relativo al costo degli SMS Livello di soddisfazione relativo alla diffusione Livello di soddisfazione relativo alla presenza di una durata minima del contratto Livello di soddisfazione relativo all'immagine Livello di soddisfazione relativo alla possibilità inviare MMS a costi inferiori verso numeri dello stesso operatore Livello di soddisfazione relativo al costo di navigazione in internet Livello di soddisfazione relativo all'assenza di scatto alla risposta Livello di soddisfazione relativo alle agevolazioni verso numeri fissi Livello di soddisfazione relativo alla possibilità di attivare promozioni sulle tariffe Livello di soddisfazione relativo alla possibilità inviare SMS a costi inferiori verso numeri dello stesso operatore Livello di soddisfazione relativo alle agevolazioni verso uno o più numeri di telefono PROC REG – Esempio Modello di regressione lineare variabile dipendente= SODDISFAZIONE_GLOBALE, regressori= 21 variabili di soddisfazione (livello di soddisfazione relativo a tariffe, promozioni, ecc.) VARIABILE DIPENDENTE proc reg data= corso.telefonia; model soddisfazione_globale= REGRESSORI CambioTariffa_2 ChiarezzaTariffe_2 … /stb selection=stepwise criterio di selezione automatica dei regressori slentry=0.05 slstay=0.05; run; opzione per ottenere i coefficienti standardizzati soglia di significatività scelta per il test F affinchè un regressore possa entrare nel modello soglia di significatività scelta per il test F affinchè un regressore non sia rimosso dal modello (valore (valore di default=0.15) di default=0.15) Regressione lineare – Valutazione modello Valutazione della bontà del modello (output della PROC REG) • Test t per valutare la significatività dei singoli coefficienti (se p-value del test piccolo allora si rifiuta l’ipotesi di coefficiente nullo il regressore corrispondente è rilevante per la spiegazione della variabile dipendente) • Test F per valutare la significatività congiunta dei coefficienti (se p-value piccolo rifiuto l’ipotesi che i coefficienti siano tutti nulli il modello ha buona capacità esplicativa) • Coefficiente di determinazione R-quadro per valutare la capacità esplicativa del modello capacità di rappresentare la relazione tra la variabile dipendente e i regressori (varia tra 0 e 1, quanto più si avvicina ad 1 tanto migliore è il modello) PROC REG – Output attenzione!! per stimare il modello SAS non utilizza i record con valori mancanti Number of Observations Read Number of Observations Used Number of Observations with Missing Values Root MSE Dependent Mean Coeff Var 236 235 1 0.88177 6.49362 13.57906 R-Square Adj R-Sq 0.5941 0.5834 il modello è abbastanza buono (spiega il 60% della variabilità della variabile dipendente) PROC REG – Output il modello ha buona capacità esplicativa, il p-value associato al test F è < 0.05 (livello di significatività) Source Model Error Corrected Total Analysis of Variance DF Sum of Mean F Value Pr > F Squares Square 6 259.46529 43.2442 55.62 <.0001 228 177.27513 0.77752 234 436.74043 PROC REG – Output tutti i regressori sono rilevanti per la spiegazione della variabile dipendente; il p-value associato al test t è < 0.05 (livello di significatività) Variable Intercept CambioTariffa_2 ComodatoUso_2 AltriOperatori_2 assistenza_2 ChiamateTuoOperatore_2 Promozioni_2 Parameter Estimates DF Parameter Standar t Value d Estimate Error 1 1 1 1 1 1 1 1.70973 0.11876 0.07698 0.09132 0.10482 0.21579 0.17767 0.28331 0.03154 0.02577 0.03212 0.03476 0.0343 0.03695 Pr > |t| Standardi zed Estimate 6.03 <.0001 3.77 0.0002 2.99 0.0031 2.84 0.0049 3.02 0.0029 6.29 <.0001 4.81 <.0001 0 0.19327 0.13114 0.13557 0.14139 0.30641 0.2571 Regressione lineare – Interpretazione coefficienti Il coefficiente beta (output della PROC REG) associato ad uno specifico regressore X ha il seguente significato Y 0 1 X 1 2 X 2 ... pXp • se X aumenta/diminuisce di una unità (e tutti gli altri regressori rimangono invariati) allora 1) se il coefficiente è positivo Y aumenta/diminuisce di una percentuale pari al valore del coefficiente 2) se il coefficiente è negativo Y diminuisce/aumenta di una percentuale pari al valore del coefficiente • in genere si considerano i coefficienti standardizzati (opzione STB della PROC REG) che non sono influenzati dall’unità di misura delle variabili PROC REG – Output se la variabile CambioTariffa_2 aumenta (diminuisce) di una unità allora la soddisfazione globale aumenta (diminuisce) del 19% N.B.:attenzione al segno!! Variable Intercept CambioTariffa_2 ComodatoUso_2 AltriOperatori_2 assistenza_2 ChiamateTuoOperatore_2 Promozioni_2 Parameter Estimates DF Parameter Standar t Value d Estimate Error 1 1 1 1 1 1 1 1.70973 0.11876 0.07698 0.09132 0.10482 0.21579 0.17767 0.28331 0.03154 0.02577 0.03212 0.03476 0.0343 0.03695 Pr > |t| Standardi zed Estimate 6.03 <.0001 3.77 0.0002 2.99 0.0031 2.84 0.0049 3.02 0.0029 6.29 <.0001 4.81 <.0001 0 0.19327 0.13114 0.13557 0.14139 0.30641 0.2571 Regressione lineare – Variabili qualitative nominali Considerazioni da fare prima di stimare il modello • Non si possono inserire variabili qualitative nominali tra i regressori • Per considerare questo tipo di variabili all’interno del modello bisogna costruire delle variabili dummy (dicotomiche (0-1)) che identificano le modalità della variabile nominale originaria; • Le variabili dummy saranno utilizzate come regressori) Costruzione variabili dummy esempio Es. Si vuole considerare tra i regressori la variabile qualitativa nominale “Area” che identifica l’area di residenza degli intervistati N° questionario 1 2 3 4 5 6 7 8 9 10 AREA nord nord sud nord centro nord centro sud nord centro La variabile “Area” assume tre modalità (nord-centro-sud) si costruiscono due variabili dummy Costruzione variabili dummy esempio Le variabili dummy da costruire sono due (la terza sarebbe ridondantepuò essere ottenuta come combinazione delle altre due) • Area_nordvale 1 se l’intervistato è residente al nord e 0 in tutti gli altri casi • Area_centrovale 1 se l’intervistato è residente al centro e 0 in tutti gli altri casi Costruzione variabili dummy esempio N° questionario 1 2 3 4 5 6 7 8 9 10 AREA nord nord sud nord centro nord centro sud nord centro AREA_NORD AREA_CENTRO 1 0 1 0 0 0 1 0 0 1 1 0 0 1 0 0 1 0 0 1 VARIABILE ORIGINARIA (non entra nel modello) VARIABILI DUMMY (entrano nel modello) Costruzione variabili dummy esempio Nella PROC REG si inseriscono le due variabili dummy (ma non la variabile originaria!) nella lista dei regressorii relativi coefficienti rappresentano l’effetto della singola modalità (nord/centro) della variabile “Area”. proc reg data= … ; model Y= X1 X2 … area_nord area_centro /stb selection= stepwise; run; PROC REG – Riepilogo Per stimare un modello di regressione lineare 1. individuare la variabile dipendente (=il fenomeno da analizzare) 2. individuare l’insieme dei potenziali regressori (eventualmente tutte le variabili nel dataset) 3. se tra i regressori sono presenti variabili qualitative nominali costruire variabili dummy 4. far girare la PROC REG con il metodo stepwise e verificare la bontà del modello (R-quadro, TEST F e significatività dei coefficienti (test t)) 5. Interpretare i coefficienti Orari di ricevimento Gennaio-Febbraio 2010 Lunedì 11 gennaio dalle 14.30 alle 15.30 Lunedì 25 gennaio dalle 14.30 alle 15.30 Lunedì 8 febbraio dalle 14.30 alle 15.30