Regressione logistica
Metodi Quantitativi per Economia,
Finanza e Management
Esercitazione n°10
Regressione logistica - Modello
Modello di regressione logistica
• si vuole modellare la relazione tra una variabile
dipendente dicotomica (0-1) e un insieme di regressori
che si ritiene influenzino la variabile dipendente
• la variabile dicotomica rappresenta presenza/assenza di
un fenomeno oppure successo/fallimento
• l’obiettivo è stimare l’equazione
i
logit ( i )  log(
)    1 xi1   2 xi 2  ...   k xik
1 i
dove π:= Pr(Y=1 l X) è la probabilità che il fenomeno si
verifichi
PROC LOGISTIC – Sintassi
Modello di regressione logistica – k regressori
ordina la variabile dipendente
specificati a priori
proc logistic data= dataset descending;
class regressore_1…regressore_m /param= glm;
model variabile dipendente=
regressore_1
elencare
.
solo i
.
regressori
nominali
.
automaticamente crea variabili
regressore_k
dummy per i regressori nominali
/option(s);
utilizzando il metodo “glm”
run;
OPTIONS:
• stb calcola i coefficienti standardizzati
• selection=stepwise applica la procedura stepwise per la selezione
dei regressori
Regressione logistica – Valutazione
modello
Valutazione della bontà del modello (output della PROC LOGISTIC)
•
Wald Chi_square test  OK p-value con valori piccoli
 equivalente al test t nella regressione lineare (valuta
la significatività dei singoli coefficienti = la rilevanza
dei corrispondenti regressori nella spiegazione della
variabile dipendente)
•
Likelihood ratio test/score test/Wald test  OK p-value con valori
piccoli
 equivalenti al test F nella regressione lineare (valuta
la capacità esplicativa del modello)
•
Percentuale di Concordant  valuta la capacità del modello di
stimare la probabilità che il fenomeno si verifichi (quanto più la
percentuale è alta tanto migliore è il modello)
Regressione logistica – Passi da fare
1) Individuare la variabile oggetto di analisi (variabile
dipendente dicotomica (0/1)) e i potenziali regressori
2) Se si vogliono utilizzare variabili qualitative nominali come
regressori NON occorre costruire variabili dummy perché
la procedura PROC LOGISTIC di SAS lo fa
automaticamente elencando nello statment di CLASS le
variabili nominali e impostando il metodo GLM
3) Stimare un modello di regressione logistica utilizzando il
metodo di selezione automatica STEPWISE per
selezionare le variabili (PROC LOGISTIC con opzione
stepwise)
Regressione logistica – Passi da fare
4) Valutare:
I. la bontà del modello (percentuale di Concordant)
II. la significatività congiunta dei coefficienti (Likelihood
ratio test/Score test/Wald test )
III. la significatività dei singoli coefficienti stimati (Wald
Chi-square test)
5) Valutare la presenza di multicollinearità tra i regressori
(PROC CORR per analizzare la matrice di correlazione
tra i regressori che entrano nel modello)
Regressione logistica – Passi da fare
6) In presenza di 2 o più regressori fortemente correlati
escludere il/i regressori meno correlati con la variabile
dipendente (valutare il coefficiente di correlazione lineare
(PROC CORR) tra la variabile dipendente e tutti i
potenziali regressori)
7) Stimare un nuovo modello di regressione con i regressori
scelti al punto (4) esclusi quelli scartati al punto (6)
8) Interpretare i coefficienti e analizzare i segni
Regressione logistica – Esempio
DATA SET: TELEFONIA
VARIABILE DIPENDENTE:
0: non utilizza gli MMS
1: utilizza gli MMS
Obiettivo: prevedere l’utilizzo del servizio MMS a partire da
un insieme di variabili (continue, discrete, dicotomiche).
Sintassi
ordina la variabile dipendente
proc logistic data= corso.telefonia_1 descending;
class marca sesso sistemazione tecnologia/param = glm;
creazione dummy
model uso_mms= marca sesso sistemazione tecnologia durata_chiamate_e
durata_chiamate_r email_g email_h eta fisso_g fisso_h
variabile dipendente imessaging_g imessaging_h importanza num_chiamate_e
num_chiamate_r num_contatti perc_altri_ope
perc_cell_mattino perc_cell_notte perc_cell_pome
perc_cell_sera perc_comunica_mattino
perc_comunica_notte perc_comunica_pome
perc_comunica_sera perc_estero perc_fisso perc_ope
ricarica_importo dolby dvd dvx email fisso imessaging
lettore_mp3 macchina_foto reddito
/selection=stepwise stb;
run;
metodo di selezione stepwise
e coeff. standardizzati
Regressione Logistica
Il metodo di selezione automatico stepwise seleziona le seguenti
variabili:
Var qualitativa
Var quantitative
Multicollinearità
Verificare la presenza di multicollinearità tra i regressori ed
eventualmente eliminarne alcuni. Se il coeff. di correlazione tra due o
più regressori è alto (>0.5) tenere nel modello il regressore più
correlato con la variabile dipendente o quello più importante in termini
di business.
proc corr data= corso.telefonia_1 ;
var
importanza
num_contatti
perc_altri_ope
perc_comunica_sera ;
run;
Test statistici (1/2)
Test per valutare la significatività congiunta dei coefficienti (“Testing
Global Null Hypothesis: BETA=0”)
P-VALUE
ipotesi nulla
H 0 :   ...   p  0
Se il p-value piccolo (rifiuto H0), quindi il modello ha buona capacità
esplicativa.
N.B. Equivalenti al Test F della regressione lineare
Test statistici (2/2)
Test per valutare la significatività dei singoli coefficienti
ipotesi nulla
H0 :  j  0
P-VALUE
Il coefficiente è significativo (significativamente diverso da 0) se il
corrispondente p-value è piccolo (ossia, rifiuto l’ipotesi di coefficiente
nullo)  il regressore a cui il coefficiente è associato è rilevante per la
spiegazione del fenomeno
N.B. Equivalente al Test t della regressione lineare
Interpretazione coefficienti
Si guarda il
segno del
coeff.
Variabili qualitative:
• SESSO F vs. M: -1.3325
Le femmine usano meno il servizio MMS dei maschi.
N.B. per le variabili qualitative i parametri stimati sono relativi alle dummy e forniscono la differenza nell’effetto
di ogni livello confrontato con l’ultimo.
Variabili quantitative:
• NUM_CONTATTI (# persone contattate più frequentemente): 0.2092
Soggetti con community più estese mandano più MMS
segno positivo
• PERC_COMUNICA_SERA (% comunicazioni che avvengono di sera): -0.0229
Chi comunica prevalentemente la sera manda meno MMS segno negativo
Segno dei coefficienti
Il segno dei coefficienti deve rispettare la relazione tra il regressore e la
variabile dipendente. Come controllare?
+ : relazione positiva
- : relazione negativa
Variabili quantitative
proc corr data= corso.telefonia_1 ;
var uso_mms;
with importanza num_contatti
perc_altri_ope perc_comunica_sera ;
run;
Variabili qualitative
proc freq
data=corso.telefonia_1;
table sesso*uso_mms;
run;
Importanza dei coefficienti
In presenza di regressori quantitativi, i coefficienti standardizzati possono
essere utili per valutare l’importanza relativa delle variabili, capire quali
sono quelle che pesano di più nel modello.
Si guarda il
valore assoluto
del coeff.
standardizzato
La variabile num_contatti è quella che pesa di più nel modello e
perc_comunica_sera è quella meno importante.
Odds Ratio stimato
Variabili qualitative:
• SESSO F vs. M: 0.26
L’odds previsto dell’utilizzo di MMS per le femmine è circa il 75% più
basso che per i maschi.
Variabili quantitative:
• NUM_CONTATTI (# persone contattate più frequentemente): 1.233
L’odds previsto dell’utilizzo di MMS per soggetti con community più
estese è il 23% più alto di quelli con community meno estese.
Bontà del modello
(Misure di connessione tra valore previsto e valore osservato )
Chiameremo PAIRS il numero di coppie di osservazioni (i,h con i≠h) che
in un caso hanno Y=1 e nell’altro Y=0.
La coppia di osservazioni (i,h con i≠h) per la quale Yi =1 e Yh =0 è:
– concordante se
– tied se
– discordante se
ˆi  
ˆh

ˆi  
ˆh

ˆi  
ˆh

Tanto maggiore è il numero dei CONCORDANT (e quindi tanto minore è
il numero dei DISCORDANT), tanto più il modello rappresenterà
adeguatamente il fenomeno indagato.