“Analisi di dati categoriali” Corso di Laurea in Sociologia Facoltà di Sociologia Università Milano-Bicocca Ottobre 2009 Simone Sarti 1 Gli odds ratio Le relazioni tra variabili possono essere analizzate in termini probabilistici. L’odds ratio è una misura dell’associazione tra due variabili. L’odds è un rapporto di probabilità. L’odds ratio è un rapporto di odds. 2 Odds Un odds è un rapporto di frequenze tra osservazioni che appartengono ad una data categoria e osservazioni che non appartengono ad una data categoria. Esempio: distribuzione di freq. in base alla variabile “diploma di laurea” Freq. Laureati 471 Non laureati 685 Tot. 1156 Odd= 471/685 = 0,688 (in decimali) Prob.= 471/1156 = 0,407 = 40,7% Le probabilità variano da 0 a 1 Gli odds variano da 0 a +inf. 3 Gli odds assumono valori inferiori ad 1 se la probabilità che si verifichi un dato evento è inferiore alla probabilità che non si verifichi Gli odds assumono valori superiori ad 1 se la probabilità che si verifichi un dato evento è superiore alla probabilità che non si verifichi Gli odds assumono valore 1 se la probabilità che un evento si verifichi è pari alla probabilità che non si verifichi. 4 La relazione tra odds e probabilità è la seguente: pi Odds i 1 pi 5 Odds e Odds ratio SEX * EDUC Crosstabulation EDUC SEX male female Total Count % within SEX Count % within SEX Count % within SEX coll 237 46.7% 234 36.1% 471 40.7% les s 271 53.3% 414 63.9% 685 59.3% Total 508 100.0% 648 100.0% 1156 100.0% 6 Odds marginali L’odds marginale di aver conseguito un’istruzione superiore piuttosto che inferiore è pari a 471/685=0.688 L’odds marginale inverso sarà 1/0.688=1.454. La propensione marginale che qualcuno abbia un livello di istruzione inferiore è circa 1.5 volte superiore rispetto a quella di avere un livello di istruzione superiore. 7 Odds condizionali La distribuzione condizionale del livello di istruzione mostra che per gli uomini gli odds di raggiungere un livello di istruzione superiore piuttosto che inferiore sono 0.875 =237/271. Per le donne i corrispondenti odds si attestano a 0.565 =234/414 8 Odds ratio Il modo in cui i due odds condizionali differiscono l’uno dall’altro può essere espresso dal loro rapporto: 0.875/0.565=(237/271)/(234/414)=1.547 L’odds ratio indica il rapporto fra il prodotto delle celle della diagonale principale e il prodotto delle celle della diagonale secondaria. L’odds di raggiungere un livello di istruzione superiore piuttosto che inferiore è 1.5 volte più favorevole per i maschi che le donne. 9 Y X a b c d Relazione tra probabilità, odds ed odds ratio e in una tavola due X due: pa a pa Odds1 1 b pb 1 pa Oddsratio 1 1 2 a 2 1 ad b 2 c bc d 10 Age -sex- education Hagenaars model SEX * EDUC * AGE Crosstabulation EDUC AGE 16-34 SEX male female Total 35-57 SEX male female Total 58-91 SEX male female Total Count % within SEX Count % within SEX Count % within SEX Count % within SEX Count % within SEX Count % within SEX Count % within SEX Count % within SEX Count % within SEX coll 100 54.6% 91 47.4% 191 50.9% 92 48.9% 78 35.5% 170 41.7% 45 32.8% 65 27.5% 110 29.5% les s 83 45.4% 101 52.6% 184 49.1% 96 51.1% 142 64.5% 238 58.3% 92 67.2% 171 72.5% 263 70.5% Total 183 100.0% 192 100.0% 375 100.0% 188 100.0% 220 100.0% 408 100.0% 137 100.0% 236 100.0% 373 100.0% 11 Odds ratio di secondo ordine Calcoliamo gli odds ratio condizionali per ciascun gruppo di età Per il gruppo più giovane è pari a 1.337 (100/83)/(91/101) Per il gruppo di mezzo è 1.745 Per il gruppo più anziano è 1.287 Il modo in cui questi tre odds ratio condizionali differiscono uno dall’altro può essere espresso dal odds ratio di secondo ordine che è ottenuto dal rapporto di odds ratio di primo ordine. L’odds ratio di secondo ordine esprime in che misura l’associazione tra due variabili varia in relazione alle categorie di una terza variabile. 12 Confrontiamo gli odds ratio condizionali dei giovani rispetto ai soggetti in età centrale e otteniamo 0.766=(1.337/1.745) Compariamo i giovani con gli anziani 1.039=(1.337/.1287) Ed infine l’età di mezzo con gli anziani 1.356=(1.745/1.287). Gli odds ratio condizionali ci indicano che in tutti i tre gruppi le probabilità di conseguire un alto livello di istruzione sono più sfavorevoli per le donne rispetto agli uomini. In più la discrepanza tra le opportunità di istruzione tra uomini e donne è massima nel gruppo di soggetti in età centrale 13 ODDS PARZIALI Gli odds parziali sono medie di odds condizionali, dove la media geometrica è usata come misura di tendenza centrale Partial odds “high/low educ” tab.2.1 = 0,875 0,565 0,703 Tale valore non è identico a 0.688 ottenuto dagli odds marginali corrispondenti. 14 Odds ratios parziali I Gli odds ratio parziali sono definiti come una media geometrica dei corrispondenti odds ratio condizionali. Partial odds ratio “sex by educ” tab.2.2 = 3 1,337 1,745 1,287 1,443 Tale valore non è identico a 1.547 ottenuto dal corrispondente odds ratio marginale. 15 Il problema dell’asimmetria Quando interpretiamo la forza degli odds e degli odds ratio dobbiamo ricordare che i valori degli odds sono asimmetricamente situati attorno ad 1, che è il valore dell’assenza di differenza. Il limite massimo negativo è 0 mentre il limite massimo positivo è +infinito. L’asimmetria scompare quando lavoriamo con i logaritmi naturali degli odds e degli odds ratios. Il limite negativo diventa -infinito, quello positivo + infinito Il logaritmo naturale dell’odds riceve la denominazione di logit. 16 i LOGIT ln 1 i LOGIT ln ODDS 17 Il problema dell’asimmetria y y Effetto positivo Effetto positivo Assenza di effetto Assenza 1 Effetto negativo 0 logit(π) 0 0,5 1 Effetto negativo logit (-∞,+∞) odds (0,+∞) y=logit(π) y= π /(1- π) 0<π <1 0<π<1 18 π Effetti assoluti ed effetti relativi Le differenze percentuali (o di probabilità) danno una misura assoluta della relazione tra modalità di due variabili, mentre gli odds ratio danno una misura relativa. Ciò significa che anche in presenza di odds ratio elevati possiamo avere effetti, in termini assoluti, sostanzialmente deboli. 19 Effetti assoluti ed effetti relativi: esempio % condizionate Genere e soddisfazione per la democrazia No Si tot M 104 6 110 F 405 35 440 tot 509 41 550 No Si tot M 0,945 0,055 1 F 0,920 0,080 1 tot 0,925 0,075 1 dyx= + 0,025 1 2 a d 104 35 1,5 b c 405 6 20 21 LOGICA TRIVARIATA CONTROLLO PER UNA TERZA VARIABILE 22 Logica trivariata Quando ad una relazione bivariata aggiungiamo una terza variabile operiamo un’analisi trivariata. 23 Perché considerare una terza variabile? Quando consideriamo un’ipotesi causale tra due fenomeni ed empiricamente corroboriamo l’esistenza di una relazione, non possiamo tuttavia escludere che i due fenomeni non siano dovuti ad un terzo che non abbiamo preso in considerazione. 24 La causa di un fenomeno in senso generico può essere definita come la somma totale delle condizioni , la totalità delle contingenze alla cui realizzazione segue invariabilmente il conseguente. (Campelli 1999) Tuttavia, “Nulla può meglio mostrare l’assenza di qualsiasi fondamento scientifico per la distinzione fra la causa d’un fenomeno e le sue condizioni della maniera capricciosa in cui scegliamo fra le condizioni quella che preferiamo chiamare causa “ (J.S.Mill) 25 Cause ed effetti ? 1.Il numero di pompieri impegnati nello spegnere un incendio è correlato con la stima finale dei danni provocati dall’incendio stesso. 2.I bambini nelle cui case vi sono più finestre mostrano migliori rendimenti scolastici. 26 Presenza di un effetto SPURIO, cioè di una terza variabile, antecedente alle due, che è la “vera” causa della relazione! 1. Considerando le dimensioni dell’incendio, la relazione tra numero di vigili del fuoco e stima dei danni sparisce. 2.Considerando la ricchezza patrimoniale dei genitori, la relazione tra numero di finestre e rendimento scolastico sparisce. 27 Posizione delle variabili Una volta ipotizzata una relazione tra due variabili X “indipendente” e Y “dipendente”, l’altra o le altre variabili considerate possono assumere quattro posizioni: variabili antecedenti, variabili intervenienti, variabili susseguenti, variabili concomitanti. 28 Variabili antecedenti Quelle variabili che nell’ordine causale precedono sia X che Y. A X Y 29 LOGICA degli effetti EFFETTO SPURIO: X Y l’inserimento di una variabile di controllo Z, annulla la relazione tra X e Y. Z X Y 30 LOGICA degli effetti EFFETTO SOPPRESSO: X Y l’inserimento di una variabile di controllo Z, rende palese la relazione tra X e Y. Z X Y 31 SCOMPOSIZIONE degli effetti Variabili categoriali e differenze di probabilità 32 Esempio 1 ESEMPIO 1. tra variabili dicotomiche. Incrocio tra titolo di studio e fiducia nel sistema giudiziario … X Y X Titolo di studio (L – H) Y Fiducia nel sistema giudiziario (S – N) 33 Esempio 1 … controllato per la variabile antecedente Z Z X Z Y Coorte di nascita (G – A) 34 Esempio 1 Effetto bivariato XY= Effetto causale netto + Effetto spurio = dyx dyx.z + d(yx)z Z d(yx)z dyx X Y X Y dyx.z 35 Esempio 1 Tavola di contingenza educ * fidu fidu educ 1 Medio-bas sa 2 Alta Totale Conteggio % entro educ Conteggio % entro educ Conteggio % entro educ 1 Si 231 43.6% 90 58.1% 321 46.9% 2 No 299 56.4% 65 41.9% 364 53.1% Totale 530 100.0% 155 100.0% 685 100.0% Fonte: EB 60.1 Italia (30 e più anni) 36 Esempio 1 dyx Effetto bivariato: educaz. e fiducia giustizia In un incrocio dicotomico l’effetto bivariato è misurabile attraverso una semplice differenza di probabilità (equivale al coefficiente di regressione quando le variabili sono 0 e 1) . dyx equivale alla differenza di probabilità sull’avere fiducia nella giustizia dato l’avere un titolo di studio alto piuttosto che basso. 37 Esempio 1 dyx Effetto bivariato: educaz. e fiducia giustizia Pr (Y=1 | X=2) – Pr (Y=1 | X=1) Equivale alla probabilità che la variabile Y assuma valore y, dato che la variabile X assume valore x: Pr (Y=y | X=x) La categoria di riferimento è la “SI” (Y=1). dyx = 0,581 - 0,436 = 0,145 38 Esempio 1 dyx = 0,581 - 0,436 = 0,145 La relazione tra possesso della laurea (piuttosto che un titolo di studio inferiore) e fiducia nella giustizia (“si” piuttosto che “no”) è positiva. 39 Esempio 1 GIOVANI Z=1 Tavola di contingenza educ * fidua fidu educ 1 Medio-bas sa 2 Alta Totale Conteggio % entro educ Conteggio % entro educ Conteggio % entro educ 1 Si 119 42.5% 64 59.3% 183 47.2% 2 No 161 57.5% 44 40.7% 205 52.8% Totale 280 100.0% 108 100.0% 388 100.0% 2 No 138 55.2% 21 44.7% 159 53.5% Totale 250 100.0% 47 100.0% 297 100.0% a. eta = 1 Giovani ANZIANI Z=2 Tavola di contingenza educ * fidua fidu educ 1 Medio-bas sa 2 Alta Totale Conteggio % entro educ Conteggio % entro educ Conteggio % entro educ 1 Si 112 44.8% 26 55.3% 138 46.5% a. eta = 2 Anziani 40 Esempio 1 Effetti condizionati di Z Considerando Z, troviamo diversi effetti di X su Y. dyx|z=1 = 0,593 -0,425 = 0,168 dyx|z=2 = 0,553 -0,448 = 0,105 41 Esempio 1 Effetto condizionato complessivo di Z Considerando che le numerosità in Z tra giovani ed anziani sono diverse, occorre ponderare gli effetti condizionati. Giovani= 388/685 = 0,567 quota di giovani (qg) Anziani= 297/685 = 0,433 quota di anziani (1 - qg) dyx.z = (0,168*0,567) + (0,105*0,433) = 0,141 42 Esempio 1 Effetto bivariato = Effetto causale + Effetto spurio dyx = dyx.z + d(yx)z d(yx)z Effetto spurio d(yx)z =dyx – dyx.z = 0,145 – (0,141) = 0,004 43 Esempio 1 L’effetto della variabile Z è sostanzialmente nullo, ossia la relazione tra titolo di studio e fiducia nella giustizia permane immutata anche a parità di fascia d’età. Non c’è effetto SPURIO. Z ~0 ~0 X + Y 44 45 L’effetto di interazione 46 L’effetto di interazione Quando l’effetto causale esercitato dalla variabile indipendente X sulla variabile indipendente Y si manifesta in modi diversi a seconda del valore assunto dalla variabile di controllo Z. Z X Y 47 Pr (Y=0 | X=1) – Pr (Y=0 | X=0) Y=0 Y=1 X=0 X=1 100 100 100 300 Z=0 Z=1 Y=0 Y=1 X=0 X=1 dyx= - 0,25 10 90 Y=0 Y=1 90 50 dyx|z=0= +0,54 X=0 90 X=1 10 10 250 dyx|z=1= -0,86 48 Y Effetto di interazione di Z (dicotomica) su X e Y (cardinali) β>0 X Z=0 Z=1 Y Y βz=0>0 X βz=1<0 X 49 Esempi di effetti di interazione (titolo*età) 50 51 SCOMPOSIZIONE degli effetti Se le variabili sono dicotomiche ed attribuiamo i valori 0 e 1 alle modalità di ciascuna, la relazione tra le due può essere misurata con il coefficiente di correlazione di Pearson (r), che in una tavola 2x2 è equivalente al V di Cramer. 52 Ipotizziamo che la variabile Z influenzi la relazione tra Y e X. Come misurare l’effetto di X su Y al netto di Z ? Z X rYX Y X rYX .Z Y 53 Correlazioni tra le variabili: SYX rYX SY S X rXZ S XZ SZ S X SYZ rYZ S Z SY Matrice di correlazione, r.. osservati Z X X rYX .Z Y Z X 1 Z .453 Y .322 .596 Y .453 .322 1 .596 1 54 E’ possibile calcolare il coefficiente di correlazione parziale tra X e Y “tenendo costante” Z: rYX .Z rYX rXZ rYZ 1 R 1 R 2 XZ 2 YZ NB: rxy.z non tiene conto degli effetti di interazione ! 55 Coefficiente di correlazione parziale tra X e Y “tenendo costante” Z: Correlazione bivariata Correlazione di Z su X e Y Misura quanto Z spiega di X eY rYX .Z rYX rXZ rYZ 1 R 1 R 2 XZ Residui di Z-X e Z-Y 2 YZ Più la Z spiega X eY, più grande è il denominatore 56 E’ possibile calcolare il coefficiente di correlazione parziale tra X e Y “tenendo costante” Z: rYX .Z rYX rXZ rYZ 1 R 1 R 2 XZ Matrice di correlazione, r.. osservati Z X 2 YZ 0,073 rYX .Z rYX 0,322 rYX .Z 0,073 X Y Z X 1 Z .453 Y .322 .596 Y .453 .322 1 .596 1 57 La correlazione tra X e Y tenendo sotto controllo Z diventa molto piccola. Z X rYX .Z Y rYX 0,322 C’è effetto spurio! rYX .Z 0,073 Effetto bivariato = Effetto causale + Effetto spurio ryx = ryx.z + r(yx)z 58 Parziale effetto spurio rYX 0,13 rYZ 0,53 rXZ 0,23 rYX .Z 0,01 Parziale effetto soppresso rYX 0,12 rYZ 0,19 rXZ 0,82 rYX .Z 0,49 Effetto di Z quasi nullo rYX 0,44 rYZ 0,18 rXZ 0,15 rYX .Z 0,42 59 Correlazioni fra tre variabili (dicotomizzate 0/1) Correlations eta ascoli Anni di scolarità reddito Reddito mens ile (euro) Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N reddito Reddito ascoli Anni mens ile eta di s colarità (euro) 1 -.247** .168** . .000 .000 1414 1414 1414 -.247** 1 .211** .000 . .000 1414 1414 1414 .168** .211** 1 .000 .000 . 1414 1414 1414 **. Correlation is s ignificant at the 0.01 level (2-tailed). Calcolare la correlazione parziale tra anni di scolarità e reddito 60