Metodi Quantitativi per Economia, Finanza e Management Lezione n°7 Statistica descrittiva bivariata Indaga la relazione tra due variabili misurate. Si distingue rispetto alla tipologia delle variabili indagate: • var. qualitative/quantitative discrete: tavole di contingenza (o a doppia entrata) • var. quantitative: analisi di correlazione lineare • una var. qualitativa e una quantitativa: confronto tra le medie Correlazione lineare Le misure di connessione possono essere applicate a variabili qualitative. Se si vuole misurare il grado di concordanza tra due variabili quantitative occorre utilizzare altri indici: – Covarianza Cov(X,Y) è un indice che assume valori positivi se vi è concordanza tra X e Y (a modalità elevate dell’una, corrispondono modalità elevate dell’altra); assume valori negativi nel caso di discordanza (a modalità elevate dell’una non corrispondono modalità elevate dell’altra). Nel caso di indipendenza statistica, la covarianza assumerà valore nullo. È un indice assoluto, ovvero segnala la presenza e la direzione di un legame tra due variabili, ma nulla si può dire sul grado del loro legame. Cov(X,Y)= Σ Σ (xi-μx) (yj- μy) p(xi,yj) Correlazione lineare • Covarianza tra due variabili: Cov(x,y) > 0 x e y tendono a muoversi nella stessa direzione Cov(x,y) < 0 x e y tendono a muoversi in direzioni opposte Cov(x,y) = 0 x e y no relazione lineare – Riguarda solo la forza della relazione, ma non implica un effetto causale Correlazione lineare – Coefficiente di correlazione lineare ρ(X,Y) è un indice relativo che ovvia al problema del precedente indice. Assume valori compresi tra -1 e 1. In particolare vale 1 se e solo se Y è funzione lineare di X (e viceversa) e in questo caso i punti corrispondenti alle osservazioni sono disposti su una retta con inclinazione positiva. Analogamente l’indice assume valore -1 nel caso in cui i punti siano disposti su una retta con inclinazione negativa. Assume valore nullo se tra le variabili non è presente alcun tipo di relazione lineare (indipendenti in correlazione). Correlazione lineare • Coefficiente di correlazione lineare ρ(X,Y) : Cov(X, Y) ρ Corr(X, Y) σ Xσ Y • ρ=0 • ρ>0 • ρ<0 non c’è relazione lineare tra X e Y relazione lineare positiva tra X e Y » quando X assume valori alti (bassi) allora anche Y probabilmente assume valori alti (bassi) » ρ = +1 => dipendenza lineare perfetta positiva relazione lineare negativa tra X e Y » quando X assume valori alti (bassi) allora Y probabilmente assume valori bassi (alti) » ρ = -1 => dipendenza lineare perfetta negativa Correlazione lineare • Senza unità di misura • Campo di variazione fra –1 e 1 • Quanto più è vicino a –1, tanto più è forte la relazione lineare negativa • Quanto più è vicino a 1, tanto più è forte la relazione lineare positiva • Quanto più è vicino a 0, tanto più è debole la relazione lineare Correlazione lineare Y Y Y X X r = -1 r = -0.6 Y r=0 Y Y r = +1 X X X r = +0.3 X r=0 Correlazione lineare Correlations Qualità degli ingredienti Genuinità Leggerezza Sapore/gusto Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N Qualità degli ingredienti 1 **. Correlation is s ignificant at the 0.01 level (2-tailed). Genuinità Leggerezza Sapore/gusto .629** .299** .232** .000 .000 .001 220 220 218 220 .629** 1 .468** .090 .000 .000 .181 220 220 218 220 .299** .468** 1 .030 .000 .000 .657 218 218 219 219 .232** .090 .030 1 .001 .181 .657 220 220 219 221 Statistica descrittiva bivariata Indaga la relazione tra due variabili misurate. Si distingue rispetto alla tipologia delle variabili indagate: • var. qualitative/quantitative discrete: tavole di contingenza (o a doppia entrata) • var. quantitative: analisi di correlazione lineare • una var. qualitativa e una quantitativa: confronto tra le medie Confronto tra le medie Per misurazione della connessione tra una variabile quantitativa Y e una qualitativa X, è possibile confrontare le distribuzioni condizionate di Y tramite le medie condizionate. Confronto tra le medie Se si vuole incrociare una variabile quantitativa con una variabile qualitativa, la loro relazione può essere descritta confrontando le medie della variabile numerica all’interno delle categorie definite dalla variabile misurata a livello nominale/ordinale. Rapidità Tipo cliente Media N Persone fisiche 7.8403 357 Aziende 8.5132 76 Totale 7.9584 433 Confronto tra le medie Un indice sintetico dell’intensità della relazione si basa sulla scomposizione della varianza per la variabile quantitativa Y, di cui viene studiata la dipendenza nei confronti della variabile categorica X. La variabilità totale di Y è SQTy=SQtra + SQnei dove • SQTy (somma dei quadrati tot) è la variabilità totale, • SQtra variabilità tra i gruppi (somma dei quadr. tra i gruppi) esprime quanta variabilità di Y può essere legata al variare delle categorie di X, • SQnei variabilità interna ai gruppi (somma dei quadr. nei gruppi) esprime la variabilità nell’andamento di Y indipendente da X. Confronto tra le medie E’ quindi possibile definire un indice relativo per misurare la dipendenza in media, come η2= SQtra /SQTy=1-(SQnei /SQTy) Per l’interpretazione del valore assunto da η2 si consideri che: • η2= 0 ⇒ indipendenza in media • η2> 0 ⇒ dipendenza in media • η2= 1 ⇒ massima dipendenza in media η2 è sempre compreso tra 0 e 1. Confronto tra le medie Report Measures of Association Produzione artigianale Età 18-25 26-35 36-50 Over 50 Total Mean 5.01 5.53 6.00 6.09 5.55 Eta N 78 55 41 47 221 Std. Deviation 2.224 2.609 2.098 2.320 2.352 Produzione artigianale * Età Eta Squared .191 .036 Modesta dipendenza in media della produzione artigianale dall’età In caso di indipendenza in media le medie dei diversi gruppi (medie condizionate ai diversi livelli della variabile qualitativa) saranno tutte uguali tra loro e quindi la variabilità tra i gruppi sarà nulla. Viceversa qualora ad ogni livello della variabile qualitativa sia associato un unico valore della variabile quantitativa, si parlerà di massima dipendenza in media e si avrà variabilità interna ai gruppi nulla. Per misurare l’intensità della dipendenza in media si può utilizzare l’indice η2. Test per lo studio dell’associazione tra variabili • Nella teoria dei test, il ricercatore fornisce ipotesi riguardo la distribuzione della popolazione; tali Hp sono parametriche se riguardano il valore di uno ò più parametri della popolazione conoscendone la distribuzione a meno dei parametri stessi; non parametriche se prescindono dalla conoscenza della distribuzione della popolazione. • Obiettivo dei test: come decidere se accettare o rifiutare un’ipotesi statistica alla luce di un risultato campionario. Esistono due ipotesi: H0 e H 1, di cui la prima è l’ipotesi nulla, la seconda l’ipotesi alternativa la quale rappresenta, di fatto, l’ipotesi che il ricercatore sta cercando di dimostrare. Test per lo studio dell’associazione tra variabili Cosa è un’ipotesi? • Un’ipotesi è una affermazione (assunzione) circa il parametro della popolazione: – media della popolazione Esempio: In questa città, il costo medio della bolletta mensile per il cellulare è μ = $42 L’ipotesi Nulla, H0 rappresenta l’ipotesi che deve essere verificata, l’Ipotesi Alternativa, H1 è generalmente l’ipotesi che il ricercatore stà cercando di dimostrare Test per lo studio dell’associazione tra variabili • Si può incorrere in due tipologie di errore: Possibili Risultati Verifica di Ipotesi Stato di Natura Decisione Non Rifiutare H0 Rifiutare H0 H0 Vera No errore Errore Primo Tipo H0 Falsa Errore Secondo Tipo No Errore Test per lo studio dell’associazione tra variabili • Errore di Primo Tipo – Rifiutare un’ipotesi nulla vera – Considerato un tipo di errore molto serio La probabilità dell’errore di primo tipo è • Chiamato livello si significatività del test • Fissato a priori dal ricercatore Test per lo studio dell’associazione tra variabili • Errore di Secondo Tipo – Non rifiutare un’ipotesi nulla falsa La probabilità dell’errore di secondo tipo è β Test per lo studio dell’associazione tra variabili Possibili Risultati Verifica di Ipotesi Stato di Natura Legenda: Risultato (Probabilità) Decisione H0 Vera Non Rifiutare H0 No errore (1 - ) Rifiutare H0 Errore Primo Tipo () H0 Falsa Errore Secondo Tipo (β) No Errore (1-β) Test per lo studio dell’associazione tra variabili Errore di primo tipo ed errore di secondo tipo non si posso verificare contemporanemente Errore di primo tipo può occorrere solo se H0 è vera Errore di secondo tipo può occorrere solo se H0 è falsa Se la probabilità dell’errore di primo tipo ( ) , allora la probabilità dell’errore di secondo tipo ( β ) Lettura di un test statistico (1) Esempio: H0: b1= b2 = ....=bk = 0 1) Ipotesi H1: bi = 0 2) Statistica test 3) p-value Statistica F Rappresenta la probabilità di commettere l’errore di prima specie. Può essere interpretato come la probabilità che H0 sia “vera” in base al valore osservato della statistica test Lettura di un test statistico (2) Il p-value: - è la probabilità che H0 sia “vera” in base al valore osservato della statistica test - è anche chiamato livello di significatività osservato - è il più piccolo valore di per il quale H0 può essere rifiutata Lettura di un test statistico (3) Regola di Decisione: confrontare il p-value con Se p-value piccolo ( < α ) RIFIUTO H0 Altrimenti ( >= α ) ACCETTO H0 Test χ² per l’indipendenza statistica Si considera la distribuzione χ², con un numero di gradi di libertà pari a (k-1)(h-1), dove k è il numero di righe e h il numero di colonne della tabella di contingenza. Qui: • H0 :indipendenza statistica tra X e Y • H1 : dipendenza statistica tra X e Y La regione di rifiuto cade nella coda di destra della distribuzione 0.2 0.15 0.1 0.05 La regione di rifiuto è caratterizzata da valori relativamente elevati di χ²; se il livello di significatività è al 5%, si rifiuta per χ²> χ²0.95 0 Regione di rifiuto 0 1.1 2.2 3.3 4.4 5.5 6.6 7.7 8.8 9.9 11 Test χ² per l’indipendenza statistica Chi-Square Tests Pears on Chi-Square Likelihood Ratio N of Valid Cases Value 5.471 a 5.402 221 df 3 3 Asymp. Sig. (2-s ided) .140 .145 a. 0 cells (.0%) have expected count les s than 5. The minimum expected count is 15.95. Chi-Square Tests Pears on Chi-Square Likelihood Ratio N of Valid Cases Value 26.304a 28.928 221 df 8 8 Asymp. Sig. (2-s ided) .001 .000 a. 0 cells (.0%) have expected count les s than 5. The minimum expected count is 5.47. Test χ² per l’indipendenza statistica Esempio H0: assenza di associazione tra mano dominante e sesso (indipendenza statistica ) H1: mano dominante non è independente dal sesso (dipendenza statistica ) Mano dominante Sesso Sinistra Destra Femmina 12 108 120 Maschio 24 156 180 36 264 300 Se non c’è associazione, allora P(Mancino | Femmina) = P(Mancino | Maschio) =P(Mancino)= 36/300= 0.12 Quindi ci aspetteremmo che Il 12% delle 120 femmine e Il 12% dei 180 maschi siano mancini… Test χ² per l’indipendenza statistica Esempio • Se H0 è vera, allora la proporzione di donne mancine dovrebbe coincidere con la proporzione di uomini mancini • Le due proporzioni precedenti dovrebbero coincidere con la proporzione generale di gente mancina Mano dominante Sesso Sinistra Destra Femmina Osservate = 12 Attese = 14.4 Osservate = 108 Attese = 105.6 120 Maschio Osservate = 24 Attese = 21.6 Osservate = 156 Attese = 158.4 180 36 264 300 E11 (120)(36) 14.4 300 Test χ² per l’indipendenza statistica Esempio La statistica test chi-quadrato è: r c 2 i1 j1 con (Oij Eij )2 Regola di Decisione: Eij confrontare il p-value con g.d .l. (r 1)(c 1) dove: Oij = frequenza osservate nella cella (i, j) Eij = frequenza attesa nella cella (i, j) r = numero di righe c = numero di colonne p-value = 0.32 > 0.05, quindi accettiamo H0 e concludiamo che sesso e mano dominante non sono associate Test t per l’indipendenza lineare Questo test verifica l’ipotesi di indipendenza lineare tra due variabili, partendo dall’indice di correlazione lineare ρ. Si ha: • H0: indipendenza lineare tra X e Y (ρpopolaz=0) • H1: dipendenza lineare tra X e Y (ρpopolaz ≠ 0) La statistica test è distribuita come una t di Student con n-2 gradi di libertà, e tende a crescere all’aumentare dell’ampiezza campionaria t= ρ √(n-2)/ (1- ρ²) Test t per l’indipendenza lineare La regione di rifiuto è caratterizzata da valori relativamente elevati di t in modulo; se il livello di significatività è al 5%, si rifiuta per |t| >t0,975 0,35 0,3 0,25 0,2 0,15 0,1 0,05 0 Regione di rifiuto Regione di rifiuto Test t per l’indipendenza lineare Correlations Qualità degli ingredienti Genuinità Leggerezza Sapore/gusto Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N Pears on Correlation Sig. (2-tailed) N Qualità degli ingredienti 1 **. Correlation is s ignificant at the 0.01 level (2-tailed). Genuinità Leggerezza Sapore/gusto .629** .299** .232** .000 .000 .001 220 220 218 220 .629** 1 .468** .090 .000 .000 .181 220 220 218 220 .299** .468** 1 .030 .000 .000 .657 218 218 219 219 .232** .090 .030 1 .001 .181 .657 220 220 219 221 Test F per la verifica di ipotesi sulla differenza tra medie Si prende in considerazione la scomposizione della varianza; qui • H0: le medie sono tutte uguali tra loro • H1: esistono almeno due medie diverse tra loro La statistica test da utilizzare, sotto l’ipotesi H0, si distribuisce come una F di Fisher con (c-1,n-1) gradi di libertà. Tende a crescere all’aumentare della varianza tra medie e al diminuire della variabilità interna alle categorie. Cresce inoltre all’aumentare dell’ampiezza campionaria. Test F per la verifica di ipotesi sulla differenza tra medie La regione di rifiuto cade nella coda di destra della distribuzione, cioè è caratterizzata da valori relativamente elevati di F; se il livello di significatività è 5%, si rifiuta per F> F0,95 0.8 0.7 0.6 0.5 0.4 0.3 0.2 Regione di rifiuto 0.1 0 0 0.7 1.4 2.1 2.8 3.5 4.2 4.9 Test F per la verifica di ipotesi sulla differenza tra medie Report Measures of Association Produzione artigianale Età 18-25 26-35 36-50 Over 50 Total Mean 5.01 5.53 6.00 6.09 5.55 Eta N 78 55 41 47 221 Std. Deviation 2.224 2.609 2.098 2.320 2.352 Produzione artigianale * Età Eta Squared .191 .036 ANOVA Table Produzione artigianale * Età Between Groups Within Groups Total (Combined) Sum of Squares 44.296 1172.356 1216.652 df 3 217 220 Mean Square 14.765 5.403 F 2.733 Sig. .045 Produzione artigianale Età 18-25 26-35 36-50 Over 50 Total Mean 5.01 5.53 6.00 6.09 5.55 N 78 55 41 47 221 Std. Deviation 2.224 2.609 2.098 2.320 2.352 ANOVA Table Produzione artigianale * Età Between Groups Within Groups Total (Combined) Sum of Squares 44.296 1172.356 1216.652 df 3 217 220 Mean Square 14.765 5.403 F 2.733 Sig. .045 Report Attenzione a bis ogni s pecifici Età 18-25 26-35 36-50 Over 50 Total Mean 4.05 4.53 5.00 5.83 4.73 N 78 53 41 47 219 Std. Deviation 2.772 2.791 2.837 8.168 4.536 ANOVA Table Attenzione a bisogni s pecifici * Età Between Groups Within Groups Total (Combined) Sum of Squares 97.921 4387.641 4485.562 df 3 215 218 Mean Square 32.640 20.408 F 1.599 Sig. .191