INDICATORI E RICERCA
VALUTATIVA
Lezione del 4 e 11 dicembre
2014
Che cos’è un indicatore complesso
Un indicatore sintetico è una misura del livello di un
fenomeno complesso (ad es. benessere, sviluppo),
non direttamente misurabile,
ottenuta tramite l’applicazione di una opportuna
combinazione di indicatori elementari
Rapporto di indicazione = relazione fra un
concetto generale e aspetti specifici che vi si
relazionano
L’indice è un’entità numerica che esprime il rapporto fra
due entità quantitative o tra due fenomeni
L’indicatore è un indice, una variabile o, più in generale,
un dato statistico che assume un significato compiuto
nell’ambito di un modello di ricerca e/o di uno schema
interpretativo
I 10 passi per la costruzione di un indicatore
di sintesi
Passo 1 : il quadro teorico
È all’interno di un inquadramento teorico ampio che si rende
possibile la selezione e la combinazione delle variabili oggetto che
entreranno a far parte dell’indicatore.
È auspicabile, in questa fase il coinvolgimento di esperti e di
eventuali parti sociali interessate alla tematica.
Il fenomeno oggetto di attenzione deve, dunque, essere ben
delineato nelle sue diverse sfaccettature; occorre cioè mettere
a punto una sua definizione multidimensionale.
Dimensioni e sottodimensioni dovranno comunque essere
descrivibili e plausibili, dal punto di vista teorico e/o da quello
empirico.
I 10 passi per la costruzione di un indicatore
di sintesi
Passo 1 : il quadro teorico: schema logico per la costruzione di un
indicatore composito
CONCETTO
DIMENSIONE
1
Indicatore
dimensione 1
DIMENSIONE
2
Indicatore
dimensione 2
Formula logica combinatoria
INDICATORE COMPOSITO
DIMENSIONE
3
Indicatore
dimensione 3
I 10 passi per la costruzione di un indicatore
di sintesi
Passo 1 : il quadro teorico: schema logico per la costruzione di un
indicatore composito
SVILUPPO
UMANO
Longevità
Livello di
istruzione
Speranza di vita
alla nascita
Benessere
economico
PIL
Formula logica combinatoria
INDICATORE COMPOSITO
Passo 2 : la selezione dei dati
La selezione dei dati dovrebbe essere
basata su alcuni criteri quali:
la solidità e misurabilità
copertura (geografica, temporale)
pertinenza rispetto al fenomeno da
misurare
attinenza e relazione reciproca tra i dati
Gli indicatori includono dati qualitativi (soft) raccolti tramite
surveys o policy reviews, oltre a dati quantitativi (hard).
L’integrazione di tipologie di dati diverse all’interno del
medesimo indicatore, si rende necessaria quasi sempre, per
garantire la misura di una o più dimensioni ritenute importanti.
Passo 3 : l’imputazione dei dati mancanti
Il set di dati deve essere completo!
È possibile perciò valutare l’opportunità di una imputazione di
dati mancanti.
Tuttavia questa operazione deve essere accompagnata da una
attenta valutazione dell’impatto che essa può avere sulla
distribuzione della variabile oggetto di imputazione, ma anche
sui risultati dell’indicatore composito.
Esistono essenzialmente tre modi di affrontare la questione:
Escludere i dati mancanti e limitare l’analisi ai soli casi completi
Considerare i dati mancanti parte dell’analisi e provare ad
imputare o valori singoli (ad esempio con la media della variabile) o
valori multipli.
Nessuna modalità di imputazione è libera da assunzioni fatte a
monte.
7
Passo 4: l’analisi multivariata
La struttura complessiva del dataset deve essere studiata attraverso
opportune tecniche di analisi multivariata.
Le tecniche multivariate maggiormente diffuse ed idonee alla individuazione
di dimensioni principali sottostanti ai dati vi sono l’Analisi in Componenti
Principali (ACP) e/o la Cluster Analysis
L’Analisi in Componenti Principali
consente di organizzare le
informazioni sulla base delle variabili a disposizione, fa emergere
ls struttura dimensionale del fenomeno.
La Cluster Analysis consente, invece, di organizzare le
informazioni secondo il Paese o Regione, fa emergere eventuali
somiglianze.
8
Passo 5: la normalizzazione
La normalizzazione si rende necessaria per rendere confrontabili
le variabili.
Bisogna scegliere la procedura di normalizzazione più corretta, in
relazione al quadro teorico e alle proprietà dei dati.
Inoltre, la normalizzazione consente una riflessione sull’eventuale
presenza di valori anomali
Questa operazione consente trasformazioni di carattere
matematico, funzionali ai successivi calcoli:
correggere discrepanza nelle scale di misura
(riportando le variabili alla stessa scala di misura).
trasformare distribuzioni fortemente asimmetriche.
9
Passo 6: ponderazione e aggregazione
La ponderazione delle variabili all’interno dell’indicatore sintetico e il calcolo
di aggregazione devono essere entrambi scelti sulla base di riflessioni di
tipo concettuale.
Solo il quadro teorico può fornire indicazioni circa il peso da attribuire alle
diverse dimensioni misurate e selezionate e suggerire il calcolo matematico
attraverso il quale i singoli punteggi diventano un’unica quantità!
Per assegnare i pesi che i singoli indicatori devono assumere
all’interno dell’indicatore sintetico, si può ricorrere sia a criteri soggettivi
(come le valutazioni di esperti) sia a criteri di tipo statistico (ad
esempio, riconsiderando il grado di associazione tra gli indicatori di
partenza, valutando se assegnare un peso inferiore a indicatori
fortemente correlati tra loro (i quali potrebbero rappresentare la
medesima dimensione e che rischiano di ‘duplicare’ il loro peso!)
L’aggregazione (lineare o geometrica) produce una più o meno
accentuata compensazione tra i singoli indicatori, tale per cui un deficit in
una dimensione può essere compensato da un surplus nell’altra.
10
Passo 6: ponderazione e aggregazione
Tecniche di costruzione degli indicatori:
- ordinali (ranghi)
- cardinali (numeri indice, normalizzazione,
standardizzazione, percentuali)
- statistica multivariata (ACP, scaling)
11
Passo 7: analisi dell’incertezza e della sensibilità
Vengono riprese e sottoposte al vaglio tutte le possibili fonti di
imprecisioni ed errori, ripercorrendo se necessario anche tutti i
passaggi precedentemente eseguiti, ipotizzando soluzioni
alternative e confrontando la performance dell’indicatore
sintetico, costruito nell’una e nell’altra maniera.
Quest’analisi viene eseguita adottando un approccio
inferenziale e stabilendo quali sono le principali fonti di instabilità o
incertezza dei risultati (vedendo se ad esempio i punteggi finali
ottenuti con l’indicatore sintetico sono molto diversi, a seconda del
metodo di aggregazione o a seconda del sistema di pesi utilizzato)
Inoltre, è importante valutare quanto l’indicatore sintetico è
sensibile alle diverse scelte metodologiche fatte nei diversi steps
12
Passo 8: il ritorno sui dati
Una volta osservato l’indicatore sintetico e visti i valori che assume
nei casi contemplati, si tornano ad osservare, congiuntamente, i
valori che i casi assumono sui singoli indicatori.
In questo modo, si possono commentare meglio i risultati e
descrivere più efficacemente quali aspetti hanno inciso
maggiormente nel determinare la performance complessiva, negativa
o positiva, dell’indicatore complesso.
In questo momento, è possibile delineare dei Profili (dei
collettivi/Paesi/Regioni oggetto di analisi) proprio a partire dalla
performance ottenuta nell’indicatore sintetico.
Grazie
a questo tipo di analisi ci si può accorgere se il
comportamento dell’indicatore sintetico sia monopolizzato da uno
o da alcuni degli indicatori di base.
13
Passo 9: relazioni con altri indicatori
Nella fase conclusiva del lavoro è importante verificare i legami
concettuali e metodologici con altri indicatori già conosciuti in
letteratura, inerenti il medesimo fenomeno di interesse.
Ciò è finalizzato anche a sviluppare delle narrazioni che accompagnare i
risultati.
Nel caso di fenomeni sui quali vi sono già lavori del genere in
letteratura, si potranno anche in questo caso applicare opportune
tecniche statistiche, per mettere in evidenza i legami (correlazioni)
tra gli indicatori costruiti. Eventuali discrepanze devono essere lette
con strumenti teorici e metodologici e possono portare o a rivedere
ulteriormente le procedure seguite oppure possono portare a
riflessioni più ampie, in grado di far emergere nuovi percorsi di ricerca.
14
Passo 10: visualizzazione e diffusione dei risultati
La diffusione dei risultati accompagnata da
idonei strumenti di lettura ed comprensione
(note metodologiche) garantisce maggiore
penetrazione dei risultati.
Inoltre, un uso efficace anche di
rappresentazioni visive può influenzare
l’interpretazione.
L’obiettivo resta quello di fornire risultati in forma accurata e
chiara.
In quest’ottica, è importante anche conservare ed organizzare
efficacemente anche la documentazione inerente tutti i passaggi
teorici e metodologici.
15
L'indice di Sviluppo Umano (HDI)
http://hdr.undp.org/en/data
SVILUPPO
UMANO
Longevità
Livello di
istruzione
Speranza di vita
alla nascita
Benessere
economico
PIL
Formula logica combinatoria
INDICATORE COMPOSITO