La valutazione e le sue
forme
Natura della valutazione
Un insieme di attività che rientrano nelle
tecniche della ricerca sociale ed orientate a
raccogliere e documentare evidenze empiriche
sull’impiego di programmi/politiche
 Un prodotto che si realizza on demand, su
richiesta specifica di uno o più committenti
 Una ricerca sociale ad hoc, che analizza processi
ed effetti di un singolo intervento e che non è
generalizzabile

Gli “oggetti” della valutazione
amministrativa
Risultati
 Output (prodotti “fisici”) ( EFFICIENZA: rapporto mezzi
impiegati/output prodotti)
 Outcomes (esiti sostantivi) ( EFFICACIA: qualità degli
esiti rispetto agli obiettivi)
 Impatto (tutti i possibili effetti di una politica pubblica, anche
in altri settori o sul sistema politico)
Processo: Si esaminano i metodi, le regole, e le
procedure impiegati durante l’attuazione dei
programmi.
Struttura della valutazione
Tre elementi da individuare per valutare:
1. Il fenomeno da studiare (evaluando)
2. Il criterio
3. Il parametro (misura di riferimento da
confrontare con il valore reale ottenuto)
Criteri di valutazione
Efficienza. Rapporto tra risultati conseguiti e risorse utilizzate
Efficacia. Si divide in due tipi
1.
2.
◦
◦
interna (o gestionale): risultati/obiettivi prefissati
Esterna (o sociale): risultati/bisogni iniziali
Economicità:capacità di raggiungere risultati apprezzabili a costi
contenuti (= efficacia/efficienza)
Rilevanza: gli obiettivi del programma sono davvero in relazione
ai bisogni sociali? (= obiettivi/bisogni)
Utilità: risultati/soddisfazione dei destinatari
Equità:distribuzione dei costi/distribuzione dei benefici
Coerenza:
3.
4.
5.
6.
7.
◦
◦
Interna: obiettivi/finalità del programma
Esterna obiettivi/finalità politiche del decisore
Definizione del parametro
1.
2.
◦
◦
◦
Il parametro è essenziale per formulare un
giudizio sul risultato (giudizio = effetto atteso
(parametro) – effetto osservato (metro)
Tre diversi tipi di parametro adottabili:
Standard: valore definito arbitrariamente dai policy
maker e spesso indicato in leggi o direttive
comunitarie
Benchmark: valore che rappresenta un’aspettativa
di eccellenza
Controfattuale: valore rilevato in una parte della
popolazione non investita dalla politica oggetto di
valutazione
Disegno della ricerca
Due tipi di schemi di ricerca per valutare una politica:
1.
Standardizzato: consiste nel riordinare il processo
decisionale che ha condotto all’adozione di un
provvedimento ammettendo che abbia una linearità
logica che permetta l’individuazione dei suoi obiettivi
2.
Comprensivo: si convocano gli stakeholder e si
identificano assieme a loro gli scopi della politica
costruendola o ricostruendola assieme a loro (e
definendone gli obiettivi e le variabili)
Primo disegno ideale per valutazione ex-post, secondo per
valutazione ex-ante, entrambi per valutazione in
itinere
La valutazione ex-ante
A che serve?
1.
2.
3.
Ad informare e a far riflettere i decisori
di un intervento sulle potenzialità di
quest’ultimo stimandone effetti e
dinamiche
Anticipare i risultati di un intervento per
permetterne la progettazione
È complementare alla valutazione expost
Tipi di impiego della valutazione exante
In generale:
1.
Per ridurre i limiti della razionalità decisionale dei
decision maker
2.
Per prevenire l’aggiramento di regole o per
supervisionare i policy maker
In casi specifici
1.
A fini di staffing per integrare azione dei decisori con
il giudizio di un esperto (es. analisi d’impatto della
regolazione in supporto ai parlamentari)
2.
A fini di auditing per rassicurare collettività ed
istituzioni sugli effetti di una determinata scelta (es.
valutazione d’impatto ambientale)
Tecniche per la valutazione ex-ante
Spesso si ricorre ad analisi di efficienza derivate da metodi
econometrici. Ci sono tre categorie:
1.
Analisi costi-benefici, basata sul principio della
monetizzazione
2.
Analisi costi-efficacia. Si monetizzano i costi ma non i
benefici per i quali si utilizza un’unità di misura non
monetaria. Infine si creano degli indici costo/efficacia.
Utile quando si devono valutare i benefici inerenti il
benessere fisico e psicologico delle persone.
3.
Analisi costi-utilità. Utilizzato per le politiche sanitarie,
si basa sul calcolo dell’utilità dell’intervento tramite il
QALY (quality adjusted life year, anno di vita
guadagnato ponderato per la qualità della vita)
La valutazione in itinere
Scopo della valutazione in itinere




Anticipare la rilevazione dei fattori problematici dall’outcome al
processo di attuazione, in modo da poter restituire ai policy maker
una razionalità decisionale orientata alla correzione o alla modifica
degli errori riscontrati ancora durante la loro messa in opera.
Maggiore è la distanza cognitiva tra policy maker iniziali e finali
maggiore è l’utilità di adottare la valutazione in itinere.
La valutazione in itinere consente un recupero di controllo sulla
fase di attuazione del policy making al fine di restituirgli unitarietà
cognitiva
Consente di
◦ aiutare i decision maker nella rimodulazione dei programmi in
corso d’opera (staffing)
◦ Monitorare l’attuazione dei programmi tramite valutazioni
intermedie (monitoring)
Il problema del controllo durante
l’implementazione
I processi di attuazione segnati da eventi imprevisti quali:
1.
Rimodulazione delle risorse
2.
Riformulazione degli obiettivi
3.
Affiorare di interessi partigiani
4.
Ingerenze esterne (es. gruppi di pressione)
I decision maker puntano a controllare l’azione degli
implementer per evitare la manipolazione delle scelte
compiute da organi rappresentativi. Sospettosità degli
implementer verso valutazioni in itinere
L’implementazione come scatola nera
del policy making


Difficile analizzare l’implementazione perché
costituita da processi poco visibili
(concentrata negli uffici amministrativi o in
livelli amministrativi minori) e per la grande
quantità di aggiustamenti ed eventi imprevisti
Un approccio analitico suddiviso in tre
operazioni:
1.
2.
3.
Analisi cronologica
Analisi degli attori e delle poste in gioco
Analisi delle interazioni e dei giochi
Analisi cronologica
Consiste nella
 ricostruzione degli eventi (anche quelli
minori ed apparentemente trascurabili)
 compilazione di un diario modulare che
colleghi ai vari eventi i diversi stakeholder
implicati
Analisi degli attori e delle loro poste
in gioco
Consiste nella ricostruzione tramite un
diagramma (tramite tecniche di network
analysis) del sistema di relazioni tra
stakeholder
 Serve a classificare stakeholder e e
rapporti di potere tra loro

Analisi delle interazioni



Consiste nel ricostruire i ruoli ed i meccanismi
d’interazione (posizione degli attori, risorse di cui
dispongono e loro impiego, fattori di successo e
insuccesso che hanno condotto agli esiti osservati)
Punta a giudicare il tipo d’interazione (gioco) che ha
determinato l’esito finale
4 possibili giochi:
1. a somma positiva: tutti conseguono almeno in parte
la posta in gioco
2. A somma negativa: pochi vincono, gli altri perdono
3. A somma zero: nessuno consegue la posta in gioco
4. A somma mista: qualcuno guadagna e qualcuno
perde in misura variabile e da determinare volta per
volta
Il monitoraggio (1)
I sistemi di monitoraggio della
performance come metodologia ottimale
per la valutazione in itinere
 Un’analisi simultanea: rendere conto degli
andamenti degli eventuali scostamenti
mentre l’azione procede
 Il monitoraggio non è la valutazione ma
ne costituisce la piattaforma informativa

Il monitoraggio (2)




Consiste nella predisposizione di
un’architettura di indicatori che rilevano la
prestazione delle singole politiche pubbliche
(indicatori di performance)
L’indicatore di performance è una misura di
tipo quantitativo di un fenomeno correlato alla
politica pubblica da misurare
Monitoraggio simile al controllo di gestione
nel caso della contabilità
2 tipi di monitoraggio:
1. Monitoraggio confermativo
2. Monitoraggio esplicativo
Monitoraggio confermativo




Permette di formulare un giudizio sull’aderenza tra disegno e
realtà (cioè obiettivi pianificati e obiettivi raggiunti ad un certo
momento dell’implementazione) ed eventualmente di correggere
gli scostamenti. Soddisfa la necessità dei decision maker di tenere
sotto controllo gli implementer. Domanda fondamentale: come sta
andando?
Gli indicatori di performance sono già dati nel policy design e se
ne cerca solo la conferma. Esempi:
1. Impiego delle risorse
2. Coerenza tra azioni pianificate e azioni realizzate
3. Attuabilità dei progetti
4. Tempistica (rispetto dei tempi previsti per le varie fasi o per
l’intero programma
I più importanti sistemi di monitoraggio confermativo sono quelli
disposti dalla Commissione europea
Con il monitoraggio confermativo c’è il rischio di concludere che
“la terapia è stata condotta in modo eccellente, ma il paziente è
morto”
Monitoraggio esplorativo
Spesso i policy maker necessitano di strumenti
per navigare a vista e per reinventare politiche
 Il monitoraggio esplorativo orientato
all’individuazione di situazioni connesse alla
politica pubblica in atto ma non riconducibile
solo ad essa.
 Il monitoraggio esplorativo mira ad analizzare
l’evoluzione dei problemi nel mentre si
praticano gli interventi, non la messa in opera
delle soluzioni mediante gli interventi

Benchmarking come metodo di
valutazione




Letteralmente traducibile con “fissare punti di
riferimento”
Una logica di valutazione estremamente semplice,
basata sull’identificazione di best practice da prendere a
modello per riprogrammare i processi
d’implementazione
I policy maker invece di governare i processi impongono
agli implementer dei parametri di prestazione, detti
appunto benchmark (es. budget) suggeriti dai risultati
ottenuti con le best practice. La valutazione si base sul
rispetto o sugli scostamenti tra benchmark e risultati
ottenuti.
Scopo del benchmarking è l’apprendimento attraverso il
confronto, la condivisione e l’imitazione.
Determinazione delle best practices
Possono essere individuati tramite:
1. Misurazione sistematica. Si misurano i risultati
ottenuti con le diverse practice e si stabilisce
la best practice
2. Giudizio di un esperto che suggerisce i valori
soglia
3. Accordo tra i partecipanti al benchmarking
per stabilire valori soglia.
Requisiti per l’identificazione delle
best practices
1.
2.
3.
4.
5.
6.
7.
Successo nel tempo. Risultati non effimeri e
comprovati da serie storiche
Quantificazione. Le best practice individuate con
parametri quantitativi
Innovatività riconosciuta da altri enti
Outcome indubbiamente positivo
Ripetibilità e trasferibilità ad altre politiche
Importanza locale e d’impatto sul contesto (practice
già assimilata e non rifiutata dall’organizzazione o
settore di policy)
Generalizzabilità
La valutazione ex-post
Scopi della valutazione ex-post
1.
2.
3.
4.
5.
Compito riepilogativo
Far sì che i policy maker prendano coscienza di
risultati, errori ed esperienze per migliorare in futuro
il proprio lavoro
Accountability verticale: mostrare ai cittadini effetti e
risultati della politica
Accountability orizzontale: mostrare alle altre
istituzioni l’adeguatezza degli obiettivi della politica in
termini normativi, organizzativi, economici e di
cambiamento apportato
Mostrare a tutti se la politica ha funzionato
Impieghi della valutazione ex-post
1.
2.
3.
4.
Piloting: per valutare gli effetti di una politica testata
su un campione di soggetti prima di attuarla in larga
scala
Staffing: come strumento di supporto decisionale ai
policy maker
Oversighting: come strumento di supporto al
controllo delle attività di un ente o istituzione da
parte di un altro ente o istituzione (es. parlamento su
governo)
Auditing: come strumento di controllo di
trasparenza, affidabilità, efficacia ed efficienza della
spesa. Affidato ad autorità indipendenti, è proprio
del’Unione europea (es. valutazione utilizzo fondi
strutturali)
Tipi di valutazione ex-post
1.
2.
3.
Analisi del raggiungimento dei fini: il
valutatore si limita alla verifica del grado di
discrepanza tra fini, obiettivi, prodotti generati
(output) ed effetti susseguenti (outcome)
Analisi indipendente dai fini: si ignorano le
finalità del programma e ci si dedica invece
alla ricerca di cosa il programma stia
effettivamente producendo
Analisi degli effetti collaterali: ispirata dalla
teoria delle conseguenze inattese dell’azione
razionale (Merton, 1938). Non esclude analisi
del raggiungimento dei fini, ma si basa sulla
scomposizione tra effetti principali
(raggiungibile con le due altre tecniche) ed
effetti collaterali.