Laurea magistrale in Amministrazioni e
politiche pubbliche
1: Dall’analisi delle politiche alla loro
valutazione
di Gloria Regonini
Valutazione politiche pubbliche
1
1. Prime definizioni
Che cosa sono le politiche pubbliche?
Il concetto di ‘politica pubblica’ non è né pacifico, né evidente.
Non è pacifico, perché è traversato da una tensione tra due
definizioni: le politiche pubbliche sono
1. risposte a problemi di rilevanza collettiva
ma anche
2. decisioni vincolanti per la collettività
Valutazione politiche pubbliche
2
1. Prime definizioni Che cosa sono le politiche pubbliche?
1 definizione: l’elemento centrale è un problema di rilevanza collettiva,
pubblica.
Le politiche pubbliche sono tentativi messi in atto per fronteggiare un
problema collettivo mobilitando risorse pubbliche e/o private per avviarne la
soluzione.
2 definizione: l’elemento centrale è la decisione vincolante per la
collettività. Con le loro scelte, le autorità pubbliche possono
•assegnare le poste in gioco tra i diversi contendenti,
•ridurre o esasperare i conflitti
•rinviare o mettere la sordina a un problema ....
Valutazione politiche pubbliche
3
1. Prime definizioni Che cosa sono le politiche pubbliche?
problema pubblico
soluzione
intenzionalità
finalizzazione a un obiettivo
politica pubblica
autorità pubblica
decisione vincolante
molteplicità di interessi e idee
conflitti
compromessi
Valutazione politiche pubbliche
4
1. Prime definizioni Che cosa sono le politiche pubbliche?
Differenza tra politiche, programmi, progetti
Tra tutti i concetti, quello di policy è il più inclusivo
POLICY
Levels of evaluation, da National Science Foundation, The 2002 User-Friendly
Handbook for Project Evaluation, p. 7,
http://www.nsf.gov/pubs/2002/nsf02057/start.htm
Valutazione politiche pubbliche
5
1. Prime definizioni Che cosa sono le politiche pubbliche?
Differenza tra policy analysis e project management
ontologie
Alla base stanno
competenze
criteri
1. la legge
I diritti
giuristi
la qualità delle norme
2. il budget
Il denaro pubblico ‘ragionieri’,
scienziati
finanze
la correttezza
e
delle sostenibilità dei conti
(audit)
3.
il Le organizzazioni esperti
di la performance delle
management
pubbliche
management
amministrazioni
(come disciplina)
pubbliche
project management
4. le politiche
I
problemi analisti e valutatori l’outcome,
pubblici
di politiche
l’attenuazione di un
problema pubblico
Valutazione politiche pubbliche
6
1. Prime definizioni Che cosa sono le politiche pubbliche?
Differenza tra policy analysis e project management
Ragionare in termini di politiche significa porsi domande più libere e
spregiudicate non solo sul modo in cui un servizio è gestito o un
programma è realizzato, ma anche sul suo significato più generale, sul
suo impatto complessivo, tanto per gli aspetti più concreti, quanto per i
messaggi simbolici indirettamente trasmessi.
•
•
che senso ha tutta la baracca?
non ci sarebbe modo di risolvere in modo più
intelligente gli stessi problemi?
es.: gli sportelli per le informazioni alle imprese possono funzionare
bene, ma per adempimenti e pratiche inutili
Valutazione politiche pubbliche
7
L’analisi delle politiche pubbliche
Che cosa abbiamo imparato dall’analisi delle politiche
pubbliche
Le politiche pubbliche sono operazioni complesse
Per questo possono essere studiate da molti punti di vista
Le politiche pubbliche in genere hanno un andamento non lineare
Colpi di scena e incongruenze sono molto probabili
Le politiche pubbliche sono partite giocate tra molti attori
Talvolta collaborano. Talvolta si ostacolano a vicenda
Le politiche pubbliche sono governate non solo dalle leggi…
.. ma anche dalle circolari, dagli accordi, dagli articoli di giornale,
dalle trasmissioni televisive…
Valutazione politiche pubbliche
8
Uno spaccato della disciplina  le tante dimensioni rilevanti
La soluzione
Per dare conto di un fenomeno complesso, è utile analizzarlo da molti
punti di vista diversi.
Disporre di molte prospettive aiuta a capire i problemi: v. applicazioni in
fotogrammetria
www.cif.org/Nom2003/Images/3d.gif
Valutazione politiche pubbliche
9
Uno spaccato della disciplina  le tante dimensioni rilevanti
Disporre di molte
prospettive
diverse aiuta a
capire i
problemi
Valutazione politiche pubbliche
10
Uno spaccato della disciplina  le tante dimensioni rilevanti
Disporre di molte prospettive diverse aiuta a capire i problemi
Valutazione politiche pubbliche
11
Uno spaccato della disciplina  le tante dimensioni rilevanti
Disporre di molte prospettive diverse aiuta a capire i problemi: v.
applicazioni in medicina
Valutazione politiche pubbliche
12
Uno spaccato della disciplina  le tante dimensioni rilevanti
Policy studies are a very complex field where you can find every kind
of approaches
historical narratives
case studies
quantitative analysis
methodological studies
comparative studies
substantive studies
cost-benefit analysis
output studies
image from http://www.ultrafractal.com/showcase/damien/speaking-order-from-chaos.html
Valutazione politiche pubbliche
13
Uno spaccato della disciplina  le tante dimensioni rilevanti
Per lo studio delle politiche pubbliche, due dimensioni
sono particolarmente rilevanti
le finalità della ricerca
politica
pubblica
Valutazione politiche pubbliche
14
L’analisi delle politiche pubbliche
Uno spaccato della disciplina  le coordinate del piano   Le finalità
della ricerca
Il polo prescrittivo
Il polo descrittivo
Studiare per migliorare le capacità di
intervento:
Studiare per capire come
funzionano i centri di governo:
•Progettisti di politiche
•Ricercatori
•Valutatori
•Studenti
all’interno dei ministeri o degli
assessorati
negli studi professionali
all’interno delle università
nei centri di ricerca
nelle organizzazioni di
categoria
nelle organizzazioni
internazionali
Valutazione politiche pubbliche
15
L’analisi delle politiche pubbliche
Uno spaccato della disciplina  le coordinate del piano   I metodi
della ricerca
Dalla raccolta dei dati alla formulazione delle
ipotesi
Il polo induttivo
Esempi: ricerca su fonti statistiche in sociologia
o in biologia
Nello studio delle politiche pubbliche, è il modo
di ragionare della sociologia, della scienza
politica, della psicologia
Il polo deduttivo
Dalla formulazione degli assunti alla verifica
empirica
Esempi: dimostrazioni geometriche
Nello studio delle politiche pubbliche, è il modo
di ragionare dell’economia
Valutazione politiche pubbliche
16
L’analisi delle politiche pubbliche
LA VALUTAZIONE
LA SPIEGAZIONE
FINALITA’
Prescrittive
Come raggiungere fini
collettivi
Descrittive
Come spiegare
comportamenti e risultati
Induttivi
policy inquiry
politiche pubbliche
(public policy)
Logica
dell’attore
sociale
Quali relazioni sociali devono
essere coltivate per raggiungere
Perché i processi decisionali
e mantenere accordi sostenibili? pubblici sono così complicati?
METODI
Deduttivi
Logica
dell’homo
oeconomicus
Valutazione politiche pubbliche
analisi razionale delle
politiche pubbliche
(rational policy analysis)
Quali dati devono essere
raccolti e quali procedure
devono essere seguite per
avere buoni risultati?
scelta pubblica
(public choice)
Perché i processi decisionali
pubblici sono opachi o
inefficienti?
17
L’analisi delle politiche pubbliche
Le politiche come
Le politiche come
soluzioni a problemi
decisioni che
comuni
allocano valori
FINALITA’
Prescrittive
Come raggiungere fini
collettivi
Descrittive
Come spiegare
comportamenti e risultati
Induttivi
policy inquiry
politiche pubbliche
(public policy)
Logica
dell’attore
sociale
Quali relazioni sociali devono
essere coltivate per raggiungere
Perché i processi decisionali
e mantenere accordi sostenibili? pubblici sono così complicati?
METODI
Deduttivi
Logica
dell’homo
oeconomicus
Valutazione politiche pubbliche
analisi razionale delle
politiche pubbliche
(rational policy analysis)
Quali dati devono essere
raccolti e quali procedure
devono essere seguite per
avere buoni risultati?
scelta pubblica
(public choice)
Perché i processi decisionali
pubblici sono opachi o
inefficienti?
18
L’analisi delle politiche pubbliche
Le politiche come
soluzioni a problemi
comuni
Le politiche come
decisioni che
allocano valori
FINALITA’
Prescrittive
Induttivi
Descrittive
policy inquiry
politiche pubbliche
(public policy)
Logica
dell’attore
sociale
confine critico:
la definizione del
problema
METODI
Deduttivi
Logica
dell’homo
oeconomicus
Valutazione politiche pubbliche
analisi razionale delle
politiche pubbliche
(rational policy analysis)
scelta pubblica
(public choice)
19
1. Prime definizioni Che cosa sono le politiche pubbliche?
problema pubblico
soluzione
intenzionalità
finalizzazione a un obiettivo
politica pubblica
confine critico: la definizione del problema
“”la definizione delle alternative è lo
strumento supremo del potere;
difficilmente gli antagonisti possono
concordare su qual è il problema, perché
il potere è implicito nella definizione”
(Schattschneider, 1960)
autorità pubblica
decisione vincolante
molteplicità di interessi e idee
conflitti
compromessi
Valutazione politiche pubbliche
20
Dall’analisi delle politiche alla loro valutazione
1. L’analisi (razionale) delle politiche: gli aspetti esaminati
Gli aspetti sottoposti a valutazione sono riconducibili alle seguenti categorie:
Input
Capacità di acquisire le risorse secondo
criteri di economicità
- risorse finanziarie
- risorse umane
-ICT
-risorse conoscitive
- procurement di beni e servizi (diretto,
outsourcing..)
- risorse normative (chiarezza del mandato..)
Processo
Capacità di gestire la complessità
- le interazioni con gli stakeholders
- gli imprevisti dell’attuazione..
Outputs
Capacità di fornire i prodotti richiesti
- beni
- servizi
- regolazione..
Outcomes
Capacità di fornire soluzioni ai problemi
all’origine del progetto
- adeguatezza
- tempestività
- soddisfazione dei destinatari
Impatto
Capacità di modificare stabilmente il
contesto o le condizioni di vita dei
destinatari
- effetti duraturi nel tempo
- effetti a prova di condizioni avverse...
Valutazione politiche pubbliche
21
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Incrociando l’unità di analisi con gli aspetti esaminati, si ottiene una
mappa dei criteri di valutazione di questo tipo:
POLITICA VALUTATA
CONTROLLO INTERNO
ALL’ENTE
INPUTS
PROCESSI
ECONOMICITA’
Valutazione politiche pubbliche
OUTPUTS
EFFICIENZA
VARIABILI
ESTERNE
OUTCOMES
IMPATTO
EFFICACIA
22
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
Valutazione politiche pubbliche
23
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
I criteri
Le classiche ‘3 e’ descritte in ogni manuale di
management:
• economicità,
• efficienza,
• efficacia
A partire dalle riforme avviate nei primi anni ’90 negli
Stati Uniti e in Gran Bretagna, il Managing-ForResults (MFR) è diventato la parte centrale del
New Public Management (NPM).
Valutazione politiche pubbliche
24
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Nella sintetica definizione data dal National Audit
Office, l’organismo che verifica l’impiego delle
risorse pubbliche per conto del Parlamento inglese,
- “economicità è minimizzare il costo delle risorse
utilizzate o procurate: cioè, spendere meno
- efficienza è la relazione tra i prodotti (output: beni
o servizi) e le risorse (inputs) utilizzate per produrli:
cioè, spendere bene
- efficacia è la relazione tra i risultati attesi dalla
spesa pubblica e quelli effettivi: cioè, spendere
saggiamente” (Nao,
http://www.nao.org.uk/about/role.htm ).
Valutazione politiche pubbliche
25
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Effectiveness
Misurata in base al rapporto tra il problema originario e gli
outcomes
• achievement of objectives
■ Baseline information about the situation before the
intervention
■ Baseline during the implementation of the
intervention
■ A verifiable ex post description of the results
Problema:
» chiarezza degli obiettivi
» precisione degli indicatori
• causal attribution
da Looking Back, Moving Forward. Sida Evaluation Manual, 2004,
http://www.tsunami-evaluation.org/NR/rdonlyres/95FD78B5-DAC0-4339-AECCB25EFD284797/0/evaluation_manual_sida.pdf
Valutazione politiche pubbliche
26
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Efficiency is a relation between means and ends.
the value of the results
the value of the resources used to produce them
cfr economic evaluation: a comparative analysis of alternative courses
of action in terms of both their costs and their consequences.
A policy is
– fully efficient if its value is greater than the value of any alternative
use of these resources.
– less than fully efficient if the same resources could have produced
better results in some other way, or if the same results could have
been produced with fewer resources.
da Looking Back, Moving Forward. Sida Evaluation Manual, cit
Valutazione politiche pubbliche
27
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
technical (instrumental) efficiency: an intervention is
evaluated against other ways of achieving the same
concrete objective, regardless of the value of that objective.
It takes the objective as given
allocative efficiency: an intervention is evaluated against
every alternative use of the same resources, at least in
principle. It raises the more far-reaching question of
whether the intervention is economically worthwhile.
da Looking Back, Moving Forward. Sida Evaluation Manual, cit
Valutazione politiche pubbliche
28
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Most important economic evaluations:
– cost-effectiveness analysis (CEA): results are measured in
terms of natural units: number of households supplied with fresh
water, number of persons cured of a particular disease...
– cost-utility analysis (CUA): results are reduced to a generic,
non-monetary measure of utility that is applicable to a particular
type of intervention. For example, in the health sector
qualitatively different interventions are made comparable
through such generic measures of health status as Quality
Adjusted Life Years (QALYs) and Disability Adjusted Life Years
(DALYs).
– and cost-benefit analysis (CBA): results are measured in a
variety of ways but valued in monetary terms.
da Looking Back, Moving Forward. Sida Evaluation Manual, cit
Valutazione politiche pubbliche
29
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Misure di efficienza
L’analisi costi benefici (ACB o CBA)
1.Individuazione di tutte le conseguenze - negative e positive derivanti dall’adozione di un'alternativa di policy
2. Quantificazione dei costi e dei benefici in termini monetari
e individuazione dell'orizzonte temporale.
3. Riduzione dei valori futuri al loro valore attuale
4. Stima delle probabilità e calcolo delle conseguenze attese
5. Confronto tra i risultati
Valutazione politiche pubbliche
30
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
L’analisi costi benefici richiede che affermazioni di questo tipo si traducano in
numeri
What Preventing Poverty Means
Reducing child poverty is one of the smartest investments that Americans can
make in their nation’s future. Fewer children in poverty will mean:
•
More children entering school ready to learn
•
More successful schools and fewer school dropouts
•
Better child health and less strain on hospitals and public health systems
•
Less stress on the juvenile justice system
•
Less child hunger and malnutrition, and other important advances
http://www.nccp.org/ycpf_03.html
Valutazione politiche pubbliche
31
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Impact
Impact criterion is primarily a recommendation that all significant
consequences should be taken into account
– the totality of the effects
– the effects in the longer term
– the expected and unexpected effects,
– the positive and negative effects
da Looking Back, Moving Forward. Sida Evaluation Manual, cit
La differenza con il criterio dell’efficacia sta in tre aspetti:
1. l’arco temporale è più lungo
2. sono considerati anche fattori imprevedibili o imponderabili
3. sono valutati gli effetti non solo rispetto allo specifico problema, ma
rispetto allo stato generale della società presa a riferimento. Insomma,
sono considerate le esternalità positive e negative rispetto ad altre
aree di policy o rispetto al funzionamento del mercato
Valutazione politiche pubbliche
32
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Tipi di impatto
EXPECTED POSITIVE
UNEXPECTED POSITIVE
EXPECTED NEGATIVE
UNEXPECTED NEGATIVE
Types of negative unintended effects
TARGETING ERRORS
Type I Error:
– some of the intended beneficiaries have been excluded
Type II Error:
– outsiders have seized benefits intended for the target group
SUBSTITUTION AND DISPLACEMENT
The intended positive effects for a particular target group are realised, but only
at the expense of another group or category that is equally deserving of
support.
PERVERSE EFFECTS
The aim is to strengthen the ability of people to deal with their own problems
but it results in increased dependency on aid
da Looking Back, Moving Forward. Sida Evaluation Manual, cit
Valutazione politiche pubbliche
33
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
The problem of causal attribution
Impact, in the strict sense, is the difference between the changes that
have actually occurred and the changes that would have occurred
without the intervention.
The hypothetical state of affairs to which we compare real changes is
known as the counterfactual.
The role of control groups
Valutazione politiche pubbliche
34
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
da Ugo Trivellato, UNO SCORCIO ALLA VALUTAZIONE DEGLI EFFETTI DI POLITICHE
PUBBLICHE, Milano, 14 novembre 2008
Valutazione politiche pubbliche
35
Dall’analisi delle politiche alla loro valutazione1. L’analisi (razionale)
delle politiche: gli aspetti esaminati
Che cosa è la valutazione
Evaluation is “a systematic and objective assessment of an
ongoing or completed project, program or policy, its design,
implementation and results.”
Evaluation is:
– a reality test
– a learning mechanism
http://www.worldbank.org/ieg/ecd/docs/annex_e.pdf.
Monitoring/evaluation: Misurare la febbre/capire come sta il
malato
Valutazione politiche pubbliche
36