23 novembre 2011
Camera dei Deputati – Palazzo San Macuto
La Commissione del CSS
2
Il libro poggia sui lavori della
Commissione del CSS sulla valutazione
degli effetti delle politiche pubbliche
Fabrizio Barca
Andrea Mancini
Sergio Ristuccia
Paolo Sestito
Ignazio Visco
Manin Carabba
Enrico Rettore
Antonio Schizzerotto
Paolo Silvestri
Alberto Zuliani
La domanda del titolo
3
«Sono soldi ben spesi?» è domanda doverosa rispetto
a ogni utilizzo di risorse pubbliche. Ma che significa?
Dipende da quel che intendiamo per “bene”.
- Correttamente: rispettando regole e vincoli di legge.
- Senza sprechi: contenendo i costi.
- Per una giusta causa: a favore di chi ha più bisogno.
- ……………………
Qui per “bene” intendiamo in modo efficace, dove
efficacia  capacità di una politica pubblica di produrre
effetti, quelli desiderati (ma anche quelli inattesi).
Per quali politiche pubbliche?
4
Politica pubblica  intervento rivolto a un ben definito
insieme di destinatari con lo scopo di indurre un
cambiamento in condizioni o comportamenti ritenuti
problematici.
Non tutta l’azione pubblica risponde a queste
caratteristiche, ma una parte rilevante sì.
- Sono ben spesi i finanziamenti alle imprese per R&S?
- I fondi per le politiche del lavoro e di conciliazione?
- Per gli interventi di sperimentazione didattica?
- Per le politiche di coesione (place-based)? …
Il messaggio del libro, in poche righe
5
Usare gli strumenti delle scienze sociali per produrre
solida evidenza empirica sugli effetti delle politiche –
sulla loro efficacia o meno, sulla variabilità degli effetti,
sui meccanismi tramite i quali si generano gli effetti –,
allo scopo di migliorare le politiche, in definitiva di
aumentarne i benefici/ridurne i costi per la società.
Due sono gli snodi:
- quali sono gli strumenti analitici appropriati?
- quali sono le “condizioni al contorno”, del discorso e
del processo decisionale pubblico, perché li si usi?
(I) La sfida cognitiva
6
Occorre affrontare una questione di ordine generale,
di natura cognitiva: l’attribuzione causale.
“Nei primi anni ‘60 il nostro medico di famiglia a
Blackpool si chiamava dottor Piggott. […] Se avevi il
morbillo, o la varicella, o la bronchite, ti prescriveva
una medicina e guarivi. Se guarivi grazie alla medicina
era un’altra storia, ma la sequenza degli eventi era
sempre la stessa.”
Tim Parks, Insegnaci la quiete, 2010.
L’analisi controfattuale
7
In generale, l’effetto non è la differenza tra dopo e
prima. Il detto latino post hoc ergo propter hoc è in
generale falso.
L’effetto di un intervento è la differenza tra quanto si
osserva in presenza dell’intervento e quanto si sarebbe
osservato in sua assenza (questo risultato ipotetico è
detto controfattuale).
L’obiettivo della valutazione degli effetti è ricostruire in
maniera credibile il controfattuale.
(II) La sfida politico-culturale
8
Si pone poi una questione specifica dei singoli contesti,
di natura culturale: i decisori – e i portatori di interessi
collettivi e la società – hanno la volontà di apprendere
se e come funzionano le politiche pubbliche?
Vari fattori concorrono a determinare un processo
decisionale democratico evidence based:
-
civicness;
classi dirigenti lungimiranti, con la “veduta lunga”;
assetto istituzionale improntato a “controlli e contrappesi”;
interazioni virtuose fra molteplici “attori”.
 Occorre una reale domanda sociale di valutazione.
L’emergere di una domanda sociale di
valutazione/apprendimento
10
Un paio di dilemmi delle “democrazie delle masse”:
- risolvere i problemi
o fare (illusoriamente) contenti gli elettori?
- imparare a risolvere i problemi
o (fingere di) presumere di sapere come si fa?
Per procedere, servono decisori e “attori” che intendono
apprendere come risolvere i problemi e che, per ciò,
usano dati adeguati e metodi appropriati.
Attenzione! Porsi la domanda giusta
11
Che cosa si vuole?
- Capire quali sono gli effetti di una politica?
- O rendicontare ciò che si è realizzato e speso?
È importante tenere distinte le due domande:
sono entrambe legittime, ma hanno obiettivi diversi.
 Rendere conto dell’intervento realizzato: per l’obbligo
di “rispondere” a un altro livello di governo o ente di
controllo o per legittimarsi.
 Apprendere per replicare l’intervento in futuro o
aumentarne la scala o mirarlo meglio (o abbandonarlo).
Valutare per apprendere:
due conseguenze
12
 Vale la pena valutare una politica quanto più
è replicabile, vi è l’intenzione di replicarla,
vi è la possibilità che l’evidenza prodotta
dalla valutazione sia utilizzata.
 La valutazione è tanto più utile quanto più ha
una natura prospettica, cioè è disegnata e
realizzata assieme alla politica:
- vantaggi per il monitoraggio e la raccolta dei dati;
- funzione disciplinatrice sul processo di policy.
Dati gli obiettivi …
13
 Valutare per apprendere
 Valutare prospetticamente
 Fare inferenza causale robusta
 L’esperimento è la soluzione ideale (o quasi).
Non solo: è una cartina di tornasole per la
volontà di apprendere dalla valutazione.
Tuttavia: è molto difficile da realizzare
e incontra limiti nell’applicazione.
Quando l’esperimento non è possibile ...
14
Non siamo in un cul de sac.
Gli ultimi quarant’anni hanno visto una forte
crescita dei metodi non-sperimentali,
che cercano di “mimare” l’esperimento.
 Il valutatore non può “manipolare”
l’esposizione alla politica.
 Osserva ciò che succede e si propone di
ricondursi alla condizione ceteris paribus.
Tre storie emblematiche dall’estero
15

L’uso degli esperimenti randomizzati nel
sistema dell’istruzione statunitense.

Le “riforme Hartz” tedesche sulla regolazione
delle politiche del lavoro e del welfare.

Una recente innovazione – un social
experiment – nelle politiche di avviamento al
lavoro in Francia.
Veniamo alla situazione italiana
16
Tirando le fila (… speriamo provvisorie)
17
Il confronto con le esperienze straniere, anche quelle di
paesi a noi vicini per istituzioni e cultura,
Germania e Francia,
comincia a farsi impietoso.
 Forte ritardo dell’Italia nelle pratiche di
disegno, monitoraggio e valutazione degli effetti
di politiche.
 Tendenza del divario a crescere, quindi
rischio di una pericolosa deriva.
Cause prossime, o meglio sintomi
18
 C’è una sorta di presunzione di efficacia:
tendenza dei decisori a presumere che tra il disegno
normativo dell’intervento e la sua realizzazione vi è
una corrispondenza ovvia, quasi obbligata.
Deleteria disattenzione per (i) implementazione e (ii)
reazioni comportamentali.
 Manca una genuina domanda di valutazione:
nessuno degli attori rilevanti pone sul tappeto con
sufficiente forza la questione dell’efficacia e induce ad
affrontarla con ricorso rigoroso all’evidenza disponibile.
Alla difficile ricerca delle cause profonde
19
Gli aspetti dell’ “italianità”: carenze e inerzie (tra i molti
Patriarca, 2010, e Altan, 1999).
Un abbozzo di tre sentieri di spiegazione, che
interagiscono e hanno una forte persistenza:
 prevalenza del pensiero idealistico/costruttivistico su
quello realistico/empirico;
 basso capitale sociale, inteso come civicness e
“buona cultura” (Putnam, 1993; Guiso et al., 2008);
 istituzioni non ben disegnate e non ben funzionanti, e
loro legami con “cultura” e “moralità” (Tabellini, 2008)
Non possiamo ignorare né i
condizionamenti né le lezioni
20
In questo contesto, gli spazi per la valutazione degli
effetti di politiche pubbliche, con un intento di
apprendimento in vista del loro miglioramento,
si riducono fino a rischiare di annullarsi.
I caratteri del policy making italiano vanno lucidamente
tenuti in conto, per evitare illusioni e fughe in avanti.
Un insegnamento, in particolare: va abbandonata la
via normativa alla valutazione, con la superfetazione
di procedure e organismi (AIR, VIR, CIVIT, OIV, …):
è stata battuta a lungo, con vistosi insuccessi.
Cambiare è possibile
21
Ma le “condizioni al contorno” non sono immutabili, non
segnano un destino ineluttabile. L’esperienza di altri
paesi, e in alcuni fasi storiche del nostro, insegna che
cambiare è possibile.
L’orizzonte: verso l’evidence-based policy.
La strategia: invece di “legiferare la valutazione”,
proviamola e sul serio.
Nove raccomandazioni,
per aprire il dibattito
22
L’obiettivo: creare condizioni che favoriscano la doman
da e l’utilizzazione dei risultati della valutazione come
input del dibattito pubblico e del processo decisionale.
Il percorso: definire terreni e metriche condivise, nelle
quali il confronto di valori e interessi si dispieghi
poggiando sull’evidenza empirica.
Le raccomandazioni: contributo per avviare il dibattito:
- condizioni dal lato dell’offerta;
- meccanismi utili per innescare la domanda;
- processo di interazione fra i due fronti e i vari “attori”.
Sulle condizioni dal lato dell’offerta (I)
23
La valutazione si nutre di dati micro.
Anche in Italia ce ne sono sempre di più.
Ma non sono né integrati né accessibili ai valutatori
(a) Qualità e integrazione di dati, amministrativi e da
surveys.
(b) Definizione di regole aperte di accesso dei
valutatori ai microdati.
Sulle condizioni dal lato dell’offerta (II)
24
La valutazione degli effetti non è come la rendicontazio
ne, che muore lì. L’apprendimento è cumulativo o non è.
“Evaluations build on cumulative knowledge” (J. Heckman)
La replicabilità seleziona gli studiosi capaci e onesti.
Sui meccanismi per la domanda (I)
25
I caratteri negativi del policy making possono trovare
un correttivo nel fatto che un potere deve “rispondere”
a un altro dei risultati ottenuti.



Mandato alle assemblee legislative di valutare gli effet
ti delle politiche, largamente definite dagli esecutivi.
“Clausole valutative” penetranti nelle leggi e “missioni
di valutazione” decise e condotte dalle assemblee.
Strutture tecniche di supporto alle assemblee legisl.
Sui meccanismi per la domanda (II)
26
(8) Imparare a compiere scelte sagge
con risorse calanti
La sfida: spendere meglio per spendere meno.
La valutazione degli effetti può contribuire ad affrontare
la sfida in maniera circoscritta ma significativa:
 individuando che cosa non serve davvero e va tagliato;
 rivelando per chi la politica funziona:  targeting.
Sulle interazioni fra “attori sociali”
27
Tra le possibili strade:
 ci sono temi cruciali nel merito, e percepiti come tali
dalla opinione pubblica:  val la pena investire in
buon policy-making e valutazione;
 (se) si riaffaccia il Quarto Potere: il ruolo dei media;
 pressione di “attori”: forze sociali, advocacy groups,
“chierici” che “non vengono meno al loro ministero”.
Per concludere (I):
dire la verità al potere
28
Un esempio: contribuire a che si smetta di scrivere
bandi di valutazione insensati.
Per concludere (II):
lungimiranza e realismo
29
“Passions within reason” (R.H. Frank)
“Lo sforzo per promuovere la valutazione d’impatto come
uno degli assi metodologici portanti [… di una] politica
deve essere allo stesso tempo lungimirante e misurato:
lungimirante, perché deve creare lo slancio tecnico,
amministrativo e politico affinché il metodo sia introdotto
come una fonte importante di informazione;
misurato, perché questa capacità tecnica richiede tempo,
senza alcuna aspettativa di aver trovato la bacchetta
magica in grado di fornire risposte incontrovertibili su quali
componenti della politica funzionino e dove.”
“Rapporto Barca”, 2009.