Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare l’Italia
Sono soldi ben spesi? Perché e come
valutare l’efficacia delle politiche
pubbliche
Aline Pennisi
Ministero dell’economia e delle finanze - RGS
14 giugno 2011
principali messaggi del libro bianco
•
o
•
•
•
o
o
circoscrive il concetto di “valutazione” (termine generalmente utilizzato
per indicare attività molto diverse)
valutare l’efficacia delle politiche intesa come capacità di produrre gli effetti
desiderati
individuare i motivi del ritardo italiano nell’introdurre la valutazione
degli effetti come strumento di aiuto alle decisioni
presentare a un pubblico non specialista alcuni dei metodi disponibili
per la valutazione degli effetti
la valutazione contribuisce anche a migliorare la qualità e vivacità del
dibattito pubblico, con benefici in termini di:
maggiore consenso per avviare cambiamenti nelle politiche esistenti e superare lo
status quo
maggiore capacità di esplicitare i bisogni della società
l’approccio priviliegato è quello controfattuale e, in particolare,
dell’esperimento randomizzato (RCTs)
si focalizza l’attenzione su singoli interventi con popolazioni di beneficari omogenei e
trattamento tendenzialmente uniforme
buone motivazioni per valutare l’efficacia delle politiche
There is nothing a Government hates more than to be well-informed; for it makes
the process of arriving at decisions much more complicated and difficult.
-- John Maynard Keynes
•
per i politici
o
legittimazione e accountability nei confronti di cittadinanza / elettori
maggiori capacità negoziali con parti che vestono interessi conflittuali
•
per i policy-makers (disegnano la politica, scrivono le norme)
o
o
o
o
•
o
o
migliore capacità di decidere come allocare le scarse risorse disponibili tra diverse opzioni di
intervento
spinta a “sperimentare” / individuare meccanismi innovativi per rispondere ai bisogni della
società
maggiore fiducia nell’amministrazione da parte dell’opinione pubblica
ma anche per i practitioners e service providers (gli insegnanti, gli operatori
sociali, gli agenti che attuano operativamente gli interventi/ impartiscono il
“trattamento”)
hanno spesso domande “più semplici” e “ meno multi-dimensionali” a cui rispondere (più
adatte ai RCTs)
le modalità effettive di attuazione di un intervento “nascondono” spesso dettagli
fondamentali (come mostra la letteratura dei RCTs, es. Banerjee / Duflo, 2011)
la valutazione va disegnata assieme all’intervento
Utilizzare esperimenti randomizzati richiede un cambiamento nel modo di
disegnare gli interventi, ma porta anche molti benefici in termini di:
•
o
o
o
•
o
o
•
o
razionalizzazione del disegno dell’intervento
esplicitando le varabili-risultato
introducendo sin dall’inizio “varianti” del trattamento da testare
rendendo più trasparenti i meccanismi di selezione dei beneficiari (la stessa selezione
casualmente…)
riduzione dei costi della valutazione
orientando i sistemi di gestione e monitoraggio dell’intervento in maniera da fornire
dati indispensabili per la valutazione
RCTs possono fornire evidenze “forti” con campioni piccoli e (per gli effetti di breve) in
tempi relativamente rapidi
confronto con “problemi” (imprevisti) in corso di attuazione
per garantire la validità dell’esperimento diventa fondamentale porsi il problema della
non-contaminazione tra gruppo di trattamento e controllo e delle cadute (attrition) nel
gruppo di trattamento …. gettando luce su dettagli dell’implementazione
anche con una valutazione controfattuale è a volte difficile fornire
risposte sul “che fare?”
•
o
•
o
o
le evidenze possono essere ambigue o addirittura contraddittorie
un caso classico della letteratura, Minneapolis Domestic Violence Experiment, nel campo della
giustizia criminale (Sherman and Berk, 1984), ma anche di molti altri interventi (cfr. What
Works Clearinghouse)
se l’effetto è zero vuol dire davvero che l’intervento “non funziona”?
il “dosaggio” potrebbe essere troppo basso, le variabili-risultato potrebbero essere mal
individuate (effetti attesi irrealistici e/o non condivisi dalla comunità di practitioners)
anche in settori in cui RCTs sono lo standard, si praticano ampiamente altre metodologie
nell’intento di capire perché un effetto si produce o meno
•
se l’effetto è positivo, lo stesso intervento funzionerà a regime e/o altrove?
o
il problema più grosso dell’approccio controfattuale è la cd. “validità esterna” …
Miglioramento delle competenze degli studenti in matematica
WWC: 492 valutazioni relative a 32 interventi, di cui solo 29 sperimentali (RCT)
Effetti quantificati
Nessun effetto intercettabile
Effetti misti
Effetti potenzialmente positivi
Effetti positivi
Totale
Evidenza
"debole"
13
3
2
18
Evidenza
"forte"
3
6
2
11
Totale
16
6
3
4
29
Evidenza "debole" - uno solo studio, una sola scuola e campione inferiore a 350 studenti o 14 classi; evidenza "forte" - più di
uno studio, più di una scuola e campione di almeno 350 studenti o 14 classi. (http://ies.ed.gov/ncee/wwc/)
valutazione degli effetti e riqualificazione della spesa
•
o
o
•
o
o
Le sfide per la riqualificazione della spesa sono due:
migliorare le prestazioni della pubblica amministrazione e il funzionamento ordinario dei
servizi
sperimentare / riformare le politiche per rispondere a nuove crescenti esigenze della
società (competenze, immigrazione, invecchiamento, innovazione tecnologica,
ambiente, …)
l’approccio del Libro bianco enfatizza il contributo della valutazione al
secondo aspetto, tuttavia può essere utile anche per il primo
spingere alla misurazione della quantità e qualità dei servizi erogati (senza la quale è
difficile analizzare l’efficienza produttiva e organizzativa)
individuare correttivi alle modalità operative esistenti (per es., capire come migliorare il
targeting dei beneficiari, come fornire incentivi agli operatori, etc.) e riformare le
politiche esistenti con pacchetti di interventi dimostratisi empiricamente efficaci (per es.,
riforme Hartz in Germania)
E’ però importante non restringere il campo della valutazione agli interventi
sperimentali e “replicabili” (molte politiche hanno popolazioni di beneficiari
eterogenei e trattamenti non uniformi e la ricerca applica fornisce altri
strumenti per fornire utili indicazioni …)
6
opportunità per la valutazione degli effetti
•
o
o
•
o
E’ più semplice avviare grandi stagioni di valutazione in “good times” …
maggiore disponibilità di risorse finanziare con cui sperimentare nuovi interventi
risorse finanziare e tempo da dedicare alla valutazione degli interventi
… ma è tanto più necessario oggi per imparare come evitare i cd. “tagli
lineari” alla spesa
esistono molti presupposti in tal senso a cui però non sono ancora conseguiti risultati
visibili:
normativa sull’AIR/VIR
“Relazione sullo stato della spesa” che ciascun Ministro invia al
Parlamento annualmente entro il 15 giugno (legge n. 244/2007)
l’introduzione di un programma (prima straordinario e ora
permanente) di analisi e valutazione della spesa pubblica
affidato al Ministero dell’economia e delle finanze e la recente
istituzione di Nuclei di analisi e valutazione della spesa. Come
ambito di collaborazione tra ciascun amministrazione e il
MEF/RGS, con compiti di individuazione delle aree di
inefficienza della spesa e di inefficacia delle politiche
perseguite
7
ricercatori e funzionari pubblici
Potrebbero essere i protagonisti principali di un cambiamento verso una
maggiore pratica di valutazione delle politiche. Oltre a impegni dall’alto,
possono essere maggiormente mobilitati dal basso …
•
ricercatori
o
•
o
o
la comunità accademica è chiamata a contribuire … ma i ricercatori sono guidati da ciò
che è pubblicabile su riviste internazionali (interventi specifici al contesto italiano e
interventi che hanno effetto zero non sono particolarmente allettanti, come non lo sono
studi che replicano precedenti valutazioni …)
funzionari pubblici
per essere utilizzata (e più facilmente accettata), la valutazione deve essere fatta anche
“dall’interno delle amministrazioni” (meglio competenze più diffuse o luoghi deputati di
eccellenza?)
naturalmente serve anche acquisire strumenti pratici per affidare una valutazione
all’esterno (dall’elaborazione ed espressione di domande di valutazione, alla selezione dei
valutatori, alla gestione del processo, alla diffusione dei risultati) … e per questo esistono
spazi di formazione (rafforzare le iniziative di CAPIRE, progetto NUVAL ma anche
introdurre moduli ad hoc nelle scuole SSEF e SSPA)
8
offerta: migliorare qualità e accessibilità dei dati
•
o
o
o
o
o
“open government data”
superare le difficoltà di diffusione di microdati amministrativi e di indagini
favorire la creazione di dati longitudinali (nel rispetto della privacy)
indispensabili in molti campi come quello dell’istruzione e delle politiche
sociali per seguire nel tempo gli effetti
rendere i dati accessibili a TUTTI, non solo ai “ricercatori accreditati”
curare la maggiore fruibilità via internet (cfr. il successo dell’indagine OECDPISA)
ricordando che queste azioni portano benefici di per sé (prima ancora dei
risultati delle valutazioni):
costringono gli annunci politici ad essere più fattuali
incoraggiano la creazione di una domanda di valutazione
favoriscono lo sviluppo di studi condotti in modo
spontaneo
9
domanda: adempimenti normativi e clausole valutative
•
o
•
o
o
Regolamenti UE per la politica di coesione: occasioni per il 2014-2020
Gli obblighi di valutazione imposti nei precedenti cicli di programmazione per le politiche di
coesione (Reg. 1260/99 e Reg.1083/2006) hanno avuto effetti solo parzialmente positivi in
termini della diffusione di una pratica di valutazione e di disponibilità di risorse per farla,
anche perché:
mentre la valutazione ex-ante e in itinere sono poste sotto la
responsabilità dei singoli Stati Membri, la valutazione ex-post (quindi
quella di impatto) rientra esclusivamente nella responsabilità della
Commissione Europea e non degli Stati Membri …
Clausole valutative nelle norme che definiscono l’intervento
l’inserimento di clausole valutative, soprattutto per interventi che hanno una dichiarata
natura sperimentale, favorisce l’introduzione del disegno della valutazione sin dal disegno
dell’intervento
più che introdurre clausole “sunset”, occorre orientare le clausole valutative in maniera da
assicurare:
la disponibilità dei dati necessari e la loro accessibilità a terzi
un sistema di governance della valutazione per mettere assieme i
funzionari pubblici e i ricercatori
10
domanda: creare incentivi per l’utilizzo della valutazione
•
o
o
la fissazione di tetti di spesa pluriennali per le amministrazioni e target
quantificati
la stagione di evidence-based policy nel UK è stata accompagnata dagli accordi di servizio
pubblico (PSAs) e accordi di servizi erogati (SDAs), accompagnati da periodici esercizi di
revisioni della spesa (spending reviews) e tetti di spesa per i budget dei Ministeri. Questo
tipo di impianto favorisce:
la definizione degli obiettivi misurabili associati ai principali
programmi di spesa, ossia un’esplicitazione degli effetti desiderati
la responsabilizzazione dei dirigenti pubblici rispetto al
raggiungimento di risultati con un vincolo finanziario complessivo,
creando maggiore pressione per l’individuazione di interventi
efficaci
la riforma delle legge di contabilità e finanza pubblica (n.
196/2009) contiene alcuni elementi da valorizzare in tal senso
(voto parlamentare a livello di programma di spesa, univoca
identificazione tra programma e CDR, indicatori da associare ai
programmi, programmazione pluriennale, delega all’art.40 con
“tetti di spesa”, …)
il maggiore decentramento dei servizi e l’attuazione del federalismo fiscale creano le
condizioni per sperimentare un laboratorio di politiche diversificate e per sviluppare un
nuovo ruolo tra centro e periferia sul raggiungimento di risultati a fronte di un vincolo rigido
sulle risorse trasferite (LEP e obiettivi di servizio)
11