La valutazione di impatto netto:
alcune riflessioni “a margine”
Gruppo Nazionale Placement
Roma, 27 Febbraio 2013
Gli “altri” problemi
La valutazione di impatto netto, oltre a presentare difficoltà
metodologiche nel costruire esperimenti valutativi
chiari e condivisibili deve confrontarsi con altri
importanti ostacoli su cui poco si è dibattuto:
1. L’opacità degli esperimenti controfattuali dovuti alla
forte tecnicalità;
2. La dipendenza da una chiara definizione della teoria
del programma;
3. La mancata esplicitazione dei risultati attesi dalle
specifiche attività e dalla politica pubblica nel suo
complesso
4. La preoccupazione per la comunicazione di risultati
problematici e/o non intuitivi
1. Tecnicalità / Opacità
• La complessità tecnica delle valutazioni controfattuali
rende poco presidiabile e comprensibile tutto il processo
valutativo ai non addetti ai lavori
• Banche dati apparentemente analoghe (COB, liste di
esclusi dalla formazione….) possono essere, in realtà,
molto diverse e non garantiscono la comparabilità delle
valutazioni
• Il “trattamento” dei dati per la costruzione dei gruppi di
controllo richiede “micro” scelte da parte del valutatore
che difficilmente vengono esplicitate e, dunque,
contribuiscono ulteriormente a ridurre la comprensione
del percorso oltre che la comparabilità con altre
situazioni apparentemente analoghe
2. La teoria del programma
• Se i due gruppi valutati non presentano differenze nel
conseguimento di un successo occupazionale e i risultati lordi sono
sostanzialmente simili e quelli netti, la lettura può essere ambigua
(opposta) se non è stata definita chiaramente la teoria del
programma.
Esempio: se il gruppo dei Trattati ha maggiori difficoltà non osservabili
nel posizionarsi sul mdl rispetto a chi non sente il bisogno di
formazione, i finanziamenti FSE sono ben spesi in quanto il
trattamento ha annullato/ridotto forme di svantaggio. Se, invece, si
ritiene la ricerca di formazione come segnale di forza (e non di
debolezza), allora il fatto che non si registri una differenza
apprezzabile in termini di occupabilità, può essere letto come una
mancanza di efficacia.
3. I risultati attesi
• Il dibattito si è concentrato molto sulla
fattibilità metodologica piuttosto che sul
significato dei risultati che ruota intorno
ai due concetti di:
– Contributo netto: ci dice/dovrebbe dire se il
trattamento è servito a qualcosa
– Valore aggiunto: ci dice/dovrebbe dire se il
“netto” rilevato ha effettivamente un valore
che giustifica la presenza del trattamento
stesso.
I risultati attesi:
il contributo netto
•
Una valutazione dicotomica del “contributo
netto” (c’è/non c’è), può essere riduttiva e
approssimata per almeno per due ragioni:
1.
Gli effetti del trattamento possono maturare in
tempi del tutto differenti da quelli previsti per la
valutazione
2. Alcuni di questi effetti possono non essere
osservabili da parte del valutatore (vedi politiche
orientamento nella diversa percezione degli utenti)
I risultati attesi:
il valore aggiunto
• L’attribuzione di significato al “valore
aggiunto” della politica valutata è molto
difficile perché:
1. Non abbiamo quasi mai una definizione ex-ante
dei risultati di impatto positivo attesi (RAP)
dall’attuazione della politica
2. Non abbiamo una sufficiente casistica empirica
che ci supporti nella lettura del dato (quanto
“deve essere” il valore aggiunto per risultare
accettabile?)
4. La comunicazione pubblica
La comunicazione (dal valutatore al
Committente / dal Committente agli attori della
politica/ dagli attori della politica ai cittadini)
Sia il “contributo netto”, sia il “valore aggiunto”
sono, per definizione, concetti
“dimensionalmente marginali”, ovvero i numeri
che li possono rappresentare sono
necessariamente “bassi” e ciò rende la
comunicazione complessa e non intuitiva, spesso
anche oggetto di strumentalizzazione.
In sintesi (1)
1.
Il valore aggiunto di una politica non si
deve/può limitare solo alla misura di un
“contributo netto” di natura quantitativa, ma
dovrebbe essere identificato anche attraverso
altre variabili misurabili (non necessariamente
quantitative)
E’ necessario che in fase di programmazione siano
definiti i RAP, sia in termini di contributo
netto, sia in termini di effetti di altra natura: se
ci sono, bisogna trovare il modo di misurarli.
In sintesi (2)
Le difficoltà di comunicazione determinate dalla
complessità di realizzazione e interpretazione
della valutazione di impatto netto potrebbero
essere alleggerite da:
–
–
Maggiore trasparenza e pubblicità delle esperienze e
dei dati per arrivare ad una solida base di
comparazione dei dati tra le regioni
Un’ampia e approfondita riflessione circa
l’affidabilità delle valutazioni di impatto nette che si
possono fare: o sono affidabili perché i limiti
metodologici sono governabili, oppure è più corretto
limitarle all’ambito accademico non sprecando
risorse pubbliche per informazioni che non vengono
utilizzate.
In sintesi (3)
1.
I problemi metodologici non riguardano solo la tecnica di
selezione del gruppo di controllo, ma la natura stessa dell’attività
formativa il cui contributo “netto” e il cui “valore aggiunto”
non possono essere limitati al successo occupazionale in un tempo
X , ma può esprimersi in forme non osservabili e in tempi diversi.
E’ necessario chiedersi se ha senso aumentare la complessità (e i costi)
della valutazione per avere risultati la cui affidabilità complessiva
si può assimilare alla valutazione di impatto lordo, ben più facile e
comparabile su larga scala.
E’ opportuno limitare l’uso della valutazione controfattuale su attività
delimitate, di particolare rilevanza strategica e per le quali è
dirimente perseguire una scelta dicotomica (si continua a fare /
non si fa più)