La valutazione delle
politiche per l’impiego:
gli incentivi alle imprese
Evidenze, sfide e indicazioni per la nuova programmazione FSE
Pilot Projects to carry out ESF related
Counterfactual Impact Evaluations
Roma, 13 Maggio 2015
Tutto ciò che si cerca, si può raggiungere;
mentre sfugge ciò che si trascura.
SOFOCLE
(da Plutarco. La vita felice. Einaudi)
• E’ lo spirito al centro del progetto pilota, di cui
presentiamo i primi risultati:
– Cercare modalità operative da adottare
«facilmente»
– Accumulare esperienza ed evidenza, cioè risultati:
la comparazione ci avvicina al vero
• Per rafforzare l’attività dei decisori e la
rispondenza ai bisogni dei cittadini
Gli interventi oggetto di valutazione
CALABRIA (2009): “Avviso pubblico per la concessione di aiuti alle
imprese per l’assunzione di lavoratori svantaggiati e
all’occupazione di lavoratori disabili, sotto forma di integrazione
salariale - POR FSE Calabria 2007-2013, Piano d’Azione 2009/2010”
• Incentivi per l’assunzione di lavoratori svantaggiati e severamente
svantaggiati (EU Reg. 800/2008) e lavoratori disabili (L. 68/1999) residenti
in Calabria
• Allocazione finanziaria di € 30 mln
• Ammissibilità: l’impresa richiedente deve aumentare la base
occupazionale
• Le domande ammissibili sono finanziate fino a esaurimento delle risorse,
su base cronologica
• Ammontare dell’incentivo: a seconda della tipologia di lavoratore assunto,
da 50% a 75% dei costi salariali complessivi per un periodo che varia dai
12 ai 36 mesi
• Le risorse disponibili non hanno coperto tutte le domande ammissibili
Misure oggetto di valutazione
MARCHE (2011 e 2012): “Avviso pubblico per la concessione di
contributi per la stabilizzazione dei contratti a termine ed atipici –
Anno 2011 e Anno 2012”
• Allocazione finanziaria : €2,1 mln nel 2011 e €2,8 mln nel
2012 a valere sull’Asse II “Occupabilità” del POR FSE
Regione Marche; la dotazione è stata successivamente
aumentata di €2 mln per il 2011 (risorse FSE) e di €2,8 mln
per il 2012
• Le domande sono finanziate fino a esaurimento delle
risorse su base cronologica
• Incentivo: €7.000 per lavoratori assunti a tempo pieno
(ridotto proporzionalmente per lavoratori a tempo parziale)
• Tutte le domande ammissibili sono state finanziate
Misure oggetto della valutazione
UMBRIA (2011): “Avviso Pubblico Precari 2011 –
Intervento 1: Stabilizzazione dei lavoratori e delle
lavoratrici precari/e” – POR Umbria FSE 2007-2013
• Allocazione finanziaria: €3,3 mln a valere sull’Asse
II Occupabilità del POR FSE Umbria
• Incentivo: fino a €9.000
• Selezione: le domande sono finanziate fino a
esaurimento risorse, su base cronologica
• Le risorse disponibili non hanno permesso di
coprire tutte le domande ammissibili
La domande valutative
• Quali gli effetti degli interventi?
• Se ci sono, sono attribuibili all’intervento?
– In sostanza, dato che non è possibile sapere cosa
sarebbe successo senza per i trattati, si cerca di
confrontare il risultato medio con quello di un gruppo
simile.
– Il problema è : quanto simile? Garantire l’assenza di
differenze tra i due gruppi prima dell’intervento è
possibile solo con una selezione casuale
– Poiché nemmeno questo è possibile si cerca di
avvicinare il più possibile la realtà (inconoscibile)
L’approccio metodologico
La Valutazione di Impatto Controfattuale comprende un insieme di tecniche
che permettono di:
 isolare e quantificare l’impatto di una politica
 individuare se i risultati di una data misura possono essere direttamente
attribuibili al’intervento oppure si sarebbero verificati anche in sua assenza
Variabili risultato (a livello di impresa su base trimestrale):
 Calabria: numero di assunzioni di lavoratori svantaggiati e severamente
svantaggiati
 Marche and Umbria: saldo nel numero di contratti a tempo indeterminato
(permette di individuare l’impatto totale) e le sue componenti (assunzioni,
trasformazioni e cessazioni a tempo indeterminato) (permette di
individuare effetti di sostituzione)
SaldoTI = AssunzioniTI + TrasformazioniTI – CessazioniTI
L’approccio metodologico
• Metodo di stima: combinazione del metodo delle differenze nelle differenze
(D-in-D) con quello detto Abbinamento Statistico (Propensity Score Matching
- PSM); diversi stimatori PSM sono usati per testare la robustezza degli
impatti trovati
• Dati: banche dati del monitoraggio FSE combinati con le banche dati delle
Comunicazioni Obbligatorie (sul totale dei cambiamenti contrattuali
verificatisi dal 2008 in poi) e ASIA (Archivio statiatistico delle Imprese Attive)
• Tutte le tecniche di valutazione controfattuale si basano sul confronto dei
risultati osservati per i beneficiari (gruppo di trattamento) con quelli
osservati per un gruppo di non-beneficiari (gruppo di controllo) composto da
soggetti (imprese, lavoratori, …) che hanno caratteristiche simili ai trattati
L’approccio metodologico
Due modalità (in base alle circostanze) che si differenziano nel
modo in cui il gruppo di controllo è ricavato:
 L’approccio “razionato”: le imprese ammesse ma non
finanziate compongono il gruppo di controllo
in Umbria e Calabria dove solo una parte delle imprese ammesse hanno
ricevuto l’incentivo a causa dell’insufficienza delle risorse disponibili
 L’approccio “non-razionato”: le imprese che non hanno fatto
domanda compongono il gruppo di controllo
- nelle Marche dove tutte le imprese ammesse sono state finanziate
- in Umbria e Calabria per valutare eventuali differenze nelle stime di
impatto
Risultati - Calabria
Outcome variables by pertaining group (quarterly per-firm averages), Calabria
Source: own calculations from ESF regional monitoring system, Compulsory Communications and ASIA
•
•
Il numero di assunzioni (hirings) è maggiore per il gruppo dei beneficiari che per I 2 gruppi di controllo (razionato
e non razionato); tra I 2 gruppi di controllo, è maggiore per il gruppo di controllo razionato che per quello nonrazionato
Non si individua una crescita particolare nel numero di assunzioni di lavoratori svantaggiati per le imprese trattate
nel periodo successivo alla riforma (si noti tuttatavia che la serie storica a disposizione permette di osservare la
variabile risultato solo per un limitato numero di trimestri antecedenti l’introduzione della riforma)
Risultati-Calabria
ATT impact on the hirings of disadvantaged workers, Nearest neighbours matching (k5), Calabria
“rationed approach”
“non-rationed approach”
10
10
5
5
0
0
-5
-5
-10
2009q4
2012q2
2011q1
2009q4
2013q3
2012q2
2011q1
time
Central Estimate
2013q3
time
95% Confidence Interval/
Central Estimate
95% Confidence Interval/
Sources: ESF monitoring data, Comunicazioni Obbligatorie and Asia
Le stime di impatto riportate nel grafico mostrano che la riforma non ha avuto effetti
statisticamente significativi sul numero di lavoratori svantaggiati, sia usando l’approccio
“razionato” che quello “non razionato”
Risultati-Calabria
• Lievi effetti positivi (statisticamente) significativi sono individuati in alcuni dei
tre trimestri successivi all’introduzione della misura sia usando l’approccio
“razionato” che quello “non- razionato”
• La loro significatività non è robusta tra stimatori diversi
• L’evidenza complessiva suggerisce (non indica) che la misura non ha avuto un
impatto netto statisticamente significativo sul comportamento reclutatorio
delle imprese beneficiarie
Risultati-Calabria
• Tutti I risultati, siano positivi o nulli, vanno presi con cautela.
• In questo caso vanno ricordate le limitazioni nella disponibilità dei dati, in
particolare:
 Il breve periodo per cui per cui le Comunicazioni Obbligatorie (CO) sono registrate prima
dell’intervento
 Il numero relativamente piccolo di imprese trattate e razionate che possono essere identificate nelle
banche dati CO e ASIA su cui l’analisi è effettuata;
 L’approssimazione con cui le variabili risultato sono effettuate, per via dell’impossibilità di rintracciare
tutte le variabili necessarie a ricostruire lo stato di svantaggio nelle CO e in ASIA
• Un ulteriore approfondimento circa l’impatto della misura potrebbe
venire dall’approfondimento (in corso) sulla durata dei rapporti di lavoro
attivati attraverso l’incentivo
Risultati-Marche
ATT impact on the net change of permanent contracts, Nearest neighbours matching (k5), Marche
Treated firms taking the incentive in 2011 only
Treated firms taking the incentive in 2012 only
1
.6
.4
.5
.2
0
0
-.2
-.4
-.5
2011q1
2012q1
2011q3
2013q1
2012q3
time
Central Estimate
2014q1
2013q3
95% Confidence Interval/
2012q1
2014q3
2013q1
2014q1
2012q3
2013q3
2014q3
time
Central Estimate
95% Confidence Interval/
Sources: FGB calculations on ESF monitoring data, Comunicazioni Obbligatorie and Asia
• Le stime mostrano che la riforma ha avuto un impatto positivo sul saldo dei
contratti a tempo indeterminato nei tre trimestri successivi all’introduzione
della misura
Risultati -Marche
ATT impact on the net change of permanent contracts, number of transformations of temporary into permanent
contracts, permanent contracts hirings and terminations, Nearest neighbours matching (k5), Marche
Treated firms taking the incentive in 2011 only
Treated firms taking the incentive in 2012 only
Sources: own calculations on ESF monitoring data, Comunicazioni Obbligatorie and ASIA
•
•
L’impatto positivo sul saldo dei contratti a tempo indeterminato nei trimestri successivi
all’introduzione della misura può essere attribuito interamente a un aumento delle
stabilizzazioni
La diminuzione delle assunzioni di lavoratori a tempo indeterminato osservata dal III trim
2013 al III trim. 2014 per le imprese che hanno beneficiato degli aiuti non sono
statisticamente significative (eliminando la possibilità di un effetto di sostituzione)
Risultati-Marche
• Le stime mostrano che la misura ha avuto un impatto statisticamente
significativo sul numero dei lavoratori a tempo indeterminato. L’impresa
media che ha beneficiato dell’incentivo ha stabilizzato più lavoratori atipici di
quanti ne avrebbe stabilizzato in assenza della misura, nei trimestri successivi
alla sua introduzione
• Nel complesso, le stime puntuali degli impatti indicano un effetto della
misura che varia tra 817 e 1,042 nuovi contratti a tempo indeterminato che
non si sarebbero realizzati in assenza dei due avvisi 2011 e 2012, pari al 60%77% delle 1.350 stabilizzazioni finanziate
• Si può ipotizzare che questa stima, basata su un gruppo di controllo “non
razionato” possa essere sovrastimata rispetto al risultato che si sarebbe
raggiunto in presenza di un gruppo di controllo razionato
Risultati-Umbria
•
•
Si osserva un aumento significativo nel saldo dei contratti a tempo indeterminato nell’anno
successivo all’introduzione della misura per le imprese trattate (gruppo dei trattati), e – seppur
in minor misura – per il gruppo di controllo razionato
Il maggior allineamento tra i livelli delle variabili risultato osservati per i trattati e il gruppo di
controllo “razionato” suggeriscono che le stime di impatto ottenute paragonando le imprese
trattate con quelle del gruppo di controllo “non razionato” potrebbero portare a una sovrastima
dell’impatto
Risultati-Umbria
ATT impact on the net change of permanent contracts, Nearest neighbours matching (k5), Umbria
“non-rationed approach”
“rationed approach”
1
1
.5
.5
0
0
-.5
-.5
2011q4
2012q4
2012q2
Central Estimate
2013q4
2013q2
time
12
2014q2
95% Confidence Interval/
2011q4
2012q4
2012q2
Central Estimate
2013q4
2013q2
time
12
2014q2
95% Confidence Interval/
Sources: ESF monitoring data, Comunicazioni Obbligatorie and Asia
•
Le stime imostrano che la riforma ha avuto un impatto statisticamente significativo sul numero di contratti a
tempo indeterminato in entrambi gli approcci (razionato e non)
•
Gli effetti stimati utilizzando l’approccio “razionato” sono tuttavia minori di quelli trovati usando l’approccio
“non razionato”
Risultati-Umbria
• L’impresa media che riceve gli incentivi ha stabilizzato più lavoratori di
quanto avrebbe fatto in assenza della misura nei trimestri successivi alla sua
introduzione
• Dalle stime di impatto si deduce che :
- Tra 172 e 221 lavoratori a tempo indeterminato addizionali rispetto alla situazione
“senza misura”. Cioè tra il 21% e il 27% delle 825 stabilizzazioni finanziate nel
complesso (utilizzando approccio non razionato)
- Tra 429 e 495 lavoratori a tempo indeterminato addizionali rispetto alla situazione
“senza misura”, cioè tra il 52% e il 60% delle 825 stabilizzazioni finanziate nel
complesso (utilizzando approccio non razionato)
Conclusioni
I risultati dell’analisi mostrano che
- gli interventi volti ad aumentare la quota di
occupazione stabile in Umbria e Marche
hanno avuto un impatto positivo “netto”
- L’intervento volto a promuovere le assunzioni
di lavoratori svantaggiati appare avere un
minore impatto “netto”; questo risultato
potrebbe essere tuttavia inficiato da alcune
limitazioni sui dati e dal target diverso
Conclusioni
• Il confronto tra risultati ottenuti utilizzando l’approccio
razionato e non razionato sottolinea l’importanza della
strategia empirica adottata per valutare l’effetto della
politica in particolare riguardo alla costruzione del
gruppo di controllo.
• Poiché il problema è ridurre le differenze di partenza,
poter disporre di due gruppi che hanno risposto alla
politica (uno di trattati e l’altro no) garantisce una
maggiore vicinanza al risultato vero.
• Un’implicazione è l’importanza di tenere conto delle
strategie valutative ed relative esigenze informative già
al momento della programmazione delle misure
• la ricerca del controfattuale è il terreno
dell’apprendimento, del miglioramento.
• non devono scoraggiare gli insuccessi parziali o le
incertezze che circondano i risultati.
• Ciò che si può insegnare, imparo;
• ciò che si può trovare, cerco;
• ciò che si può invocare, chiedo agli dei.
SOFOCLE