Strumenti per la valutazione: l’analisi
controfattuale nell’esperienza della Regione
Lombardia
Andrea Naldini and Marco Pompili
NETWORK FOR THE BETTER FUTURE OF THE SOCIAL
ECONOMY
Milano, 5 Dicembre 2011
Introduzione
• Intervento Ismeri Europa: spunti di riflessione sulla
valutazione delle politiche sociali
– 1) Esperienza della Dote FL Lombardia:
metodologie di analisi  estendibili alla Dote
lavoro disabili
– 2) Brevi cenni e risultati preliminari sulla
valutazione di Jeremie a supporto delle
cooperative sociali (in corso)
2
L’esperienza della Dote in Lombardia
3
Background
• Dal 2008 la dote costituisce il principale strumento della
Regione Lombardia di politiche attive del lavoro
• La Dote, finanziando la domanda, ha l’obiettivo di
responsabilizzare gli individui beneficiari e migliorare la
qualità dei servizi offerti loro (workfare approach)
• Gli operatori pubblici e privati sono “competitors” nel
quasi-mercato della Dote
• 3.752 interventi di Dote formazione e lavoro conclusi a
Febbraio 2010
• Aspettative elevate tra gli attori sul funzionamento e gli
effetti
4
Le domande di valutazione
• Funzionamento e qualità della Dote
• Impatto occupazionale - Si evidenziano differenze
nei tassi di occupazione tra percettori Dote e non
percettori dote?
....ma anche:
• Impatto in termini di empowerment dei soggetti- Si
riscontrano impatti sull’attivazione dei soggetti
partecipanti alla dote rispetto ai non partecipanti?
5
Metodologia: composita ed integrata
• Analisi qualitative per comprendere il
funzionamento e la qualità dei servizi erogati
(Rapporto 2009)
• Rapporto 2010 (questa presentazione):
– Survey presso i beneficiari e non della Dote per
comprendere percorsi verso l’occupazione, contenuti
attività realizzate, attivazione
– Integrazione banche dati (vedi dopo)
– Stima impatto controfattuale (tecniche di matching)
sull’occupazione e l’empowerment dei destinatari
6
Integrazione tra fonti di informazioni
• Dati amministrativi Regione Lombardia (informazioni
sui richiedenti la Dote)  utili per il campionamento
• Dati amministrativi dei CPI (informazioni su carriere
lavorative dei trattati e non trattati con la Dote: ma
30% dei trattati non coperti)  utili per verificare i
risultati della survey e per ricostruire i tempi di
inserimento
• Indagine diretta (condizioni occupazionali di persone
trattate e non trattate, soddisfazione, qualità del
lavoro trovato...)
•  Le tre risorse sono state integrate in un dataset
7
Risultati generali
•
•
•
•
•
43,5% dei beneficiari della Dote hanno un lavoro
dopo 8-10 mesi e il 60% hanno avuto almeno una
esperienza dopo la Dote;
Gli impatti netti sull’occupazione sono positivi
solo per la Dote Lavoro (bassa significatività
statistica)
Gli impatti netti sull’attivazione dei soggetti è
statisticamente significativa e positiva (7%-8%)
L’82% dei beneficiari hanno cercato attivamente
lavoro dopo la Dote (effetti di scoraggiamento
limitati, intorno al 5%)
Più che l’80% degli intervistati sono soddisfati e
ripeterebbero l’esperienza. L’aspetto da migliorare è
relativo all’assistenza post Dote nella ricerca del lavoro
8
Risultati dell’analisi di impatto: propensity score
Probabilità di essere occupato
Treated
Not
treated
Differences in terms
of probability to be
employed
Std.err
Methods of
matching
t
865
175
-0.104
0.048
-2.154
774
188
-0.040
0.048
-0.831
865
191
-0.022
0.039
-0.572
865
191
-0.019
0.043
-0.439
Nearest
neighbour
Radius(0.05)
Kernel
matching
Stratification
Probabilità di essere inattivo
Treated
Not
treated
Differences in the
probability to be
inactive and not
searching for a job
Std.err
Methods of
matching
t
865
175
-0.077
0.039
-1.963
865
188
-0.081
0.034
-2.365
865
191
-0.082
0.034
-2.388
865
191
-0.081
0.037
-2.213
Nearest
neighbor
Radius(0.05)
Kernel
matching
9
Stratification
Principali messaggi
•
La performance della Dote è in linea conq uella di alri
strumenti simili e conferma l’importanza e l’efficacia di
promuovere servizi individualizzati
•
Una metodologia simile può essere estesa alla dote lavoro
disabili (la dote lavoro per persone con disabilità psichica
è uno degli strumenti di valorizzazione dell’economia
sociale lombarda)
 maggiore enfasi sui percorsi di attivazione del
soggetto
 maggiore attenzione alla qualità dell’ambiente di
lavoro
10
L’esperienza del Fondo Jeremie in Lombardia
– brevi cenni
(in fase di ultimazione)
11
Jeremie per le cooperative sociali
Background
• Operativo dal 2009 (citato in un seminario Marzo 2011
del “The Network for the better future for social
economy”)
• Jeremie è rivolto alle cooperative sociali di tipo A e B e
alle cooperative di produzione e lavoro (con 30% minimo
di lavoratori svantaggiati). Finanzia interventi di
capitalizzazione, attraverso micro-crediti di 4.000 euro
concessi a soci, o potenziali soci, (sino a un massimo 50
soci a cooperativa 200.000 Euro).
• 50% finanziato dal FSE e non deve essere restituita se il
socio rimane per 5 anni nella cooperativa, l’altro 50% è
concessa da intermediari finanziari si rimborsa in 60 mesi
a tassi fisso.
12
Domande, metodologie e fonti
• Domande di valutazione finalizzate a comprendere il reale
sostegno dato al consolidamento delle cooperative sociali e
prime considerazioni su possibili effetti nelle relazioni tra soci
e cooperativa
• Anche in questo caso impiego di analisi controfattuali –>
metodo “Difference in Differences” (DID)
• Di nuovo integrazione di fonti di informazioni necessarie:
– Dati di monitoraggio dell’intervento (cooperative e soci che hanno
beneficiato)
– Dati albo regionale cooperative sociali (cooperative non destinatarie)
– Dati indagine diretta  questionario online presso 1.000 cooperative
circa, di cui 244 aderenti a Jeremie (Tasso di risposta: 119 Jeremie e
170 non Jeremie)
13
Alcuni risultati...preliminari
• Buon tasso di copertura delle cooperative sociali
• Elevato tasso di mobilitazione dei soci delle cooperative
• Risorse Jeremie utilizzate in modo integrato con strategia di risposta alla
crisi da parte delle cooperative  la flessibilità è uno degli elementi molto
apprezzati dello strumento
• La maggioranza delle Cooperative non avrebbe capitalizzato in autonomia
senza l’intervento
• Forte additività dell’intervento positiva  no deadweight.
• Impatto Positivo E Siginificativo Sulla Variazione Di Capitale Sociale 
questo è uno degli indicatori importanti nella valutazione della valore
sociale delle imprese sociali (presentazione Regione Lombardia a Cracovia
Settembre 2011)
14
Lezioni dall’esperienza della Lombardia
1. Le valutazioni realizzate sono vicine al termine degli
interventi  ripeterle per verificare sostenibilità (in
letteratura spesso aumentano gli effetti positivi nel
tempo)
2. l’integrazione delle fonti di informazioni è un fattore
cruciale per la valutazione delle a sostegno dell’economia
sociale
3. L’uso di metodi di analisi controfattuale rendono
maggiormente robusti i risultati
4. Metodi controfattuali possono essere applicati anche su
variabili non strettamene economiche e su indicatori
sociali (p.e. empowerment dei destinatari)
15