VALUTAZIONE DEL POR FSE
DELLA REGIONE PIEMONTE OB. 2
“COMPETITIVITÀ REGIONALE E OCCUPAZIONE”
PER IL PERIODO 2007-2013
Rapporto di placement 2011 – Qualificati e
specializzati 2010
Realizzato da Mario Nosvelli, Lisa Sella ed Elena Ragazzi
Elena Ragazzi , CNR – Ceris
Isfol – Gruppo di lavoro sul placement
Roma, 23 ottobre 2012
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
OBIETTIVI DEL MANDATO
Valutare, attraverso un campione significativo, la
situazione occupazionale dei formati (analisi dei livelli di
impiego a un anno dalla conclusione dei corsi e delle
caratteristiche di tali occupazioni) obiettivo inferenziale
•
• Consentendo anche analisi specifiche in merito alle
tipologie di intervento, alle specificità territoriali e in base
alle variabili (genere, età e nazionalità) in grado di
influenzare i livelli occupazionali
• Valutare l’efficacia delle politiche formative (analisi di
impatto)
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
2
Le attività preliminari all’indagine
Individuazione dell’oggetto dello studio - criteri:
• azioni che presentino una numerosità di fruitori sufficiente a consentire
elaborazioni statisticamente significative;
• azioni con conseguimento di una certificazione (qualifica o
specializzazione post-titolo di studio), poiché tali azioni sono
generalmente più articolate e corpose e prevedono un carico orario
consistente, il che permette di prevedere un impatto della formazione sul
placement dei soggetti trattati, rispetto a soggetti non trattati (campione
di controllo), notevole e dunque misurabile;
• azioni che tendenzialmente non coinvolgano sacche specifiche di
disagio (es. ex-detenuti) caratterizzate da piccole numerosità e
peculiarità che le rendano poco confrontabili, in modo da non inficiare la
generalità dell’ analisi esplorativa;
• nell’ambito della direttiva MdL, azioni prevalentemente rivolte a
individui disoccupati, per valutare l’impatto delle politiche formative sul
placement.
3
Indagine campionaria condotta sulle misure
prevalentemente per disoccupati e che portano a
qualifica o specializzazione:
• Dir. OI, azione IV.H.11.99: percorsi triennali di qualifica finalizzati
all’assolvimento dell’obbligo di istruzione e dell’obbligo formativo;
• Dir. OI, azione IV.H.11.01: percorsi annuali e biennali di qualifica
con crediti in ingresso;
• Dir. MdL, azione II.E.12.01: percorsi post-qualifica, post-diploma e
post-laurea che portano a specializzazione;
• Dir. MdL, azione III.G.06.04: percorsi di qualifica per immigrati
stranieri disoccupati;
• Dir. MdL, azione IV.I.12.01: percorsi di qualifica di base rivolti ad
adulti con bassa scolarità;
• Dir. MdL, azione IV.I.12.02: corsi formativi mirati ad una
specializzazione, corsi formativi brevi di aggiornamento delle
competenze trasversali e/o professionali.
• Approfondimento tematico sui Master (Indagine censuaria)
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
4
Le attività preliminari all’indagine
Definizione dell’universo e quantificazione del
campione:
Processo particolarmente oneroso per l’insufficiente qualità
dei microdati raccolti negli archivi di monitoraggio e per
l’impossibilità di ottenere l’accesso diretto alle fonti. Fasi:
• Recupero dei dati di monitoraggio;
• Controllo di qualità (eliminazione duplicati e record incompleti);
• Integrazioni dati telefonici mancanti da altre fonti
• Definizione dell’universo (9.905 individui, ripartiti per misura e
provincia)
• Determinazione della dimensione campionaria (1.523 individui)
• Stratificazione del campione
5
Il disegno campionario
L’indagine si compone dei seguenti campioni:
• Campione principale, in cui i 1.523 individui sono stratificati in base
alla misura e alla provincia, ottenendo 48 celle; all’interno di ogni cella si
è inoltre cercato di controllare la composizione in base alle variabili genere,
età e nazionalità. Si tratta di un disegno estremamente complesso e
ambizioso, che risulta particolarmente critico nelle province e nelle azioni
con bassa numerosità. Campione effettivo: 1559, discordanze secondo
tabella
• Campione di controllo principale (solo per le misure II.E.12.01,
IV.I.12.01, IV.I.12.02), 319 individui estratti dalle liste di coloro che si
sono iscritti ai corsi senza portarli a termine per motivi vari. Campione
effettivo: 321
• Campione di controllo secondario, 70 individui estratti dalle liste di
coloro che si sono iscritti ai corsi senza portarli a termine perché hanno
trovato lavoro. Campione effettivo: 49
• Gruppo dei master indagato su base censuaria (242 studenti con dati
completi, di cui 223 ammissibili perché idonei). Intervistati: 102,
rintracciati ed eleggibili che non rifiutano di sottoporsi all’indagine
TOTALE INTERVISTE EFFETTUATE: 2031
6
Le attività preliminari all’indagine
Predisposizione degli strumenti di indagine
• Base di riferimento Questionario ISFOL per le indagini di placement;
• Modificato in base alle specificità dell’indagine e integrato nella parte
di caratteristiche individuali;
• Specificato in diverse versioni (gruppo principale MdL, gruppo
principale OI, Master, gruppo di controllo);
• Discusso con i principali stakeholder e testato in collaborazione con la
società incaricata delle interviste.
7
Il campione
L’indagine si compone dei seguenti campioni:
CAMPIONI
NUMEROSITA’
CARATTERISTICHE
Principale
N = 9905
n = 1559
Stratificazione:
province e azioni
Controllo 1
N = 1313
n = 321
Qualificati e
specializzati
Ritirati, vari
motivi
Controllo 2
Ritirati per
lavoro
Master
N = 195
n = 49
N = 223
n = 102
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
Variabili di
riproporzionamento:
genere, età,
nazionalità
Indagine censuaria
8
Rispondenza del disegno agli obiettivi
• L’analisi inferenziale si è basata su un campione stratificato
adeguatamente rappresentativo della popolazione target.
OI
MdL
IV.H-1199
IV.H-1101
II.E-1201
III.G-06IV.I-12-01 IV.I-12-02
04
Totale per azione
282
254
416
136
377
94
1559
% target
12.4%
15.9%
12.8%
19.0%
14.7%
13.0%
14.0%
Totale
• L’errore standard del tasso di occupazione è risultato pari a 1,15.
Il tasso risulta compreso, per un livello di confidenza del 95%
nell’intervallo 39,5-44,0
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
9
Problematiche riscontrate - numerosità
degli strati
Il disegno di stratificazione, efficiente sul piano teorico, si è rivelato
troppo complessa ex-post, anche a seguito dei numerosi dati
individuali non corretti.
• Il numero di formati nelle provincie di piccola dimensione non ha
permesso di comporre gli strati secondo la metodologia prescelta a
priori (a volte è stato impossibile controllare in base alle variabili
prima indicate, in altri casi è persino stato impossibile costruire
strati significativi ed è stato necessario aggregare alcune province)
• Le variabili di stratificazione sono state scelte in vista del 2°
obiettivo (analisi su singoli aspetti della programmazione) ma da un
punto di vista statistico le azioni risultano troppo eterogenee al
loro interno mentre sia le azioni sia certe provincie non differiscono
in modo significativo fra di loro. Tutto questo ha effetto
sull’efficienza del campionamento.
• Occorrerà riflettere su un nuovo piano di stratificazione più
semplice e/o su variabili di stratificazione in grado di identificare
strati più omogenei al loro interno e disomogenei fra loro.
10
Problematiche riscontrate
Affidabilità degli elenchi
• Fin dall’inizio è risultato mancante circa il 12% dei recapiti. In seguito, un
ulteriore 30% di recapiti è risultato sbagliato. E’ stato possibile sostituire
solo in piccola parte tali recapiti mancanti con un paziente lavoro di ricerca
su elenchi telefonici, consultazione su SILP o contatto diretto con le
agenzie formative per i Master.
Le reiterate sostituzioni di individui dovute a tali motivi
hanno causato ritardi nella somministrazione delle
interviste. E’ inoltre impossibile stimare l’effetto di tali
sostituzioni sulla composizione casuale del campione
(correlazione fra presenza di numero corretto e livelli occupazionali?)
11
Rispondenza del disegno agli obiettivi
• L’analisi di impatto netto ha riscontrato difficoltà nella
selezione del campione di controllo, soprattutto a causa della
scarsa qualità dei dati riferiti alle motivazioni di abbandono. Inoltre,
• Il campione di controllo è risultato scarsamente numeroso, in
parte per le scelte di campionamento, ma anche per la scarsa
quantità e qualità dei dati disponibili.
• Nei prossimi lavori si vuole valutare il miglioramento numerico
ottenibile integrando i dati sulle Comunicazioni Obbligatorie (COB).
• Potenziale difficoltà: il campione di controllo non sarebbe più
costituito di individui con lo stesso atteggiamento verso il
trattamento (formazione professionale).
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
12
Esiti occupazionali per azione (%)
MdL
Condizione
prevalente
professionale
OI
Totale
II.E-12-01
III.G-06-04
IV.I-12-01
IV.I-12-02
IV.H-11-01
IV.H-11-99
46.88
42.65
53.85
40.43
31.89
26.95
41.76
0.96
4.41
1.33
3.19
1.57
1.06
1.60
38.22
49.26
38.46
45.74
42.52
40.43
40.80
3.61
3.68
2.39
2.13
10.24
8.51
5.20
1.92
0.00
0.80
2.13
3.94
1.77
1.80
6.97
0.00
1.33
4.26
7.87
19.86
7.31
Inattivo diverso da studente
0.72
0.00
1.86
1.06
1.18
0.35
0.96
Altro inattivo (disoccupato che
non cerca attivamente
occupazione)
0.48
0.00
0.00
1.06
0.79
1.06
0.51
Missing
0.24
0.00
0.00
0.00
0.00
0.00
0.06
Totale complessivo
100.00
100.00
100.00
100.00
100.00
100.00
100.00
Totale V.A.
416
136
377
94
254
282
1559
Occupato
Occupato in CIG
Disoccupato ricerca
nuova occupazione
Cerca prima
occupazione
Tirocinante o stagista
Studente
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
13
Differenziale occupazionale netto (%)
II.E.12.01
Principale C1
IV.I.12.01
IV.I.12.02
C2 Principale C1 Principale
C1
Occupato
47
47
58
54
29
40
50
Occupato in CIG
1
9
2
1
0
3
0
38
36
29
38
57
46
43
4
4
0
2
2
2
0
2
0
4
1
1
2
0
Studente
7
0
6
1
2
4
4
Inattivo diverso da
studente
1
3
0
2
6
1
4
Altro inattivo
0
2
0
0
3
1
0
100
100
100
100
Disoccupato alla
ricerca di una nuova
occupazione
In cerca di prima
occupazione
Tirocinante o
stagista
Totale
100
100 100
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
14
Master
Situazione occupazionale, confronto con altre indagini
Stato occupazionale
Occupati Disoccupati Inattivi TOT
Master Regione Piemonte* **
66
31
3
100
Master indagine AlmaLaurea 2008**
62
Laureati 2010 Unito*
70
26
4
100
Laureati 2010 Polito*
74
22
4
100
Laureati 2010 Piem. Orientale*
75
22
3
100
Media Italia*
62
33
5
100
* Solo laureati/diplomati non più in formazione
** Solo inoccupati al momento dell’iscrizione
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
15
Stima dell’impatto occupazionale netto
• Valutazione multivariata attraverso modelli Probit con
Selection Bias (Heckman) e Propensity Score Matching
• Tali metodologie consentono di affrontare adeguatamente la
problematica del selection bias
• L’approccio alla Heckman consente di effettuare stime
parametriche sulla base di un modello probit opportunamente
specificato, correggendo per gli effetti di caratteristiche latenti
• L’approccio PSM consente una valutazione non parametrica
sulla base delle caratteristiche osservabili degli individui
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
16
Stima dell’impatto occupazionale netto
• Elementi che impattano significativamente sulla
probabilità dell’occupazione:
- età (+)
- nazionalità non eu (-)
- formazione/istruzione (+)
• Impatto netto della formazione tra il 5% e l’8%, con
maggior rendimento nella classe d’età 30-35
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
17
Conclusioni: l’efficacia delle politiche
formative
• Complessivamente si registra un effetto netto delle politiche formative
moderato ma positivo.
• Questo si ottiene dopo aver preso in considerazione l’effetto di
selezione: i soggetti destinatari dei corsi hanno caratteristiche individuali,
non osservabili attraverso le semplici statistiche descrittive, che li
rendono meno appetibili per il mercato del lavoro. La sfida che le
politiche formative piemontesi sembrano aver colto è quindi anche quella
di recuperare questo svantaggio latente e non facilmente documentabile.
• Nella direttiva MdL i corsi di qualifica hanno prestazioni occupazionali
migliori e un effetto occupazionale netto positivo, che è trainato dalla
presenza di alcune figure di base molto richieste (OSS), ma permane
anche escludendo queste qualifiche.
• Il 90% dei formati che ha trovato lavoro è impiegato in PMI e il 75% in
piccole imprese. Inoltre il 77% lavora nei servizi. Questo impone una
riflessione su come orientare le future ricerche sui fabbisogni formativi
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
18
Conclusioni: il recupero dello svantaggio
• La formazione permette di recuperare lo svantaggio di alcune categorie di
“soggetti deboli” in termini di occupazione (donne, alcuni gruppi di stranieri).
Restano nette invece le differenze (negative) in termini qualitativi (tipi di
contratto, durata, retribuzioni)
• L’analisi descrittiva e quella econometrica convergono nel mostrare
l’estrema difficoltà dei giovani a trovare lavoro, e la minore efficacia, rispetto
ad altre fasce di età, delle politiche formative in termini di inserimento
lavorativo
• I consistenti flussi di rientro in istruzione indicano l’efficacia dell’Obbligo
d’Istruzione per recuperare la dispersione scolastica e per ricostruire un solido
capitale umano, spendibile anche nei percorsi tradizionali di istruzione.
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
19
Conclusioni: indicazioni per la
programmazione
• Le prestazioni occupazionali delle politiche formative sono moderate,
in linea con altre ricerche. Fermo restando il loro ruolo per la
creazione del capitale umano, occorre riflettere su come renderle
maggiormente incisive come strumento di politica attiva per il lavoro.
• Dalla ricerca emerge, direttamente o indirettamente, che il bisogno
espresso dai destinatari è più un aiuto a trovare lavoro che un
arricchimento delle competenze. Conseguentemente occorre trovare
meccanismi che permettano di:
•
•
Individuare quale sia la reale politica attiva di cui ha bisogno l’individuo
nel momento in cui si presenta per iscriversi, all’interno di un ventaglio di
opportunità
Integrare le politiche formative con servizi aggiuntivi di placement per
valorizzare il capitale creato e supplire all’insufficiente inserimento in reti
relazionali che caratterizza i soggetti più deboli.
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
20
Conclusioni: valutare meglio per
programmare meglio
• L’oggetto della valutazione si presenta molto eterogeneo e la
distinzione in azioni non è sufficiente a identificare obiettivi specifici
per le varie classi di corsi. Occorrerebbe
•
•
Una chiara esplicitazione di obiettivi e strumenti che distinguono ogni
azione dalle altre
una valutazione più di dettaglio per entrare nel tema di “cosa funziona
meglio?”
• La presente analisi di placement non permette valutazioni di
performance su singoli aspetti per
•
•
L’insufficiente numerosità a livello di strato nelle analisi campionarie
La mancanza di informazioni dettagliate sull’offerta formativa
• Affinché la valutazione possa entrare come elemento attivo nella
programmazione occorre dunque che sia pienamente integrata
nell’attività di monitoraggio e che questo sia concepito non solo in
chiave di controllo amministrativo, ma anche come fonte di
informazioni per analisi e valutazione.
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
21
Diffusione e uso della valutazione
• La valutazione è stata sviluppata in continua interazione con il committente,
che ne ha utilizzato i risultati per orientare la successiva programmazione , in
particolare della direttiva MdL.
• Alla valutazione è stato dato notevole rilievo anche in vista della futura
programmazione comunitaria
• È stato organizzato un seminario per la diffusione dei risultati presso la
Regione Piemonte. I risultati sono inoltre stati presentati allo Steering Group,
al Comitato di Sorveglianza, e all’Osservatorio sulla Formazione Professionale
• Il Rapporto di Placement prodotto è in corso di stampa e sarà protetto da
copyright. Sarà a quel punto diffuso pubblicamente e scaricabile dal Sito
• E’ prevista per il prossimo futuro un’ulteriore diffusione dei risultati
attraverso comunicazioni a convegni e articoli scientifici, previo accordo della
Regione. Sono in particolare in corso di stesura 3 estratti specifici della
ricerca, da sottoporre a riviste internazionali
Valutazione del POR FSE della Regione Piemonte Ob.2 "Competitività
regionale e occupazione" per il periodo 2007-2013
22