STRUTTURA NAZIONALE DI VALUTAZIONE FSE - AREA VALUTAZIONE POLITICHE RISORSE UMANE
L’analisi degli esiti occupazionali del FSE
nel periodo di programmazione 20002006 e le prospettive per il prossimo
Paolo Severati
22 aprile 2008, Grand Hotel Baglioni, Firenze,
“Gli esiti occupazionali delle attività formative finanziate dal FSE”
Struttura della presentazione







Le indagini placement delle Adg e le indagini di follow
up degli enti: differenze
Le indagini placement nell’esperienza delle due
passate programmazioni 1994-1999 e 2000-2006
Le indagini placement nella programmazione 20072013
L’indagine centralizzata Isfol: caratteristiche e
periodicità
Le indagini decentralizzate: nuove opportunità di
sviluppo
Obiettivi comuni e usi a fini valutativi delle indagini
placement
Le indagini placement: i rapporti con altre attività
dell’Isfol
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Le indagini placement delle
Adg e le indagini di follow
up degli enti: differenze
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Cosa sono le indagini placement
Indagini statistiche retrospettive
(campionarie o censuali)


costruite appositamente per fini valutativi, che
hanno come obiettivo primario la rilevazione della
condizione occupazionale dei destinatari a distanza di
12 (e facoltativamente anche di 6) mesi dalla
chiusura degli interventi cofinanziati dal Fse
e, più in generale, mirano ad analizzare i percorsi
(di ricerca di lavoro, di lavoro, di formazione)
intrapresi dai destinatari alla conclusione degli
interventi
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Cosa sono le indagini di follow up
Schede e questionari somministrati ai
partecipanti direttamente dagli enti di
formazione poco dopo il termine dei
corsi: essenzialmente schede o
questionari di gradimento dei corsi che
rilevano anche la condizione
occupazionale dei partecipanti
(customer satisfaction)
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
I limiti delle indagini di follow up realizzate dagli enti



Scarsa attendibilità statistica (metodi e strumenti
di rilevazione, selezione ed autoselezione degli
intervistati, formazione degli intervistatori)
Presenza di un forte conflitto d’interessi:
realizza le indagini chi realizza gli interventi. Gli esiti
occupazionali degli interventi costituiscono punteggio
nei bandi di gara successivi.
Deresponsabilizzazione dell’Autorità di
gestione del programma.
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Quali novità introducono le indagini di placement
rispetto alle indagini di follow up degli enti


Indagini costituite appositamente per l’analisi d’impatto (prima
lordo poi netto) realizzate dalle Adg (o da Agenzie regionali
del Lavoro, Istituti regionali di ricerca, Uffici di Statistica, Società
di rilevazione private …) e non dagli enti di formazione,
attraverso il coordinamento della Struttura Nazionale di
Valutazione del Fse dell’Isfol, secondo uno schema concordato
all’interno del Gruppo di lavoro
Le indagini (ovvero i questionari in uscita dagli interventi)
sono arricchite e completate da un altro strumento di
rilevazione: la domanda di pre-iscrizione che comprende
l’anagrafica vera e propria dei partecipanti agli interventi e un
questionario che serve a raccogliere in ingresso agli interventi
alcune informazioni essenziali su caratteristiche individuali (titolo
di studio, condizione occupazionale, background famigliare, …)
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Le indagini placement
nell’esperienza delle due
passate programmazioni 19941999 e 2000-2006
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
La programmazione FSE 1994-1999




Poche indagini placement condotte a livello regionale
(esclusivamente al Centro-nord); la domanda di partecipazione è
confinata nell’ambito placement
Sistema di monitoraggio centrale del Fse lacunoso (poche
informazioni sull’andamento finanziario dei programmi, limitatissime sul
fisico)
Gruppo di lavoro Placement: sede di scambio di esperienze e di
confronto; condivisione metodologie realizzazione d’indagine; centro
dell’attenzione: questionari d’indagine
Tra il 2000 e il 2001 prime esperienze di valutazione di efficacia
condotte dall’Isfol: valutazione degli impatti netti, gruppo di
controllo forze di lavoro
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
La programmazione 2000-2006: un primo collegamento tra
monitoraggio, placement e valutazione degli esiti







Realizzazione ed operatività del sistema di monitoraggio centrale dei
fondi strutturali (Monit 2000 prima e Monitweb poi) parallelamente allo
sviluppo e al miglioramento dei sistemi informativi regionali
La domanda di pre-iscrizione (somministrata in ingresso agli interventi),
alimenta l’anagrafica destinatari di Monitweb;
Le analisi di placement utilizzano, oltre all’anagrafica destinatari, anche
l’anagrafica progetti di Monitweb, che contiene tutte le informazioni sulle
caratteristiche degli interventi (programma operativo, asse, misura, tipologia di
azione e progetto, annualità, ente attuatore, …)
Si manifesta un interesse di ricerca non solo verso chi ha partecipato
effettivamente agli interventi ma anche verso chi ha fatto domanda di
partecipazione e poi non ha partecipato pur possedendo i requisiti richiesti
(ammissibili non ammessi); queste persone costituiscono un potenziale
gruppo di controllo utile ai fini della valutazione d’impatto degli interventi
Continua l’attività del Gruppo Placement e viene creato un Gruppo Placement
Ob.1 ai fini della realizzazione di un’indagine centralizzata curata dall’Isfol
sugli interventi finalizzati all’occupabilità finanziati attraverso i Por Ob.1
Aumenta il numero di Regioni e Province Autonome che realizzano Indagini
Placement
Le indagini vengono effettivamente utilizzate ai fini della valutazione di
efficacia degli interventi
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
La programmazione 2000-2006: decentralizzazione in Ob.3 e
centralizzazione in Ob.1

Indagini decentralizzate in Ob.3
Valutazioni Por
(Val.Ind.Ob.3)

Valutazione Qcs Ob.3
(Nuova esperienza di valutazione impatti
netti, Isfol val.int.e val. fin. Qcs Ob.3)
Indagini centralizzate Isfol in Ob.1 (Placement Ob.1 e Alta
formazione) per colmare il vuoto informativo esistente
utilizzo a fini valutativi, Isfol
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Placement Ob.1: i vantaggi di un’indagine centralizzata rispetto alla
raccolta ex post di dati provenienti da singole indagini decentralizzate











Definizione ed univocità dell’universo di riferimento
Precisi e uniformi riferimenti temporali per la progettazione e la realizzazione
dell’indagine (12 mesi dalla conclusione dell’intervento)
Controllo sistematico e omogeneo delle liste progetti e destinatari
Unico disegno campionario (e riporto all’universo)
Unico questionario
Stessa tecnica di rilevazione (CATI)
Certezza sui criteri di scelta della società di rilevazione
Unica società di rilevazione
Articolata fase di test del questionario (thinking aloud,pre-test, indagine
pilota)
Trattamento comune delle mancate risposte (totali e parziali)
Analisi, controllo e validazione dei dati provenienti dall’indagine
Qualità della rilevazione (numerosità del campione, errori campionari e non campionari,
significatività delle stime, uniformità e comparabilità)
Corretta valutazione degli esiti (occupazionali); possibilità di definire correttamente gruppi di
controllo interni ed esterni
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
I limiti dell’esperienza del 2000-2006






Indagini regionali realizzate solo nell’Ob.3, ad eccezione della Regione Sardegna
(Indagini sul finalizzato aziendale condotta dal valutatore indipendente del Por; Indagine sui
voucher condotta dalla Regione) e di prime esperienze della Regione Sicilia
Grandi problemi nell’acquisizione (e prima ancora nella costruzione) delle anagrafiche
destinatari. Chi ha realizzato le indagini, anche se interno alla Regione, spesso ha avuto
difficoltà ad avere accesso a Monitweb o al sistema informativo regionale nella misura
sufficiente a definire liste valide per avviare un’indagine Cati. A volte il problema è a monte: gli
enti attuatori non hanno fornito anagrafiche dettagliate.
Mancata somministrazione delle domande di pre-iscrizione agli ammissibili non ammessi;
mancata esplicitazione dei criteri di selezione all’ingresso; mancata fornitura delle graduatorie.
Conseguenze: impossibilità di disporre gruppi di controllo interni (ammissibili non non
ammessi; regression discontinuity design) o accedere a gruppi di controllo esterni (archivi
centri per l’impiego)
Periodicità delle indagini variabile e non chiaramente predefinita. Concentrazione
delle indagini in corrispondenza della riprogrammazione di metà periodo
Non completo rispetto della classificazione Fse per tipologia di progetto e mancata
indicazione della classificazione Orfeo sui contenuti delle attività formative. Conseguenza:
imprecisa individuazione delle politiche e degli interventi cofinanziati dal Fse
Poche valutazioni d’impatto netto, anche in conseguenza della mancanza di adeguati
gruppi di controllo interni
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Le indagini placement nella
programmazione 2007-2013
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Le sfide della nuova programmazione 2007-2013: costruire
sistemi informativi statistici che consentano la valutazione di
efficacia dei programmi operativi
Obiettivo: realizzare attendibili valutazioni di
efficacia dei programmi (come richiesto dalla
Commissione Europea)
Presupposti:


Disponibilità di indagini placement ricorrenti
sui formati;
Disponibilità di gruppi di controllo idonei,
definiti ex ante e non ricavati ex post
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Un cambiamento di cultura
Monitoraggio, indagini sugli esiti
occupazionali e valutazione di
efficacia degli interventi: un’unica
filiera non dei compartimenti stagni
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Linee d’indirizzo: integrazione, semplificazione e
innalzamento della qualità

Capitalizzare
l’esperienza
della
programmazione Fse 2000-2006 per
riuscire a trovare il giusto bilanciamento
tra dati di fonte amministrativa e dati
acquisiti
attraverso
indagini.
Attualmente si caricano di oneri impropri le
indagini retrospettive, lunghe e costose da
realizzare e che riguardano solo una parte
della
popolazione.
Si
sottovaluta
l’importanza dei dati di fonte amministrativa
a fini di analisi statistica
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Dati di fonte amministrativa





Si riferiscono al totale della popolazione;
non contengono quindi errori di campionamento ma
“solo” errori non campionari;
sono già disponibili, non richiedono indagini ad hoc;
si tratta di renderli utilizzabili a fini statistici;
permettono di ridurre i costi: non c’è bisogno di
realizzare piani di campionamento, non c’è bisogno
di Cati;
contribuiscono a ridurre la molestia statistica
(causata dalle tante indagini che incidono sullo
stesso target)
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Indagini retrospettive
Che cosa giustifica la realizzazione di
un’indagine retrospettiva? Cos’è, in altri termini,
che non può essere raccolto da dati di fonte
amministrativa?
1.
2.
3.
Informazioni (anche oggettive) non disponibili nei data set
amministrativi in quanto relative a fatti od eventi successivi alla
chiusura dell’intervento e/o riferite al momento dell’intervista;
Informazioni che sono disperse in data set non aggregabili;
Informazioni sulle motivazioni o sulle percezioni individuali
(motivi della partecipazione, motivi dell’abbandono, utilità percepita
dall’intervento ad una certa distanza dalla sua conclusione, …) non
interessanti a fini amministrativo-gestionali e quindi non registrate
nei data set amministrativi.
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Cosa fare


Si tratta quindi di sfruttare al massimo le
informazioni contenute in Monitweb o nei sistemi
informativi regionali evitando di chiedere da
questionario placement informazioni su variabili
già disponibili da fonte amministrativa
Si tratta di collegare tra loro, attraverso chiavi
opportune, differenti archivi amministrativi (archivi
fse, archivi accreditamento, archivi formazione a
finanziamento regionale non cofinanziata dal Fse,
archivi Centri per l’impiego, …)
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
L’indagine centralizzata Isfol:
caratteristiche, periodicità
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Indagine retrospettiva nazionale Isfol (1)









Indagine campionaria retrospettiva, condotta a livello
nazionale ma con significatività regionale, su tutte le tipologie
d’intervento finalizzate all’occupabilità
Periodicità: triennale
Dimensione campionaria: 30.000 – 40.000 individui
(Primo) Anno di rilevazione: 2009
Anno di riferimento: interventi conclusi nel 2008
Anno di avvio del progetto d’indagine: 2008
Rilascio dati: fine 2009
Tecnica di rilevazione: CATI
L’indagine sarà rivolta a destinatari conclusi e a componenti di
differenti gruppi di controllo interni o esterni provenienti da
archivi amministrativi di varia fonte (regionale diverso da Fse, Cpi,
Inps, …), previa verifica dello stato degli archivi
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Indagine retrospettiva nazionale Isfol (2)


Pieno rispetto delle specifiche di qualità
richieste dal Sistan
Collegamento con altre importanti indagini
dell’Isfol (Plus; indagine sulla qualità del lavoro in
Italia)
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Le indagini decentralizzate:
nuove opportunità di
sviluppo
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Molteplici opzioni






Indagini tradizionali facenti capo ad una singola Regione o Provincia
autonoma sui principali interventi finalizzati all’occupabilità (effettuate
con tecnica Cati);
Indagini specializzate (effettuate con tecnica Capi) su singole
tipologie di intervento o particolari target group (es. gruppi
vulnerabili)
Indagini realizzate da gruppi di regioni consorziate
Indagini longitudinali su una stessa coorte di partecipanti (o di
facenti domanda)
Sfruttamento dei data set amministrativi (sistemi informativi
regionali sulla formazione, Cpi, accreditamento, …) ai fini della
produzione di statistiche ricorrenti sui partecipanti agli interventi e
sull’evoluzione della loro condizione occupazionale
Uso intelligente delle indagini di follow up degli enti: servono a
creare buone anagrafiche destinatari; sono previste dalle leggi
sull’accreditamento
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Obiettivi comuni e usi a fini
valutativi delle indagini
placement
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Programmazione 2007-2013: obiettivi comuni
delle indagini centralizzate e decentralizzate





Non disperdere patrimonio accumulato nella
passata programmazione
Estendere la pratica delle indagini a tutto il
territorio nazionale e a politiche finora poco
considerate
Migliorare l’attendibilità statistica
Rendere certi i tempi di rilevazione
Migliorare la diffusione dei dati anche per un
loro maggiore utilizzo a fini di valutazione
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
La programmazione 2007-2013: uso delle indagini ai fini
della valutazione

Indagine centralizzata Isfol: 1) copertura dell’intero territorio
nazionale (Ob.1 e Ob.2); 2) copertura delle politiche risorse umane
fuori Fse e quindi definizione di un quadro complessivo delle politiche
che incidono sugli stessi obiettivi o hanno le stesse finalità
indipendentemente dalla fonte di finanziamento; calcolo del valore
aggiunto Fse e valutazione di efficacia relativa
Valutazioni strategiche (politiche, Po e Qsn)

Indagini decentralizzate (auspicabilmente, tutte le Adg Ob.1 e
Ob.2)
Valutazioni strategiche Po
Valutazioni operative Po
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Le indagini placement:
i rapporti con altre attività
dell’Isfol
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Collegamenti e sinergie con altri progetti Isfol






Studio progettuale per la realizzazione di un sistema
informativo statistico per l’analisi, il monitoraggio e la
valutazione del Fse (banca dati bandi, monitweb,
placement)
Utilizzo e diffusione delle classificazioni internazionali
riguardanti la formazione e le politiche attive del
lavoro (Fields of training, Classification of learning
activities, Labour market policies)
Sistema statistico della formazione professionale
(Sistaf)
Banca dati nazionale dell’accreditamento
Qualità dell’offerta formativa
Analisi dei fabbisogni formativi e professionali
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE
Grazie
Per contatti
([email protected])
Isfol – Struttura nazionale di valutazione Fse
AREA VALUTAZIONE POLITICHE RISORSE UMANE