Unione Europea Fondi
Strutturali 2007-2013
Studio di fattibilità per la costruzione di
un gruppo di controllo interno per l’analisi
controfattuale
Roma, 27 febbraio 2013
Gruppo Nazionale Placement
Isfol, Sala Auditorium
Roma, Corso d’Italia, 33
La sperimentazione
• Obiettivo generale – Verificare la fattibilità di realizzare una
valutazione d’efficacia degli interventi formativi, con metodologia
d’analisi controfattuale basata su GRUPPO DI CONTROLLO INTERNO
•
Idonei non ammessi agli interventi
•
Non idonei
• Attività – ISTRUTTORIA sulla raccolta, conservazione e disponibilità
delle informazioni amministrative relative a questi individui (da
parte degli Enti Formativi o del Sistema informativo regionale)
Attività Istruttoria
• Oggetto d’indagine
•
Progetti formativi conclusi tra il 2008 ed il 2011 che hanno avuto
candidature eccedenti i posti disponibili
•
Tipologie formative rivolte all’occupabilità
•
Finanziamento Por FSE Lazio:
• 2000-2006 assi A, C ed E
• 2007-2013 assi II e IV
• Strumenti d’indagine
•
•
Questionari web compilati dagli Enti formativi per ciascun progetto
selezionato nella sperimentazione
Dimensioni indagate: presenza di candidature eccedenti; consistenza o
stima (%) del loro ammontare; criteri di stesura graduatorie; presenza di
verbali, gestione e conservazione delle informazioni sulle candidature
eccedenti
Attività Istruttoria/2:
gestione e conservazione delle informazioni
• Dimensione significativa nell’analisi dei risultati dell’Istruttoria
•
Per la tipologia delle informazioni considerate:
 necessarie per la costruzione di gruppi di controllo interno;
 trattate in assenza di indicazioni univoche e tassative da parte
dell’Adg
•
Per le indicazioni sulla fattibilità (metodologica e materiale) di
un’indagine valutativa controfattuale basata su GRUPPO DI CONTROLLO
INTERNO
Gestione e conservazione delle informazioni sulle
candidature eccedenti i posti disponibili
Formato di conservazione dei dati
3.4
Cartaceo
30.1
44.3
Supporto informatico in proprio
SI.MON
22.2
Non archiviate perché non
disponibili
Gestione e conservazione delle informazioni sulle
candidature eccedenti i posti disponibili/2
Archiviazione delle informazioni
60.0
Cartaceo
50.0
40.0
Supporto informatico in
proprio
30.0
SI.MON
20.0
Non archiviate perché
non disponibili
10.0
0.0
2008
2009
2010
2011
Gestione e conservazione delle informazioni sulle
candidature eccedenti i posti disponibili/3
Formato di conservazione dati per gruppi di annualità
60.0
52.1
50.0
44.3
Totale
40.0
2010-2011
30.1
30.0
40.2
35.4
22.2
2008-2009
21.3
20.2
20.0
24.4
6.4
10.0
3.4
0.0
0.0
Cartaceo
Supporto
informatico in
proprio
SI.MON
Non archiviate
perché non
disponibili
Tassi di risposta
•
Universo d’indagine: 783 progetti
•
Tasso di risposta: 30,4% (238 progetti)
Dimensione Ente per
n. questionari
risposte
universo
Tasso di
disposta
1
16
65
24,6
2-4
49
208
23,6
5-8
71
232
30,6
9-12
57
124
46,0
>12
45
238
154
783
29,2
30,4
risposte
universo
Tasso di
disposta
2000-2006
116
443
26,2
2007-2013
Totale
122
238
340
783
35,9
30,4
 Più elevato:
i.
presso gli Enti con un maggior
numero di progetti selezionati;
ii.
Totale
nei Progetti della programmazione
2007-2013 (35,9%)
Anno di
programmazione
Alcune evidenze/1
Circa il 27% dei progetti non ha candidature eccedenti
La non obbligatorietà di caricare i dati per in non ammessi in
SI.MON produce una caduta informativa:
•
È inserito in SI.MON solo il 40% dei progetti con i dati sulle «candidature
eccedenti» (32 su 82 progetti)
•
Solo il 37,5% dei progetti con i dati in SI.MON (12 su 32) è altamente
coerente con i dati riportati nei questionari
d’altra parte:
•
Esiste una relazione interessante nel rapporto tra numero di non ammessi
e iscritti:
i.
esso aumenta nei progetti 2007-2013 (1,78) rispetto al valore totale
(1,24), per effetto di una maggiore attenzione richiesta dalla Regione
agli Enti formativi nella comunicazione di tali informazioni
ii.
diminuisce per effetto della dispersione delle informazioni sulle
«candidature eccedenti» a causa dell’assenza di indicazioni
vincolanti sull’inserimento di tali dati: nel caso di progetti
coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in
SI.MON ma non coerenti scende a 2,11
Alcune evidenze/1
Circa il 27% dei progetti non ha candidature eccedenti
La non obbligatorietà di caricare i dati per in non ammessi in
SI.MON produce 2 effetti:
•
Inseriti in SI.MON solo il 40% dei progetti con i dati sulle «candidature
eccedenti» (32 su 82 progetti)
•
Solo il 15% dei progetti con i dati in SI.MON (12 su 32) è altamente coerente
con i dati riportati nei questionari
d’altra parte:
•
Esiste una relazione interessante nel rapporto tra numero di non ammessi
e iscritti:
i.
esso aumenta nei progetti 2007-2013 (1,78) rispetto al valore totale
(1,24), per effetto di una maggiore attenzione richiesta dalla Regione
agli Enti formativi nella comunicazione di tali informazioni
ii.
diminuisce per effetto della dispersione delle informazioni sulle
«candidature eccedenti» a causa dell’assenza di indicazioni
vincolanti sull’inserimento di tali dati: nel caso di progetti
coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in
SI.MON ma non coerenti scende a 2,11
Potenziali controlli
Destinatari Destinatari Rapporto
Iscritti (a) eccedenti (b)
b/a
Questionari
Corsi
Risposte totali
238
22
4.956
206
154
78
32
3.661
1.677
815
4.529
2.998
1.717
1,24
1,78
2,11
12
274
1.091
3,98
stimano in % i candidati eccedenti
con informazione puntuale sul numero di candidati eccedenti
di cui:
di cui:
corsi totali
corsi della progr. 2007-2013
corsi caricati su SI.MON
corsi caricati su SI.MON coerenti con dati
istruttoria
•
Effetti della «non obbligatorietà» di inserimento delle informazioni sulle
«candidature eccedenti»:
•
•
Caduta informativa
Popolamento dei sistemi informativi con informazioni eterogenee e/o parziali
i. rischio di informazioni inattendibili
ii. limiti nella possibilità di riuso delle informazioni (a fini statistici)
Caduta informativa
Caduta informativa
Universo corsi dal 2010: 298
Risposte istruttoria: 112
corsi
Corsi con candidati
esclusi: 82
Caricati su
SI.MON: 32
Caricati su SI.MON e
coerenti con dati
istruttoria
12
-62,4%
-89,3%
-62,5%
Potenzialità e limiti attuali del sistema informativo:
un’analisi sui non ammessi per i 12 progetti coerenti
Candidati
non ammessi
Ammessi a partecipare
ad altri interventi
all’interno di Si.mon
Stima sperimentazione
20-25%
•Candidati che non appaiono in ulteriori
interventi nel sistema informativo
•Candidati che risultano non ammessi in
altri interventi
La non obbligatorietà di inserimento dei
dati sulle candidature eccedenti (cioè di
non monitorare tutta la domanda di
formazione) non permette di stimare
separatamente i 2 aggregati (che insieme
contano per il 75-80%)
Le soluzioni al problema
1. Strutturare gli archivi amministrativi della Formazione in modo tale
da contenere le informazioni sulle candidature eccedenti i posti
disponibili, cioè le anagrafiche degli «idonei non ammessi» e dei
«non ammessi».
2. Coinvolgere gli Enti di formazione nella raccolta dati per il
monitoraggio e la valutazione degli interventi, attraverso la
previsione di:
•
strumenti standard per la rilevazione in ingresso della
domanda formativa (domanda d’iscrizione);
•
procedure (nei dispositivi di accreditamento, nei bandi
attuativi, ecc.) che vincolino gli Enti a conferire nel sistema
informativo regionale le informazioni sulle candidature
eccedenti in concomitanza con l’avvio delle attività.
I vantaggi per le regioni
Dimensione economica
Permette di verificare immediatamente se esiste la possibilità di
implementare una valutazione di efficacia con metodo controfattuale
utilizzando un gruppo di controllo interno, senza prevedere risorse aggiuntive
e ulteriori attività istruttorie
Dimensione pragmatica
Consente di acquisire informazioni di cruciale importanza per i policy makers,
ad esempio:
1. Presenza di target vulnerabili: ci sono individui che presentano
domanda di iscrizione a più interventi, senza mai essere ammessi ad
alcuno?
2. Quanti sono gli individui che partecipano a più selezioni (magari per
tipologie di interventi tra loro completamente diverse) prima di essere
ammessi ad un intervento? E’ utile studiare i comportamenti individuali
ai fini di analizzare le dinamiche di reinserimento nei percorsi di
istruzione e formazione, di inserimento occupazionale e di sviluppo
delle carriere?
3. Quanti sono gli interventi nei quali le domande di ammissione risultano
essere inferiori o uguali al numero dei posti disponibili? Che
caratteristiche ricorrenti hanno questi interventi?
I possibili rischi
In prospettiva futura, la presenza di archivi amministrativi scarsamente
funzionali alle analisi valutative basate sulle informazioni preintervento espone le Amministrazioni ai seguenti rischi:
• tempi più lunghi e risorse finanziarie aggiuntive per realizzare la fase
istruttoria, senza peraltro avere la minima certezza sul buon esito
finale;
• focalizzazione delle attività sulle problematiche relative alla scelta
del metodo, che rischiano di prevalere sull’utilità della valutazione
stessa e – nei casi peggiori – stravolgere il disegno valutativo
iniziale;
• utilizzo parziale o poco pragmatico della valutazione d’efficacia, in
mancanza di informazioni cruciali per analizzare e giudicare la bontà
delle scelte fatte dai policy makers (per es. decidere di rifinanziare
tipologie di intervento risultate particolarmente efficaci ai fini
dell’inserimento occupazionale, senza conoscere il rapporto tra
l’offerta formativa e la domanda territoriale)
LE INFORMAZIONI SONO
INSERITE NELLE BANCHE DATI
REGIONALI O SU MONIT
FASE ISTRUTTORIA
PROPEDEUTICA ALL’INDAGINE
PER CONOSCERE IL NUMERO
DEGLI ALLIEVI IDONEI, IDONEI
NON AMMESSI, ESCLUSI
GLI ENTI FORMATIVI ACQUISISCONO
INFORMAZIONI ANCHE SUGLI IDONEI
NON AMMESSI E SUGLI ESCLUSI E LE
FORNISCONO ALLE REGIONI O
ALMENO LE CONSERVANO
gruppo di
controllo
interno
•INDAGINE
Conclusioni dell’Istruttoria
Indicazioni per la Regione
Prosieguo dell’indagine (q.nario regioni)