La misurazione degli effetti occupazionali dei
fondi strutturali: il working document n. 6/2007
Andrea Ricci
Gruppo Placement Nazionale
Roma, 5 febbraio 2009
Isfol – Struttura Nazionale di Valutazione FSE, Area Valutazione
Politiche Risorse Umane
Hotel Villa Morgagni
struttura della presentazione
• La misurazione degli effetti occupazionali dei fondi
strutturali: l’approccio multi-dimensionale (“bottom-up”) del
documento n.6/2007 della Commissione Europea
• La valutazione di impatto delle politiche: una sintesi delle
linee guida del manuale Nonie
• Una prospettiva di analisi: la valutazione di impatto
occupazionale dei fondi strutturali
Il documento 6/2007 della Commissione Europea
• Il documento n. 6/2007 della Commissione Europea rappresenta una
guida metodologica per orientare le politiche di crescita e di
occupazione nel quadro generale definito dagli obiettivi della Strategia
di Lisbona
• La misurazione degli effetti occupazionali dei Fondi Strutturali, in
particolare, è essenziale non solo per valutare l’impatto dei Fondi in sé,
ma anche per stabilire il loro specifico contributo agli obiettivi più
generali della Strategia di Lisbona (sviluppo sostenibile a livello
regionale e nazionale, coesione, , ecc)
• Coerentemente al ciclo di programmazione dei fondi strutturali, nel
documento sono suggerite 3 fasi di analisi:
1) - definizione degli obiettivi e stima degli effetti occupazionali “lordi” ;
2) - stima degli effetti occupazionali “netti”;
3) - valutazione complessivo degli interventi
Fase 1: Definizione degli obiettivi e stima degli effetti
occupazionali lordi
1.1. Obiettivi
-stabilire la situazione di partenza nelle diverse regioni
attraverso indicatori relativi alla occupazione, disoccupazione e
alle caratteristiche di posti di lavoro
-in base a questa analisi, stabilire i targets che dovrebbero essere
“raggiunti” dagli interventi dei Fondi Strutturali (FS)
-utilizzare i dati relativi al costo per posto di lavoro e EU
benchmarks per verificare se gli obiettivi sono realistici
1.2. Attivita’ di monitoraggio
- Durante il periodo di implementazione, e’ importante che
l’informazione relativa agli outcomes lordi generati dal progetti
siano sistematicamente monitorati.
1.3. Analisi degli effetti occupazionali lordi in relazione al
programma
Nella fase centrale e verso la fine del programma di intervento, si
dovrebbe produrre una stima sulla scala e sulla qualita’ degli effetti
occupazionali effettivamente realizzati. In questa prospettiva si può
procedere :
-Analizzando i dati di monitoraggio per stimare il numero e la qualità
dei posti di lavoro creati, mantenuti, ecc e fornire un’analisi per genere,
eta’, settore, ecc
- aggregando le diverse tipologie di effetti lordi di occupazione a livello
di programma
- confrontando gli effetti realizzati con gli obiettivi originali al fine di
stabilire la performance del programma
Fase 2: stima degli effetti netti e impatti regionali
La formula per stimare gli effetti netti e’ :
Posti di lavoro netti =Posti di lavoro lordi x (1-perdite) x (1sostituzione e spiazzamento) x (1+ moltiplicatore offerta +
moltiplicatore reddito)
Addizionalita’
-Addizionalita’ assoluta, situazione in cui nessun effetto si sarebbe
realizzato in assenza di intervento FS
-Addizionalita’ parziale, situazione in cui i progetti si sarebbero realizzati
ma con effetti occupazionali minori
-nessuna addizionalita’, situazione in cui tutti gli effetti occupazionali si
sarebbero realizzati anche in assenza di FS perchè i progetti si sarebbero
attuati con il supporo di altre fonti
Effetti di spiazzamento e di sostituzione
-effetto di spiazzamento: effetto che si realizza quando risultati positivi in
termini di occupazione in una certa area/settore “eligibile” per
interventi di FS sono ottenuti a spese di un’altra area/settore.
-effetto di sostituzione: effetto ottenuto in favore di beneficiari diretti ma
alle spese di persone o organizzazioni che non hanno qualifiche per
l’intervento.
Effetti indiretti/moltiplicativi
-moltiplicatori di reddito: quando la creazione di posti di lavoro genera
redditi addizionali che, spesi nelle economie locali nella forma di
domanda aggiuntiva per beni e servizi, permettono la creazione di altri
posti di lavoro
-effetto di offerta: quando un progetto assistito genera un ordine
addizionale per beni e servizi locali, producendo un effetto indiretto di
creazione di ricchezza e di posti di lavoro.
Fase 3: La valutazione complessiva e contributo a
priorita’ EU
Lo fase finale, secondo il documento, dovrebbe essere concepita come
una valutazione ex-post riguardante una dimensione piu’ ampia
di quella relativa ai soli effetti occupazioneli dei FS.
Esempi:
i) stabilire in che misura gli effetti occupazionali contribuiscono allo
dinamica del mercato del lavoro e allo sviluppo regionale;
ii) l’integrazione degli effetti associati agli interventi FS con altre
politiche EU, definiti ad esempio nell’ambito della strategia di
Lisbona, della strategia di sviluppo sostenibile e l’allargamento.
Aspetti critici della valutazione
- Effettivita’: definisce la misura in cui i risultati attesi sono stati ottenuti e i
targets relativi ai posti di lavoro (stabiliti nel periodo di programmazione)
sono stati raggiunti
-Efficienza: indica la relazione tra input finanziari e output occupazionale (
cost for job, ecc)
-Impatti: la scala e la natura degli effetti occupazionali netti nel lungo
termine in riferimento ad un gruppo target e/o ad una regione
-Valore Aggiunto comunitario: definisce la misura in cui gli effetti
occupazionali associati a FS vanno oltre ciò che si sarebbe realizzato
attraverso iniziative nazionali o regionali
-Sostenibilita’: durata degli effetti occupazionali oltre il termine
dell’intervento FS
Integrazione con altre politiche EU
Valutazione di come l’impatto occupazionale dei Fondi strutturali
contribuisce ad altre priorità delle politiche Eu (es: Strategia Europea
dell’occupazione; Strategia di Lisbona; Strategia di sviluppo sostenibile,
Ciclo di vita del progetto e misurazione degli effetti
occupazionali
Il documento 6/2007 sottolinea il legame tra le diverse fasi nella
misurazione degli effetti occupazionali e il ciclo di programmazione
dei FS. Gli effetti occupazionali, infatti, variano secondo la fase del ciclo
di vita del progetto associato ai FS.
In particolare, la natura dei posti di lavoro creati riflette il ciclo di
programmazione:
i) i posti di lavoro temporanei siano creati durante la fase di
predisposizione e di implementazione
ii) nella fase realizzazione gli effetti occupazionali dovrebbero assumere
una natura permanente
iii) gli effetti diretti produrranno una serie di effetti indiretti
I cicli di vita dei diversi progetti che compongono un programma di
intervento non coincidono; è dunque necessario raccogliere i dati sugli
effetti occupazionali in corrispondenza di differenti punti nel ciclo di vita
dei diversi progetti di un programma
La scelta quindi sarà tra 1)- basare le stime sulle previsioni effettuate per
tutti i progetti nella fase di predisposizione/implementazione del
programma oppure 2)-monitorare e combinare gli effetti occupazionali dei
differenti progetti su una base continua, utilizzando dati reali.
Questi due approcci dovrebbero essere combinati l’effettuando previsioni
nelle fase di inizio dei progetti che poi vengono periodicamente
aggiornate usando i dati reali.
In questa prospettiva è necessario predisporre un sistema di monitoraggio
sufficientemente flessibile in modo tale da rendere disponibili nuovi dati
sui posti di lavoro che emergono dalla realizzazione dei progetti
Il documento 6/2007 della Commissione: un commento
Il working document 6/2007 suggerisce di misurare gli effetti
occupazionali degli interventi associati ai FS sotto prospettive
analitiche complementari. In particolare:
i) si sottolinea l’esigenza di utilizzare una rigorosa strategia quantitativa
per identificare gli effetti netti degli interventi legati ai FS, a livello
microeconomico e a livello macroeconomico
ii) si enfatizza la necessità di sviluppare una analisi qualitativa in grado
di coglie quelle caratteristiche non misurabili del ciclo di
programmazione dei FS che influiscono sulla natura e sull’intensità
degli effetti occupazionali
Il documento tuttavia non è sufficientemente rigoroso nel definire la
metodologia di valutazione a cui fare riferimento per sviluppare tale
approccio multi-dimensionale. In questa prospettiva è utile far
riferimento alle linee guida del manuale Nonie, soprattutto per quanto
riguarda le strategie di identificazione e stima degli effetti netti e la
definizione di una teoria generale del ciclo di programmazione dei FS.
La misurazione degli effetti dei Fondi Strutturali
e il manuale Nonie: quale integrazione?
Il gruppo Nonie (Network of Networks on Impact Evaluation),
costituito presso la Banca Mondiale, promuove la qualità della
valutazione di impatto proponendo un metodologia di valutazione
multi-dimensionale.
In particolare il documento Nonie favorisce la valutazione di impatto
utilizzando due approcci:
i) Metodi contro-fattuali: le strategie di valutazioni che utilizzano questi
metodi richiedono una adeguata programmazione per avere a
disposizione i dati e le informazioni necessarie
ii) Evidenziazione delle molteplici cause: il risultato può essere valutato
non attraverso l’attribuzione di una causa (azione del programma) a
un effetto (esito del programma) ma evidenziando le diverse cause
che operano in quel contesto.
In questa prospettiva il manuale suggerisce una serie di strategie:
i) Analisi causale;
ii) Valutazione basata sulla teoria;
ii) Valutazione realista;
iii) Metodi misti;
iv) Approcci partecipativi;
Per quanto riguarda la descrizione dettagliata delle diverse strategie di
valutazione si rimanda al documento Nonie e quanto detto nel corso
della presentazione del precedente gruppo placement.
In questo contesto, si discutono quali strategie di valutazione sembrano
meglio integrarsi con la metodologia di misurazione degli effetti
occupazionali dei FS proposta dalla Commissione Europea.
In particolare si verifica come l’analisi di valutazione basata su un
approccio causale e la valutazione basata sulla teoria offrano degli
strumenti metodologici e interpretativi in grado di intervenire sulle
diverse fasi della misurazione degli effetti occupazionali dei FS
i) La valutazione basata sulla teoria è utile soprattutto nella FASE 1 e
in alcuni aspetti della FASE 3 del processo di misurazione degli
interventi FS. In particolare la definizione degli obiettivi, l’attività di
monitoraggio e la stima degli effetti occupazionali lordi richiede
necessariamente l’integrazione di un approccio quantitativo (magari
definito sulla base di una teoria del programma) e di un strategia
quantitativa (magari riferita agli strumenti dell’analisi causale).
ii) Le analisi di valutazione causale sono essenziali per realizzare la
FASE 2 del processo di misurazione degli effetti degli interventi FS:
ovvero la stima e l’identificazione degli effetti di addizionalità, di
spiazzamento/sostituzione e, sotto alcune ipotesi, gli effetti indiretti
e /o moltiplicativi.
iii) Le analisi di valutazione causali possono essere utili, ma di difficile
applicazione, per offrire supporto alcuni elementi specifici della
FASE 3: la valutazione dell’effettività, dell’impatto, del valore
aggiunto e della sostenibilità degli interventi FS.
La FASE 1 della misurazione degli interventi dei FS si concentra, come
si è visto, sulla definizione degli obiettivi, attività di monitoraggio e
analisi degli effetti occupazionali “lordi”.
Tali attività sono di tipo qualitativo e quantitativo per cui richiedono un
approccio valutativo multi-dimensionale e una teoria complessiva a
cui far riferimento durante la realizzazione concreta dell’intervento.
La valutazione basata sulla teoria permette di avere quindi uno schema
logico in grado di mettere in relazione gli input e gli esiti desiderati
dell’intervento.
La teoria può avere per oggetto sia il programma di intervento in sé
(ovvero i meccanismi che intervengono tra l’attuazione delle misure
previsto dal programma di intervento e la risposta dei partecipanti)
sia il processo di implementazione del programma (ovvero le
modalità di realizzazione del programma di intervento e la sua
coerenza con gli obiettivi originali, ecc)
La FASE 2 richiede innanzitutto la corretta identificazione e stima degli
effetti occupazionali attribuibili al solo intervento del FS, al netto cioè
degli effetti di spiazzamento/sostituzione e degli effetti
indiretti/moltiplicativi.
Facendo riferimento allo schema analitico dell’analisi di valutazione
causale, la FASE 2 si occupa essenzialmente di un problema di
attribuzione degli effetti occupazionali dell’intervento del FS.
Per risolvere tale problema è necessario disporre di una informazione
statistica (o struttura dei dati) adeguata alla realizzazione di una
valutazione quantitativa di tipo causale.
Secondo le linee guida del manuale Nonie,infatti, per realizzare una
corretta valutazione causale degli effetti occupazionali associati agli
interventi FS è necessario poter operare alcuni confronti. Ovvero:
(segue)
1- un confronto tra la condizione occupazionale della popolazione (o di
un sottogruppo di essa) in presenza e in assenza dell’intervento (with
and without evaluation). Questo confronto necessita della
identificazione di un “controfattuale”, ovvero di una misura ipotetica di
benessere che si sarebbe realizzata in assenza dell’intervento.
2- il confronto tra la condizione occupazionale del gruppo dei trattati
prima e dopo l’intervento (before and after evaluation). Questo
confronto non necessita della identificazione di un “controfattuale”, ma
la disponibilità di dati relativi alla misura di benessere prima
del’intervento (baseline data) e dopo l’intervento (end-line data) per il
gruppo di individui che beneficiano dell’intervento
Il manuale Nonie sottolinea poi il fatto che sia le valutazione del tipo
“with/without” sia le valutazioni di tipo “before/after” possono essere
influenzate da una serie di fattori che condizionano l’attribuzione e la
stima degli effetti occupazionali del programma dei FS.
Tra questi si possono distinguere fattori legati al tempo, fattori legati
alla selezione e fattori di contaminazione.
1. fattori di tempo
Sebbene gli interventi sono realizzati in un delimitato orizzonte
temporale, i loro effetti occupazionali possono avere durate differenti
ed emergere prima/durante o dopo la realizzazione dell’intervento
stesso.
2. fattori di selezione
La soluzione più comune al problema di attribuzione è la selezione di
un gruppo di controllo: la differenza nella condizione occupazionale tra
il gruppo dei trattati e il gruppo di controllo può costituire
un’indicazione degli effetti dell’intervento. Come noto, questo metodo
soffre di alcuni problemi per la corretta valutazione di impatto.
3. fattori di contaminazione
Gli effetti di contaminazione che possono generare un problema di
attibuzione possono derivare da diverse cause:
(segue)
i) fenomeni di esternalità (spill-over effects) associati all’intervento
stesso. Gli interventi sono spesso progettati e realizzati all’interno di
uno spazio delimitato: una regione, un paese, un istituzione, ecc.
Tuttavia, la zona di influenza (influence zone) dell’intervento può
essere più ampia dell’area specifica (core area) a cui l’intervento si
rivolge.
ii) il gruppo di controllo può essere soggetto ad interventi simili
realizzati da altre amministrazioni/agenzie oppure a interventi diversi
che producono un risultato simile. Un tale gruppo di controllo
costituisce dunque il controfattuale di un altro tipo di intervento
Si verifica quindi come i fattori di tempo, di selezione
contaminazione che generano i problemi di attribuzione
valutazioni di causalità sono analoghi ai fattori devono
identificati per operare una corretta misurazione degli
occupazionali netti dei FS.
e di
nelle
essere
effetti