Servizio di valutazione intermedia del
Programma Operativo Obiettivo 3
Regione Valle d'Aosta
Manuela Samek Lodovici
IRS – Istituto per la Ricerca Sociale
IRS - Valutazione intermedia Obiettivo 3 VdA
1
Chi siamo
Istituto per la ricerca sociale
L’Irs, organizzazione nonprofit indipendente, è una cooperativa che, nel corso di più
di 25 anni di attività, ha consolidato la sua presenza sul mercato della ricerca socioeconomica su scala nazionale. E’ tra i primi Istituti in Italia specializzati nella
valutazione delle politiche del lavoro locali, nazionali ed europee.
Tra i lavori più recenti: progettazione di sistemi di monitoraggio delle politiche attive
del lavoro, valutazione in itinere di programmi comunitari (Euroform, Horizon,
Occupazione, Adapt, FSE Ob.3 nazionale e regione Marche), progettazione di
sistemi di monitoraggio e benchmarking delle politiche di pari opportunità.
Gruppo di lavoro:
Responsabili della valutazione: Daniela Oliva, Manuela Samek Lodovici
Ricercatori: Chiara De Stefano ([email protected]), Flavia Pesce ([email protected]),
Nicoletta Poli ([email protected])
IRS - Valutazione intermedia Obiettivo 3 VdA
2
Le domande di valutazione

Rilevanza degli interventi: gli obiettivi della politica sono
rilevanti rispetto ai problemi di contesto?;

Efficienza nell’utilizzo delle risorse rispetto ai risultati;

Efficacia nel raggiungere gli obiettivi;

Utilità nel rispondere ai problemi di policy;

Sostenibilità nel tempo dei risultati.
IRS - Valutazione intermedia Obiettivo 3 VdA
3
Perché e per chi valutare

Per migliorare la capacità di intervento
(learning): policy makers , operatori, utenza;

l’analisi dei risultati della valutazione consente il
confronto e la riflessione sulle esperienze e
orienta la scelta tra politiche e strumenti di
intervento alternativi.
IRS - Valutazione intermedia Obiettivo 3 VdA
4
Relazioni tra monitoraggio, valutazione e
le fasi dei programmi
VALUTAZIONE
EX ANTE
MONITORAGGIO
FORMULAZIONE
PROGRAMMI
Raccolta informazioni/indicatori
ATTUAZIONE
PROGRAMMI
MODIFICHE E
REVISIONI IN
ITINERE
VALUTAZIONE
INTERMEDIA
VALUTAZIONE
EX POST
IRS - Valutazione intermedia Obiettivo 3 VdA
5
Le fasi del processo di valutazione
Identificazione
del problema di policy
Valutazione
ex-post
Valutazione
ex-ante
Valutazione in itinere
Monitoraggio
IRS - Valutazione intermedia Obiettivo 3 VdA
6
Finalità e obiettivi della valutazione
intermedia (1)
Formulare un giudizio sul ruolo strategico che il Programma si
propone e che sembra effettivamente avere attraverso le
azioni progettate e messe in opera.
Si cerca quindi di evidenziare:
l'effettivo valore aggiunto del Programma;
il contenuto innovativo delle azioni promosse;
il contributo al miglioramento del sistema di intervento nel campo delle
politiche e del sistema di monitoraggio e valutazione.
IRS - Valutazione intermedia Obiettivo 3 VdA
7
Finalità e obiettivi della valutazione
intermedia (2)
OBIETTIVI SPECIFICI:


Produrre le informazioni necessarie ai fini dell’apprendimento istituzionale
e di eventuali modifiche al POR per ottimizzarne efficacia ed efficienza;
Identificare:
- i meccanismi di interazione che accompagnano i processi decisionali;
- risorse e capacità di gestione dei processi in atto;

Analizzare e valutare i dati e le informazioni sullo stato di avanzamento, la
qualità di attuazione e le modalità di gestione del POR;

Evidenziare l’effettivo valore aggiunto del Programma in itinere.
IRS - Valutazione intermedia Obiettivo 3 VdA
8
L’approccio metodologico
POLICY ANALYSIS: elemento centrale d’analisi è il concetto di
“politica pubblica”, intesa come una pluralità di attori pubblici e privati
che interagiscono tra di loro per la soluzione di un problema collettivo.
Step di valutazione:
 Individuare obiettivi principali e variabili di risultato ad essi collegate;
 Individuare gli attori rilevanti per ogni variabile-obiettivo e la relazione tra
sistema di implementazione del Programma/progetti e risultati (fase di
selezione, fase di realizzazione, fase di diffusione e animazione);
 Individuare le variabili, altre rispetto al Programma, che possono
influenzare tali relazioni;
 Definire la metodologia di valutazione (basi informative, referenti,
situazione di controllo/controfattuale, tempi);
 Stimare l’impatto lordo e netto del Programma in relazione alle variabili
risultato sopra definite.
IRS - Valutazione intermedia Obiettivo 3 VdA
9
I contenuti








Analisi dell’evoluzione del contesto;
Analisi dei processi decisionali e delle procedure(modalità di
definizione degli obiettivi delle politiche, analisi degli attori coinvolti,
analisi dei meccanismi procedurali);
Analisi dei meccanismi di regolazione (criteri di allocazione risorse);
Analisi dei soggetti gestori e del sistema di offerta;
Analisi del processo di selezione ex-ante, dell’offerta non accolta
e dell’offerta programmata;
Monitoraggio (misurazione dello stato di avanzamento fisico e
finanziario delle politiche);
Analisi dei risultati (effetti dei processi decisionali e delle politiche di
fatto attivate in relazione agli obiettivi del Programma);
Analisi dell’impatto (impatto delle attività realizzate dal Programma
sui sistemi, sugli attori e sugli utenti coinvolti direttamente e
indirettamente).
IRS - Valutazione intermedia Obiettivo 3 VdA
10
Le basi informative

Sistema di monitoraggio e indicatori di
realizzazione, risultato e impatto;

Analisi documentali (POR, normative, verbali
CDS…);

Interviste a testimoni privilegiati;

Specifiche indagini sul campo.
IRS - Valutazione intermedia Obiettivo 3 VdA
11
Monitoraggio e Valutazione

MONITORAGGIO
VALUTAZIONE DEL PROCESSO DI GESTIONE E DEI RISULTATI DIRETTI
DELL’INTERVENTO;

APPROCCIO DESCRITTIVO;

ELABORAZIONE DI INDICATORI QUANTITATIVI E QUALITATATIVI.

VALUTAZIONE
GIUDIZI SUI RISULTATI DI UNA POLITICA E/O SUI RELATIVI PROCESSI DI
ELABORAZIONE E ATTUAZIONE;

UTILIZZO DI METODOLOGIE STATISTICO-ECONOMETRICHE E COSTRUZIONE
CONTROFATTUALE;

MISURAZIONE DEI POSSIBILI EFFETTI DI DISPERSIONE.
IRS - Valutazione intermedia Obiettivo 3 VdA
12
Il monitoraggio: strumenti
 Per monitoraggio si intende la raccolta continuativa
delle informazioni necessarie alla costruzione di
indicatori che descrivano:
• La popolazione coinvolta negli interventi;
• Le modalità di realizzazione e gestione degli interventi;
• I costi ed i risultati diretti degli interventi;
 Per rispondere alle seguenti domande:
• È stata raggiunta la popolazione che si voleva
raggiungere?
• Quali sono stati i risultati diretti e indiretti dell’intervento?
• La gestione dell’intervento è efficiente?
IRS - Valutazione intermedia Obiettivo 3 VdA
13
Indicatori di monitoraggio
QUANTITATIVI






INDICATORI DI REALIZZAZIONE (rendono conto dello stato di
attuazione delle attività cofinanziate misurando l’avanzamento
finanziario e fisico delle azioni/progetti);
INDICATORI DI RISULTATO (misurano il raggiungimento di
obiettivi specifici del Programma);
INDICATORI DI IMPATTO (misurano il raggiungimento
dell’obiettivo generale del Programma).
QUALITATIVI
GRADO DI SODDISFAZIONE DEGLI UTENTI;
GRADO DI SODDISFAZIONE DEGLI OPERATORI;
QUALITA’ DEL SERVIZIO EROGATO.
IRS - Valutazione intermedia Obiettivo 3 VdA
14
I prodotti della valutazione:
1.
Rapporto di Valutabilità (4/06/2002 )
2.
Valutazione in itinere riferita al 2001 (9/2002)
3.
Valutazione in itinere riferita al 2002 (30/1/2003)
4.
Valutazione intermedia (30/4/2003)
5.
Aggiornamento della valutazione intermedia (30/4/2004)
6.
Rapporto conclusivo di valutazione intermedia (30/4/2005)
IRS - Valutazione intermedia Obiettivo 3 VdA
15
Gli approfondimenti tematici
Nell'ambito dei rapporti di valutazione in itinere ed intermedi si prevede:

L’analisi dei temi trasversali:
• Sviluppo locale;
• Pari opportunità;
• Società dell’informazione.

Approfondimenti tematici:
• Le potenzialità del sistema regionale dell’offerta progettuale;
• La realizzazione di un sistema di SPI;
• La valutazione dell’impatto di genere delle azioni finanziate
nell’ambito del POR.
IRS - Valutazione intermedia Obiettivo 3 VdA
16
Rapporto di Valutabilità: indice
1. IL QUADRO DI RIFERIMENTO
1.1 Evoluzione del contesto socio-economico
1.2 Evoluzione del quadro normativo
1.3 La passata programmazione
1.4 La struttura della nuova programmazione
1.5 I risultati della valutazione ex-ante
2. IL SISTEMA INFORMATIVO
2.1 La struttura del sistema informativo
2.2 Il sistema degli indicatori utilizzati
2.3 La progettazione di una batteria di indicatori per la valutazione del
POR
3. UNA PRIMA ANALISI DEL PROCESSO DECISIONALE E DEL
NETWORK DI ATTORI
3.1 La struttura organizzativa interna
3.2 Analisi di flusso procedurale
3.3 Il CDS: funzionamento e ruoli
4. PIANO OPERATIVO PER LA VALUTAZIONE IN ITINERE
17