ALCUNI CASI DI
STUDIO DI RICERCHE
VALUTATIVE
Lezione del 28 novembre
2014
Le nove fasi del disegno
[1] Definizione
del mandato
Perchè?
[2] Analisi obiettivi
del programma e
formulaz. domande
valutative (norme,
standards)
[3] Accertamento
delle risorse
[6] Stipulazione
valori valutativi
Definire il sistema
di valori comuni di
riferimento
[5] Esplorazione
spazio semantico
Scomposizione
valori, significati
[4] Definizione
disegno
preliminare Come?
(offerta tecnica al
committente)
[7] Definizioni
operative
specifiche
Scelta condivisa
delle tecniche
[8] Raccolta e
analisi dei dati
Uso degli
strumenti (non)
standards
[9] Sostegno
all’uso della
valutazione
Redazione,
sensibilizzazione,
divulgazione
1° CASO DI STUDIO
La programmazione
sociale regionale
La programmazione sociale regionale (1)
OGGETTO DI VALUTAZIONE
Valutazione ex ante di formulari e bandi per progetti
finanziati dal Fondo sociale europeo – 2001


RISULTATI ATTESI
Corrispondenza fra il dispositivo europeo di
finanziamento, il formulario per proporre i progetti e la
griglia di valutazione dei progetti presentati
Coinvolgimento di tutti gli attori (UE, Regione,
progettisti, aziende, associazioni, cittadini etc.) che
contribuiscono
al
processo
che
parte
dalla
programmazione regionale all’emissione del bando, fino
alla sua selezione, realizzazione e valutazione ex post
La programmazione sociale regionale (2)
DISEGNO della RICERCA VALUTATIVA





Il mandato di valutazione non è ben definito, essendo
contenuto di principio nella normativa europea e avendo un
mandatario già sensibile sul tema
Il valutatore decide la strategia concordando con il mandatario
la
sola
verifica
della
coerenza
concettuale
dalla
programmazione alla valutazione dei progetti realizzati
Il valutatore ha operato sui documenti oggetto della verifica di
coerenza, ossia dispositivo comunitario di progettazione,
formulario per i bandi, griglia di valutazione dei progetti
Il valutatore evidenzia le unità programmatiche del dispositivo e
la loro individuazione in formulari e griglia di valutazione
L’esito della valutazione è interessante sia per l’evidenza di
alcuni salti logici nella filiera che per il metodo seguito dal
valutatore, ma il mandatario non ha diffuso i dati se non tra i
tecnici
2° CASO DI STUDIO
Valutazione di
performance di un
Progetto Equal
Valutazione di performance Equal (1)
OGGETTO DI VALUTAZIONE
Valutazione di processo della realizzazione di un
Progetto Equal 2004/2005 per favorire l’inserimento
delle persone diversamente abili nel mercato del lavoro,
condotto da un network con capofila l’Università di
Campobasso

RISULTATI ATTESI
Verifica della realizzazione dei risultati attesi dal
progetto con una definizione piuttosto libera della
strategia
migliore
da
applicare
=
massima
corrispondenza fra obiettivi di progetto e risultati
realizzati/evidenza delle eventuali criticità nel ruolo
esercitato da uno o più partner del progetto
Valutazione di performance Equal (2)
DISEGNO della RICERCA VALUTATIVA




Il mandato di valutazione è definito fin dal piano del progetto
che ha un’apposita fase di valutazione, generalmente affidata ad
uno dei partner che si confronta con il resto del team
Il valutatore decide la strategia operando un monitoraggio
costante delle varie fasi del progetto per evidenziare quelle azioni
meno visibili e più impegnative dal punto di vista gestionale
Per le fasi 5 e 6 il valutatore opera con le tecniche del
Brainstorming e della Scala delle Priorità Obbligate per
favorire la partecipazione di tutti i partner
Rilevato un progressivo calo di interesse e partecipazione di
alcuni partner, il valutatore ha operato un’integrazione di tecniche
di valutazione con l’analisi delle reti
gli attori percepiscono la valutazione più come fase
obbligatoria progettuale che come azione integrata alla
produzione dei risultati attesi
3° CASO DI STUDIO
Valutazione
multimetodo di una
Legge regionale sul
lavoro
Valutazione multimetodo legge lavoro(1)
OGGETTO DI VALUTAZIONE
Valutazione complessiva di un progetto di Italia Lavoro
(LaborLab) per l’assistenza tecnica alla Regione
Lombardia dell’applicazione della Legge regionale
22/2006 sul riordino del mercato del lavoro in Lombardia

RISULTATI ATTESI
Verifica della efficacia e della efficienza del progetto
LaborLab per l’applicazione della L.R. 22/2006 da
realizzare con il prioritario coinvolgimento degli attori
tecnici e politici della Regione, pertanto senza una
dimensione partecipata estesa agli attori del mercato del
lavoro
Valutazione multimetodo legge lavoro (2)
DISEGNO della RICERCA VALUTATIVA


Il mandato di valutazione è ben definito e, inoltre, è arricchito,
nel corso di successivi incontri fra stakeholders, di input per il
valutatore che dispone di budget e di tempo
Il valutatore decide di operare un monitoraggio con ricerc-azione:

per superare le disconnessioni fra i sistemi informativi già utilizzati
 per individuare un nuovo set di indicatori di programmazione che
utilizzano come dato di partenza le relazioni fra gli attori dei processi
valutati e i processi stessi


Fra le tecniche cui è ricorso il valutatore vi è un disposto combinato
di numerose fra queste, come focus group e interviste
focalizzate per verificare l’efficacia interna e il Metodo Delphi per
l’efficacia esterna in termini di sostenibilità del progetto a mediolungo termine
Verifica del progetto con interazione simulata di fattori esterni
(altre leggi regionali, fattori di crisi perdurante etc.)
Efficacia ed efficienza come obiettivi
 Efficacia interna: confronto fra gli effetti della
valutazione e gli obiettivi della ricerca (se si guarda
all’organizzazione della ricerca, alla valutazione ex ante
della programmazione, l’integrazione degli operatori
della ricerca al programma, non esclusivamente dei
beneficiari)
 Efficacia esterna: confronto fra gli effetti della
valutazione/intervento e il contesto economico e sociale
in cui la ricerca è condotta (miglior programmazione
degli obiettivi, aggiornamento degli obiettivi con il
decisore, prima valutazione dell’impatto sui beneficiari)
 Efficienza: confronto fra i risultati e gli impatti della
valutazione/intervento e le risorse destinate alla ricerca