Elementi di monitoraggio e valutazione del
Servizio Civile in Caritas
Liliana Leone,
Maggio 2007
CEVAS –Consulenza e Valutazione nel Sociale
V.Calpurnio Fiamma 9 - 00175 Roma
Tel/fax 06/9422505
www.cevas.it E mail [email protected]
•Professore a contratto Università di Roma “La Sapienza”- Facoltà
Sociologia Corso di Laurea Programmazione Politiche Sociali- “La
valutazione dei piani sociali”
Leone L. 01/2007 www.cevas.it
1
Obiettivi del seminario






Oggetto di studio del seminario è il sistema di monitoraggio e valutazione del
servizio civile in Caritas con un focus posto sulle pratiche sviluppate a livello
locale. Scopo del seminario è avviare una maggiore sistematizzazione e
formalizzazione dell’impianto di M&V.
Obiettivi
Identificazione delle principali funzioni e caratteristiche dei sistemi di
monitoraggio e degli approcci di valutazione
Ricostruzione dell’attuale sistema di M&V: attori, dimensioni (es. input
nazionali trasversali), criteri, tempi processi e tipo di utilizzi delle informazioni e
dei risultati (v. Livello di utilizzazione e genere di restituzione)
Quesiti a cui risponde l’attuale sistema di M&V
Esplicitazione del modello implicito ed esplicito della ‘Teoria del Programma’
sottesa al Servizio Civile
Ipotesi sviluppo e miglioramento a partire da ridefinizione dei quesiti valutativi:
le nostre pratiche di M&V in che modo rispondono e interrogano gli obiettivi
dichiarati del SC Caritas?
Leone L. 01/2007 www.cevas.it
2
Cos’è la valutazione
L’apprezzamento sistematico e oggettivo su formulazione,
realizzazione ed esiti di un progetto, programma o politica ….
Essa si propone di esprimere un giudizio sulla rilevanza e il
raggiungimento degli obiettivi, su efficienza, efficacia,
impatto e sostenibilità.

Trattasi della formulazione di un giudizio, argomentato tramite
procedure di ricerca valutativa nel modo più sistematico
possibile, su un intervento di sviluppo pianificato, in fase di
realizzazione o già completato. Una V.dovrebbe fornire
informazioni credibili e utili e consentire ai beneficiari e ai
donatori l’integrazione degli insegnamenti appresi nei loro
processi decisionali.

In alcuni casi la V. comporta la definizione di standard
appropriati, un esame delle prestazioni rese in rapporto a detti
standard, un giudizio sui risultati ottenuti rispetto a quelli
originariamente attesi .. (Tratto da sito DPS)
Leone L. 01/2007 www.cevas.it
3
Le due anime della valutazione

Le due principali esigenze a cui risponde la valutazione:
esigenza di render conto della realizzazione e del
raggiungimento di risultati da parte di un’organizzazione per
consentire ai soggetti esterni di dare un giudizio sulla
performance dell’organizzazione. L’insieme di strumenti
utilizzabili per far ciò è definito rendicontazione valutativa
(accountability);
esigenza di apprendere dall’attuazione di un’attività quali
effetti essa abbia ottenuto e come e perché questi effetti siano
stati prodotti (o non) al fine di decidere. L’insieme di strumenti
utilizzabili per capire effetti e processi è definito ricerca
valutativa (learning).
Leone L. 01/2007 www.cevas.it
4
Scopi e usi della valutazione





La ‘V’ può servire ad aiutare il management a migliorare il
programma e (formative evaluation Scriven 1991). I risultati sono
diretti ad amministratori e pianificatori;
per la ‘rendicontabilità’ e giustificazione della spesa di risorse
pubbliche in interventi sociali. Per la valutazione riepilogativa (o
summative evaluation). I risultati sono normalmente diretti ai decisori
può influenzare prosecuzione dei programmi e richiede alti standard
scientifici e ruolo indipendente del ‘V’.
a dare un supporto a critici o sostenitori (bi-partisan)
ad aggiungere conoscenze sui suoi effetti e descriverne la natura
a prescindere dal singolo programma. Rivolta a platee più ampie e
varie,
pubbliche relazioni o stratagemmi politici (es: fornire un contesto
pubblico e decisioni già assunte..). Il ‘v’ riorienta gli sforzi verso ‘V’
più appropriate.
Leone L. 01/2007 www.cevas.it
5
Forme diverse di accountability

Nei confronti degli utenti l’organizzazione dovrebbe essere
indotta a rendere conto della propria performance in modo da
consentire una scelta più informata relativamente ai servizi
offerti, altrimenti gli utenti si trovano in una posizione di
inferiorità e sono indotti ad accettare le prestazioni offerte in
modo passivo, senza stimolare l’organizzazione a fare meglio
(accountability verso il basso).

Nei confronti dei soggetti che hanno la responsabilità
d’indirizzo e di controllo (assemblee elettive e livelli di governo
sovraordinati) l’organizzazione dovrebbe fornire informazioni
sulle proprie attività e sui risultati raggiunti per verificare che
le decisioni assunte siano state portate a compimento
(accountability verso l’alto)
Leone L. 01/2007 www.cevas.it
6
Accountability verso l’alto
cittadini/contribuenti
Livelli di governo
superiori
Assemblee elettive
Organizzazioni che utilizzano
risorse pubbliche
Utenti/clienti
Accountability verso il basso
Leone L. 01/2007 www.cevas.it
7
Principali criteri di valutazione
Leone L. 01/2007 www.cevas.it
8
Criteri di valutazione




rilevanza del programma- Fino a quale punto sono
giustificabili gli obiettivi in relazione ai bisogni? Si può provare
ciò? A quali priorità (micro-macro) corrispondono?
efficacia - In quale grado gli obiettivi sono stati raggiunti? Gli
strumenti utilizzati hanno prodotto gli effetti desiderati? Si
potrebbero ottenere maggiori risultati utilizzando altri
strumenti?
efficienza- Gli obiettivi sono stati raggiunti ai costi più bassi?
Potrebbero risultati migliori essere ottenuti agli stessi costi?
utilità - Giudica l’impatto ottenuto in relazione ai bisogni
complessivi della società ed alle issues economiche.(v.goal
free). Gli effetti attesi o inattesi del programma sono
globalmente soddisfacenti dal punto di vista dei destinatari
diretti e indiretti?
Leone L. 01/2007 www.cevas.it
9
COSA VALUTARE
Programmi (PAN, APQ, RMI, Voucher Regione,
Servizio Civile…)
singole misure legislative (es: la l.488
Piani (L.285/97, L.45/99, L.328/00…),
Progetti
Singoli servizi alla persona
Leone L. 01/2007 www.cevas.it
10
Criteri di valutazione e vertici del triangolo




I parametri su cui si basa
il giudizio:
congruenza con obiettivi
previsti (efficacia interna),
adeguatezza processi
(Standard ),
soddisfacimento bisogni
(utilità- equità- efficacia
esterna)
Obiettivi
Efficacia interna
Standard
Processi
Leone L. 01/2007 www.cevas.it
Utilità
Equità
efficacia esterna
11
Approcci di valutazione e vertici del triangolo



Gli approcci di valutazione possono
essere codificati (N.Stame 2001) in
relazione alla “pietra” di paragone
Approccio positivista
utilizzata per esprimere giudizi:
sperimentale
congruenza con obiettivi “Approccio
positivista-sperimentale”
adeguatezza processi “Approccio
della qualità”,
Approccio vasato sul
“Riconoscimento sociale del
Pragmatista
Costruttivista
della qualità
Riconoscimento
successo”.
successo
Leone L. 01/2007 www.cevas.it
12
Perché esistono diversi approcci di valutazione
“Da quando la valutazione delle politiche e dei
programmi è diventata una pratica istituzionalizzata
sono stati elaborati diversi approcci che nascono per
rispondere ad esigenze di programmi pubblici ed
evolvono sia per il differenziarsi di questi ultimi, sia per
una logica interna di verifica dei presupposti e di validità
dei propri risultati”
N.Stame, Approcci e problemi nella valutazione di politiche e di programmi nella
realtà del nuovo millennio, giu. 2001
Leone L. 01/2007 www.cevas.it
13
Monitoraggio

Valutazione e ricerca valutativa non devono essere
confuse con Monitoraggio e Audit.

Il monitoraggio è:
Il complesso di procedure, tecniche e attività volte alla
rilevazione e al trattamento dei dati relativi allo stato di
attuazione finanziaria, fisica e procedurale di un
investimento.


[cfr. Glossario www.oecd.org/dataoecd/14/31/17484948.pdf; Glossary of
300 concepts and technical terms – Collezione MEANS Vol.6 – Eurpean
Commission]
Leone L. 01/2007 www.cevas.it
14
Componenti di un Sistema di monitoraggio

Flussi informativi e periodicità dei dati, procedure
per la raccolta, l’elaborazione e l’analisi dei dati

Attori e ruoli Si tratta di una pratica che interessa il
management interno del progetto/servizio gestita
quasi sempre da operatori interni (i monitori)

Sistema di indicatori e strumenti
……quale tipo di utilizzo delle informazioni?
Leone L. 01/2007 www.cevas.it
15
Tipi di Monitoraggio

monitoraggio finanziario
E' il controllo dei dati finanziari della spesa effettivamente
sostenuta dai beneficiari finali. I dati sono rilevati per singolo
progetto e poi aggregati per tipo di intervento, ambito di
intervento etc…

monitoraggio fisico
E' il controllo dei dati fisici di ogni progetto, aggregati in base a
una griglia di indicatori comuni. Il monitoraggio è effettuato sugli
indicatori di realizzazione, di risultato e di impatto

monitoraggio procedurale
E' il controllo previsto ad esempio nei fondi strutturali a livello dei
PON e i POR, fino alla fase di attivazione dei progetti.
Leone L. 01/2007 www.cevas.it
16
Distinzioni tra Monitoraggio e Valutazione M&V
Tratto da D.Patassini Master PDS IUAV Università Venezia 2005
Leone L. 01/2007 www.cevas.it
17
Livelli di Monitoraggio

Il Monitoraggio fornisce input alla valutazione,
descrive attività, processi ed effetti, segnala
occorrenze e problemi con l’aiuto di indicatori
di processo, performance e impatto, senza
spiegare le relazioni causa-effetto
Leone L. 01/2007 www.cevas.it
18
impatto
effetti su standard di vita, condizioni abitative
(mortalità infantile, condizioni abitative,
propensione all’investimento a seguito di garanzie
e diritti)impatto
risultato
(outcome)
accesso a servizi, loro utilizzo, soddisfazione del
beneficiario del progetto (miglioramento offerta
idrica e variazione consumi, tariffe…)
Realizzazione
(output)
realizzazione di servizi, infrastrutture
(numero abitazioni a basso costo, ml di acquedotto
…)
input
finanziarie, tecnico-organizzative,
conoscenze
Leone L. 01/2007 www.cevas.it
19
Esempi di monitoraggio
















Tabella 1 – Numero di progetti, per priorità e per distretto socio sanitario
Grafico 1.1 Distribuzione Progetti-Sottoprogetti per distretto socio-sanitario
Grafico 1.2 Distribuzione progetti-sottoprogetti per distretto e per priorità
Tabella 2 Numero Partner per tipologia
Grafico 2.1 Numero Partner per tipologia
Tabella 3 Distribuzione dei Partner per distretto, aggregati per tipologia
Grafico 3.1 Distribuzione percentuale dei Partner per distretto, aggregati per
tipologia
Tabella 4 Tipologia di istituzioni pubbliche coinvolte
Grafico 4.1 Distribuzione percentuale delle diverse tipologie di istituzioni
pubbliche coinvolte
Tabella 5 Operatori coinvolti per qualifica e tipologia di ente di
appartenenza
Grafico 5.1 Distribuzione dei profili professionali coinvolti nel Privato sociale, in
Istituzioni Pubbliche e in Imprese
Tabella 7 Partner coinvolti suddivisi per Priorità programmatiche
Grafico 7.1 Distribuzione percentuale dei Partner per linea di intervento
Tabella 8 Operatori coinvolti, per qualifica e genere
Grafico 8.1 Percentuale femminile e maschile sul totale degli operatori
Grafico 8.2 Operatori coinvolti per qualifica
Leone L. 01/2007 www.cevas.it
20














Grafico 8.3 Incidenza percentuale del genere per ogni raggruppamento – per
qualifica – degli operatori
Tabella 9 Operatori coinvolti per rapporto di lavoro e ente di provenienza
Grafico 9.1 Distribuzione percentuale degli operatori per rapporto di lavoro
Tabella 10 Operatori per rapporto di lavoro ripartiti per enti di provenienza
aggregati
Grafico 10.1 Operatori per rapporto di lavoro e enti di provenienza aggregati
Tabella 11 Distribuzione percentuale degli operatori per ente
Grafico 11.1 Distribuzione percentuale degli operatori per ente
Tabella 12 Giornate lavorate in media dagli operatori, divisi per rapporto di
lavoro e ente di provenienza
Grafico 12.1 Numero di giornate/mese lavorate in media dagli operatori, divisi
per rapporto di lavoro
Tabella 13 Totale delle giornate di lavoro lavorate dagli operatori, suddivisi
per qualifica e per rapporto di lavoro
Grafico13.1 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi
per rapporto di lavoro
Grafico 13.2 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi
per qualifica
Tabella 14 Operatori volontari per distretto
Grafico 14.1 Percentuale di operatori volontari per distretto
Leone L. 01/2007 www.cevas.it
21

















Grafico 14.2 Percentuale di operatori volontari per ente di provenienza
Tabella 15 Numero di eventi formativi avviati suddivisi per tipologia
Tabella 16 Numero di eventi formativi conclusi suddivisi per tipologia
Tabella 17 Numero di operatori partecipanti agli eventi formativi, suddivisi per
tipologia di ente di provenienza
Grafico 17.1 Partecipanti agli eventi formativi avviati suddivisi per tipologia di ente
Tabella 18 Utenti suddivisi per classi di età e per genere (IN ENTRATA)
Grafico 18.2 Incidenza percentuale delle classi di età sul totale degli utenti (IN ENTRATA)
Tabella 19 Utenti suddivisi per classi di età e per genere (IN USCITA)
Tabelle 20 Incidenza percentuale delle classi di età sul totale delle femmine (IN
USCITA)
Tabella 21 Incidenza percentuale delle classi di età sul totale dei maschi (IN USCITA)
Tabella 22 Utenti classificati per titolo di studio e classi di età (IN ENTRATA)
Tabella 26 Utenti suddivisi per tipologia di disagio e per condizione lavorativa (IN
ENTRATA)
Grafico 26.1 Incidenza percentuale delle tipologie di disagio sul totale degli utenti (IN
ENTRATA)
Tabella 28 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea A)
Grafico 28.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea A)
Tabella 29 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea C,
CR)
Grafico 29.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea C, CR)
Leone L. 01/2007 www.cevas.it
22
Tabella 29 Numero di utenti partecipanti alle attività,
suddivise per azioni (Linea C, CR)
Azioni
Ani
mazi
one
terri
toria
le
Acco
mpa
gam
ento
educ
ativo
Accompagnamento
educativo
personalizzato di
adolescenti e
giovani entrati nel
circuito penale
287
435
Progetti di
inserimento socio–
lavorativo
12
62
Servizio filtro offerto
a minori o donne in
difficoltà
24
37
Supporto per donne
vittime di violenza
e/o tratta
Totale
Ca
se
rif
ugi
o
21
299
555
Ce
ntri
acc
ogl
ien
za
25
1
369
1
41
8
Co
m
un
ità
all
og
gi
o
15
Contra
tti di
Work
Experi
ence,
borse
lavoro
,
vouch
er
Gr
up
pi
ap
par
ta
me
nto
La
bo
rat
ori
for
ma
tivi
88
24
34
2
34
9
22
6
43
34
Sp
ort
elli
inf
or
ma
tivi
A
L
T
R
O
Total
e
32
10
1
3
6
1422
62
99
44
3
2
354
12
25
6
6
188
21
2
8
5
768
21
5
1
9
2732
41
6
Leone L. 01/2007 www.cevas.it
29
Ori
ent
am
ent
o
Spor
telli
di
orie
nta
men
to
Tu
to
ra
gg
io
1
122
Me
dia
zio
ne
cult
ural
e
15
49
44
20
5
1
1
54
23
Grafico 29.1 Numero di utenti partecipanti alle attività, suddivisi per azioni
(Linea C, CR)
Numero utenti per attività
Animazione territoriale
500
Accompagamento educativo
450
Case rifugio
400
Centri accoglienza
350
Comunità alloggio
300
200
Contratti di Work Experience,
borse lavoro, voucher
Gruppi appartamento
150
Laboratori formativi
250
100
Mediazione culturale
50
Orientamento
0
Accompagnamento
Progetti di inserimento
educativo personalizzato
socio–lavorativo
di adolescenti e giovani
entrati nel circuito
penale
Servizio filtro offerto a
minori o donne in
difficoltà
Supporto per donne
vittime di violenza e/o
tratta
Sportelli di orientamento
Sportelli informativi
Tutoraggio
Azioni
Leone L. 01/2007 www.cevas.it
24
Criticità del Monitoraggio
Monitori
 _ crescita quantitativa/qualitativa delle competenze dei monitori interni
 _chiara attribuzione di ruoli (inserimento dati, trasmissione..)
 _ turn over delle persone
 _ carichi di lavoro eccessivi e/o funzione considerata marginale
Procedure attuazione
 _ software inadeguato (Es: Access)
 _ tempestività dell’azione di monitoraggio
 _ confusione tra contatti e target
 _ disomogeneità nel “cosa fare” e nel “come fare”
Utilizzo
 _ monitoraggio visto come mero adempimento burocratico
 _ assenza elaborazione e/o assenza restituzione-utilizzo
(V.Anche: http://www2.cnipa.gov.it/site/_files/monitoraggioppt.pdf)
Leone L. 01/2007 www.cevas.it
25
Griglia per descrivere il Sistema di Monitoraggio
del SC in Caritas
Soggetti
Dimensioni
Strumenti
Tempi
Modalità
elaboraz
Inf
Tipi di
utilizzo
Volontari
Tutor
Operatori locali di p.
Responsabili locali
EEAcc/ Resp SC
Diocesani
Leone L. 01/2007 www.cevas.it
26
AREE DELL’ATTUALE QUESTIONARIO di M&V





Di seguito trovare raggruppate le Aree
indagate dallo strumento di monitoraggio del
SC utilizzato dalla Caritas.
Secondo voi quali sono le Dimensioni sottese
alle domande?
Ne mancano alcune?
Come potrebbero essere meglio precisate?
…Proseguire con l’Esercitazione di gruppo
Leone L. 01/2007 www.cevas.it
27









1) Cos’è secondo te la Caritas e come è cambiata la tua opinione su di essa?
Ottima-pessima
2) Quali sono le tue responsabilità verso Caritas Italiana e Caritas diocesana?
2.a.) E verso l’Ufficio Nazionale del Servizio Civile?
3) E le loro (Caritas e UNSC) responsabilità nei tuoi confronti quali sono,
secondo te?
4) C’è identità di vedute o disaccordo tra quello che hai compreso e il progetto
della tua Caritas Diocesana? (Accordo/dis)
5) Ti sembra che le tue capacità possano essere valorizzate dal progetto?
Sono effettivamente valorizzate nel progetto? Come?
6) Descrivi quanto ti senti idoneo/a a svolgere le mansioni che ti sono
richieste dal progetto? Spiega in che senso ti senti idoneo/a. (nientePienamente)
8) Se hai già riflettuto su questo, puoi dire verso quali prospettive della tua
vita si colloca l’esperienza del servizio civile? A
9) Hai già scoperto ambiti del progetto da cui potresti ricavare nuove abilità o
professionalità, utili per la tua vita futura? Quali nuovi ambiti hai scoperto nel
corso del servizio civile?
PER LA FINE DEL SERVIZIO

10) Dovendo utilizzare un termine per definire la tua esperienza complessiva
di servizio civile, quale utilizzeresti? (Ottimo..)
Leone L. 01/2007 www.cevas.it
28
Come costruire valutazioni
“su misura”… e sviluppare disegni di
valutazione appropriati?
Riferimento Bibliografico: P.Rossi, In: Stame N. (a cura di) (2007), I
classici della valutazione, Franco Angeli
Leone L. 01/2007 www.cevas.it
29
Disegno di valutazione






Ogni valutazione va ‘tagliata su misura’ e sebbene il disegno di
valutazione possa variare in complessità (es: apprendimento lingua
tramite PC) il lavoro di valutazione viene sempre influenzato da:
scopi della valutazione
struttura concettuale e organizzativa del programma/ progetto/servizio
risorse disponibili
Quali aspetti del piano di valutazione devono essere costruiti su
misura? Quali considerazioni dovrebbero guidare il valutatore nella fase
di pianificazione di una valutazione? Ogni disegno di valutazione si
struttura attorno ai seguenti tre punti:
La natura della relazione fra il valutatore e gli stakeholder
Le domande di valutazione
I metodi di valutazione
Leone L. 01/2007 www.cevas.it
30
Nessi tra elementi del piano e
risultati della valutazione
Risorse
tempi
Metodi e
procedure
qualità v.
approfondimento
rigore e
standard scientifici
Leone L. 01/2007 www.cevas.it
31
Elementi base di Auto-valutazione

1. Descrizione del disegno di progetto e suo sviluppo
Cosa prevedeva di fare il progetto.
- Cosa prevedeva di fare? (scopi e obiettivi)
- Per chi? Per quali situazioni?
- Come doveva essere fatto?
- Come erano stati pianificati aspetti relativi a struttura,
organizzazione e management?
Cosa fa attualmente il progetto
In questa parte occorrerebbe includere tabelle e grafici per mostrare:
- una lista cronologica delle principali azioni, decisioni e cambiamenti;
- una tabella con i contatti effettuati (es: con CHI, tipo di gruppo
istituzione natura dei contatti e scopi);
Leone L. 01/2007 www.cevas.it
32
-una descrizione di quali beni/servizi sono stati prodotti e per chi;
- semplici statistiche/frequenze di:
- n° servizi/beni prodotti
- quanti sono stati utilizzati da che tipo di gruppi, in quale periodo di
tempo, per quali scopi…;
N.B. esempi di documentazione dei progetti come corsi formativi,
brochure, potrebbero essere annessi al rapporto di valutazione.
- Quali sono stati i maggiori problemi incontrati (es: eventi
imprevisti) e come questi sono stati affrontati e risolti?
- Com’è attualmente strutturato, organizzato e gestito il progetto e
con quali gruppi/organizzazioni lavora?
Quali risorse umane e finanziarie sono attualmente disponibili?
Leone L. 01/2007 www.cevas.it
33
2. Discussione risultati, lezioni apprese e indicazioni
Il progetto ha raggiunto ciò che si prefiggeva di raggiungere?
Come?
Perché o perché no?
Cosa l’ha favorito e cosa no?
Quali sono i punti forti e quelli deboli del progetto?
Sommario delle principali lezioni apprese
3. Raccomandazioni
- Quali indicazioni e raccomandazione vorreste dare e a quali gruppi e
persone (stakeholder)?
- Rifareste un simile progetto con le stesse caratteristiche?
Rifareste un progetto simile con setting e caratteristiche diverse?
Cosa vi sembra di dover raccomandare ai vostri dirigenti e
committenti interni ?
Leone L. 01/2007 www.cevas.it
34
Comunicazione e diffusione dei risultati


Perché un ‘V’ sia utile occorre comunicare i risultati a coloro che
sono interessati al programma. Occorre risolvere:
 Incertezza nel decidere informazioni rilevanti per i diversi
stakeholder
 Incertezza circa il grado di dettaglio e approfondimento
Occorre discutere con committenti un piano organizzativo per la
disseminazione e comunicazione:
 Cosa comunicare
 A chi
 In quale forma
 In che tempi (es: in formative evaluation incontri informali durante
raccolta dati)
 Modalità di pubblicizazione e grado di formalità (v. accuratezza e
verifica delle informazioni se la posta in gioco è alta o ci si
aspetta di suscitare controversie). Si può sollecitare un dibattito
con potenziali critici e importanti stakeholder anche a seguito di
una prima bozza di rapporto inserendo il feedback nel rapporto
finale.
Leone L. 01/2007 www.cevas.it
35
Il disegno di ricerca valutativa e il processo di
valutazione
Definire qual è il problema, cosa deve essere valutato; su questa base
individuare quali fenomeni è opportuno misurare e quali tecniche sono
appropriate per rispondere alle domande chiave:
definire gli obiettivi della ricerca (le necessità informative) e le domande
di valutazione, e cioè individuare le domande chiave che lo studio deve
affrontare;
ricostruire la logica del programma/progetto (tramite documentazione,
interviste a stakeholder,altri studi)
pianificare la ricerca valutativa:
1.
2.
3.
4.
declinazione delle ipotesi e degli obiettivi specifici e
individuazione dei possibili dati pertinenti,
individuazione di documentazione da fonti secondarie da rilevare,
individuazione di diverse tecniche di rilevazione (griglia di
monitoraggio, indagine, interviste semistrutturate, interviste
telefoniche , focus group..),
scelta delle tecniche, dei soggetti e modalità di campionamento
eventuale
Leone L. 01/2007 www.cevas.it
36
1.
2.
3.
4.
Scelta dei tempi per la scansione delle diverse attività di
ricerca e dei tempi di somministrazione degli strumenti,
individuazione tecniche di elaborazione dei dati (es analisi
monovariata e bivariata: tabelle contingenze, test Chi
Quadro, correlazioni…),
previsione di tipi di comparazione confronti tra dati che si
effettueranno,
bozza di piano operativo in cui si prevedono tempi,
scadenze da rispettare, tappe di lavoro e attività,
responsabilità e carichi di lavoro delle diverse risorse,
previsione budget ecc.;
raccogliere e analizzare i dati;
elaborare il/i rapporto/i di ricerca, sviluppare confronti sulle
interpretazioni e diffonderne i risultati;
promuovere un appropriato utilizzo dei risultati
Leone L. 01/2007 www.cevas.it
37
Come determinare le domande di valutazione

Gli scopi della ‘V’ sono inizialmente degli enunciati generici e il v.
farà come un giornalista che intende fare un articolo (v.metodo
indiziario e inchiesta):



Esamina documenti;
Intervista informatori chiave dell’oggetto di valutazione
A volte si fa in modo superficiale ma è un passo che merita grande
attenzione: è la base di una ‘V’ su misura! Una serie di domande
ponderate costituiscono la struttura per la ‘V’, favoriscono una
pianificazione appropriata e sono la base per la discussione con i
committenti/decisori
Leone L. 01/2007 www.cevas.it
38
Tipologia Domande

Le dichirazioni iniziali del committente
poste o meno nel bando sono il punto di
partenza ma sono spesso generiche e
vanno esplorate e rifinite

è necessario cogliere utilizzi e questioni
rilevanti per committenti in modo da
garantire il loro coinvolgimento.

Occorre selezionare un n° praticabile di
domande valutative

Devono essere specifiche per il p. e non
astratte
Sul bisogno dei servizi forniti dal
progetto o programma
Su concettualizazione o disegno del
programma
sulle modalità di funzionamento del
p. e il modo di fornire servizi
Sugli esiti
Su costi ed efficienza
Leone L. 01/2007 www.cevas.it
39
Riferimenti bibliografici







Leone L., Prezza M. (1999), Costruire e valutare i progetti nel sociale,
Franco Angeli, Milano (Presentazione tramite lucidi sul sito www.cevas.it )
Valutazione Intermedia del Programma Comunitario Gioventù anni 20002002 (Commissione Europea - Direzione Generale Istruzione e Cultura)
per conto del Ministero del lavoro e delle politiche sociali - Direzione
generale per il volontariato, l'associazionismo sociale e le politiche giovanili
Down load: http://www.gioventu.it/doc_gioventu.htm
Leone L.(a cura di), ( con contributi di Stame N., Tagle L., Marino T.),
Valutare le politiche di inclusione sociale, 2001, stampa Vides
internazionale –Roma www.cevas.it
Leone L. (2001 b), Valutare piani e progetti L.285/97. Il caso dell’educativa
territoriale a Roma, Prospettive Sociali e Sanitarie, IRS, Milano, nov-dic
2001, Abstract su e www.valutazioneitaliana.it
MEANS Collection (1999), Evaluating socio-economic programmes, EUR
OP, Luxembourg 1999 ISBN 92-828-6626-2 (informazioni addizionali sul
sito http://inforegio.cec.eu.int)
Stame N. (1998), “L’esperienza della valutazione”, Edizioni SEAM
Community Tool Box, Evaluating Comprehensive Community Initiatives,
University of Kansas, Work Group on Health Promotion and Community
Development Rev. 3/12/99, Edited by Nagy J., B. Fawcett S. B.

Leone L. 01/2007 www.cevas.it
40