Corso di formazione sul monitoraggio
e la valutazione dei Piani di zona
avviati in Provincia di Torino
Dossier: la valutazione dei piani di zona
26-28 giugno 2006
Katja Avanzini ([email protected])
Carla Dessi ([email protected])
Diletta Cicoletti ([email protected])
1
Alcune definizioni chiave di
valutazione
2
DEFINIZIONE
è un’espressione di giudizio rispetto ad
azioni di interesse collettivo,
 con l’intento di migliorare le azioni
pubbliche,
 viene svolta attraverso attività di ricerca
realizzate con metodi rigorosi e
codificabili,
 valorizzando gli aspetti inattesi e
contraddittori,
 deve essere comunicata a terzi in modo
esplicito e trasparente,
 all’interno di un processo nel quale
valutazione e progettazione sono percorsi
integrati.

VALUTAZIONE
3
CHE COSA SI VALUTA NEI
SERVIZI SOCIALI
4
I CASI
GLI
INTERVENTI
Per fornire
migliori
risposte alle
esigenze
individuali
Per offrire
risposte
omogenee
efficienti ed
efficaci
LE
POLITICHE
Per offrire al
territorio le
migliori
risposte
possibili ai
bisogni
sociali
Una valutazione “frattale”
Valutazione del singolo
intervento
Valutazione zonale della
politica di uno specifico settore (anziani)
Valutazione del piano di
zona
Valutazione degli
interventi provinciali di
coordinamento e
sostegno
Valutazione della
politica regionale
5
TIPI DI VALUTAZIONE
La valutazione realizzata prima
dell'approvazione e della
successiva implementazione di un
progetto;
VALUTA
ZIONE EX
ANTE-


6
In questo caso la valutazione aiuta i
decisori a scegliere fra scenari alternativi (derivati da probabili diversi
impatti dell'azione da avviare), o fra
progetti alternativi, o fra modalità di
esecuzione alternative dello stesso
progetto.
Nel caso in cui non ci sia una reale
possibilità di scelta, aiuta a stimare i
diversi effetti, positivi e negativi, del
progettoin via di implementazione, al
TIPI DI VALUTAZIONE
VALUTA
ZIONE IN
ITINERE
7
E' quella valutazione che si
realizza mentre il processo
valutato è ancora in corso, al
fine di conseguire l'adattamento
e la correzione di eventuali
deviazioni dal progetto
originario, a causa di errori di
progettazioni o di modificazioni
del contesto;
TIPI DI VALUTAZIONE
Valutazione di un intervento dopo
che è stato completato.
L'obbiettivo della valutazione ex
post è quello di studiare se e
come il progetto abbia raggiunto
gli obbiettivi prefissati nonché
VALUTAZIO immaginare soluzioni adeguate
per interventi simili in futuro
NE EX POST
 in genere si considerano due
momenti distinti della valutazione
ex post:

8
dell'output (di esito - costi
benefici - )
TIPI DI VALUTAZIONE
Affronta di norma l'aspetto
procedurale e mira ad analizzare i
seguenti aspetti:
 il grado di cooperazione fra i
soggetti coinvolti
 il modo in cui vengono raggiunti i
destinatari degli interventi
VALUTA
 le procedure di partecipazione
ZIONE DI
adottate
PROCESSO  i fattori di successo incontrati
nell'implementazione
dell'intervento
 gli ostacoli incontrati
9
TIPI DI VALUTAZIONE
Valutazione che considera gli esiti
di un determinato intervento, la
sua efficacia. Viene usualmente
distinta in due caterie
fondamentali:
VALUTAZIONE l'efficacia interna, intesa come la
DI RISULTATO capacità
di raggiungere gli
obiettivi e i risultati attesi, definiti
a priori
 l'efficacia esterna, intesa come la
capacità del servizio di soddisfare
i bisogni degli utenti
10
TIPI DI VALUTAZIONE
E' una valutazione attraverso la
quale la qualità degli interventi
forniti viene analizzata e
sottoposta a giudizi finalizzati al
suo miglioramento

VALUTAZIO
NE DELLA
QUALITA'
11
Fare valutazione della qualità
per chi si occupa di servizio
sociale significa tenere
conto di valori ed obbiettivi
dei soggetti coinvolti in un
determinato intervento
(destinatari, operatori, attori
della comunità locale) e delle
relazioni tra tali attori
TIPI DI VALUTAZIONE
La valutazione realizzata
coinvolgendo un n. significativo di
attori implicati nella realizzazione
di un servizio, che contribuiscono
VALUTA
ZIONE PAR alla formulazione di giudizi e se ne
assumono la responsabilità
TECIPATA
rispetto alla realizzazione degli
interventi successivi
12
CONSIDERAZIONI DI SINTESI
1. La Valutazione pervade in modo
crescente la normativa nazionale di
settore: Ci viene pertanto sempre più
frequentemente detto che:
la valutazione si deve fare .
2. Si tratta di valutazione di casi,
interventi e di politiche, anche se, come
è logico, la normativa insiste soprattutto
su interventi e politiche, lasciando al
livello professionale la valutazione dei
13 casi.
CONSIDERAZIONI DI SINTESI
3. Le finalità valutative proposte sono sia
nella logica della valutazione \ apprendimento per migliorare (learning) che
in quella della valutazione \ rendicontazione (accountability). Tuttavia la
normativa non è sempre chiara sul
"perché si valuta"
 4. Ci viene per tanto detto che valutazione si deve fare ma dalla lettura della
normativa la valutazione "non si vede",
non si capisce cioè come si può fare la
14 valutazione
Attenzioni metodologiche
15
ATTENZIONI METODOLOGICHE
Principio di autovalutazione
ogni soggetto interessato dalla
valutazione è responsabile e
primo utilizzatore della
propria valutazione
16
ATTENZIONI METODOLOGICHE
Principio dei diversi livelli di
valutazione
il processo di valutazione
interessa tutti i livelli istituzionali coinvolti nell’
erogazione di un intervento
17
ATTENZIONI METODOLOGICHE
Principio di non
autoreferenzialita'
18
per quanto possibile la
valutazione deve essere
basata su riscontri oggettivi
e comunque esterni al
soggetto valutatore
ATTENZIONI METODOLOGICHE
Principio di confrontabilità:
le valutazioni devono essere
condotte sulla base di criteri di
giudizio e metodi omogenei e
permettere confronti nel corso
del tempo, anche fra più
esperienze.
19
ATTENZIONI METODOLOGICHE
Principio di trasparenza:
20
le valutazioni devono essere
condotte sulla base di criteri di
trasparenza ovvero attraverso
attività chiare, esplicite e
documentate per i diversi livelli
e soggetti coinvolti
(chi ha diritto di sapere)
IL SUCCESSO DELLA
VALUTAZIONE
La misura del successo della valutazione
può essere rappresentata dall’ampiezza
dei cambiamenti intervenuti nel
comportamento degli attori
dell’intervento, servizio o politica
21
IL SUCCESSO DELLA
VALUTAZIONE
La probabilità di successo della
valutazione è alta se questa svolge una
funzione di apprendimento per gli attori
coinvolti
22
La costruzione del disegno di
valutazione dei piani di zona
23
L’unità di analisi: l’implementazione
del sistema dei servizi del pdz
Piano di zona
Area …
Area anziani
Ob: potenziare
la domiciliarità
SAD
Ricoveri
di sollievo
24
Assegni di servizio
Area disabili
Area minori e
famiglia
Ob.:Tutela
del bambino
Il Pdz e la sua valutazione
Il piano di zona rappresenta uno strumento
ambizioso e, allo stesso tempo, “rivoluzionario”
diviene quindi cruciale valutarlo almeno per 3
ragioni:
– per considerare la sua capacità di cambiamento, del
sistema programmatorio delle politiche sociali,
– per valutare l’effettiva implementazione delle
politiche che si propone di realizzare;
– per valutare la sua capacità di incidere nella effettiva
realizzazione di servizi e interventi,
Il problema che ci si pone allora è: come valutare
i piani di zona, da quale livello di governo del
sistema, con quali precise finalità?
25
I livelli della valutazione 1
La valutazione dei Piani di zona è auspicabile
che si svolga agli stessi livelli in cui avviene
il governo del sistema e la sua
programmazione e quindi è necessario
svilupparla:
 a livello regionale,
 provinciale o di azienda
 di ambito territoriale, allargato agli
stakeholders coinvolti nella programmazione
partecipata.
26
I livelli della valutazione 2
Avendo questi livelli, ruoli e competenze
diverse in tema di programmazione è
necessario anche prevedere modalità
diverse di valutazione.
E’ necessario sottolineare che questi livelli non
procedono autonomamente ma devono
prevedere dei flussi di comunicazione tra
loro, e alimentarsi a vicenda.
27
Che cosa si può valutare dei pdz?

Il processo di pianificazione e il documento di
piano
(valutazione ex ante)

Il cambiamento prodotto:
– L’implementazione degli interventi previsti dal piano
– La politica sociale prevista dal Piano
(valutazione in itinere e ex post)

I processi di integrazione avviati:
– L’integrazione fra Enti Locali
– L’integrazione con l’ASL
– L’integrazione con il Terzo Settore
(valutazione della governance)
28
Le finalità della valutazione nei Pdz



La valutazione ex ante dei Piani di zona finalizzata
a verificarne la conformità rispetto agli indirizzi
regionali (linee guida) e trarne ulteriori
suggerimenti per ri-orientare la programmazione in
una direzione più efficace
La valutazione in itinere del processo di
implementazione dei piani di zona, per monitorarne
gli esiti parziali e individuare criticità e punti di forza
utili per suggerire strategie migliorative
La valutazione ex post finalizzata a individuare i
risultati ottenuti nella implementazione dei piani di
zona (anche in relazione alla spesa sostenuta) per
orientare le successive scelte programmatorie
29
Il disegno di valutazione dei
piani di zona
Perché l'attività di valutazione del Piano di
zona sia efficace essa deve risultare
utile a chi deve prendere decisioni.
Deve cioè produrre informazioni e dati
che servano effettivamente a formulare
giudizi e - su questa base - riprogettare
corsi d’azione.
30
Il disegno di valutazione del
piano di zona
 Una
valutazione fatta bene aiuta a:
– capire meglio il problema;
– capire meglio le scelte fatte e le loro
implicazioni;
– capire meglio cosa funziona e cosa no
nella politica;
– scoprire cose nuove, inaspettate.
31
Il disegno di valutazione dei
piani di zona
E' cruciale che essa avvenga sulla base
di un disegno di valutazione, parte
integrante del Piano stesso, che indichi
quali sono le domande alla quale la
valutazione deve rispondere, quali sono
gli strumenti utilizzati per rispondervi,
chi e quando svolgerà le attività
necessarie.
32
Ma che cosa intendiamo valutare dei
Piani di zona?
Il cambiamento prodotto sul territorio con
la nuova programmazione e
pianificazione delle politiche sociali, le
due dimensioni principali del
cambiamento sono:
 Lo sviluppo del sistema dei servizi
 Lo sviluppo del territorio
33
Lo sviluppo del sistema
Il processo avviato con la riforma dei servizi sociali
ha sviluppato un cambiamento nella progettazione
e pianificazione del sistema di servizi e interventi.
La portata del cambiamento la possiamo leggere
ad esempio attraverso:
 un’analisi del sistema di interventi e servizi
 l’apporto innovativo sul sistema dei servizi
34
Punti di attenzione 1
1. La valutazione è opportuno che avvenga ai
diversi livelli della programmazione in un
quadro, però nel quale tali livelli si
alimentino a vicenda, divenendo l’uno
risorsa per l’altro.
2. La valutazione dei Piani deve concentrarsi
non solo sui documenti ma soprattutto sulle
azioni concrete, sugli interventi sociali che a
seguito dei piani vengono realizzati.
3. La valutazioni dei piani è opportuno che sia
orientata anche all’analisi costi benefici,
35
Punti di attenzione 2
4. I disegni di valutazione dei Pdz, saranno più
efficaci se utilizzeranno metodologie miste, che si
basino su più strumenti e più fonti informative, e
che assumano una logica di piano
5. La valutazione deve essere condotta in modo
partecipato e deve essere interpretata come
processo di apprendimento collettivo dei soggetti
che insieme concorrono alla realizzazione delle
politiche sociali pubbliche, che, anche grazie alla
valutazione, imparano a “governare” insieme un
sistema locale di servizi alla persona.
36
I passaggi principali per la costruzione
del disegno di valutazione
1. Individuazione della finalità della valutazione
2. Identificazione dello scopo (la mission) dell’oggetto di
valutazione
3. Identificazione delle dimensioni di valutazione
4. Identificazione dei criteri
5. Identificazione degli indicatori
6. Identificazione degli strumenti e delle fonti informative
7. Rilevazione sul campo.
8. Valutazione vera e propria (espressione di un giudizio) e
identificazione degli obiettivi di miglioramento.
9. Individuazione delle strategie di miglioramento
10. Restituzione dei risultati della valutazione agli stakeholders
37
Ricordando le caratteristiche degli indicatori…
Gli indicatori, per essere adeguatamente
utilizzabili nel processo valutativo, debbono
possedere le seguenti caratteristiche ( Zajczyk
1997):
1)
2)
3)
4)
5)
6)
38
Validità
Attendibilità
Sensibilità
Adeguatezza
Comparabilità
Tempestività
Le caratteristiche degli indicatori
1) Validità, ovvero la capacità di rappresentare
effettivamente il concetto/ criterio indicato in modo
accettabile
Non esiste alcun criterio “oggettivo” per misurarla a
priori, al fine di soddisfare questo requisito ci si
avvale della conoscenza del contesto in cui si opera.
E’ infatti, ad esempio, proprio la conoscenza del
contesto che ha permesso di identificare in termini di
PARTECIPAZIONE l’indicatore: N° di soggetti
39
individuati (istituzionali e non)/ N° di soggetti
presenti sul territorio
Le caratteristiche degli indicatori
2) Attendibilità, ovvero è in grado di cogliere
effettivamente quegli aspetti che ci si era proposti
di rilevare
In che termini ad esempio “Gli interventi dei
partecipanti durante gli incontri” consentono di
ricostruire la dimensione PARTECIPAZIONE?
40
Le caratteristiche degli indicatori
3) Sensibilità, ovvero la capacità di discriminare
tra le diverse forme che può assumere un
fenomeno
E’ la sensibilità ad intervenire nell’individuazione di un
indicatore piuttosto che un altro, si pensi ad
esempio alla scelta di monitorare “I tempi di attesa
nell’accesso ai servizi” in termini di miglioramento
della qualità della vita delle famiglie
41
Le caratteristiche degli indicatori
4) Adeguatezza, ovvero rispondere ai bisogni
conoscitivi del valutatore
In termini ad esempio di Congruenza tra bisogni ed
allocazione delle risorse si è ritenuto adeguato
rilevare ex post la “Percezione dei tavoli
relativamente ai bisogni affrontati e alle azioni
realizzate”
42
Le caratteristiche degli indicatori
5) Comparabilità, ovvero la possibilità di
confrontare lo stesso fenomeno in aree
territoriali diverse o lo stesso fenomeno nella
stessa area ma in tempi diversi
6) Tempestività, ovvero possono essere utilizzati
in tempi adeguati per modificare un
programma o un intervento grazie al giudizio
che hanno permesso di formulare
43
Il monitoraggio e la valutazione
Ovvero la valutazione in itinere
44
IL MONITORAGGIO : DEFINIZIONI
Nella letteratura specializzata al monitoraggio
viene data rilevanza relativa, non esistono testi
specifici sul monitoraggio, le definizioni ed
applicazioni del monitoraggio si ritrovano
all’interno dei manuali sulla valutazione degli
interventi e delle politiche.
45
IL MONITORAGGIO : DEFINIZIONI
“Il monitoraggio è un processo di raccolta di dati
e informazioni sulle modalità di attuazione di
un intervento o di una politica.
E’ utilizzato spesso a fini di accountability; in
altre parole, i dati e le informazioni vengono
raccolti dalle strutture di attuazione per
mostrare a soggetti esterni di controllo (le
agenzia che hanno erogato i finanziamenti
oppure le agenzie responsabili per il rispetto
degli standard) che l’intervento viene
realizzato secondo quanto previsto dal
programma originario”.
46 C. Weiss 1972
IL MONITORAGGIO : DEFINIZIONI



“Il monitoraggio serve per verificare se la
politica:
sta raggiungendo il target di destinatari
previsto,
è attuata in modo fedele al disegno
originario,
sta utilizzando le risorse (finanziarie, umane,
tecnologiche, ecc.) in modo economico ed
efficiente”.
P.H. Rossi - H.E. Freeman 1989
47
IL MONITORAGGIO : DEFINIZIONI
“Monitoraggio =
funzione che consiste nell’accertamento e
nella descrizione puntuale e metodica
dell’avanzamento di un progetto e nella
segnalazione tempestiva delle discrepanze
rispetto a quanto stabilito”
Il Calamaio e l’arcobaleno 2000
48
IL MONITORAGGIO : DEFINIZIONI
“Una funzione del management che, attraverso
una raccolta metodica di dati, verifica se le
risposte materiali e finanziarie impiegate in
un’iniziativa sono sufficienti, il personale
impiegato è adeguatamente preparato e
qualificato, le attività in atto sono previste nei
termini di riferimento e sono stati raggiunti gli
obbiettivi prefissati nei piani di lavoro”
Pennisi 1991
49
IL MONITORAGGIO : DEFINIZIONI
Le parole chiave che maggiormente
ricorrono in queste definizioni sono:
 Accountability (rendicontazione)
 Verifica (rispetto di obbiettivi dati)
 Avanzamento (rispetto dei tempi)
50
MONITORAGGIO E VALUTAZIONE



MONITORAGGIO
Fornisce
l’informazione
viene fatto con
rilevazioni regolari
misura il
raggiungimento di
standard
Stame 1998
51
VALUTAZIONE



Formula il giudizio
Può essere fatta in
momenti diversi, o
in un solo colpo
misura delle
dimensioni:
efficienza,
efficacia, qualità
MONITORAGGIO E VALUTAZIONE
Il monitoraggio è pertanto una funzione
all’interno della più complessa
esperienza della valutazione.
Il monitoraggio, in sé, non è una
disciplina, ma una funzione \
strumento utile per rendere conto, e
verificare lo sviluppo di una politica nel
corso del tempo, utile, in altri termini,
per realizzare le valutazioni in itinere.
52
MONITORAGGIO E VALUTAZIONE
Il monitoraggio può allora essere una funzione
“molto utile per la valutazione in itinere …...
Per es. le eventuali deviazioni dal disegno
iniziale possono derivare non tanto da errori
degli attuatori, ma da una progettazione
operativa deficitaria. Oppure ancora, il
disegno originario può essere eseguito
correttamente, senza tuttavia produrre i
risultati in itinere attesi”…..;
.
53
MONITORAGGIO E VALUTAZIONE
“ Quando attraverso il monitoraggio emergono
aspetti di questo genere, e la valutazione in
itinere è in grado di fornire le spiegazioni
appropriate, vengono messi a disposizione
dei decisori importanti elementi per una
modificazione della politica in corso; oppure
evidenziata l’esigenza di una nuova politica..”
Vecchi 2000
54
IL MONITORAGGIO: A CHE COSA SERVE?


Serve per
evidenziare:

55
Lo stato di avanzamento dei
programmi, delle politiche, degli
interventi;
Le piste di approfondimento per
mettere in luce criticità e i fattori di
successo nello sviluppo di un
singolo intervento, di un distretto, di
un’area tematica;
Le informazioni basilari per
procedere a una valutazione in
itinere degli interventi e delle
politiche (è un sensore).
IL MONITORAGGIO: A CHE COSA NON SERVE?


Non Serve
per:
56
dare informazioni sulla qualità
degli interventi e delle politiche
dare informazioni sugli esiti, sui
risultati ottenuti per l’utente finale,
cioè sulla efficacia degli interventi e
delle politiche
Il monitoraggio
Il monitoraggio è un processo di
raccolta di dati e informazioni sulle
modalità di attuazione di un intervento
o di una politica
Il monitoraggio serve per:
 Lo stato di avanzamento dei
programmi, delle politiche, degli
interventi;
 Le piste di approfondimento per
mettere in luce criticità e i fattori di
successo nello sviluppo di un singolo
intervento, di un distretto, di un’area
tematica;
 Le informazioni basilari per
procedere a una valutazione in
itinere degli interventi e delle
politiche (è un sensore)
Il monitoraggio:
 Fornisce l’informazione
 Viene
57 fatto con rilevazioni regolari
 Misura il raggiungimento di standard
la valutazione
La valutazione intende rispondere alla
domanda: ciò che si fa è fatto bene?
Risponde, e in quale misura, alle
strategie di Piano? Come si può
migliorare?
La valutazione serve per


dare informazioni sulla qualità
degli interventi e delle politiche
dare informazioni sugli esiti, sui
risultati ottenuti per l’utente finale,
cioè sulla efficacia degli interventi e
delle politiche
Una valutazione fatta bene aiuta a:
 capire meglio il problema;
 capire meglio le scelte fatte e le
loro implicazioni;
 capire meglio cosa funziona e cosa
no nella politica;
 scoprire cose nuove, inaspettate.
Il monitoraggio
la valutazione
ELEMENTI DI MONITORAGGIO:
qualche esempio
ELEMENTI DI VALUTAZIONE:
qualche esempio
Lo stato di implementazione
degli interventi
Livello di integrazione/
collaborazione raggiunto tra gli
attori del territorio
Il livello di raggiungimento dei
destinatari
Le risorse umane impiegate
Le risorse finanziarie impiegate
Principali ostacoli/ criticità ed
elementi di facilitazione incontrati
Risultati raggiunti
“Lezioni apprese”
58