“Governance, Monitoraggio
e Valutazione, Riprogrammazione”
MODULO 2°: IL MONITORAGGIO E LA
VALUTAZIONE
30.11.2009
4.12.2009
10.12.2009
Ugo De Ambrogio ([email protected])
Carla Dessi ([email protected])
1
a) Definizione di valutazione
delle politiche pubbliche
2
DEFINIZIONE
è un’espressione di giudizio rispetto ad
azioni di interesse collettivo
 con l’intento di migliorare le azioni
pubbliche
 viene svolta attraverso attività di ricerca
realizzate con metodi rigorosi e codificabili
 valorizzando gli aspetti inattesi e
contraddittori
 deve essere comunicata a terzi in modo
esplicito e trasparente
 all’interno di un processo nel quale
valutazione e progettazione sono percorsi
integrati

VALUTAZIONE
3
L’OTTICA PROGETTUALE E STRATEGICA
Progettazione
Intervento
4
Valutazione
b) Il monitoraggio e la
valutazione in itinere
5
IL MONITORAGGIO : DEFINIZIONI
Nella letteratura specializzata al monitoraggio
viene data rilevanza relativa, non esistono
testi specifici sul monitoraggio, le definizioni
ed applicazioni del monitoraggio si ritrovano
al’interno dei manuali sulla valutazione degli
interventi e delle politiche.
6
IL MONITORAGGIO : DEFINIZIONI
“Il monitoraggio è un processo di raccolta di dati
e informazioni sulle modalità di attuazione di
un intervento o di una politica.
E’ utilizzato spesso a fini di accountability; in
altre parole, i dati e le informazioni vengono
raccolti dalle strutture di attuazione per
mostrare a soggetti esterni di controllo (le
agenzia che hanno erogato i finanziamenti
oppure le agenzie responsabili per il rispetto
degli standard) che l’intervento viene
realizzato secondo quanto previsto dal
programma originario”.
7 C. Weiss 1972
IL MONITORAGGIO : DEFINIZIONI



“Il monitoraggio serve per verificare se la
politica:
sta raggiungendo il target di destinatari
previsto,
è attuata in modo fedele al disegno
originario,
sta utilizzando le risorse (finanziarie, umane,
tecnologiche, ecc.) in modo economico ed
efficiente”.
P.H. Rossi - H.E. Freeman 1989
8
IL MONITORAGGIO : DEFINIZIONI
“Monitoraggio =
funzione che consiste nell’accertamento e
nella descrizione puntuale e metodica
dell’avanzamento di un progetto e nella
segnalazione tempestiva delle discrepanze
rispetto a quanto stabilito”
Il Calamaio e l’arcobaleno 2000
9
IL MONITORAGGIO : DEFINIZIONI
“Una funzione del management che, attraverso
una raccolta metodica di dati, verifica se le
risposte materiali e finanziarie impiegate in
un’iniziativa sono sufficienti, il personale
impiegato è adeguatamente preparato e
qualificato, le attività in atto sono previste nei
termini di riferimento e sono stati raggiunti gli
obbiettivi prefissati nei piani di lavoro”
Pennisi 1991
10
IL MONITORAGGIO : DEFINIZIONI
Le parole chiave che maggiormente
ricorrono in queste definizioni sono:
 Accountability (rendicontazione)
 Verifica (rispetto di obbiettivi dati)
 Avanzamento (rispetto dei tempi)
11
MONITORAGGIO E VALUTAZIONE
Il monitoraggio è pertanto una funzione
all’interno della più complessa
esperienza della valutazione.
Il monitoraggio, in sé, non è una
disciplina, ma una funzione \
strumento utile per rendere conto, e
verificare lo sviluppo di una politica nel
corso del tempo, utile, in altri termini,
per realizzare le valutazioni in itinere.
12
IL MONITORAGGIO: A CHE COSA SERVE?


Serve per
evidenziare:

13
Lo stato di avanzamento dei
programmi, delle politiche, degli
interventi;
Le piste di approfondimento per
mettere in luce criticità e i fattori di
successo nello sviluppo di un
singolo intervento, di un distretto, di
un’area tematica;
Le informazioni basilari per
procedere a una valutazione in
itinere degli interventi e delle
politiche (è un sensore).
FUNZIONI DELLA VALUTAZIONE DEGLI INTERVENTI E
DELLE POLITICHE SOCIALI
Letta in questa chiave la valutazione nel sociale
risponde ad entrambe le funzioni che la
letteratura assegna alla valutazione delle
politiche pubbliche:
Accountability (rendicontazione)
Learning (apprendimento)
In un contesto nel quale, secondo me,
il learning è prioritario e
propedeutico al l’accountability
14
VALUTAZIONE
ACCOUN
TABILITY
15
VALUTAZIONE NEL SOCIALE
LEARNING
ACCO
UNTABILITY
16
c) La dimensione relazionale
della valutazione
17
Probabilmente, molti di noi hanno
"introiettato" il modello "scolastico
tradizionale" di valutazione: la
valutazione finalizzata a stabilire i
promossi e i bocciati; chi vale va
avanti secondo le previsioni e chi
vale meno ripete l'anno .
18
La valutazione degli
interventi e delle politiche
sociali è un'altra cosa!
La finalità non è di stabilire chi sono i
promossi e i bocciati, né i buoni e i
cattivi, è di
raccogliere e analizzare
informazioni, per dare giudizi, al fine
di
MIGLIORARE LE POLITICHE
19
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE


20
Un processo di valutazione può essere
inteso anche come un sistema relazionale
all’interno del quale vengono agite una
pluralità di interazioni
L’efficacia della valutazione dipende
pertanto anche dalla relazione che si
instaura fra i soggetti in campo
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE

presenza di soggetti valutatori e di soggetti
valutati
rischio di asimmetria nella relazione fra i
soggetti.
21
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE

.

possibili vissuti
difensivi del
valutatore



22
Sentirsi intrusivo in
“casa d’altri”
Sentirsi preso per un
giudice sanzionatore
Trovarsi di fronte a
qualcuno che vuole
nascondere qualcosa
Sentirsi un controllore
sentirsi un operatore o
nel posto e nel luogo
sbagliato
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE

possibili vissuti
difensivi
del valutato
23



Sentirsi giudicato
come professionista
Sentirsi giudicato
come persona
Trovarsi di fronte a un
giudice sanzionatore
Sentirsi controllato
RISCHI RELAZIONALI NEL CASO
CHE PREVALGANO VISSUTI
DIFENSIVI
Si farà strada per entrambi
la convinzione che
se lui vince io perdo
oppure
se io vinco, lui perde
In questo caso la
comunicazione diverrà
difficile e provocherà disagi
24
RISCHI RELAZIONALI NEL
CASO CHE PREVALGANO
VISSUTI DIFENSIVI
Non ci sarà apertura né disponibilità ad
intraprendere insieme percorsi di
ricerca, bensì ci sarà chiusura,
occultamento delle informazioni,
diffidenza, boicottaggio dell’altro
ecc .
25
RISCHI RELAZIONALI NEL
CASO CHE PREVALGANO
VISSUTI DIFENSIVI
In questi casi il processo di valutazione
appare destinato a divenire semplice
controllo, percepito in modo simile al
voto scolastico, e, paradossalmente
sia il valutatore che il valutato
finiranno per svalutarsi l’uno l’altro e
svalutare il processo valutativo
generale.
26
La svalutazione
“un processo mentale inconsapevole che
consiste nell’ignorare o sminuire delle
informazioni pertinenti alla soluzione
di un problema”.
A. W. Shiff e J.L. Shiff
27
La svalutazione
svalutare, nell’accezione proposta,
significa non considerare e
stravolgere i dati di realtà, non
riconoscere le risorse personali e
materiali, far prevalere i propri
pregiudizi, non prendere sul serio sé,
l’altro e il problema, non vedere e
boicottare le possibilità di
cambiamento.
28
“la misura del successo della valutazione
può essere rappresentata
dall’ampiezza dei cambiamenti
intervenuti nel comportamento degli
attori dell’intervento, servizio o
politica valutata” (Dente 2000).
29
Valutazione e svalutazione
Appare pertanto evidente rilevare che
una buona valutazione non può essere
realizzata da soggetti svalutanti,
perché non si possono promuovere
cambiamenti con chi disconferma la
rilevanza, le possibilità e le
capacità stesse di cambiamento.
30
STRATEGIE PER EVITARE
CHE LA VALUTAZIONE
DIVENGA “SVALUTAZIONE”
E’ opportuno che la componente di contenuto
della comunicazione
(“siamo qui a valutarci per migliorare”)
sia in accordo con la componente di relazione
(il nostro è un incontro fra professionisti,
è un incontro fra pari che si riconoscono in
un obiettivo comune, in un quadro di fiducia
e stima reciproci )
31
Ne consegue che durante la ricerca valutativa è
opportuno che non si instauri una relazione nella
quale “uno vince e l’altro perde”, bensì una
relazione generativa, in cui possono vincere
entrambi, perchè entrambi perseguono il
medesimo obbiettivo
32
ALL’INTERNO DI
UNA RELAZIONE
GENERATIVA
AVREMO:




33
accoglienza
apertura
atteggiamento
ricercante
atteggiamento
collaborativo
ALL’INTERNO DI
UNA RELAZIONE
COMPETITIVA
AVREMO:




rifiuto
chiusura
atteggiamento
giudicante
atteggiamento
difensivo
d) Attenzioni metodologiche
34
1. principio di autovalutazione
ogni soggetto
interessato dalla
valutazione è
responsabile e
primo utilizzatore
della propria
valutazione
35
35
2. principio dei diversi livelli di valutazione
il processo di
valutazione interessa
tutti i livelli
istituzionali coinvolti
nell’ erogazione di un
intervento
36
36
3. principio di non
autoreferenzialità
per quanto possibile la
valutazione deve
essere basata su
riscontri oggettivi e
comunque esterni al
soggetto valutatore
37
37
ATTENZIONI DI PROCESSO
Se prima della valutazione siamo nello spazio della
soggettività assoluta la valutazione comporta
l’avvicinamento all’asse dell’ oggettività attraverso un
approccio di ricerca che rileva dati, informazioni e
opinioni degli stakeholders. Tuttavia l’oggettività
assoluta non esiste, nel campo dei servizi alla persona,
questo deve essere parte della consapevolezza di chi
svolge il processo di valutazione.
38
SCHEMA DELLA "TENSIONE DEL VALUTATORE«
( Alfoldi 1999)
Oggettività
39
Soggettività
39
ATTENZIONI DI PROCESSO
Consideriamo l’attenzione al coinvolgimento e
alla partecipazione degli stakeholders alla
valutazione efficace per interventi sociali in
quanto è un settore in cui si produce
benessere, autonomia, soddisfazione, questi
elementi non sono valutabili esclusivamente
con indicatori oggettivi ma attraverso la
messa in comune di diverse soggettività
confrontate con riscontri oggettivi.
40
SCHEMA dei "tasselli"
Tratto da uno spunto di G. Mazzoli - Studio APS Milano
A
B
v
C
41
D
E
4. principio di confrontabilità
le valutazioni devono
essere condotte
sulla base di criteri
di giudizio e
metodi omogenei e
permettere
confronti nel corso
del tempo, anche
fra più esperienze
42
42
5. Principio di trasparenza
43
le valutazioni devono
essere condotte sulla
base di criteri di
trasparenza ovvero
attraverso attività
chiare, esplicite e
documentate per i
diversi livelli e soggetti
coinvolti (chi ha diritto
di sapere e chi è utile
che sappia)
43
e) Il disegno della ricerca
valutativa
44

Rigore del metodo:
disegno della valutazione
la valutazione deve essere guidata da un
piano, disegno della ricerca valutativa
“c’è bisogno di un percorso, di un
progetto valutativo, che leghi il contesto in
cui si situa ciò che viene valutato, i vari
attori sociali che hanno a che fare con
esso, gli scopi della valutazione….la
valutazione non può essere un’industria
standardizzata, ma è un artigianato che
lavora sempre su misura, se vuole
lavorare bene”
(Bezzi. 2003)

45
45
I passaggi principali: il disegno della valutazione
1. Individuazione della finalità della valutazione
2. Identificazione dello scopo (la mission) dell’oggetto di
valutazione
3. Identificazione delle dimensioni di valutazione
4. Identificazione dei criteri
5. Identificazione degli indicatori
6. Identificazione degli strumenti e delle fonti informative
7. Rilevazione sul campo.
8. Analisi dei dati e delle informazioni raccolte
9. Valutazione vera e propria (espressione di un giudizio su punti
di forza e criticità)
10. Individuazione delle strategie di miglioramento
11. Restituzione dei risultati della valutazione agli stakeholder
46
Il disegno di valutazione

47
E’ cruciale che il percorso valutativo giunga
al termine, cioè rispetti tutti i diversi
passaggi delle sequenza proposta, troppe
volte
abbiamo
incontrato
valutazioni
“abortite”, cioè che si sono impaludate non
avendo per esempio definito chiari criteri
prima di determinare gli indicatori, oppure
che si sono fermate
alla descrizione
“asettica” di risultati di rilevazioni, senza
formulare
giudizi,
obiettivi
di
miglioramento e strategie operative o,
infine, senza comunicarli a coloro i quali ne
avrebbero fatto un uso costruttivo.
f) L’analisi SWOT
-
48
Che cos’è l’analisi SWOT -1
L’analisi SWOT è una delle metodologie
attualmente più diffuse per la valutazione
di progetti e/o fenomeni sociali
49
Originariamente nata nell’ambito delle
ricerche di marketing, è un procedimento di
tipo logico che consente di rendere
sistematiche e fruibili le informazioni
raccolte circa un tema/ argomento
specifico e fornisce informazioni
fondamentali per la definizione di politiche
e linee di intervento
Che cos’è l’analisi SWOT -2
Il fenomeno e/o il progetto oggetto di
valutazione devono essere
approfonditamente studiati al fine di
mettere in luce tutte le loro
caratteristiche, strutturali e congiunturali
Si rende dunque necessaria la piena
conoscenza del contesto all’interno del
quale il fenomeno e/o il progetto oggetto di
valutazione si colloca
50
Che cos’è l’analisi SWOT -3
Attraverso l’analisi SWOT è possibile
evidenziare i punti di forza e di
debolezza al fine di far emergere
quelli che vengono ritenuti capaci di
favorire o di ostacolare/ritardare il
perseguimento di determinati
obiettivi
51
Che cos’è l’analisi SWOT -4
Più nello specifico l’analisi SWOT distingue
tra fattori endogeni ed esogeni
52
Fattori endogeni: tutte quelle variabili che fanno
parte integrante del sistema stesso, sulle quali è
possibile intervenire per perseguire obiettivi
prefissati
Fattori esogeni: tutte quelle variabili esterne al
sistema che possono condizionarlo sia
positivamente che negativamente per cui è
opportuno predisporre strutture di controllo in
grado di prevenire/arginare gli eventi negativi e
sfruttare quelli positivi
Che cos’è l’analisi SWOT -5
L’efficacia dell’analisi SWOT dipende, in
modo cruciale, dalla capacità di effettuare
una lettura “incrociata” di tutti i fattori
individuati
Questo approccio dunque si sostanzia nella
classificazione dei risultati dell’analisi
“preliminare” all’interno di un diagramma
predefinito che agevoli l’individuazione
delle priorità di intervento ed offra un
valido supporto all’attività di
programmazione
53
Punti di forza ( Strenghts)  i
principali punti di forza legati al
vostro ruolo
 Punti di debolezza ( Weaknesses) 
le principali difficoltà legate al vostro
ruolo
 Opportunità ( Opportunities)  le
principali potenzialità del contesto
 Rischi ( Threats)  i principali
ostacoli dovuti al contesto

54
Un modello di diagramma sintetico di
rappresentazione dei risultati dell’analisi
SWOT
Per rendere più agevole la lettura
“incrociata” di tutti i fattori individuati, i
risultati dell’analisi vengono solitamente
presentati in forma di diagramma
sintetico e poi descritti più diffusamente.
Un modello di diagramma sintetico può
essere il seguente:
55
DIAGRAMMA SINTETICO
S
STRENGHT =
Punti di forza
interni !
O
OPPORTUNITIES
= Opportunità
esterne
56
W
WICKNESS= Punti
di debolezza interni
T
THREATS =
minacce
esterne
Come viene utilizzata l’analisi SWOT
seconda fase: una volta individuati punti di forza e
debolezza esterni ed interni (attraverso il diagramma)
si procede alla identificazione, sulla scorta delle
principali problematiche evidenziate, di
suggerimenti – raccomandazioni - linee
guida strategiche che, facendo leva sui punti di
57
forza, tenteranno di ridurre quelli di debolezza.
Attenzione complementare sarà quella di valorizzare
le opportunità esterne per tentare di minimizzare le
minacce.
Attraverso tale procedimento è possibile ridurre i
problemi di sviluppo e proporre utili strategie di
miglioramento
Bibliografia base sulla valutazione …
C. Bezzi – Il disegno della ricerca valutativa- F.Angeli 2003
(edizione aggiornata)
G. Bertin – Valutazione e sapere sociologico – Il Mulino – 1996
(?)
U. De Ambrogio – Valutare gli interventi e le politiche sociali –
Carocci Faber 2003
M. Palumbo – Il Processo di valutazione, F. Angeli 2001
E. Ranci Ortigosa (a cura di) La valutazione di qualità
dell’intervento sanitario – F. Angeli 2000
U. De Ambrogio “La valutazione partecipata della qualità come
processo relazionale generativo, su Prospettive Sociali e Sanitarie
n. 14, 2004.
Siti .
www.valutazione.it
www.valutazioneitaliana.it
58
Per saperne di più sull’analisi SWOT …
E.P. Learned, C. R. Chritiansen, K. Andrews and W.
D. Guth, Business policy, text and cases, Homewood,Irwin
1968.
Sull’applicazione della swot analysis alle politiche pubbliche si
veda D. Patassini Modelli valutativi per la pianificazione
strategica, in “Pianificazione strategica”, a cura di P. Perulli,
Daest, Iuav, Venezia 1997.
Cfr. siti Internet
http://www.lancillotto.anci.it/Download/
http://db.formez.it/
59
g) i primi passi della
valutazione del Piano di zona
(che hanno ispirato la
cassetta degli attrezzi)
-
60
1. Finalità della valutazione:
Si intende valutare il Piano di zona
per conoscere i risultati concreti
della propria programmazione,
ovvero delle politiche sociali
territoriali, per :
1. Capire se si è risposto ai bisogni
2. poter riprogrammare meglio e in
modo più consapevole
61
2. Finalità della valutazione:
2. Si intende valutare il PDZ per
conoscere l’esito dei processi
programmatori e trarne
suggerimenti per un riorientamento
delle strategie di programmazione
partecipata del piano di zona
62
2. Individuazione dello scopo (la mission) dell’oggetto
di valutazione
Il piano di zona è lo strumento stategico per la
costruzione delle politiche sociali di un teritorio. In
particolare compito del Piano di zona è, a livello
territoriale organizzare soggetti diversi, che
intervengono sui bisogni e sulla domanda sociale per
la costruzione di una politica sociale integrata di
territorio.
Ha cadenza triennale e deve contenere:
 Gli obbiettivi indicati dalla Regione e gli obbiettivi
specifici di ogni ambito;
 Il profilo di comunità e le esigenze emergenti del
fabbisogno;
 Le azioni che verranno realizzate nel territorio
63
3. Dimensioni da valutare:
per il piano di ambito c’è una dimensione
relativa a:

“l’implementazione del sistema” che riguarda
essenzialmente le capacità del piano di
realizzare politiche sociali territoriali
efficaci;
1.
C’è una dimensione relativa alle capacità di
“governance del piano di zona” che riguarda
le capacità del Piano di costruire
partecipazione e integrazione fra i diversi
soggetti in campo, funzionali alla costruzione
e gestione dei sistemi integrati di servizi
64 sociali territoriali.

4. Criteri per la dimensione:
“l’implementazione del sistema”
Il “grado di integrazione operativa
socio sanitaria” realizzato grazie agli
interventi previsti dal pdz
 Il “grado di integrazione operativa
socio educativa” realizzato grazie agli
interventi previsti dal pdz

65
4. Criteri per la dimensione:
“l’implementazione del sistema”
“La realizzazione di interventi
sociali in ciascun ambito, che
rispondono ad una logica
strategica”, ovvero rispondano ad un
disegno di SOCIAL POLICY
territoriale
 La realizzazione di interventi che
realizzino un buon rapporto costi \
benefici”.

66
4. Criteri per la dimensione:
“la governance del Piano di zona”
 Il
grado e la qualità dei rapporti
fra i consorzi ed i comuni
verificando il superamento anche in
sede programmatoria del tradizionale
frazionamento comunale;
 Il grado e la qualità dei rapporti
fra i Consorzi l’A. Usl e la scuola
verificando il grado di partecipazione
alla pianificazione socio sanitaria e
67socio educativa raggiunto;
4. Criteri per la dimensione: “la governance
del Piano di zona”
Il grado e la qualità dei rapporti fra i
Consorzi e il terzo settore verificando
la effettiva costruzione di una
governance e di prassi partecipate di
programmazione sociale.
 Il grado e la qualità dei rapporti tra
consorzi e provincia per valutare l’utilità
delle informazioni fornite ai territori
attraverso i sistemi informativi
68provinciali.
