Corso di formazione sul monitoraggio
e la valutazione dei Piani di zona
della Provincia di Torino
I modulo – prima giornata
30 marzo 2006
Katja Avanzini [email protected]
Ugo De Ambrogio [email protected]
1
Che cosa si valuta e i diversi tipi di
valutazione
2
DEFINIZIONE
è un’espressione di giudizio rispetto ad
azioni di interesse collettivo,
 con l’intento di migliorare le azioni
pubbliche,
 viene svolta attraverso attività di ricerca
realizzate con metodi rigorosi e
codificabili,
 valorizzando gli aspetti inattesi e
contraddittori,
 deve essere comunicata a terzi in modo
esplicito e trasparente,
 all’interno di un processo nel quale
valutazione e progettazione sono percorsi
integrati.

VALUTAZIONE
3
CHE COSA SI VALUTA NEI SERVIZI
SOCIALI
4
I CASI
GLI
INTERVENTI
Per fornire
migliori
risposte alle
esigenze
individuali
Per offrire
risposte
omogenee
efficienti ed
efficaci
LE
POLITICHE
Per offrire al
territorio le
migliori
risposte
possibili ai
bisogni
sociali
Una valutazione “frattale”
5
Una valutazione “frattale”
Valutazione del singolo
intervento
Valutazione zonale della
politica di uno specifico settore (anziani)
Valutazione del piano di
zona
Valutazione degli
interventi provinciali di
coordinamento e
sostegno
Valutazione della
politica regionale
6
TIPI DI VALUTAZIONE
La valutazione realizzata prima
dell'approvazione e della
successiva implementazione di un
progetto;
VALUTA
ZIONE EX
ANTE-


7
In questo caso la valutazione aiuta i
decisori a scegliere fra scenari alternativi (derivati da probabili diversi
impatti dell'azione da avviare), o fra
progetti alternativi, o fra modalità di
esecuzione alternative dello stesso
progetto.
Nel caso in cui non ci sia una reale
possibilità di scelta, aiuta a stimare i
diversi effetti, positivi e negativi, del
progettoin via di implementazione, al
TIPI DI VALUTAZIONE
VALUTA
ZIONE IN
ITINERE
8
E' quella valutazione che si
realizza mentre il processo
valutato è ancora in corso, al
fine di conseguire l'adattamento
e la correzione di eventuali
deviazioni dal progetto
originario, a causa di errori di
progettazioni o di modificazioni
del contesto;
TIPI DI VALUTAZIONE
Valutazione di un intervento dopo
che è stato completato.
L'obbiettivo della valutazione ex
post è quello di studiare se e
come il progetto abbia raggiunto
gli obbiettivi prefissati nonché
VALUTAZIO immaginare soluzioni adeguate
per interventi simili in futuro
NE EX POST
 in genere si considerano tre
momenti distinti della valutazione
ex post:

9

dell'output (è stato fatto?)
dell'outcome (è stato fatto bene?)
VALUTA
ZIONE DI
PROCESSO
10
TIPI DI VALUTAZIONE
Affronta di norma l'aspetto
procedurale e mira ad analizzare i
seguenti aspetti:
 il grado di cooperazione fra i
soggetti coinvolti
 il modo in cui vengono raggiunti i
destinatari degli interventi
 le procedure di partecipazione
adottate
TIPI DI VALUTAZIONE
Valutazione che considera gli esiti
di un determinato intervento, la
sua efficacia. Viene usualmente
distinta in due categorie
fondamentali:
VALUTAZIONE l'efficacia interna, intesa come la
DI RISULTATO capacità
di raggiungere gli
obiettivi e i risultati attesi, definiti
a priori
 l'efficacia esterna, intesa come la
capacità del servizio di soddisfare
i bisogni degli utenti
11
TIPI DI VALUTAZIONE
E' una valutazione attraverso la
quale la qualità degli interventi
forniti viene analizzata e
sottoposta a giudizi finalizzati al
suo miglioramento

VALUTAZIO
NE DELLA
QUALITA'
12
Fare valutazione della qualità
per chi si occupa di servizio
sociale significa tenere
conto di valori ed obbiettivi
dei soggetti coinvolti in un
determinato intervento
(destinatari, operatori, attori
della comunità locale) e delle
relazioni tra tali attori
TIPI DI VALUTAZIONE
La valutazione realizzata
coinvolgendo un n. significativo di
attori implicati nella realizzazione
di un servizio, che contribuiscono
VALUTA
ZIONE PAR alla formulazione di giudizi e se ne
assumono la responsabilità
TECIPATA
rispetto alla realizzazione degli
interventi successivi
13
Art. 9 della l.285/97
Valutazione dell’efficacia della spesa:
 ogni anno le regioni devono presentare
una relazione sullo stato di
attuazione degli interventi, sulla
loro efficacia, sull’impatto sui
minori e sulla società, sugli
obiettivi conseguiti e sulle misure
da adottare per migliorare le
condizioni di vita dei minori nel
rispettivo territorio.
14
La valutazione nella 328/2000

15
Art. 3 comma 1: Per la realizzazione
degli interventi e dei servizi sociali, in
forma unitaria e integrata, è adottato il
metodo della programmazione degli
interventi e delle risorse, dell’operatività
per progetti, della verifica sistematica
dei risultati in termini di qualità e di
efficacia delle prestazioni, nonché della
valutazione di impatto di genere.
CONSIDERAZIONI DI SINTESI
16
1. La Valutazione pervade in modo
crescente la normativa nazionale di
settore: Ci viene pertanto sempre più
frequentemente detto che:
la valutazione si deve fare .
2. Si tratta di valutazione di casi,
interventi e di politiche, anche se, come
è logico, la normativa insiste soprattutto
su interventi e politiche, lasciando al
livello professionale la valutazione dei
casi.
CONSIDERAZIONI DI SINTESI
17
3. Le finalità valutative proposte sono sia
nella logica della valutazione \ apprendimento per migliorare (learning) che
in quella della valutazione \ rendicontazione (accountability). Tuttavia la
normativa non è sempre chiara sul
"perché si valuta"
 4. Ci viene per tanto detto che valutazione si deve fare ma dalla lettura della
normativa la valutazione "non si vede",
non si capisce cioè come si può fare la
valutazione
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE
18


19
Un processo di valutazione può essere
inteso anche come un sistema relazionale
all’interno del quale vengono agite una
pluralità di interazioni
L’efficacia della valutazione dipende
pertanto anche dalla relazione che si
instaura fra i soggetti in campo
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE
 presenza
di soggetti valutatori
e di soggetti valutati
 rischio
di asimmetria nella
relazione fra i soggetti.
20
RATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE

.

possibili vissuti difensivi del valutatore”



21
Sentirsi intrusivo in
“casa d’altri”
Sentirsi preso per un
giudice sanzionatore
Trovarsi di fronte a
qualcuno che vuole
nascondere qualcosa
Sentirsi un controllore
sentirsi un operatore o
nel posto e nel luogo
sbagliato
CARATTERISTICHE RELAZIONALI DELLA
VALUTAZIONE

possibili vissuti
difensivi
del valutato
22



Sentirsi giudicato
come professionista
Sentirsi giudicato
come persona
Trovarsi di fronte a un
giudice sanzionatore
Sentirsi controllato
RISCHI RELAZIONALI NEL CASO
CHE PREVALGANO VISSUTI
DIFENSIVI
23
Si farà strada per entrambi la
convinzione che
se lui vince io perdo
oppure
se io vinco, lui perde
In questo caso la comunicazione diverrà
difficile e provocherà disagi
RISCHI RELAZIONALI NEL
CASO CHE PREVALGANO
VISSUTI DIFENSIVI
Non ci sarà apertura né disponibilità ad
intraprendere insieme percorsi di
ricerca, bensì ci sarà chiusura,
occultamento delle informazioni,
diffidenza, boicottaggio dell’altro ecc
24
RISCHI RELAZIONALI NEL
CASO CHE PREVALGANO
VISSUTI DIFENSIVI
25
In questi casi il processo di valutazione
appare destinato a divenire semplice
controllo, percepito in modo simile al
voto scolastico, e, paradossalmente
sia il valutatore che il valutato
finiranno per svalutarsi l’uno l’altro e
svalutare il processo valutativo
generale.
La svalutazione
“un processo mentale inconsapevole che
consiste nell’ignorare o sminuire delle
informazioni pertinenti alla soluzione
di un problema”.
A. W. Shiff e J.L. Shiff
26
La svalutazione
svalutare, nell’accezione proposta,
significa non considerare e
stravolgere i dati di realtà, non
riconoscere le risorse personali e
materiali, far prevalere i propri
pregiudizi, non prendere sul serio sé,
l’altro e il problema, non vedere e
boicottare le possibilità di
cambiamento.
27
La svalutazione
E’ effettivamente l’opposto di
ciò che gli esperti valutatori
considerano come Valutazione
con la V maiuscola,
28
“la misura del successo della valutazione
può essere rappresentata
dall’ampiezza dei cambiamenti
intervenuti nel comportamento degli
attori dell’intervento, servizio o
politica valutata” (Dente 2000).
29
Valutazione e svalutazione
Appare pertanto evidente rilevare che
una buona valutazione non può essere
realizzata da soggetti svalutanti,
perché non si possono promuovere
cambiamenti con chi disconferma la
rilevanza, le possibilità e le capacità
stesse di cambiamento.
30
La svalutazione
Però, in molte delle esperienze di
valutazione alle quali ho partecipato
molto spesso sono incappato in
“svalutatori”, che, difendendosi da
qualcuno o qualcosa tendevano a
boicottare il processo valutativo e a
minacciarne seriamente l’efficacia.
31
Alcune volte però è capitato che nel
corso del processo valutativo gli
svalutatori si siano trasformati in
co-valutatori (ovvero in risorse per la
valutazione) e ciò è avvenuto quando
hanno progressivamente visto
scemare le preoccupazioni e
diffidenze che li mantenevano in un
atteggiamento difensivo.
32
STRATEGIE PER EVITARE CHE
LA VALUTAZIONE DIVENGA
“SVALUTAIONE”
E’ opportuno che la componente di contenuto
della comunicazione
(“siamo qui a valutarci per migliorare”)
sia in accordo con la componente di relazione
(il nostro è un incontro fra professionisti,
è un incontro fra pari che si riconoscono in
un obiettivo comune, in un quadro di fiducia
e stima reciproci )
33
Ne consegue che durante la ricerca
valutativa è opportuno che non si
instauri una relazione nella quale “uno
vince e l’altro perde”, bensì una
relazione generativa, in cui possono
vincere entrambi, perchè entrambi
perseguono il medesimo obbiettivo
34
ALL’INTERNO DI
UNA RELAZIONE
GENERATIVA
AVREMO:




35
accoglienza
apertura
atteggiamento
ricercante
atteggiamento
collaborativo
ALL’INTERNO DI
UNA RELAZIONE
COMPETITIVA
AVREMO:




rifiuto
chiusura
atteggiamento
giudicante
atteggiamento
difensivo
Non basta però mettere le persone attorno a
un tavolo, con un comune obiettivo
valutativo, perché magicamente si
producano le condizioni per una buona
valutazione.
E’ necessario che chi si assume la
responsabilità di conduzione di tali processi
svolga
un’attenta ed equilibrata funzione di regia
che, accanto alle competenze tecniche
affianchi anche le capacità di gestione dei
gruppi, le sensibilità contrattuali, le
capacità di integrare punti di vista e
competenze diverse.
36
E’ infatti necessario che, nel corso di un
processo di valutazione, i partecipanti
progressivamente divengano
consapevoli che il “gioco” della
svalutazione non è particolarmente
divertente, perché alla fine non porta
vantaggi a nessuno e produce soltanto
incomprensioni e frustrazioni,
37
Invece la riflessione sui
significati, l’orientamento
all’inatteso, la assunzione di
responsabilità di giudizio, la
capacità di costruzione collettiva
di strategie di miglioramento sono
esperienze complesse ma
gratificanti, che emergono solo in
gruppi integrati, formati da
individui che si riconoscono
reciprocamente come capaci e
competenti.
38
Attenzioni metodologiche
39
ATTENZIONI METODOLOGICHE
Principio di autovalutazione
ogni soggetto interessato dalla
valutazione è responsabile e
primo utilizzatore della
propria valutazione
40
ATTENZIONI METODOLOGICHE
Principio dei diversi livelli di
valutazione
il processo di valutazione
interessa tutti i livelli istituzionali coinvolti nell’
erogazione di un intervento
41
ATTENZIONI METODOLOGICHE
Principio di non
autoreferenzialita'
42
per quanto possibile la
valutazione deve essere
basata su riscontri oggettivi
e comunque esterni al
soggetto valutatore
ATTENZIONI METODOLOGICHE
Principio di confrontabilità:
le valutazioni devono essere
condotte sulla base di criteri di
giudizio e metodi omogenei e
permettere confronti nel corso
del tempo, anche fra più
esperienze.
43
ATTENZIONI METODOLOGICHE
Principio di trasparenza:
44
le valutazioni devono essere
condotte sulla base di criteri di
trasparenza ovvero attraverso
attività chiare, esplicite e
documentate per i diversi livelli
e soggetti coinvolti
(chi ha diritto di sapere)
SCHEMA dei "tasselli"
Tratto da uno spunto di G. Mazzoli Studio APS Milano
A
B
V
E
C
D
45
SCHEMA DELLA "TENSIONE DEL VALUTATORE"
tratto da Francis Alfoldi "l'evaluation en protection de l'enfance Théorie et méthode" Dunod 1999 paris - pg 113
Oggettività
46
Soggettività
IL SUCCESSO DELLA
VALUTAZIONE
47
IL SUCCESSO DELLA
VALUTAZIONE
La probabilità di successo della
valutazione è più alta in un ambiente
turbolento (quadranti BCD schema di
Thompson Tuden)
 Infatti quando non si riesce a pianificare
e prevedere, gli sguardi si rivolgono al
passato, e pertanto la valutazione
acquista un ruolo più importante

48
IL SUCCESSO DELLA
VALUTAZIONE
La misura del successo della valutazione
può essere rappresentata dall’ampiezza
dei cambiamenti intervenuti nel
comportamento degli attori
dell’intervento, servizio o politica
49
IL SUCCESSO DELLA
VALUTAZIONE
La probabilità di successo della
valutazione è alta se questa svolge una
funzione di apprendimento per gli attori
coinvolti
50
quanto fin qui esposto mi porta ad essere
totalmente d’accordo con Bezzi quando
afferma che una valutazione efficace non
può essere ridotta a mero tecnicismo e che
”il valore della valutazione non è – solo – in
ciò che produce (il giudizio valutativo) ma
nel processo partecipativo che compie per
produrlo” (Bezzi 2003).
51
“non importa solo quello che trovi alla
fine della corsa ma anche quello che
provi quando corri”
(notte prima degli esami)
52
bibliografia
Testi.
 C. Bezzi – Il disegno della ricerca valutativa- F.Angeli
2003 (edizione aggiornata)
 G. Bertin – Valutazione e sapere sociologico – Il
Mulino – 1996 (?)
 U. De Ambrogio – Valutare gli interventi e le politiche
sociali – Carocci Faber 2003
 M. Palumbo – Il Processo di valutazione, F. Angeli
2001
 E. Ranci Ortigosa (a cura di) La valutazione di qualità
dell’intervento sanitario – F. Angeli 2000
 U. De Ambrogio “La valutazione partecipata della qualità
come processo relazionale generativo, su Prospettive
Sociali e Sanitarie n. 14, 2004.



53
Siti .
www.valutazione.it
www.valutazioneitaliana.it