Monitoraggio e valutazione
ATTENTI A QUEI DUE!
Milano, 13 – 14 febbraio 2008
“The term evaluation carries so much baggage
that one is in danger of dealing
not so much with methodology than with
incantation”
(Ray Pawson and Nick Tilley, Realistic Evaluation, 1997, p. 2)
“Il termine valutazione è carico di un tale
fardello di significati che si corre
il rischio di avere a che fare
più con un incantesimo che
con una metodologia”
Carol Weiss nel 1972 già notava che
“valutazione è un termine elastico che può
essere esteso a comprendere molteplici
attività di giudizio”
“Valutazione” è diventata una
calamita semantica, capace di attrarre
significati del tutto eterogenei e di
offrire agli interlocutori le suggestioni
più diverse
Ipertrofia terminologica
“Nei documenti metodologici comunitari vengono utilizzati termini quali
output, che assume il significato di realizzazione, ossia di ciò che è
stato ottenuto in termini di trasformazione diretta dell’input previsto
nel programma; l’outcome è stato sostituito dal termine result,
risultato, utilizzato in ambito comunitario per riferirsi ai soli effetti
diretti e immediati dell’azione sui destinatari (quindi in un’accezione un
poco più ristretta rispetto a quella di outcome), mentre gli effetti a
breve-medio termine e indiretti sui destinatari vengono denominati
impatti specifici. Impatti globali sono infine, sempre nel lessico
comunitario, gli effetti del programma su popolazioni che non erano
destinatarie dirette dello stesso. A questo punto il termine esito può
essere utilizzato per riferirsi genericamente
agli effetti di una politica.”
(Mauro Palumbo, “Valutazione di processo e d’impatto: l’uso degli indicatori tra
meccanismi ed effetti”)
Esiti, risultati, outcome, output, realizzazioni,
impatti specifici,
impatti globali,
effetti diretti e immediati,
effetti a breve-medio termine,
effetti indiretti, effetti su popolazioni
non destinatarie
Basterebbero due termini:
realizzazioni ed effetti
Megalomania cognitiva
“È ora di precisare meglio cosa cerca la
valutazione; qual è il suo prodotto. In estrema
sintesi, la valutazione esprime un giudizio
sull’efficacia e l’efficienza delle realizzazioni,
dei risultati e degli impatti di politiche,
programmi e progetti, di servizi e di
organizzazioni, con riferimento sia ai processi
che agli esiti.”
(Claudio Bezzi, “Cos’è la valutazione”, Franco Angeli, 2007, pagina 41)
Proponiamo una definizione minimalista
Valutare:
esprimere giudizi
empiricamente fondati
sul successo di un’azione
diretta a uno scopo
In primo luogo,
i giudizi devono essere
empiricamente fondati
basati cioè su osservazioni della realtà e
non su idee precostituite (pre-giudizi)
In secondo luogo, il successo
dell’azione da valutare
coincide con la sua
capacità di realizzare
quanto si proponeva
e di produrre gli
effetti desiderati
La motivazione per la valutazione
di una azione sta
nell’incertezza
che essa sia effettivamente in grado
di produrre gli effetti desiderati
Una parentesi sugli effetti
L’effetto è (nell’accezione rigorosa):
La differenza
tra ciò che si osserva dopo la realizzazione
dell’intervento e
ciò che si sarebbe osservato
in assenza dell’intervento
È quindi una questione di
attribuzione causale
“Osservo dei cambiamenti.
Quanta parte di questi è attribuibile al mio
intervento?”
Esiste un complesso apparato di tecniche che sono nate
per questo e solo quando le si utilizza si può parlare
correttamente di analisi di effetti
quindi
a. Nei casi in cui l’attribuzione causale è scontata, non ci
poniamo il problema e descriviamo il cambiamento
b. Nei casi in cui l’attribuzione causale NON è scontata o
utilizziamo l’apparato metodologico di cui sopra (e allora
possiamo parlare di analisi di effetti o di impatto),
oppure descriviamo il cambiamento osservato
La valutazione nel nostro caso assolve ad
almeno tre funzioni
che sono determinate da:
- La domanda che ci stiamo ponendo
- Il motivo per cui ce la stiamo ponendo
Le funzioni sono
1. Apprendimento su cosa funziona
2. Rendicontazione delle realizzazioni
3. Diffusione della conoscenza
1. Apprendimento su cosa funziona
RiCReAzione – Riflessione Critica sulla
Realizzazione dell’Azione
Domanda:
Cosa non sta funzionando? Perché?
Motivo:
Migliorare l’azione
2. Rendicontazione delle realizzazioni
Ren.de.Re
Domanda:
Cosa abbiamo realizzato?
(eventualmente …fino ad ora)
Motivo:
Rendere conto a consiglio di classe, dirigente
scolastico, finanziatori (es. Fondazione Cariplo)
Promuovere all’esterno le iniziative realizzate
(es. inserire informazioni nel POF)
3. Condivisione della conoscenza
Domanda:
Cosa abbiamo imparato nel realizzare l’azione?
Motivo:
Far crescere la comunità di pratica, utilizzare
l’esperienza per la fase di diffusione del progetto LAIV
La valutazione non è una scienza esatta e non
è nemmeno un’arte magica.
La credibilità dei giudizi cui perviene
dipendono dalla capacità di:
1. Individuare correttamente le fonti di informazione
2. Costruire adeguati strumenti di raccolta delle
informazioni
3. Argomentare in maniera plausibile i risultati ottenuti
Fine…prima parte