Introduzione alla
valutazione
[email protected]
Prima parte – I concetti di base
DEFINIZIONE E CONCETTI DI BASE
FIGURE UTILIZZATE PER ALCUNE
PUBBLICAZIONI, FRA CUI IL NUOVO
DISEGNO DELLA RICERCA VALUTATIVA,
FRANCO ANGELI, MILANO 2010
[email protected]
Definizione di Valutazione
la valutazione è un giudizio espresso per un fine: lo sguardo è puntato sugli
obiettivi di questo giudizio e quindi sul suo uso, sulla sua utilità. Non si tratta di
pareri estemporanei, d’impressioni volubili, ma di giudizi finalizzati ai quali
conseguono delle azioni dirette.
questo fine deve
essere pubblico:
giudizi necessari
per risolvere
questioni
politiche,
programmatorie,
progettuali,
organizzative e
gestionali
relative a
interventi che
coinvolgono la
collettività nel
suo insieme o
specifici gruppi
con ‘valutazione’ s’intende l’insieme
delle attività collegate utili per
esprimere un giudizio per un fine
pubblico, giudizio argomentato
tramite processi di ricerca che ne
costituiscono l’elemento essenziale e
imprescindibile di affidabilità delle
procedure e fedeltà delle informazioni
utilizzate per esprimere quel giudizio.
[email protected]
Argomentazione
significa esplicita
dichiarazione
degli elementi a
partire dai quali il
giudizio è
formulato,
esplicita
esibizione degli
strumenti e dei
percorsi tramite i
quali quegli
elementi sono
stati utilizzati,
comparati,
analizzati ed
evidenziazione
delle
connessioni
logiche tra i
diversi passaggi.
Claudio Bezzi, Il nuovo disegno della ricerca
valutativa, Franco Angeli, Milano 2010
Decisione, gestione e ruolo della valutazione
evento
turbolenza
equilibrio
evento
(precedenti)
valutazioni di varia
natura
decisione
implement.
gestione
adattamento
sollecitazione
valutazione ex
ante di risultati e
impatti
val. in
itinere
monitoraggio
valutazione in itinere e
intermedia
valutazione in itinere ed
ex post di realizzazioni
e risultati
valutazione ex
post di impatti ed
ex ante
[email protected]
Valutazione e attività correlate
in relazione a intervento e criticità
Analisi, riflessione, critica
Intervento sul processo
Benchmarking
Bilancio sociale
Audit
Certificazione
Monitoraggio
Registrazione, mera informazione
[email protected]
Astensione dall’intervento
Ricerca di base
Valutazione
Valutazione e attività correlate
in relazione a epistemologia e metodologia
Complessità epistemologico-metodologica
Valutazione
Benchmarking
Bilancio sociale
Certificazione
Audit
Monitoraggio
Semplicità epistemologico-metodologica
[email protected]
Realismo
Costruttivismo
Ricerca di base
Contesto
Contestopolitico-istituzionale
politico-istituzionale
che
esprime
che esprimedelle
delle
finalità
finalità
Contesto
Contestoeconomico-sociale
economico-sociale
che
esprime
che esprimedei
dei
bisogni
bisogni
Efficacia esterna
Vincoli/Risorse
Vincoli/Risorse
Decisione/
Programmazione
Implementazione
Valutazione
[email protected]
Attori implicati
Attori
implicati
Procedure
Procedure
Strumenti
Strumenti
Realizzazioni
Esiti
Risultati
Effetti
Impatti
Efficacia interna
Obiettivi/Risultati attesi
Efficienza
Basato su una figura di Mauro Palumbo, Il processo di valutazione, Franco Angeli, Milano 2001.
Efficacia ed efficienza in valutazione
Tipi di effetti di programmi e interventi
Programma
Programma
oointervento
interventoprogrammato
programmato
Fattori
Fattori
intervenienti
Conclusione
dell’intervento
Conclusione,
[email protected]
realizzazioni
esiti
risultati
effetti
impatti
Valutazione
Valutazione
orientata
orientataagli
agli
obiettivi
obiettivi
realizzazioni,
esiti,
risultati,
effetti,
impatti
impatti
Valutazione
Valutazione
svincolata
svincolata
dagli
dagliobiettivi
obiettivi
Effetti inattesi
Effetti
Effetti attesi
auspicati
e desiderati
e desiderati
o t0
Il problema dell’impatto netto
(nel caso della formazione professionale)
Occupazione
netta creata
Inaccettabile
effetto di
spiazzamento
(Un lavoro è creato e un altro
viene distrutto nell’area)
Occupazione
lorda creata
(Verificata attraverso
l’analisi occupazionale
dei partecipanti)
Inaccettabile
effetto di
sostituzione
(un disoccupato
trova lavoro ma
un altro lavoratore
perde il proprio)
[email protected]
Deadweight
[Peso morto]
Si è creato un lavoro
che si sarebbe
comunque dato,
anche senza l’intervento
Gli attori sociali rilevanti per la valutazione
Decisione
Implementazione
Soggetti
deputati al
controllo
Eventuali soggetti convenzionati
Soggetto che
promuove
l’intervento
Valutatore
Alta dirigenza
Consulenti
Parti sociali
Gestione
Operatori
(Funzionari, quadri, consulenti)
Legenda
Decisori
Operatori
Beneficiari
[email protected]
Fruizione
Beneficiari dell’intervento
(utenti, clienti, beneficiari indiretti, ‘vittime’)
Attori che presentano istanze
(Bisogni)
La valutazione fra competenza tecnica e
conoscenza nel merito
Conoscenza
nel merito
dell’evaluando
Bassa
Media
Alta
[email protected]
Competenza tecnico-scientifica della valutazione
Bassa
Media
Pregiudizio
Valutazione
spontanea
Specialismo
dogmatico
Alta
Metodologia
dogmatica
Valutazione
Valutazione
competente
esperta
Come realizzare un sistema di valutazione?
Autoritativo
(solo l’Ente gestore)
Come (forse)
dovremo
iniziare
Sensibile
(ma più complesso
da gestire)
Facile da gestire
(ma poco sensibile)
Dialogico
(concertazione con gli altri
attori rilevanti)
[email protected]
Come (forse)
lo vorremmo
realizzare
Complessità valutativa
COMPLESSITA’
VALUTATIVA
due tipi principali:
1
2
Molteplicità degli
attori coinvolti
necessita di
3
Ambiguità
concettuale
necessita di
consente
Identificaz. diversi set
di valori
4
dà senso
Chiarificazione
concettuale
produce
5
produce
organizza
Mappe Attori-Azioni e
Dimens.-Indicatori
6
consente
consente
necessita di
7
8
Monitoraggio
coadiuva
Metodi Misti (nel
disegno)
indirizza
9
[email protected]
Identificaz. e selez.
elementi di valutaz.
RICERCA
VALUTATIVA
Albero di Porfirio delle strategie di ricerca
valutativa
Ricerca
valutativa
Manageriale
Ricerca
sociale
Esperimento
Non
esperimento Criterio
unico
[email protected]
Multicriteri
Multi metodo
Standard
Non
standard
Dati di
primo
livello
Dati di
secondo
livello
Classificazione delle tecniche
Procedure
Standard
Procedure
non
Standard
Di secondo
livello
Analisi costi benefici
Di primo
livello
Questionario
Di secondo
livello
Valutaz. tassonomica
basate
sull’interrogazione di
Di primo
livello
Intervista biografica
individui
Gruppi reali
Focus group
Brainstorming
Gruppi
nominali
Analisi Delphi
Nominal Group Tech.
basate
sull’interrogazione di
gruppi
[email protected]
Strategie e tecniche di ricerca valutativa
Approccio
manageriale
Esperimento
Ricerca
valutativa
Strategie
miste
Basata su testi
Ricerca
sociale
Basata
sull’interrogazione di
individui
Non
esperimento
Standard
Basata sull’analisi di
relazioni
prevalentemente
Basata sull’analisi di
indicatori socioeconomici
economici di primo e
secondo livello
prevalentemente misti
Criterio
unico
di secondo livello
basata su testi
Non
standard
basate
sull’interrogazio
ne di individui
basate
sull’interrogazione
di gruppi
Strategie di ricerca
[email protected]
Gruppi reali
Gruppi
nominali
Tipi di tecniche
Metodi misti
[email protected]
I flussi valutativi
Sintesi, Review
Monitoraggio
basato sui
risultati
Monitoraggio
tradizionale
Comunità di pratiche
Buone pratiche
Sistema informativo
[email protected]
Programmazione
(i flussi sono relativi alla decisione/programmazione)
(accento sull’accessibilità, condivisione,
comprensione …)
Triangolazione
Diffusione della conoscenza
(accento sulla sistematicità, raccolta e gestione,
affidabilità …)
(i flussi sono relativi alla valutazione, per la
programmazione)
Organizzazione dei dati
Basato su Rist-Stame, From Studies to Streams , 2006
Valutazione
Seconda parte – Concetti
avanzati
DEFINIZIONE E CONCETTI AVANZATI
QUESTA SECONDA PARTE DEVE ESSERE
CONSIDERATA NON COMPLETA E
PROVVISORIA
[email protected]
La valutazione dal punto di vista delle cause
Gruppo
di
cause
Gruppo
di
cause
3a
4
3b
1
7
2
Processo
decisionale
6
Gruppo
di
effetti
5
Gruppo
di
effetti
8
1 – Causa (evento, bisogno…) diretta e nota
5 – Feedback diretto
2 – Causa diretta non nota
6 – Feedback indiretto (agisce sulle cause – ricorsività)
3 – Causa indiretta (causa che produce cause)
7 – Feedback indiretto (agisce sui processi)
4 – Causa indiretta (provenienza ignota, fattore interveniente)
8 – Feedback indiretto (agisce sugli effetti)
[email protected]
La valutazione dal punto di vista degli effetti
6
5
Gruppo
di
cause
Gruppo
di
cause
Processo
decisionale
2
4
Gruppo
di
effetti
1
Gruppo
di
effetti
3
7
1 – Decisione/effetto diretto e noto
5 – Effetto causato da fattori ignoti
2 – Decisione/effetto diretto e non noto
6 – Effetti inattesi
3 – Effetto indiretto (effetto che produce effetti)
7 – Effetto causato dai processi
4 – Effetto ‘spontaneo’ o non conseguenza della decisione
[email protected]
La valutazione nella complessità dei
‘meccanismi’
Analisi
6
5
Gruppo
di
cause
4
Gruppo
di cause
3a
Gruppo
di
cause
Gruppo
di
cause
3b
1
1
7
2
Processo
decisionale
2
44
Processo
decisionale
6
Gruppo
di2effet
ti
2
5
Gruppo
di
effetti
Gruppo
di
effetti
1
Gruppo
di
effetti
3
3
8
7
Giudizio
1 – Cause
3 – Contesti decisionali
2 – Effetti
4 – Processi implementati
[email protected]
Influenzano direttamente la costruzione del processo di analisi e conseguente
formulazione del giudizio valutativo
Trasformazione sociale realista
M1
M2
R1
R2
C1
T1
C2
T2
Ray Pawson e Nick Tilley, Realistic
Evaluation, Sage, London 1997
[email protected]