La valutazione errante e
il regno del metodo
Introduzione di Claudio Bezzi alla sessione trasversale “Metodo”
X° Congresso AIV
Roma, 19-21 aprile 2007
Claudio Bezzi, [email protected]
Una premessa assertiva
la valutazione si basa su pratiche
di ricerca sociale; senza tale
ricerca la valutazione è solo
chiacchiere
quindi…
Claudio Bezzi, [email protected]
Alcuni assiomi:



La promessa valutativa risiede nella sua
multidisciplinarietà;
Il metodo è teoria e riflessione sulle
implicazioni e le conseguenze del nostro
agire metodologico;
L’agire valutativo, nel momento della
ricerca, si confronta con un’enorme
mole di proposte tecniche, non
equivalenti, gravide di teoria e di
conseguenze empiriche
Claudio Bezzi, [email protected]
Alcuni assiomi:



La promessa valutativa risiede nella sua
multidisciplinarietà;
il livello - è
in teoria
un certo esenso
- ontologico
della
Il èmetodo
riflessione
sulle
valutazione; e le conseguenze del nostro
implicazioni
 non riguarda semplicemente l’ “accostamento” di
agire
metodologico;
discipline ma guarda a ciò che Scriven chiama
Conseguentemente
l’agire valutativo,
transdisciplina;
nel
momento della ricerca, si confronta
 implica un’attenzione al dialogo, al pluralismo, e a
con
un’enorme
mole dideiproposte
forti implicazioni
nell’ambito
cosiddetti Mixed
Methods
tecniche
Claudio Bezzi, [email protected]
Alcuni assiomi:

Il metodo è teoria e riflessione sulle
implicazioni e le conseguenze del nostro
agire metodologico;
è il livello epistemologico della valutazione;
 significa che non si tratta di applicare “procedure”, e
che ogni azione di raccolta e analisi di dati e
informazioni è gravida di teoria, e performa il risultato
contribuendo a costruire un determinato e diverso
giudizio valutativo

Claudio Bezzi, [email protected]
Alcuni assiomi:

L’agire valutativo, nel momento della
ricerca, si confronta con un’enorme
mole di proposte tecniche
è il livello metodologico della valutazione;
 non è mai da confondere col tecnicismo e con
l’operazionismo;
 ha senso solo se illuminato dalla precedente
riflessione teorica;
 implica necessariamente un’adeguata preparazione su
strategie e tecniche.

Claudio Bezzi, [email protected]
I valutatori sono pronti?

All’estero
generalmente
sì

In Italia
probabilmente
non
abbastanza
Claudio Bezzi, [email protected]
basato solo sull’analisi degli articoli
della RIV dal 2000 al 2005
Claudio Bezzi, [email protected]
Criteri dell’esercizio



Analizzati solo gli articoli principali, non gli editoriali, le
rubriche quali “Notizie dalla comunità”, etc.
Non inclusi gli articoli di autori stranieri.
Citazioni: non si sono contate le ricorrenze entro lo
stesso articolo.
Limiti dell’esercizio


Soggettività nell’attribuzione degli articoli.
Evidenti limiti nella catalogazione delle citazioni, con
margini di errore elevati.
Claudio Bezzi, [email protected]
I valori assoluti

RIV 2000/2001:


Articoli in totale: 29
Citazioni: 547

RIV 2003-2005:


Articoli in totale: 73
Citazioni: 1.533
Il secondo ciclo di pubblicazioni presenta 2,5 volte gli
articoli del primo ciclo e 2,8 volte il numero delle
citazioni
Claudio Bezzi, [email protected]
Cosa si è pubblicato
Solo ¼ dei testi (nel
periodo 2003-’05) si
possono considerare
teorico-metodologici
“specialistici”
Percentuali sul totale
60
50
40
RIV 2000/’01
30
RIV 2003/’05
20
10
0
Vari non teoricometodologici o
non valutativi
Testi teoricometodologici a
valenza
introduttiva
Testi teoricometodologici
specialistici
Tipologia articoli
Casi concreti dai Casi concreti
quali si evince
senza chiara
chiaramente il esplicitazione del
disegno della
disegno della
valutazione
valutazione
Claudio Bezzi, [email protected]
Cosa si è pubblicato
Solo 19% dei
testi 2003-2005
riguardano casi
concreti…
Percentuali sul totale
60
50
40
RIV 2000/’01
30
RIV 2003/’05
20
10
0
Vari non teoricometodologici o
non valutativi
Testi teoricometodologici a
valenza
introduttiva
… dei quali, in poco meno
della metà, non si capisce
cosa abbiano realmente fatto
Testi teoricometodologici
specialistici
Tipologia articoli
Casi concreti dai Casi concreti
quali si evince
senza chiara
chiaramente il esplicitazione del
disegno della
disegno della
valutazione
valutazione
Claudio Bezzi, [email protected]
Cosa si è citato
Il 60% circa di ciò che si
cita riguarda elementi di
sfondo, collaterali,
contigui, ma non
valutativi
45,0
40,0
35,0
30,0
25,0
non valutativo, in lingua
non valutativo, in italiano
20,0
valutative, in lingua
valutative, in italiano
15,0
10,0
I testi valutativi non italiani
sono in crescita, ma restano
ultimi come quantità di
citazioni
5,0
0,0
2000/’01
2003/’05
Claudio Bezzi, [email protected]
Quantità di citazioni (normalizzate 2000/2001)
I testi stranieri
citati
Selezione
dipiùAutori
citati
7
6
5
4
Means, Evaluating socioeconomics programmes
…, 1999, 6 voll.
Guba e Lincoln, Fourth
Generation Evaluation,
1989
Patton, Utilization-focused
Evaluation, 1999
3
2
Autori come Scriven,
Weiss,
1 Fetterman (per
non parlare di altri
importanti
autori)
0
raccolgono frequenze
2000/2001
2003/2005
irrisorie
Periodo di pubblicazione
Rossi, Freeman e Lipsey,
Evaluation. A systematic
approach, 1999
Pawson e Tilley, Realistic
Evaluation, 1997
Claudio Bezzi, [email protected]
Riepilogo


Un numero molto ridotto di articoli sono
classificabili come “specialistici”, con oggetto
teoria e metodo; la maggior parte resta di
carattere introduttivo, o relativo a temi
collaterali.
Pochissimi trattano casi concreti, e una esigua
minoranza mostra concretamente come si
sono fatte le cose.
Claudio Bezzi, [email protected]
Riepilogo


Anche se il dato è in crescita, si cita poca
valutazione (perché non serve o perché non
si legge?); di questa, una parte minoritaria
riguarda testi stranieri.
I “classici” risultano poco frequentati, con
mancanze clamorose (p.es. Scriven) e
stereotipie eclatanti (p.es. di Patton si cita
quasi solo Utilization-focused Evaluation, di
Guba e Lincoln la 4^ Generation, etc.)
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
I valori assoluti: le citazioni
Tipo di citazioni
2000/’01
2003/’05
Citazioni relative al tema trattato, non di carattere valutativo,
in lingua
126
390
Citazioni relative al tema trattato, non di carattere valutativo,
in italiano
228
528
Citazioni valutative, altre rispetto agli autori indicati sotto, in
lingua
76
283
Citazioni valutative, altre rispetto agli autori indicati sotto, in
italiano
117
332
Totali
547
1.533
Claudio Bezzi, [email protected]
Alcuni Autori citati
Autori citati
2000/’01
2003/’05
Means, Evaluating socio-economics programmes …, 1999, 6 voll.
3
9
Guba e Lincoln, Fourth Generation Evaluation, 1989
2
1
Patton, Utilization-focused Evaluation, 1999
5
7
Rossi, Freeman e Lipsey, Evaluation. A systematic approach, 1999
6
4
Fetterman – vari testi sull’empowerment
2
3
Scriven, Evaluation Thesaurus, 1991
1
2
Scriven, Hard-Won Lessons in Program Evaluation
3
-
Pawson e Tilley, Realistic Evaluation, 1997
4
9
Bertin, Decidere nel pubblico…, 1989
1
1
Bertin, Valutazione e sapere sociologico, 1995
2
3
Bezzi, La valutazione dei servizi alla persona, 2000
3
3
Bezzi, Il disegno della ricerca valutativa, 2001 e 2003
9
13
Bezzi-Palumbo (a cura), Strategie di valutazione, 1998 (o saggi ivi contenuti)
5
5
Martini e Cais, Controllo (di gestione) e valutazione (delle politiche)…, 2000
4
2
Palumbo, Il processo di valutazione…, 2001
9
9
Stame, L’esperienza della valutazione, 1998
8
8