TEORIA E TECNICHE DELLA VALUTAZIONE
ELABORARE UN PROGETTO
DI RICERCA VALUTATIVA
Mario Castoldi
RICERCA VALUTATIVA
“procedura rigorosa di raccolta di dati ed informazioni
necessari all’espressione del giudizio”
T
A
P
P
E
E
S
S
N
Z
I
A
L
I
1. DEFINIRE IL MANDATO DELLA VALUTAZIONE
2. COMPRENDERE LA NATURA DELL’EVALUANDO
3. ANALIZZARE IL CONTESTO E VERIFICARE LE RISORSE
4. DEFINIRE APPROCCIO E TECNICHE VALUTATIVE
5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI
Livelli del disegno della ricerca
Livello
epistemologicometodologico
Livello

Disegno1
• Riflessione sulla
conoscibilità dell’oggetto
di ricerca/valutazione
• Precondizioni
necessarie per l’avvio
della valutazione
• Conseguenze
operative ed etiche, oltre
che cognitive, della
valutazione
• Valutazione della
valutabilità,
metavalutazione, ecc.
metodologicooperativo
Livello delle

Disegno2
• Traduzione del disegno1
in un determinato percorso
adatto al caso specifico
(opportunità, coerenza,
plausibilità…)
• Definizione specifica
delle precondizioni e delle
conseguenze, e analisi
delle ricadute tecniche
nella ricerca (valutazione)
specifica
definizioni
operative
Tecniche
• Scelta delle tecniche
che soddisfano le
precondizioni del disegno2
(validità, affidabilità, …)
nel caso specifico, alla
luce anche dei vincoli
strutturali della ricerca
• Definizioni operative
relative alla raccolta e
analisi delle informazioni
Il disegno della ricerca valutativa* - 1
[4c] Definizioni
operative specifiche
[1] Definizione del
mandato
[4b] Stipulazione
valori valutativi
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[4a] Esplorazione
spazio semantico
[4d] Raccolta e
analisi dei dati
[4] Definizione
disegno2 specifico
(offerta tecnica)
[5 Sostegno all’uso
della valutazione
[3] Accertamento
delle risorse
* Questa proposta a 9 fasi è diversa, e più aggiornata, di quella contenuta nel testo di Claudio Bezzi, Il disegno della ricerca valutativa, Franco Angeli, Milano 2003,
anche se non ne stravolge la logica complessiva.
1. DEFINIRE IL MANDATO DELLA VALUTAZIONE
COMPONENTI DEL MANDATO: QUESTIONI CHIAVE
• QUALI SOGGETTI COINVOLTI NEL PROCESSO VALUTATIVO?
• QUALI SCOPI DELLA VALUTAZIONE?
• QUALE RUOLO AFFIDATO AL VALUTATORE?
• QUALI INTERESSI DEL COMMITTENTE?
• QUALI BISOGNI FORMATIVI DEGLI UTILIZZATORI?
COMPONENTI DEL MANDATO: ELEMENTI ESSENZIALI
• IDENTIFICAZIONE CHIARA DELL’EVALUANDO
• NATURA DELL’EVALUANDO (intervento nuovo, maturo, concluso)
• SPAZIO DI DISCREZIONALITA’ DEL VALUTATORE
• RUOLO DEL VALUTATORE (raccolta dati, raccomandazioni, proposte)
• MODALITA’ DI DIFFUSIONE DEI RISULTATI
• AUTORITA’ DEL VALUTATORE
1. DEFINIRE IL MANDATO DELLA VALUTAZIONE
UNA RELAZIONE A QUATTRO POLI
COMMITTENTE
VALUTATORE
VALUTATI
UTILIZZATORI
“Il mondo reale non opera come descritto nei manuali. I valutatori efficaci
imparano ad adattarsi al mutamento delle condizioni. Ciò richiede sensibilità al
contesto e riflessione strategica e contingente, ciò che io ho chiamato essere
attivi-reattivi-adattivi nel lavoro con gli appropriati principali utilizzatori”
(Patton, 1998)
1. DEFINIRE IL MANDATO DELLA VALUTAZIONE
QUALE RICADUTA DELLA VALUTAZIONE SUL PROGRAMMA?
FASE
DECISIONALE
FASE
VALUTATIVA
FUNZIONE
PREVALENTE
DIAGNOSI
PRELIMINARE
PROGETTAZIONE
EX-ANTE
DIAGNOSTICA
MONITORAGGIO
IN ITINERE
IMPLEMENTAZIONE
CONTESTUALE
REGOLATIVA
VALUTAZIONE
CONCLUSIVA
CONCLUSIONE/
REVISIONE
EX-POST
PROATTIVA
1. DEFINIRE IL MANDATO DELLA VALUTAZIONE
QUALE LOGICA VALUTATIVA DA PARTE DEL COMMITTENTE?
CONTROLLO
Convalida rapporti di potere
SVILUPPO
Coinvolgimento soggetti
Responsabilità contrattuale Responsabilità professionale
Rendicontazione
Orientamento
Sanzione
Promozione
1. DEFINIRE IL MANDATO DELLA VALUTAZIONE
UN ESEMPIO
Il committente è un servizio sociale che ritiene di dover migliorare le
performance del proprio interventi attraverso un’analisi valutativa:
• chi è che vuole veramente realizzare la valutazione come strumento
di miglioramento? Gli operatori? Alcuni di loro? Il loro responsabile?
Un dirigente? Un personaggio politico?
• quali utilizzi si vuole veramente fare della valutazione?
• la valutazione può essere realizzata in maniera condivisa e
partecipata? I risultati saranno socializzati?
• quale atteggiamento c’è verso gli utenti e le loro eventuali
rappresentanze? C’è disponibilità al loro pieno coinvolgimento? Ci
sono invece ragioni per le quali è meglio non coinvolgerli? Perché?
• e’ sufficientemente chiaro che si intraprende un percorso formativo
che potrebbe non dare, necessariamente, un risultato
immediatamente spendibile sul piano decisionale?
• quali sono i rapporti interni che consentiranno di perseguire questo
risultato?
Il disegno della ricerca valutativa
1 – Definizione del mandato
Mandato = Perché me lo chiedi?
• Chi chiede (quale ruolo esercita, che poteri, bisogni,
interessi esprime…)?
• Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti,
partner; clima generale, eventuali conflitti, …)?
• Quali le finalità della valutazione (Controllare, negoziare,
rendicontare, …)?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Problemi etici e
deontologici
Conferimento
autorità
Contesto 
Metodo
2. COMPRENDERE LA NATURA DELL’EVALUANDO
QUALI OBIETTIVI PROGETTUALI?
COME POTERLI RENDERE VERIFICABILI?
QUALI PASSAGGI CHIAVE DEL SERVIZIO?
QUALI NODI CRITICI DEL SERVIZIO?
VALUTARE LA VALUTABILITA’
• GLI OBIETTIVI SONO BEN DEFINITI?
• GLI OBIETTIVI SONO PLAUSIBILI?
• LE CARATTERISTICHE ESSENZIALI DEL SERVIZIO
SONO STATE INDIVIDUATE?
•LE INFORMAZIONI PRINCIPALI POSSONO ESSERE OTTENUTE?
• I POTENZIALI UTILIZZATORI CONDIVIDONO
IL PROCESSO VALUTATIVO?
2. COMPRENDERE LA NATURA DELL’EVALUANDO
ASPETTI CHIAVE DELL’EVALUANDO
• A CHI SI RIVOLGE?
• PERCHE’ SI INTENDE AVVIARE/ E’ STATO AVVIATO?
• QUALI SOGGETTI SONO COINVOLTI E CON QUALE RUOLO?
• COME SI INTENDE GESTIRLO/E’ STATO GESTITO?
• QUANTO COSTA?
INDIVIDUARE LE QUESTIONI CHIAVE
PROBLEMATIZZARE L’EVALUANDO
ASCOLTARE GLI STAKEHOLDER
CONSIDERARE I CRITERI CHIAVE
2. COMPRENDERE LA NATURA DELL’EVALUANDO
PROCONTESTO
GRAMMA SOCIALE
CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO
BISOGNI/
PROBLEMI
IMPATTI
RISULTATI
(outcome)
OBIETTIVI
RISORSE REALIZZAZIONI
(input)
(output)
EFFICIENZA
RILEVANZA
EFFICACIA
UTILITA’
EQUITA’
2. COMPRENDERE LA NATURA DELL’EVALUANDO
QUALI PARAMETRI VALUTATIVI PRIVILEGIARE?
RILEVANZA
EFFICACIA
EFFICIENZA
UTILITA’
EQUITA’
In che misura gli obiettivi del programma sono
giustificati rispetto ai bisogni?
In che misura gli obiettivi del programma sono
stati raggiunti?
Gli obiettivi sono stati raggiunti al minor costo?
Gli esiti attesi e inattesi soddisfano i bisogni dei
destinatari diretti o indiretti?
La distribuzione dei costi e dei benefici del
programma produce discriminazioni?
2. COMPRENDERE LA NATURA DELL’EVALUANDO
NECESSITA’ DI CHIARIRE LA GERARCHIA DEGLI OBIETTIVI
(IMPLICITI ED ESPLICITI)
ARTICOLAZIONE DEGLI OBIETTIVI
LIVELLI DI RISULTATO
OBIETTIVI GENERALI
IMPATTI
OBIETTIVI INTERMEDI
EFFETTI
OBIETTIVI SPECIFICI
REALIZZAZIONI
Il disegno della ricerca valutativa
2 – Obiettivi dell’evaluando e domande valutative
Domande valutative = Cosa è
importante analizzare?
• Cosa serve a voi decisori, gestori, operatori per meglio
decidere, gestire, operare?
• Quali obiettivi ha l’evaluando?
• Quale ‘teoria’ (logica) c’è dietro all’evaluando?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Adeguate fonti
informative
Orientamento
epistemologico
Evaluando 
Metodo
3. ANALIZZARE IL CONTESTO E VERIFICARE LE RISORSE
QUALI CONDIZIONI DI ESERCIZIO DEL PROCESSO VALUTATIVO?
ECONOMICHE
UMANE
POLITICHE
STRATEGICHE
“La valutazione sembra eternamente sospesa fra una tensione alla scientificità
assoluta che richiama l’uso di strumenti complessi caratterizzata dalla
necessità di pensare ad investimenti rilevanti e a tempi di lavoro medio-lunghi,
e l’incalzare di un processo decisionale che non lascia al decisore il tempo
necessario alla riflessione costringendolo a ripiegare sul suo intuito e sulla sua
percezione” (Bertin, 1994)
3. ANALIZZARE IL CONTESTO E VERIFICARE LE RISORSE
QUALI RISORSE/VINCOLI?
• FONDI
• TEMPO
• RISORSE UMANE
• CLIMA ORGANIZZATIVO
• DISPONIBILITA’ DEI DATI
• MODALITA’ VALUTATIVE GIA’ PREVISTE
• CARATTERISTICHE DEI DESTINATARI
• PREOCCUPAZIONI ETICHE
• CAPACITA’ TECNICA DEL VALUTATORE
CHIAREZZA CON IL COMMITTENTE SULLE CONDIZIONI DI
ESERCIZIO REALI DELLA RICERCA VALUTATIVA
Il disegno della ricerca valutativa
3 – Accertamento delle risorse
Risorse = Cosa posso veramente fare?
• Quali risorse economiche, di tempo, di risorse umane?
• Quali risorse simboliche (conferimento di autorità,
riconoscimento di autorevolezza)?
• Quali risorse mandatarie (reale accesso alle fonti, capacità di
attesa del mandante, disponibilità a rispettare e utilizzare i
risultati, anche inattesi)?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Aspetti
amministrativi
Approcci possibili
Risorse  Metodo
4. DEFINIRE APPROCCIO E TECNICHE VALUTATIVE
RICERCA VALUTATIVA COME
PROCESSO
SISTEMA
sequenza logica di azioni
interazione tra le parti
4.a DEFINIRE LE PROPRIETA’ DELL’EVALUANDO
scomposizione dell’oggetto in indicatori valutativi
QUALE MODELLO DI ANALISI DEL SERVIZIO?
chi definisce le proprietà?
quale livello di declinazione?
come selezionare le proprietà?
FONTI
ANALISI DOCUMENTI
ASCOLTO STAKEHOLDER
4. DEFINIRE APPROCCIO E TECNICHE VALUTATIVE
4.b DARE UN VALORE ALLE PROPRIETA’
ordinamento gerarchico delle proprietà in
rapporto ad un sistema di valori
QUALE IDEA DI QUALITA’ DEL SERVIZIO?
chi definisce il sistema di valori?
in quali modi attribuire valore?
UTILIZZO PREFERENZIALE DI GRUPPI DI ESPERTI
4.c STABILIRE LE DEFINIZIONI OPERATIVE
traduzione delle proprietà in procedure operative e raccolta dei dati
quali indicatori?
quali strumenti di indagine?
Il disegno della ricerca valutativa
4 – Definizione disegno specifico (offerta tecnica)
Disegno2 specifico = Quali
definizioni operative generali?
• Come penso – operativamente – di raggiungere il risultato
valutativo (espressione di un giudizio)?
• Approcci e tecniche opportuni sono compatibili con le
risorse disponibili?
• Approcci e tecniche compatibili sono adeguate agli
obiettivi cognitivi e valutativi??
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Offerta tecnica
1° impianto
metodologico
Approccio 
Adeguatezza
Il disegno della ricerca valutativa
4a – Esplorazione campo semantico
Spazio semantico = Cosa valutiamo,
esattamente?
• Cosa intendiamo quando parliamo di…?
• Cosa intendono loro quando voi dite…?
• Quali sono gli elementi strategici, costitutivi,
dell’evaluando (indicatori valutativi)?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Possibilità
partecipazione
Attenzione
epistemologica
Senso  Metodo
Il disegno della ricerca valutativa
4b – Stipulazione valori valutativi
Valori valutativi = Da quale punto di
vista valutare?
• Quali valori strategici, organizzativi, ecc. esprimono gli
attori sociali? E l’utilizzatore?
• Cosa ‘vale’ di più? Da quale punto di vista?
• Quale ordine, quale priorità, quale logica?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Possibilità
partecipazione
Negoziazione di
‘una’ logica
Valori  Metodo
Il disegno della ricerca valutativa
4c – Definizioni operative specifiche
Definizioni operative = Come si
giunge, in concreto, al giudizio
valutativo?
• Come si trasformano l’esplorazione dello spazio
semantico e i valori valutativi, alla luce di mandato e risorse
disponibili, in procedimenti e tecniche di ricerca?
• Qual è l’approccio? Come si integrano le tecniche?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Adeguatezza al
mandato
Face
Metodo 
Risultato
validity
Il disegno della ricerca valutativa
4d – Raccolta e analisi dei dati
Raccolta e analisi dati = Come
organizziamo concretamente il
lavoro?
• Come reclutiamo e gestiamo i collaboratori?
• Come organizziamo l’agenda, anche alla luce
dell’eventuale partecipazione di attori locali?
• Quali strategie per la risoluzione dei problemi?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Gestione della
ricerca
Validità,
affidabilità, …
Metodo  Uso
5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI
COME DOCUMENTARE GLI ESITI DELLA VALUTAZIONE?
COME RENDERE PARTECIPATA L’INTERPRETAZIONE DEI RISULTATI?
COME COMUNICARE I RISULTATI VALUTATIVI?
COME VALUTARE LA VALUTAZIONE?
COME USARE I RISULTATI VALUTATIVI?
5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI
ORGANIZZAZIONE DI ARENE VALUTATIVE IN CUI RESTITUIRE I
DATI RACCOLTI E PROMUOVERE IL CONFRONTO
CRITERI DI ELABORAZIONE DEL RAPPORTO
• ESSENZIALE
• CHIARO
• ESPLICITO
• AUTOCRITICO
• ARTICOLATO
5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI
METAVALUTAZIONE COME CONTROLLO DELLE
PROCEDURE DI RICERCA VALUTATIVA
UTILITÀ
il processo valutativo è stato davvero utile per i bisogni informativi di miglioramento
dei soggetti e dei gruppi coinvolti?
FATTIBILITÀ
il processo valutativo è risultato realizzabile dal punto di vista delle risorse a
disposizione e delle caratteristiche particolari dell’ambiente e delle persone a cui si
rivolge?
CORRETTEZZA
il processo valutativo realizzato è stato corretto in rapporto ai diritti delle persone
coinvolte (privacy, diritto all’informazione, benessere dei soggetti, etc.) e alla imparzialità
dei giudizi espressi?
ACCURATEZZA
il processo valutativo è stato realizzato in modo accurato in rapporto alle procedure di
raccolta, analisi e interpretazione dei dati e al disegno valutativo nel suo insieme?
5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI
METAVALUTAZIONE COME CONTROLLO DELLE
PROCEDURE DI RICERCA VALUTATIVA
UTILITÀ
IDENTIFICAZIONE DEI DESTINATARI
CREDIBILITA’ DEL VALUTATORE
AMBITO E SELEZIONE DELLE INFORMAZIONI
INTERPRETAZIONE DEI RISULTATI
CHIAREZZA DEL RAPPORTO
DIFFUSIONE DEL RAPPORTO
TEMPESTIVITA’ DEL RAPPORTO
IMPATTO DELLA VALUTAZIONE
FATTIBILITÀ
PROCEDURE PRATICABILI
COMPATIBILITA’ POLITICA
PRODUTTIVITA’ IN RAPPORTO AI COSTI
5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI
METAVALUTAZIONE COME CONTROLLO DELLE
PROCEDURE DI RICERCA VALUTATIVA
CORRETTEZZA
DEFIIZIONE DEGLI IMPEGNI
CONFLITTO DI INTERESSI
RAPPORTI COMPLETI E SINCERI
DIRITTO DI SAPERE
DIRITTI DEI SOGGETTI
INTERAZIONI UMANE
RAPPORTO EQUILIBRATO
RESPONSABILITA’ FISCALE
5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI
METAVALUTAZIONE COME CONTROLLO DELLE
PROCEDURE DI RICERCA VALUTATIVA
ACCURATEZZA
IDENTIFICAZIONE DELL’OGGETTO
ANALISI DEL CONTESTO
DESCRIZIONE DEGLI SCOPI E DELLE PROCEDURE
LEGITTIMITA’ DELLE FONTI DI INFORMAZIONI
VALIDITA’ DELLE MISURAZIONI
CONTROLLO SISTEMATICO DEI DATI
ANALISI DELLE INFORMAZIONI QUANTITATIVE
ANALISI DELLE INFORMAZIONI QUALITATVE
CONCLUSIONI GIUSTIFICATE
OBIETTIVITA’ DEL RAPPORTO
Il disegno della ricerca valutativa
5– Sostegno e uso della valutazione
Uso = La valutazione è servita?
• Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione
di far utilizzare i risultati della valutazione?
• Quale forma di restituzione è possibile/prevista a coloro
che hanno contribuito anche indirettamente?
• E’ possibile una metavalutazione?
• I costi della valutazione sono giustificati?
Livello gestionale
Problemi
implicati
Comunicaz. e
sensibilizzaz.
Livello metodologico generale
Sintesi
Connessioni
Uso  Mandato
val.
Il disegno della ricerca valutativa* - 1
[4c] Definizioni
operative specifiche
[1] Definizione del
mandato
[4b] Stipulazione
valori valutativi
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[4a] Esplorazione
spazio semantico
[4d] Raccolta e
analisi dei dati
[4] Definizione
disegno2 specifico
(offerta tecnica)
[5 Sostegno all’uso
della valutazione
[3] Accertamento
delle risorse
* Questa proposta a 9 fasi è diversa, e più aggiornata, di quella contenuta nel testo di Claudio Bezzi, Il disegno della ricerca valutativa, Franco Angeli, Milano 2003,
anche se non ne stravolge la logica complessiva.