IL DISEGNO DELLA
RICERCA
VALUTATIVA
Lezioni del 9-10, 23 ottobre, 7
novembre 2014
Il disegno della ricerca valutativa
Dati
Discipline
di riferimento
Mandato
Valutazione
Attori sociali
Bisogni, interessi,
valori
Metodologia
ricerca
Competenze
Etica,
Deontologia
Risorse
Insieme di processi cognitivi e procedure operative che consentono al valutatore di
realizzare concretamente una ricerca valutativa partendo dall’oggetto del mandato
Livelli del disegno
Livello
epistemologicometodologico

Disegno1
• Riflessione sulla
conoscibilità dell’oggetto di
ricerca/valutazione
• Precondizioni necessarie
per l’avvio della valutazione
• Conseguenze operative
ed etiche, oltre che
cognitive, della valutazione
• Valutazione della
valutabilità,
metavalutazione ecc. (non
monitoraggio e non audit)
Livello
metodologicooperativo

Disegno2
• Traduzione del disegno1
in un determinato
percorso adatto al caso
specifico (opportunità,
coerenza, plausibilità…)
• Definizione specifica
delle precondizioni e
delle conseguenze, e
analisi delle ricadute
tecniche nella ricerca
(valutazione) specifica,
valutazione ex ante
Livello delle
definizioni
operative
Tecniche
• Scelta delle tecniche
che soddisfano le
precondizioni del disegno2
(validità, affidabilità, …)
nel caso specifico, alla
luce anche dei vincoli
strutturali della ricerca
• Definizioni operative
relative alla raccolta e
analisi delle informazioni
MONITORAGGIO
Analisi di un fenomeno, di una parte di realtà, di
un oggetto di valutazione
AUDIT
Analisi di un fenomeno, di una parte di realtà, di
un oggetto di valutazione con confronto
rispetto ad uno standard, ad una norma ecc.
VALUTAZIONE
Analisi di un fenomeno, di una parte di realtà,
di un oggetto di valutazione con confronto
rispetto ad uno standard, ad una norma ecc.
per proporre interpretazioni delle differenze
e indicare possibili soluzioni
Le nove fasi del disegno
[1] Definizione
del mandato
Perchè?
[2] Analisi obiettivi
del programma e
formulaz. domande
valutative (norme,
standards)
[3] Accertamento
delle risorse
[6] Stipulazione
valori valutativi
Definire il sistema
di valori comuni di
riferimento
[5] Esplorazione
spazio semantico
Scomposizione
valori, significati
[4] Definizione
disegno
preliminare Come?
(offerta tecnica al
committente)
[7] Definizioni
operative
specifiche
Scelta condivisa
delle tecniche
[8] Raccolta e
analisi dei dati
Uso degli
strumenti (non)
standards
[9] Sostegno
all’uso della
valutazione
Redazione,
sensibilizzazione,
divulgazione
Nove fasi in tre gruppi
La regola del 3
ottenere almeno la maggioranza!
0
33,3
33,3
Mandato
Logica del programma
Definizioni operative
33,3
Due su tre
Una su tre
1 – Definizione del mandato
[1] Definizione del
mandato
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[3] Accertamento
delle risorse
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
1 – Definizione del mandato
Mandato = Perché me lo chiedi?
• Chi chiede, che poteri, bisogni, interessi esprime…)?
Non solo finanziatore
• Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti,
partner; clima generale, eventuali conflitti, …)?
Stakeholders
• Quali le finalità della valutazione (controllare,
negoziare, rendicontare, …) quale ruolo esercita
(assertivo, argomentativo)?
Implica
zioni
Livello gestionale
Livello metodologico generale
Connessioni
Problemi etici e
deontologici
Conferimento
autorità
Contesto 
Metodo
ATTIVITA’, REATTIVITA’, ADATTIVITA’
Cosa deve contenere un mandato
 il programma della ricerca definito in modo chiaro e
condiviso (accertamento delle precondizioni e del
contesto, verifica della natura del programma del
mandatario ecc.)
 determinazione della storicità della ricerca (se inedita
sarà necessaria una valutazione in itinere; se reiterata
valutazione degli effetti di routine; se chiusa quali nuovi
elementi di valutazione
 facoltà del valutatore: grado di autonomia dal
committente e dal mandato, libertà di azione nell’ambito
sociale e/o organizzativo dell’oggetto valutato
 finalità del mandatario: connesse ad una precisa
imposizione o effettivamente esplorative ed operative;
tipologia di diffusione dei risultati
2 – Obiettivi programma e
domande valutative
[1] Definizione del
mandato
[2] Analisi
obiettivi e formul.
domande
valutative
[3] Accertamento
delle risorse
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
2 – Obiettivi programma e domande
valutative
Domande valutative = Cosa è
importante analizzare?
• Cosa serve a voi decisori, gestori, operatori per
meglio decidere, gestire, operare?
• Quali obiettivi ha il committente?
• Quale ‘teoria’ (logica) c’è dietro il programma?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Adeguate fonti
informative
Orientamento
epistemologico
Evaluando 
Metodo
La valutazione consiste nel dare risposte il più possibile precise ed empiricamente
fondate a quesiti precisi e traducibili in procedure di ricerca (Palumbo, 2000)
(a questo punto della ricerca???)
Come definire i possibili obiettivi di
programma
 non porre obiettivi perché restringe il campo di
osservazione e dare maggiore libertà di esplorazione al
valutatore (goal free evaluation)
 spesso i problemi rilevanti dell’oggetto di valutazione
non coincidono con gli obiettivi
ma
 ragionare su possibili (non immodificabili) obiettivi con
tutti gli stakeholders fa emergere anche obiettivi secondari
e inattesi = non è un processo autoreferenziale
 proporre prime ipotesi di obiettivo al mandatario per
avviare un confronto (brainstorming)
 esplorare le necessità cognitive, operative,
organizzative di tutti gli attori = valutazione partecipata
Come definire i possibili obiettivi di
programma (2)
Elementi che determinano gli obiettivi di programma:
 A chi si rivolge il programma (il ruolo dei beneficiari e gli effetti sui
beneficiari; rilevanza del loro giudizio sugli sviluppi del programma)
 Perchè si intende attivare un processo valutativo (è già previsto
negli obiettivi dell’istituzione che si valuta?Si tratta di un programma
inedito o reiterato?)
 Come organizzare il programma (definizione dei ruoli partecipativi e
organizzativi di tutti i soggetti coinvolti, budget delle risorse impiegate)
Legge generale dell’opacità degli obiettivi di programma
la complessità di attori, processi, risorse impiegati nella
definizione degli obiettivi favorisce la definizione dei soli
obiettivi generali, lasciando in itinere quelli intermedi e specifici
ESEMPIO: Obiettivi di valutazione di un progetto
finanziato per favorire l’occupazione femminile (1)
ESEMPIO: Obiettivi di valutazione di un progetto
finanziato per favorire l’occupazione femminile (2)
Identificazione ambiti di
intervento
ESEMPIO: Obiettivi di valutazione di un progetto
finanziato per favorire l’occupazione femminile (3)
Dagli obiettivi all’analisi delle questioni
cruciali
Dopo e oltre la definizione degli obiettivi il valutatore deve:
 chiedersi definitivamente come condurre la ricerca
 quali problemi mettere al centro della riflessione
valutando complessivamente fra le istanze quelle che
possono essere maggiormente cruciali nella individuazione
dei risultati
- Ascolto continuo del committente (feedback e
circolarità)
- Stimolazione del committente (che ha esperienza ma
anche un punto di vista interno all’oggetto della
valutazione)
Efficacia ed efficienza come obiettivi
 Efficacia interna: confronto fra gli effetti della valutazione
e gli obiettivi della ricerca (se si guarda all’organizzazione
della ricerca, alla valutazione ex ante della
programmazione, l’integrazione degli operatori della
ricerca al programma, non esclusivamente dei beneficiari)
 Efficacia esterna: confronto fra gli effetti della
valutazione/intervento e il contesto economico e sociale in
cui la ricerca è condotta (miglior programmazione degli
obiettivi, aggiornamento degli obiettivi con il decisore,
prima valutazione dell’impatto sui beneficiari)
 Efficienza: confronto fra i risultati e gli impatti della
valutazione/intervento e le risorse destinate alla ricerca
(e rilevanza, equità, qualità, appropriatezza...)
Efficacia ed efficienza nel disegno della ricerca valutativa
La valutazione della valutabilità
(evaluation assessment)
 Chiarire la struttura del programmma
 Esplorarne la realtà
 Processo di riformulazione degli obiettivi
Verifica se il programma può essere valutato e se,
soprattutto, la valutazione può portare ad un
improvement dell’oggetto della valutazione
(verifica, circolarità, avalutatività)
3 – Accertamento delle risorse
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
3 – Accertamento delle risorse
Risorse = Cosa posso
veramente fare?
• Quali risorse economiche, di tempo, di risorse
umane?
• Quali risorse simboliche (conferimento di autorità,
riconoscimento di autorevolezza)?
• Quali risorse mandatarie (reale accesso alle fonti,
capacità di attesa del mandante, disponibilità a
rispettare e utilizzare i risultati, anche inattesi)?
Implica
zioni
Livello gestionale
Livello metodologico generale
Connessioni
Aspetti
amministrativi
Approcci
possibili
Risorse 
Metodo
Come e Quali risorse accertare (1)
MANAGEMENT
 Verifica delle risorse e dei vincoli
 dalla combinazione di risorse e vincoli viene la
miglior ricerca possibile
 chiara definizione degli obiettivi
 costante condivisione fra gli stakeholders delle
risorse e dei limiti
-
Fondi
Tempo
Risorse umane
Clima organizzativo
Disponibilità di dati
Capacità del valutatore e fattibilità
Vincoli interni al programma
Verifiche etiche
Come e Quali risorse accertare (2)
 Gestione della ricerca
 La questione delle risorse umane
 Partners
 Collaboratori
 Fornitori
 Tutti gli stakeholders
 Promozione del lavoro
«Nessun lavoro valutativo può sperare in una qualche
fortuna se committenti e futuri utilizzatori non sono
coinvolti e costantemente informati»
4 – Disegno specifico (offerta
tecnica)
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[3] Accertamento
delle risorse
[9] Sostegno
all’uso della
valutazione
4 – Disegno specifico (offerta
tecnica)
Disegno2 specifico = Quali
definizioni operative generali?
• Come penso – operativamente – di raggiungere il
risultato valutativo (espressione di un giudizio)?
• Approcci e tecniche opportuni sono compatibili con
le risorse disponibili?
• Approcci e tecniche compatibili sono adeguati agli
obiettivi cognitivi e valutativi?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Offerta tecnica
1° impianto
metodologico
Approccio 
Adeguatezza
Livelli del disegno
Livello
epistemologicometodologico

Disegno1
• Riflessione sulla
conoscibilità dell’oggetto di
ricerca/valutazione
• Precondizioni necessarie
per l’avvio della valutazione
• Conseguenze operative
ed etiche, oltre che
cognitive, della valutazione
• Valutazione della
valutabilità,
metavalutazione ecc. (non
monitoraggio e non audit)
Livello
metodologicooperativo

Disegno2
• Traduzione del disegno1
in un determinato
percorso adatto al caso
specifico (opportunità,
coerenza, plausibilità…)
• Definizione specifica
delle precondizioni e
delle conseguenze, e
analisi delle ricadute
tecniche nella ricerca
(valutazione) specifica,
valutazione ex ante
Livello delle
definizioni
operative
Tecniche
• Scelta delle tecniche
che soddisfano le
precondizioni del disegno2
(validità, affidabilità, …)
nel caso specifico, alla
luce anche dei vincoli
strutturali della ricerca
• Definizioni operative
relative alla raccolta e
analisi delle informazioni
Disegno preliminare del progetto
Il Disegno2
PROCESSO
Successione logica di
azioni per la ricerca che
definiscono un percorso
cognitivo
Logica # linearità
SISTEMA
Le fasi sono fra loro
connesse da una logica di
tipo sistemico per cui le
relazioni fra fasi possono
modificarsi, invertirsi, ridefinirisi
Disegno preliminare del progetto
FASE 1
I termini del
mandato
FASE 2
Determinazione
natura del
progetto
Il Disegno2
FASE 3
Verifica delle
risorse
necessarie
Definizione generale
dell’impianto metodologico
FASE 5
Definizione del
campo semantico
FASE 6
Determinazione dei
valori di riferimento
OFFERTA
TECNICA
o
“Termini di
riferimento”
5 – Esplorazione campo
semantico
[1] Definizione del
mandato
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[3] Accertamento
delle risorse
[6] Stipulazione
valori valutativi
[5] Esplorazione
spazio semantico
[4] Definizione
disegno
preliminare
[7] Definizioni
operative
specifiche
[8] Raccolta e
analisi dei dati
[9] Sostegno
all’uso della
valutazione
5 – Esplorazione campo
semantico
Spazio semantico = Cosa
valutiamo, esattamente?
• Cosa intendiamo quando parliamo di…?
• Cosa intendono loro quando voi dite…?
• Quali sono gli elementi strategici, costitutivi,
dell’oggetto valutato (indicatori valutativi)?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Possibilità
partecipazione
Attenzione
epistemologica
Senso  Metodo
Cosa si intende per campo semantico
La semantica è una parte della linguistica che studia
il significato delle parole, degli insiemi delle singole lettere e
delle frasi, quindi dei testi
Il significato si trova nella lingua e si può definire all'interno di
essa perchè:
- il carattere arbitrario del significato;
- il fatto che ciascun significato viene definito solo in rapporto
ad altri significati e pertanto nell'ambito di un sistema
Campo associativo (Charles Bally)
In una lingua si formano degli insiemi di parole e di espressioni
collegati fra loro sia per i significati sia per le forme e determinano
una sfera concettuale che si forma con vari rapporti associativi che
collegano i vari segni linguistici. (Dizionario Treccani)
Esplorazione semantica e
costruzione degli indicatori
(esempi)
•
Approcci deduttivi:

Paradigma
lazarsfeldiano
 Costruzione di
‘domande
valutative’ in forma
dialogica
•
Approcci induttivi:

Brainstorming
 Valutazione
tassonomica
 Approccio analitico
- induttivo
Lo schema generale del paradigma
lazarsfeldiano
Concetto 1
Dimensione 1
Sottodimensione 1
Dimensione 2
Dimensione 3
Sottodimensione 2
Indicatore 5
Indicatore 6
Indicatore 1
Indicatore 4
Indicatore 2
Indicatore 3
Indicatore 7
Indicatore 8
Approcci deduttivi vs. approcci
induttivi (1)
•
Deduttivi:

L’evaluando è
concepibile come
intero (raro)

L’evaluando è
concepibile come
insieme di parti

L’intero e le parti
sono concepite
•
Induttivi:
L’evaluando non è
concepibile come
intero (almeno
provvisoriamente)
 Le parti non sono
con certezza
riconducibili
all’intero
 La coerenza fra
intero e parti è da
verificare

Approcci deduttivi vs. approcci
induttivi (2)
• Deduttivi:

Il ricercatore
(valutatore) decide da
solo

Il gruppo deve
trovare una logica
organizzativa
(processo di problem
solving)
La logica è l’obiettivo

• Induttivi:
 Il ricercatore non
può decidere da solo
e c’è un gruppo
collaborativo
 Il gruppo deve
capire (processo
autoriflessivo)

La comprensione è
l’obiettivo
Approcci deduttivi vs. approcci
induttivi (3)
• Deduttivi:



Razionalità
Esaustività (con rif.
al concetto di
validità degli
indicatori)
“Standard”
• Induttivi:



Cultura locale
Limitato interesse
all’esaustività e
accettazione
dell’inevitabile
autoreferenzialità
“Non standard”
La creazione di campo semantico e di
indicatori valutativi
Il campo semantico: scomposizione dei concetti chiave
dell’oggetto di valutazione e determinazione di un
significato condiviso che si determina in modo
convenzionale, negoziale, contestuale
(metodo costruttivistico)
Indicatori valutativi = sono individuati attraverso
processo di significazione che restituisce dati
operativizzabili, con cui eseguire misurazioni nel
processo di valutazione
Come si determinano gli indicatori
valutativi
Analisi in profondità del contesto della valutazione
(esplorazione del campo semantico) da cui posso
derivare:
1. Indicatori come “livelli osservabili del concetto
esplorato” di carattere induttivo ad es. da libertà a condanne
di direttori di giornale ecc.)
2. Indicatori
come
“quantità
di
ciò
che
descrive/misura l’oggetto esplorato grazie alla
definizione del criterio di valutazione (attributo della qualità dell’oggetto)
e degli standards (livello di qualità dell’attributo che ne rende possibile
un giudizio di valore)
3. Elemento negoziato in un determinato contesto
per il suo apporto di senso a seguito di confronto fra gli
stakeholders che li costruiscono in quel determinato contesto
Come si costruiscono gli indicatori
valutativi
i. Definizione del concetto-indicatore
ii. Esplorazione semantica del concetto (criteri
linguistici, significati attribuiti dalle teorie, di
precedenti indagini, inseriti nel mandato valutativo
iii. Esplorazione pragmatica del concetto (significati in
uso fra gli stakeholders, derivanti dal contesto,
tacitamente negoziati, adattati dal valutatore)
iv. Misurazione numerica o testuale degli indicatori (con
il confronto con gli stakeholders, lo studio dei
materiali documentali etc.)
v. Definizione del set degli indicatori, determinando
pregi e limiti delle scelte operate e anche esplicitando
cosa non è stato considerato e perché
6 – Stipulazione valori valutativi
[1] Definizione del
mandato
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[3] Accertamento
delle risorse
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
6 – Stipulazione valori valutativi
Valori valutativi = Da quale punto
di vista valutare?
• Quali valori strategici, organizzativi, ecc.
esprimono gli attori sociali? E l’utilizzatore?
• Cosa ‘vale’ di più? Da quale punto di vista?
• Quale ordine, quale priorità, quale logica?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Possibilità
partecipazione
Negoziazione di
‘una’ logica
Valori  Metodo
Il valore dell’indicatore
 Quantitativo (numerico, gerarchico, ordinale….)
 Cognitivo (definito all’interno del processo logico della
ricerca)
 Etico (determinato nel contesto del processo
valutativo e dei suoi valori)
 Contestuale (politico, organizzativo, culturale)
conseguenze operative
Come attribuire un valore
 Non attribuire valori ma farli determinare dagli
stakeholders
 Attribuire valori differenti a seconda dell’attore
interessato
 Riferirsi alle teorie, a precedenti ricerche, agli esperti
7 – Definizioni operative
[7] Definizioni
specifiche
operative
specifiche
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
[3] Accertamento
delle risorse
7 – Definizioni operative
specifiche
Definizioni operative = Come si
giunge, in concreto, al giudizio
valutativo?
• Come si trasformano l’esplorazione dello spazio
semantico e i valori valutativi, alla luce di mandato
e risorse disponibili, in procedimenti e tecniche di
ricerca?
• Qual è l’approccio? Lazarsfeldiano o
partecipato? Come si integrano le tecniche?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Adeguatezza al
mandato
Face
validity
Metodo 
Risultato
8 – Raccolta e analisi dei dati
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[3] Accertamento
delle risorse
[4] Definizione
disegno
preliminare
[7] Definizioni
operative
specifiche
[8] Raccolta e
analisi dei dati
[9] Sostegno
all’uso della
valutazione
8 – Raccolta e analisi dei dati
Raccolta e analisi dati = Come
organizziamo concretamente il
lavoro?
• Come reclutiamo e gestiamo i collaboratori?
• Come organizziamo l’agenda, anche alla luce
dell’eventuale partecipazione di attori locali?
• Quali strategie per la risoluzione dei problemi?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Gestione della
ricerca
Validità,
affidabilità, …
Metodo  Uso
9 – Sostegno e uso della
valutazione
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[3] Accertamento
delle risorse
[4] Definizione
disegno
preliminare
9 – Sostegno e uso della
valutazione
Uso = La valutazione è servita?
• Il decisore (utilizzatore, sponsor) usa, userà, ha
intenzione di far utilizzare i risultati della valutazione?
• Quale forma di restituzione è possibile/prevista a coloro
che hanno contribuito anche indirettamente? Restituzione
o Disseminazione fra esperti o pubblica?
• E’ possibile una metavalutazione?
• I costi della valutazione sono giustificati?
Livello gestionale
Problemi
implicati
Comunicaz. e
sensibilizzaz.
Livello metodologico generale
Connessioni
Sintesi
Uso  Mandato
val.
Un metodo per la meta valutazione
Il Rapporto valutativo
Il valutatore fa
analisi mirata
all’azione e
all’intervento
Il lettore riceve
una sintesi
nel linguaggio
con cui può
utilizzare la
valutazione
 descrizione metodologica utilizzata nel disegno operativo
 individuazione degli elementi criticabili nelle scelte operative
 focalizzazione sugli esiti principali e successivo dettaglio specie con
supporto grafico
 inserimento delle raccomandazioni da applicare e dei possibili
approfondimenti di eventuali aspetti non adeguatamente non esplorati