VERSIONE MAGGIO 2014
Disegno della
ricerca valutativa
[email protected]
Prima parte:
Le nove fasi del disegno
[email protected]
I tre livelli del disegno
[email protected]
Le nove fasi del disegno1
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[2] Analisi obiettivi
del programma e
formulaz.
domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
[3] Accertamento
delle risorse
[email protected]
La regola del 3
ottenere almeno la maggioranza!
[email protected]
Nove fasi in tre gruppi
[email protected]
Due su tre
[email protected]
Una su tre
[email protected]
1 – Definizione del mandato
[1] Definizione del
mandato
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[3] Accertamento
delle risorse
[email protected]
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
1 – Definizione del mandato
Mandato = Perché me lo chiedi?
• Chi chiede (quale ruolo esercita, che poteri, bisogni,
interessi esprime…)?
• Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti,
partner; clima generale, eventuali conflitti, …)?
• Quali le finalità della valutazione (controllare,
negoziare, rendicontare, …)?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Problemi etici e
deontologici
Conferimento
autorità
Contesto 
Metodo
[email protected]
2 – Obiettivi programma e domande
valutative
[1] Definizione del
mandato
[2] Analisi
obiettivi e formul.
domande
valutative
[3] Accertamento
delle risorse
[email protected]
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
2 – Obiettivi programma e domande
valutative
Domande valutative = Cosa è
importante analizzare?
• Cosa serve a voi decisori, gestori, operatori per
meglio decidere, gestire, operare?
• Quali obiettivi ha l’evaluando?
• Quale ‘teoria’ (logica) c’è dietro il programma?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Adeguate fonti
informative
Orientamento
epistemologico
Evaluando 
Metodo
[email protected]
3 – Accertamento delle risorse
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
[email protected]
3 – Accertamento delle risorse
Risorse = Cosa posso
veramente fare?
• Quali risorse economiche, di tempo, di risorse
umane?
• Quali risorse simboliche (conferimento di autorità,
riconoscimento di autorevolezza)?
• Quali risorse mandatarie (reale accesso alle fonti,
capacità di attesa del mandante, disponibilità a
rispettare e utilizzare i risultati, anche inattesi)?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Aspetti
amministrativi
Approcci
possibili
Risorse 
Metodo
[email protected]
4 – Disegno specifico (offerta tecnica)
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[3] Accertamento
delle risorse
[email protected]
[9] Sostegno
all’uso della
valutazione
4 – Disegno specifico (offerta tecnica)
Disegno2 specifico = Quali
definizioni operative generali?
• Come penso – operativamente – di raggiungere il
risultato valutativo (espressione di un giudizio)?
• Approcci e tecniche opportuni sono compatibili con
le risorse disponibili?
• Approcci e tecniche compatibili sono adeguati agli
obiettivi cognitivi e valutativi?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Offerta tecnica
1° impianto
metodologico
Approccio 
Adeguatezza
[email protected]
5 – Esplorazione campo semantico
[1] Definizione del
mandato
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[3] Accertamento
delle risorse
[email protected]
[6] Stipulazione
valori valutativi
[5] Esplorazione
spazio semantico
[4] Definizione
disegno
preliminare
[7] Definizioni
operative
specifiche
[8] Raccolta e
analisi dei dati
[9] Sostegno
all’uso della
valutazione
5 – Esplorazione campo semantico
Spazio semantico = Cosa
valutiamo, esattamente?
• Cosa intendiamo quando parliamo di…?
• Cosa intendono loro quando voi dite…?
• Quali sono gli elementi strategici, costitutivi,
dell’evaluando (indicatori valutativi)?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Possibilità
partecipazione
Attenzione
epistemologica
Senso  Metodo
[email protected]
6 – Stipulazione valori valutativi
[1] Definizione del
mandato
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[3] Accertamento
delle risorse
[email protected]
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
6 – Stipulazione valori valutativi
Valori valutativi = Da quale punto
di vista valutare?
• Quali valori strategici, organizzativi, ecc.
esprimono gli attori sociali? E l’utilizzatore?
• Cosa ‘vale’ di più? Da quale punto di vista?
• Quale ordine, quale priorità, quale logica?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Possibilità
partecipazione
Negoziazione di
‘una’ logica
Valori  Metodo
[email protected]
7 – Definizioni operative specifiche
[7] Definizioni
operative
specifiche
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[4] Definizione
disegno
preliminare
[9] Sostegno
all’uso della
valutazione
[3] Accertamento
delle risorse
[email protected]
7 – Definizioni operative specifiche
Definizioni operative = Come si
giunge, in concreto, al giudizio
valutativo?
• Come si trasformano l’esplorazione dello spazio
semantico e i valori valutativi, alla luce di mandato e
risorse disponibili, in procedimenti e tecniche di
ricerca?
• Qual è l’approccio? Come si integrano le tecniche?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Adeguatezza al
mandato
Face
validity
Metodo 
Risultato
[email protected]
8 – Raccolta e analisi dei dati
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[3] Accertamento
delle risorse
[email protected]
[4] Definizione
disegno
preliminare
[7] Definizioni
operative
specifiche
[8] Raccolta e
analisi dei dati
[9] Sostegno
all’uso della
valutazione
8 – Raccolta e analisi dei dati
Raccolta e analisi dati = Come
organizziamo concretamente il
lavoro?
• Come reclutiamo e gestiamo i collaboratori?
• Come organizziamo l’agenda, anche alla luce
dell’eventuale partecipazione di attori locali?
• Quali strategie per la risoluzione dei problemi?
Problemi
implicati
Livello gestionale
Livello metodologico generale
Connessioni
Gestione della
ricerca
Validità,
affidabilità, …
Metodo  Uso
[email protected]
9 – Sostegno e uso della valutazione
[1] Definizione del
mandato
[6] Stipulazione
valori valutativi
[7] Definizioni
operative
specifiche
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[5] Esplorazione
spazio semantico
[8] Raccolta e
analisi dei dati
[3] Accertamento
delle risorse
[email protected]
[4] Definizione
disegno
preliminare
9 – Sostegno e uso della valutazione
Uso = La valutazione è servita?
• Il decisore (utilizzatore, sponsor) usa, userà, ha
intenzione di far utilizzare i risultati della
valutazione?
• Quale forma di restituzione è possibile/prevista a
coloro che hanno contribuito anche indirettamente?
• E’ possibile una metavalutazione?
• I costi della valutazione sono giustificati?
Livello gestionale
Problemi
implicati
Comunicaz. e
sensibilizzaz.
[email protected]
Livello metodologico generale
Connessioni
Sintesi
Uso  Mandato
val.
Seconda parte:
L’esplorazione semantica fra
approccio deduttivo e induttivo
[email protected]
Esplorazione semantica e costruzione degli
indicatori (esempi)
• Approcci deduttivi:


Paradigma
lazarsfeldiano
Costruzione di
‘domande
valutative’ in forma
dialogica
[email protected]
• Approcci induttivi:



Brainstorming
Valutazione
tassonomica
Approccio analitico induttivo
Approcci deduttivi vs. approcci induttivi (1)
• Deduttivi:

L’evaluando è
concepibile come
intero (raro)

L’evaluando è
concepibile come
insieme di parti

L’intero e le parti
sono concepite come
coerenti
[email protected]
• Induttivi:
 L’evaluando non è
concepibile come
intero (almeno
provvisoriamente)
 Le parti non sono
con certezza
riconducibili
all’intero
 La coerenza fra
intero e parti è da
verificare
Approcci deduttivi vs. approcci induttivi (2)
• Deduttivi:

Il ricercatore
(valutatore) decide da
solo

Il gruppo deve
trovare una logica
organizzativa
(processo di problem
solving)
La logica è l’obiettivo

[email protected]
• Induttivi:
 Il ricercatore non
può decidere da solo
e c’è un gruppo
collaborativo
 Il gruppo deve
capire (processo
autoriflessivo)

La comprensione è
l’obiettivo
Approcci deduttivi vs. approcci induttivi (3)
• Deduttivi:



• Induttivi:
Razionalità
Esaustività (con rif.
al concetto di
validità degli
indicatori)

“Standard”

[email protected]

Cultura locale
Limitato interesse
all’esaustività e
accettazione
dell’inevitabile
autoreferenzialità
“Non standard”