Valutazione (a)

[Valutare significa] analizzare se un'azione
intrapresa per uno scopo corrispondente ad un
interesse collettivo abbia ottenuto gli effetti
desiderati o altri, ed esprimere un giudizio sullo
scostamento che normalmente si verifica, per
proporre eventuali modifiche che tengano conto
delle potenzialità manifestatesi [...] si valuta per
sapere non solo se un'azione è stata conforme
ad un programma esistente, ma anche se il
programma è buono (Stame, 1998, p. 91).
Dr. Carmelo Bruni
1
Valutazione (b)

[La valutazione è una] produzione di
informazione (per dare giudizi) su
attività pubbliche, con l'intento di
migliorarle (Martini).
Dr. Carmelo Bruni
2
Valutazione (c)

[La valutazione è una] attività cognitiva
rivolta a fornire un giudizio su di
un'azione intenzionalmente svolta o che
si intende svolgere, destinata a
produrre effetti esterni, che si fonda su
un'attività di ricerca delle scienze sociali
e che segue procedure rigorose e
codificabili (Palumbo, 2001, p. 59).
Dr. Carmelo Bruni
3
Valutazione (d)

[La valutazione è un] processo che
ricerca e valorizza gli aspetti
contraddittori e inattesi che mettono
fortemente in crisi il modello dato e li
considera tracce di un ordine diverso la
cui rivelazione costituisce oggetto di
specifiche attenzioni (Setti Bassanini,
1991, p. 239)
Dr. Carmelo Bruni
4
Valutazione (e)

[...] la valutazione ha lo scopo di
assegnare un valore all'azione svolta e di
riuscire a comunicarlo agli altri. Questa
duplice anima di giudizio e di
comunicazione determina la natura del
processo valutativo, la complessità che
deve essere affrontata (Bertin, Porchia,
2ooo, p. 81).
Dr. Carmelo Bruni
5
Valutazione (f)

La valutazione è principalmente (ma non
esclusivamente) un'attività di ricerca sociale
applicata, realizzata nell'ambito di un processo
decisionale, in maniera integrata con le fasi di
programmazione, progettazione e intervento,
avente come scopo la riduzione della complessità
decisionale, attraverso l'analisi degli effetti diretti
e indiretti, attesi e non attesi, voluti non voluti,
dell'azione, compresi quelli non riconducibili ad
aspetti materiali (Bezzi, 2001, p. 29).
Dr. Carmelo Bruni
6
Valutazione (sintesi)






è un'espressione di giudizio rispetto ad azioni di interesse
collettivo (Stame);
ha l'intento di migliorare gli interventi e le politiche
pubbliche (Martini);
è svolta attraverso attività di ricerca realizzate con metodi
rigorosi e codificabili (Palumbo);
valorizza gli aspetti inattesi e contraddittori (S. Bassanini);
deve essere comunicata a terzi in modo esplicito e
trasparente (Bertin, Porchia);
avviene all'interno di un processo nel quale valutazione e
progettazione sono percorsi integrati (Bezzi).
Dr. Carmelo Bruni
7
Valutazione è intesa come…


Apprendimento (learning);
Controllo/Rendicontazione
(accountability).
Dr. Carmelo Bruni
8
Valutazione come
apprendimento


La valutazione come apprendimento ha lo scopo
di rispondere a domande su aspetti
fondamentali di un’attività pubblica.
Esiste una lacuna nella conoscenza di chi è
chiamato a decidere sul disegno di una politica
o a giudicare della sua realizzazione
complessiva: tale mancanza può riguardare la
fattibilità dell’intervento, le caratteristiche
della sua messa in opera e gli effetti
desiderati o indesiderati che esso ottiene.
Dr. Carmelo Bruni
9
Valutazione come controllo


la valutazione come controllo ha l’obiettivo
di produrre giudizi sulla gestione di una
attività pubblica.
La valutazione è uno strumento per
controllare l’operato di chi gestisce un
intervento o un servizio. Lo scopo ultimo è
identificare disfunzioni, imporre sanzioni,
spostare risorse, migliorare la performance
delle unità operative che gestiscono
l’intervento in questione.
Dr. Carmelo Bruni
10
Approcci della valutazione 1

«quello positivista sperimentale, in cui
l'elemento di confronto è rappresentato
dagli obiettivi del programma, e la
valutazione consiste nel vedere se e in che
modo essi siano stati raggiunti grazie al
programma». ;
Dr. Carmelo Bruni
11
Approcci della valutazione 2

«quello pragmatista-della qualità, in cui
ci si confronta con degli standard di
qualità, e la valutazione consiste nel
dare un parere su quanto ci si avvicini
agli standard» (che è adottato per
esempio nella costruzione di carte dei
servizi). Scriven;
Dr. Carmelo Bruni
12
Approcci della valutazione 3

«quello costruttivista-del processo sociale,
in cui ci si confronta con ciò che viene
considerato un successo dagli
stakeholders, e la valutazione consiste
nello spiegare perché in quella situazione
quel risultato sia considerato tale» (che
comprende molte esperienze di
valutazione partecipata).
Dr. Carmelo Bruni
13
Tipi di valutazione
Ex ante;
 In itinere;
 Ex-post

Dr. Carmelo Bruni
14
Valutazione ex-ante


È la valutazione su attività progettate ma non
realizzate, svolta prima dell'approvazione e/o
della successiva implementazione di un
progetto;
Si fa soprattutto per aiutare i decisori a
scegliere fra scenari alternativi, o per
scegliere fra progetti alternativi, o fra
modalità di esecuzione alternative dello
stesso progetto (Scelte nelle LL. 285 o 309)
Dr. Carmelo Bruni
15
Valutazione in itinere

Si realizza mentre il processo valutato è
ancora in corso, al fine di conseguire
l'adattamento e la correzione di
eventuali deviazioni dal progetto
originario, a causa di errori di
progettazioni o di modificazioni del
contesto (richiesta dalle LL. 309 e 285);
Dr. Carmelo Bruni
16
Valutazione in itinere

Si fa durante la realizzazione di un
intervento per raccogliere elementi utili
alla conferma o modifica delle scelte
operative ipotizzate a priori, in modo da
poter "assestare il tiro" in corso di
azione, riorientando l'intervento o
modificandolo al meglio;
Dr. Carmelo Bruni
17
Valutazione in itinere


Monitoraggio = rilevamento dei valori
dei parametri indicativo dello stato di
funzionamento dell’intervento;
Valutazione in itinere = è più ampia del
monitoraggio, prevede infatti
l'espressione di giudizi per il
cambiamento.
Dr. Carmelo Bruni
18
Valutazione ex-post

Si realizza al termine di un intervento,
dopo cioè che è stato completato.
L'obiettivo delta valutazione ex post è di
studiare se e come il progetto abbia
raggiunto gli obiettivi prefissati ed
eventuali risultati ulteriori nonché
immaginare soluzioni adeguate per
analoghi interventi in futuro.
Dr. Carmelo Bruni
19
Valutazione ex-post



Si distingue tra:
Output (esito) = gli interventi progettati
sono stati attivati? (Efficacia Interna);
Outcome (risultato) = gli interventi
progettati sono stati soddisfacenti
(Efficacia Esterna)?
Impatto = l’intervento è stato efficace?
Dr. Carmelo Bruni
20
Valutazione e Qualità


La Qualità nasce caratterizzata da una
cultura tecnica, in un contesto
prettamente aziendalistico (produzione
di beni), è realizzata da "ingegneri“
Orientamento all’utente = minimo costo
e massima soddisfazione (customer
satisfaction) in un contesto competitivo;
Dr. Carmelo Bruni
21
Valutazione e Qualità


La valutazione nasce da una cultura di
scienza sociale, si sviluppa nel mondo
dei programmi di intervento pubblico e
gli attori protagonisti sono scienziati
sociali alla ricerca del valore dell'azione
pubblica;
Orientamento all’utente = equità e
giustizia
Dr. Carmelo Bruni
22
Qualità di un servizio

“Relazione positiva tra bisogni
dell'utenza e prestazioni del servizio”,
cioè la capacità del servizio di
soddisfare i bisogni dell’utente
Dr. Carmelo Bruni
23
Valutazione della Qualità

Significa assumere il punto di vista dell'utente
e rivedere criticamente ed analiticamente il
complesso rapporto fra struttura, operatore,
utente, cogliendone, ai vari livelli, gli elementi
critici determinati dal processo di interazione
sociale che possono a volte impedire
all'utente di costruirsi come soggetto e di
ricevere risposte adeguate e per lui
significative;
Dr. Carmelo Bruni
24
Valutazione e normativa



L. 285/97 agli artt. 8 e 9;
D. Lgs. 229/99 (riforma ter) all’art.
12bis;
L. 328/00 agli art. 3, 6, 7, 8, 10 e
18.
Dr. Carmelo Bruni
25
Valutazione partecipata



Favorisce l’innovazione attraverso
l’interazione tra diverse competenze;
Sfida il professionismo specialistico
rigido che separa valutante e valutato;
Sviluppa senso positivo nei confronti
della valutazione;
Dr. Carmelo Bruni
26
“Per chi” e “Perché” valutare?







Soggetti
Prospettiva
Obiettivo
Policy-makers Macrodecisionale Impatto sociale
Amministratori OrganizzativoEfficienza
gestionale
Operatori
Tecnico-professionale Qualità
Utenti
Particolaristica
Soddisfazione
Cittadini
Universalistica
Equità
Dr. Carmelo Bruni
27
“Cosa” valutare?



Struttura
Processo
Esiti, Risultati, Impatti
Dr. Carmelo Bruni
28
“Cosa” valutare? Struttura

1.
disponibilità strutturale

2.
accessibilità

3.
sistema comunicativo

4.
sistema informativo

5.
criteri gestionali
Dr. Carmelo Bruni
29
“Cosa” Valutare?
Disponibilità strutturale




Risorse Finanziarie;
Risorse Tecnologiche;
Risorse Materiali (locali, attrezzature,
etc.);
Risorse Umane (Capitale Umano e
Sociale).
Dr. Carmelo Bruni
30
“Cosa” Valutare?
Accessibilità




Raggiungibilità;
Barriere architettoniche;
Segnaletica;
Privacy.
Dr. Carmelo Bruni
31
“Cosa” Valutare?
Sistema Comunicativo






Carte dei Servizi;
Vademecum dei Servizi;
Avvisi pubblici;
Presenza in “Pagine Utili” e “Tutto
Città”;
Sito web;
Servizi Telefonici.
Dr. Carmelo Bruni
32
“Cosa” Valutare?
Sistema Informativo




Schede utente;
Informatizzazione delle schede utente;
Sistema di rete;
Sistemi di monitoraggio.
Dr. Carmelo Bruni
33
“Cosa” Valutare?
Criteri gestionali



Modalità di funzionamento dei Servizi
(rete organizzativa);
Regolamento dei servizi;
Processi e stili decisionali.
Dr. Carmelo Bruni
34
“Cosa” Valutare? Processi




Livelli di Attività;
Output (Obiettivi intermedi);
Sistema Professionale;
Qualità del lavoro (soddisfazione degli
operatori).
Dr. Carmelo Bruni
35
“Cosa” Valutare? Livelli di
Attività




Monte orario settimanale
Straordinari
Personale coinvolto
Volontari coinvolti
Dr. Carmelo Bruni
36
“Cosa” Valutare? Sistema
professionale




Appropriatezza del sistema delle
professionalità;
Qualificazione professionale;
Formazione;
Aggiornamento professionale.
Dr. Carmelo Bruni
37
Cosa” valutare? Esiti

1. Il progetto è stato attivato?

2. Se no, quale parte ne è rimasta fuori
e perché?

3. Sono stati raggiunti gli utenti target?

4. Le risorse si sono dimostrate
sufficienti?
Dr. Carmelo Bruni
38
Cosa” valutare? Risultati

Il progetto ha raggiunto gli obiettivi
prefissati?

Quali obiettivi non sono stati raggiunti e
perché?

Gli utenti sono rimasti soddisfatti? E il
personale?
Dr. Carmelo Bruni
39
Cosa” valutare? Impatti



Si sta avendo una riduzione del
bisogno?
Gli utenti continuano a stare bene?
Si è avuta una ricaduta in termini di
Capitale Umano e Sociale?
Dr. Carmelo Bruni
40
Il lavoro della valutazione

”(…) Il lavoro del valutatore, che ha una propria
expertise metodologica e sa come poter formulare
le domande, consiste nell’aiutare l’utilizzatore a
formulare le proprie domande, con le sfumature
locali (...) l’azione del valutatore mette in moto un
delicato processo interattivo con gli utilizzatori: se
ad ogni passaggio le cose non sono chiare, il
valutatore deve aiutare gli utilizzatori ad
identificare quali sono le domande cruciali prima di
decidere come procedere (…)” (Stame N., 1998b).
Dr. Carmelo Bruni
41
Linee guida di valutazione 1


La valutazione deve essere guidata da un
piano, o disegno di valutazione, che è
opportuno costruire assieme al progetto di
intervento perché deve costituirne parte
integrante e accompagnarlo per tutta la sua
durata.
La valutazione è una "bussola" di cui dotarsi
prima di intraprendere il cammino per essere
sicuri che durante il percorso sia sempre
possibile orientarsi, capire dove ci si trovi,
verificare la rotta, decidere di cambiarla.
Dr. Carmelo Bruni
42
Linee guida di valutazione 2


Valutare non significa unicamente
misurare. Troppo spesso, infatti, la
preoccupazione principale è quella di
raccogliere dati, talvolta in una logica
autoreferenziale o di semplice rendiconto.
Ciò che è veramente importante sono le
interpretazioni, i giudizi, le riflessioni che si
compiono su dati e informazioni.
Dr. Carmelo Bruni
43
Linee guida di valutazione 3


Di conseguenza sin dall'inizio, dovrebbero
essere coinvolti nel disegno e nella gestione
della valutazione gli attori cruciali.
Infatti, la valutazione sarà maggiormente
efficace se coinvolgerà a titolo partecipativo o
consultivo molti e diversi stakeholders, poiché
aumenterà la comprensione e la conoscenza
reciproca, renderà maggiormente efficace il
processo e restituirà il senso del proprio
agire.
Dr. Carmelo Bruni
44
Linee guida di valutazione 4

Il percorso di valutazione accompagna e
sostiene i progetti durante tutto il loro
ciclo vitale, dalla fase di ideazione
(valutazione ex ante), a quella di
attuazione (valutazione in itinere), a
quella finale, e di eventuale
riprogettazione (valutazione ex posto di
risultato).
Dr. Carmelo Bruni
45
Il percorso di costruzione di un
disegno di valutazione 1
1) Individuazione della finalità della
valutazione.
2) Esplicitazione dello scopo del
progetto/intervento o politica che si
intende valutare.
3) Identificazione dei criteri di valutazione
e/o da valutare.
4) Identificazione degli indicatori.
Dr. Carmelo Bruni
46
Il percorso di costruzione di un
disegno di valutazione 2
5) Identificazione degli strumenti per rilevare gli
indicatori e delle fonti per raccogliere i dati e
le informazioni.
6) Rilevazione sul campo.
7) Valutazione vera e propria (espressione di
un giudizio) e identificazione degli obiettivi di
miglioramento.
8) Individuazione delle strategie di
miglioramento.
Dr. Carmelo Bruni
47
Finalità della valutazione



Per finalità della valutazione si intende la buona
ragione che induce a valutare quel caso,
intervento o politica.
Esempi:
Si intende valutare il fabbisogno dell'anziano per
definire il tipo di intervento più adatto a lui oggi
(domiciliare, residenziale ecc.).
Si intende valutare l'intervento di assistenza
domiciliare anziani per meglio allocare le risorse
disponibili.
Dr. Carmelo Bruni
48
Scopo della valutazione



Per scopo si intende la buona ragione per la
quale un intervento è realizzato;
Esempi:
Il progetto si propone di mantenere X al suo
domicilio favorendo il mantenimento della
autosufficienza e garantendo sicurezza, dignità e
compagnia nella sua vita quotidiana.
Il SAD garantisce degli interventi limitati nel corso
della giornata, per prestazioni assistenziali, per la
cura e l'igiene della persona e dell'abitazione.
Dr. Carmelo Bruni
49
Criteri e dimensioni di
valutazione



Si intendono gli elementi intorno ai quali
focalizzare la ricerca valutativa; essi
discendono direttamente dallo scopo;
Esempi
Si indagherà il fabbisogno dell'anziano in
relazione al suo grado di autosufficienza
(capacità motorie, cognitive ecc.).
Si indagheranno le dimensioni di: continuità
assistenziale, tempestività dell'intervento,
integrazione con altri servizi, ecc.
Dr. Carmelo Bruni
50
Indicatori di valutazione



Una proprietà che – in toto o in una sua parte
- rappresenta un concetto rilevante nella
ricerca e che tradotto in variabile mi consente
di “misurarlo”.
Esempi:
n° di ore di A.D. come indicatore di Efficacia;
n° di pratiche avviate come indicatore di
Efficienza.
Dr. Carmelo Bruni
51
Indicatori



Il rapporto tra indicatore e concetto non
è esclusivo né esaustivo;
Indicatore e diverso da Indice, che è
una combinazione di indicatori;
Il paradigma di Lazarsfeld.
Dr. Carmelo Bruni
52
Strumenti e fonti informative


Uno strumento è ciò che usiamo per
rilevare informazioni. Si distinguono tra
standard e non-standard (dalle storie di
vita alla survey);
Una fonte è un’entità che ci fornisce le
informazioni (un soggetto, un Ente, una
Istituzione, ecc.)
Dr. Carmelo Bruni
53
Raccolta delle informazioni


La rilevazione si distingue per livello di
intrusività (dal questionario postale
all’intervista in profondità);
La rilevazione richiede delle accortezze
che vanno dalla interpretazione del dato
alle modalità con cui si conducono le
interviste.
Dr. Carmelo Bruni
54
Valutazione


Si analizzano, con gli attori interessati, i dati e le
informazioni raccolte e si esprimono giudizi
finalizzati ad individuare le aree di miglioramento;
Esempio:
L'assistente sociale convoca l'operatore di
riferimento per valutare i risultati dell'analisi del
fabbisogno del Sig. x e insieme esprimono giudizi
sul grado di soddisfazione del fabbisogno del Sig.
x in relazione alle possibilità del servizio.
Dr. Carmelo Bruni
55
Strategie di miglioramento



Si decidono le azioni che si intendono
implementare per realizzare i miglioramenti
ipotizzati;
Esempi:
Vengono aumentate o diminuite le ore di
assistenza al Sig. x. Vengono cambiate le funzioni
assistenziali richieste (igiene personale, pulizia
casa ecc.).
Viene rivisto il sistema delle sostituzioni/turni di
lavoro per mantenere la continuità assistenziale.
Dr. Carmelo Bruni
56