La valutazione di sistema
dalla cronologia alla tipologia
Valutazione di sistema
Quando e dove ?
1960 - Stati Uniti
“Guerra alla Povertà”
Presidenza Johnson
(1964-1969)
1948 - Stati Uniti
Educational evaluation
Ralph Tyler - teoria del
curricolo
“È necessaria una valutazione
scientifica finalizzata al
miglioramento della qualità
dell’istruzione”
Valutazione di sistema
Perché gli U.S.A. ?
Provare l’efficacia dell’intervento pubblico negli
affari sociali
In Europa il WS è parte integrante del sistema
istituzionale
NON SI DUBITA DELLA EFFICACIA DEI
SERVIZI
“dalla culla alla bara”
Lord Beveridge
Valutazione di sistema
Quali sviluppi ?
Stufflebeam (1985)
1946-1957 - età dell’innocenza (Tyler - Fisher) prevale il modello sperimentale;
1958-1972 - fase dello sviluppo/espansione (Stake - Parlett - Hamilton) forti
pressioni sul sistema educativo (guerra fredda) si critica il modello
sperimentale - illuminative evaluation: non solo i risultati ma anche il processo;
1973-1983 - fase della professionalizzazione (Scriven, Stake, McDonald) la
valutazione diventa una professione - nascono associazioni professionali :
goal free evaluation - responsive evaluation - democratic evaluation.
1983-2001 - fase dell’integrazione (Madaus- Stufflebeam-Guba e Lincoln) - le
domande e gli assunti dei coinvolti/stakeholders costitiscono il focus
organizzativo della valutazione
Valutazione di sistema
Quali modelli/approcci ?
N.Stame
•positivista sperimentale - centrato sugli obiettivi;
•prospettivista - della qualità - centrato sugli standard;
•costruttivista-del processo sociale - centrato sugli
stakeholders-i portatori di interesse.
Valutazione di sistema
Età dell’innocenza - Tyler
Fisher Campbell Stanley …
POSITIVISTA SPERIMENTALE
Età della
professionalizzazione
Fase dell’integrazione
Valutazione di sistema
Età dell’innocenza - Tyler
Fisher Campbell Stanley …
PROSPETTIVISTA
DELLA QUALITA’
Età della
professionalizzazione
Fase dell’integrazione
Valutazione di sistema
Età dell’innocenza - Tyler
Fisher Campbell Stanley …
COSTRUTTIVISTA
DEL PROCESSO
SOCIALE
Fase dell’integrazione
Età della
professionalizzazione
Valutazione di sistema - il modello positivista
sperimentale
Tyler - Fisher - Campbell
•Concepito per programmi volti ad affrontare gravi e
ricorrenti problemi sociali (disoccupazione, criminalità …)
•Logica razionale: obiettivi/mezzi/risultati attesi
•Ciclo politico: decisione
implementazione
valutazione
nuova decisione.
Valutazione di sistema - il modello positivista
sperimentale
•Il programma è ipotizzato per determinare un cambiamento;
•Il cambiamento atteso è definito da: scopi (goals) e da obiettivi
(objectives);
•Gli scopi (goals) definiscono aspirazioni (politiche) non
quantificabili (es. eliminare la disoccupazione ridurre la povertà
ridurre la dispersione scolastica…)
•Gli obiettivi (objectives) sono espressi attraverso indicatori
quantitativi (es. creare 1000 posti di lavoro” “portare il livello di
povertà sotto la media europea” “ridurre del 10% il numero degli
abbandoni scolastici”)
Valutazione di sistema - il modello positivista
sperimentale
La valutazione :
1. Confronta obiettivi e risultati
2. Verifica se si è prodotto cambiamento
3. Verifica se il cambiamento dipende dal
programma o da altre concause
Valutazione di sistema - il modello positivista
sperimentale
Caratteri della valutazione:
1. Metodo di verifica quasi sperimentale dove il programma (gli
imput) è la variabile indipendente e gli obiettivi la variabile
dipendente;
2. Uso del gruppo di controllo;
3. Modelli di osservazione ex-post (confrontare la situazione
dopo l’intervento con quella pre-intervento);
4. Tecniche di ricerca quantitative - questionario
5. I valutatori sono esterni
6. Niente valutazione formativa (cosa non sta funzionando ?)
7. Solo valutazione sommativa (vale la pena proseguire ?)
Valutazione di sistema - il modello positivista
sperimentale
Le critiche:
Come collegare goals ad objectives ? Gli obiettivi rischiano di essere poco
chiari (di quanto REALISTICAMENTE deve ridursi l’abbandono perché si
sia realizzata una significativa lotta alla dispersione scolastica ?);
La valutazione sottovaluta tutto il processo di implementazione e osserva
solo i risultati ;
La valutazione può dimostrare che qualcosa si modifica dopo che è stato
introdotto un input ma non è in grado di dire perché ciò avviene;
Il fine giustifica i mezzi? (è il “successo” che determina la bontà di un
programma?)
Valutazione di sistema - il modello prospettivista - della
qualità
Il programma è valutato sulla base di un’idea di
valore:
•Concetto di merito detenuto da attori interni
e/o dai valutatori
•Standard definito all’esterno del programma
Valutazione di sistema - il modello prospettivista - della
qualità
“Goal free evaluation”
M.Scriven
1992
Chi valuta non può essere neutrale
Gli obiettivi sono alibi
La valutazione è un giudizio di valore
Valutazione di sistema - il modello prospettivista - della
qualità
Giudizio di valore
merit
worth
valore intrinseco espresso
nello standard di qualità di
un’attività
valore estrinseco espresso
dai bisogni dei destinatari
Valutazione di sistema - il modello prospettivista - della
qualità
Corso di inglese
Merit
Worth
La didattica della lingua
La domanda di apprendimento
Prof ! Lei è bravissima
Ma noi volevamo un corso di tedesco !!
Valutazione di sistema - il modello prospettivista - della
qualità
Fasi della valutazione (Scriven) :
1. Stabilire criteri di merito e standard di
qualità
2. Misurare le performance dei singoli
programmi
3. Creare un graduatoria dei programmi
4. Giudizio finale di valore
Valutazione di sistema - il modello prospettivista - della
qualità
Modello positivista
Il programma ha conseguito gli obiettivi ?
Modello prospettivista
Il programma è di buona qualità ?
L’elemento di confronto non è l’obiettivo ma
lo standard di qualità
Valutazione di sistema - il modello prospettivista - della
qualità
Il lessico della qualita’
TOTAL QUALITY
Obiettivo strategico a lungo termine di
un’orgnizzazione
Esprime un’idea di eccellenza nella: competitività,
redditività, costi, tempi, immagine, prodotto, servizio,
controlli, ecologia.
Valutazione di sistema - il modello prospettivista - della
qualità
Il lessico della qualità
BENCHMARKING
Processo di analisi della propria organizzazione
(prestazioni/processi) attuato tramite confronto con
altre organizzazioni dello stesso settore o di altri
ritenute eccellenti
Valutazione di sistema - il modello prospettivista - della
qualità
Il lessico della qualità
EMPOWERMENT
Creazione di una struttura/azione che insieme alla
erogazione di formazione dei lavoratori/dipendenti
consente a questi ultimi di diventare consapevoli delle
proprie capacità e di poterle sviluppare (job enrichment).
Valutazione di sistema - il modello prospettivista - della
qualità
Il lessico della qualità
COSTUMER SATISFACTION
La soddisfazione del cliente intesa come obiettivo
prioritario di un sistema di qualità. Si esplica in una
strategia organizzativa/aziendale che si concreta in un
insieme di scelte finalizzate alla produzione di quella
qualità che incontra pienamente le esigenze del cliente.
Non si tratta di una qualità del prodotto ma di una qualità
del modo di lavorare dell’organizzazione, cioè di ciò che
porta le persone a consolidare la loro prima scelta,
ripetendola e riconfermandola nel tempo.
Valutazione di sistema - il modello prospettivista - della
qualità
Quali impieghi ?
Il modello positivista sperimentale si presta per la
valutazione di programmi ad hoc
Il modello prospettivista è adatto a valutare il rendimento
di istituzioni e servizi
Total Quality Management
Sanità, Assistenza, Trasporti…
Progetto Qualità nella Scuola
Valutazione di sistema - il modello prospettivista - della
qualità
Quali sviluppi ?
L’approccio alla qualità oggi si identifica con la
certificazione e con l’applicazione anche ai servizi
pubblici del sistema ISO9000 (servizi privati)
Il valutatore diventa un certificatore di standard e
assicura l’osservanza di procedure stabiliti entrambi
da un’autorità esterna
Valutazione di sistema - il modello prospettivista - della
qualità
Le critiche:
Come si fissano gli standard ?
Rispetto a cosa ci si confronta (banchmerking) ?
Mete da perseguire o soglie minime ?
Chi stabilisce gli standard: l’autorità politica, le
amministrazioni, gli esperti, la concertazione tra parti
sociali ?
Sono nazionali o locali ?
Valutazione di sistema - il modello prospettivista - della
qualità
Le critiche
La certificazione ISO 9000 si riferisce solo al
merit e il worth?
Siamo certificati ISO9000
e fanno ancora domande !!
Valutazione di sistema - il modello costruttivista - del
processo sociale
Guba e Lincoln
1989
valutazione di quarta generazione rispondente costruttivista
Le domande le preoccupazioni gli assunti degli
stakeholders sono il focus della valutazione
La definzione di cosa sia un successo è un
concetto che si forma in un momento successivo
al varo del programma.
E’quando si sente l’opinione degli stakeholders
che si può formulare un giudizio.
Valutazione di sistema - il modello costruttivista - del
processo sociale
Stakeholder
Con il termine Stakeholder si individuano i
soggetti "portatori di interessi" nei confronti di
un'iniziativa economica, sia essa un'azienda sia
esso un progetto.Fanno, ad esempio, parte di
questo insieme: i clienti, i fornitori, i finanziatori
(banche e azionisti), i collaboratori, ma anche
gruppi di interesse esterni come i residenti di aree
limitrofe all'azienda o gruppi di interesse locali.
Valutazione di sistema - il modello costruttivista - del
processo sociale
QuickTi me™ e un
decompressore TIFF (N on compresso)
sono necessari per visual izzar e q uest' immag i ne.
“Il Gruppo Telecom Italia suddivide i suoi stakeholders
in otto categorie:
clienti, fornitori, concorrenti, istituzioni, ambiente,
comunità, risorse umane e azionisti.
Bilancio e Piano Strategico di Sostenibilità sono stati
ideati in modo da misurare e pianificare la performance
relativa a ciascun stakeholder.”
Valutazione di sistema - il modello costruttivista - del
processo sociale
QuickTime™ e un
decompressore TIFF (Non compresso)
sono necessari per visualizzare quest'immagine.
“Gli stakeholders (portatori di interesse) principali per la
promozione della sicurezza sono i cittadini, i familiari, le
organizzazioni di rappresentanza dei cittadini, le associazioni di
volontariato, gli enti locali, il personale e i dirigenti delle aziende
sanitarie, i sindacati e le assicurazioni. Il coinvolgimento di tutti
questi soggetti permette di acquisire e rinnovare la
consapevolezza dei rischi, identificare possibili nuovi determinanti
degli stessi pericoli e permette, quindi, di realizzare un sistema
integrato per la gestione del rischio clinico.”
Valutazione di sistema - il modello costruttivista - del
processo sociale
Assunti di fondo del modello:
Ogni volta che si attua un programma esso muta a
contatto del contesto;
I problemi sentiti dai vari stakeholders saranno diversi e
quindi le conclusioni non possono essere generalizzate;
La valutazione di un progetto può fornirmi tendenze,
indicazioni che si possono applicare in contesti simili.
Valutazione di sistema - il modello costruttivista - del
processo sociale
Come valutare ?
La valutazione deve essere partecipata;
I valutatori devono interagire con gli
stakeholders;
In presenza di interessi o posizioni in
conflitto i valutatori assumono ruoli di
negoziazione (arbitri - facilitatori);
Il valutatore fa appello alla sua esperienza e
confronta il caso con altri simili.
Valutazione di sistema - il modello costruttivista - del
processo sociale
A che serve la valutazione ?
Finalità conoscitive: comprendere la situazione
attraverso gli attori, definire i problemi, chiarire ciò
che si può attenere con i programmi.
Empowerment: potenziare le capacità dei
beneficiari di utilizzare il programma, favorire il
processo di apprendimento.
Valutazione di sistema
Riassumendo ?
Valutazione di sistema
APPROCCI:
Postivista-sperimentale
Prospettivista-della qualità
Costruttivista-del processo sociale
Valutazione di sistema
FOCUS:
Obiettivi (positivista)
Standard (qualità)
Stakeholders (costruttivista)
Valutazione di sistema
AMBITI DI RIFERIMENTO:
Ciclo della decisione (positivista)
Amministrazione e menagement del programma (qualità)
Il contesto (costruttivista)
Valutazione di sistema
UTILIZZAZIONE:
Strumentale per la politica (positivista)
Gestione e funzionamento dell’amministrazione (qualità)
Conoscitiva-Empowerment (costruttivista)
Valutazione di sistema
VANTAGGI:
serve a programmare meglio (positivista)
serve al buon menagement (qualità)
genera apprendimento per tutti gli stakeholders (costruttivista)
Valutazione di sistema
PROBLEMI:
Gli obiettivi non sono chiari. (positivista)
Che cos’è la qualità/come e chi fissa gli standard ?
(qualità)
Da dove cominciare e dove guardare ? (costruttivista)
Valutazione di sistema
In coclusione ?
Valutazione di sistema
Alla valutazione non ci si può sottrarre
•Divario tra offerta e domanda di fondi pubblici,
•Rivoluzione dell’informazione che incrementa la domanda di conoscenze
valutative
•Norme che vincolano sempre più estesa finanziamenti a risultati
•Legge sulla trasparenza
•Legge sull’autonomia
AUMENTO DI RESPONSABILITA’
ANCHE GLI ENTI PUBBLICI NO-PROFIT DEVONO
INTRAPRENDERE LA STRADA DELLE IMPRESE
ECONOMICHE
Valutazione di sistema
PER LA VALUTAZIONE CI SONO APPROCCI
NON PARADIGMI
In prospettiva sistemica i modelli non si escludono e
possono quindi essere utilizzati a seconda del
programma o del problema
Valutazione di sistema
La valutazione va verso una sempre più
marcata democratizzazione
•Valutare non è un atto esterno neutrale oggettivo.
•Valutare è un’azione che chiede coinvolgimento
partecipazione inclusione.
•Una valutazione efficace genera apprendimento e
produce empowerment.
Valutazione di sistema
Fine !!!
Per imparare dai propri errori bisogna prima
rendersi conto di starli commettendo
A.Bloch