Gli obiettivi della valutazione:
miglioramento della qualità,
trasparenza delle informazioni,
efficienza ed efficacia dei processi
Relazione di Gianfranco Rebora
Università Carlo Cattaneo - LIUC
Castellanza
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Concetto generale di valutazione
 riconoscere e determinare il valore (worth e value), il merito, la
validità delle cose, riportando ad uno stato esplicito quei processi
di attribuzione di valore, che spesso avvengono informalmente;
 momento di confronto critico e dialettico con i risultati di
un’attività; la valutazione esamina in chiave retrospettiva la
validità, il merito, il valore di date attività, come didattica, ricerca,
servizi;
 contributo al processo decisionale, offrendo intelligenza delle
situazioni, sviluppando una visione di sintesi fondata su analisi
puntuali e sull’applicazione di metodi specifici.
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Differenza tra valutazione e
misurazione
VALUTAZIONE
 non si tratta di semplice “misurazione”, concetto che presuppone la
disponibilità di riferimenti oggettivi e lascia trasparire l’eliminazione di
ogni incertezza attraverso la corretta applicazione di metodologie
sofisticate
 valutare, invece, implica una componente di giudizio, collegata a una
procedura di analisi e di ricerca, che si vale anche di misure, ma non si
riduce a queste
VALUTA
ZIONE
Università Carlo Cattaneo
MISURA
ZIONE
Prof. Gianfranco Rebora
Differenza tra valutazione e
accreditamento
ACCREDITAMENTO
 Consiste nel riconoscimento di
un determinato standard
qualitativo (minimo o di
eccellenza) ad un programma
o ad una istituzione di
istruzione superiore, da parte
di un organismo a ciò
deputato, in seguito ad una
procedura di verifica e
accertamento di requisiti
prestabiliti
Università Carlo Cattaneo
 La procedura di
accreditamento può prevedere
qualche forma di valutazione
ACCREDITAMENTO
VALUTAZIONE
Prof. Gianfranco Rebora
Differenza tra valutazione e sistemi di
controllo e di gestione
Università Carlo Cattaneo
Valutazione
Rilevazioni
I sistemi o meccanismi
operativi della gestione
“confinano” con i metodi di
valutazione e si prestano a
qualche utile connessione e
sinergia, ma hanno altri scopi
più pratici e immediati, come
controllare i costi, incentivare
il personale, monitorare
l’attività, ma non sono
metodi di valutazione in
senso pieno e proprio, né la
loro presenza basta ad
attivare una vera
valutazione.
Prof. Gianfranco Rebora
Sistemi di valutazione
istituzionalizzati
Sono stabiliti a livello di sistemi complessi di servizi (in genere
nazionale) in base a ragioni come:
 tutela degli interessi generali e dell’utenza in presenza di
asimmetria informativa;
 contrappeso dell’autonomia riconosciuta alle singole
organizzazioni che utilizzano risorse pubbliche;
 garanzia dei risultati di un’attività soggetta a forte
complessità e incertezza.
L’università è uno dei settori più coinvolti nel mondo da
sistemi istituzionali di valutazione
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Conseguenze della valutazione
istituzionalizzata
Occorre ragionare su due livelli:
LIVELLO NAZIONALE
LIVELLO DI UNIVERSITÀ
la valutazione assume
subisce l’influenza del sistema
una valenza di sistema di
nazionale e si apre la
controllo o assicurazione
questione di “essere
della qualità e perde in
proprietari” della valutazione
parte la sua posizione di
distacco dalla gestione
In generale occorre coordinare la valutazione con altre
esigenze come l’accreditamento, ecc.
Università Carlo Cattaneo
Prof. Gianfranco Rebora
2 logiche, 2 anime, 2 famiglie di strumenti…
per la valutazione dell’università




responsabilità
garanzia
rendicontazione
verifica dei risultati
Sanzione positiva o negativa
dei risultati ottenuti
(incentivi e disincentivi,
“premi e punizioni”)
Università Carlo Cattaneo




miglioramento
apprendimento
intelligenza
promozione della qualità
Stimolo, incoraggiamento,
sostegno, aiuto a cambiare
e migliorare il servizio
Prof. Gianfranco Rebora
Le due anime non si combinano
facilmente
 relazione dialettica tra logiche di garanzia e di miglioramento
 in termini meccanici non si combinano
 con molto lavoro organizzativo, molta dedizione, molta pazienza … si può ottenere
una sintesi utile, una connessione, una reciproca fertilizzazione
 che si basa sullo sviluppo di qualità comportamentali, cognitive e relazionali (non
solo tecniche) di individui, gruppi, organizzazioni
 è possibile spostare la frontiera delle compatibilità con l’affinamento delle pratiche e
con lo sviluppo di una cultura organizzativa matura, imperniata su relazioni di
apertura e fiducia reciproca e capace di gestire l’ambiguità e l’incertezza.
La sintesi dialettica è ancor più difficile a livello di un intero
sistema universitario nazionale:
qui la logica di garanzia e sanzione tende
a prevalere quasi inevitabilmente
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Criticità del sistema di valutazione
nazionale
Se prevale l’idea di valutazioni nazionali come contrappeso
dell’autonomia riconosciuta alle università e come garanzia per i vari
stakeholder, con effetti sul finanziamento, sul riconoscimento e sulla
convalidazione di corsi di studi
ALLORA
I metodi adottati devono
garantire l’affidabilità
delle rilevazioni e la loro
effettiva e significativa
comparabilità
Università Carlo Cattaneo
Gli organi sia a livello
nazionale che di Ateneo
devono rispondere
all’esigenza primaria di
affidabilità ed imparzialità,
oltre che naturalmente di
professionalità specifica
Prof. Gianfranco Rebora
Quale valutazione
 Sia a livello di sistema che di ateneo, la valutazione
formale può configurarsi in tanti modi
 Un possibile modello di analisi distingue
idea
metodi
organi
utilizzo
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Componenti di un sistema di valutazione
IDEA
METODI
Opportunismo
paradossi ed
effetti
imprevisti o
indesiderati
UTILIZZO
Impatto
istituzionale
e
organizzativo
ORGANI
Università Carlo Cattaneo
Prof. Gianfranco Rebora
...alcune conseguenze
 il sistema di valutazione non coincide mai con un semplice
metodo;
 i metodi potenzialmente utilizzabili sono tantissimi
 il tipo di utilizzo dei metodi da parte degli organi ha
grande importanza e deve fare i conti con la questione
delle “due anime”;
 l’idea di valutazione affermata in linea di principio può
essere contraddetta nei fatti dagli altri aspetti;
 i sistemi di valutazione restano esposti a comportamenti
opportunistici ed effetti imprevisti e indesiderati.
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Componenti di un sistema di valutazione
IDEA
METODI
DISALLINEATI
UTILIZZO
Confusione
istituzionale
e
organizzativa
ORGANI
Università Carlo Cattaneo
Prof. Gianfranco Rebora
I profili di valutazione delle diverse
attività universitarie
 Didattica
 Ricerca
 Servizi
 presentano diverse
implicazioni per i metodi e le
logiche della valutazione
 richiedono in pratica la messa
in atto di sistemi differenziati
E’ fondamentale la rispondenza dei metodi alle caratteristiche
dell’attività che si intende valutare
Università Carlo Cattaneo
Prof. Gianfranco Rebora
La didattica
CARATTERI SPECIFICI
 presenza di un contesto di
rapporti asimmetrico
(docente/studenti)
 rilievo degli aspetti di qualità
dinamica e unicità della
prestazione
 concetto a volte distorto per
lunga abitudine
dell’autonomia del
professionista docente
Università Carlo Cattaneo
CONSEGUENZE
 una logica di controllo/garanzia
risponde agli aspetti formali delle
prestazioni didattiche (presenze,
orari…)
 le rilevazioni di gradimento degli
studenti vanno utilizzate con cautela
e fuori da una logica troppo formale
di premio/sanzione
 il presidio di standard di qualità in
senso statico si può abbinare allo
stimolo dell’iniziativa e
dell’autonomia dei docenti (qualità
dinamica)
Prof. Gianfranco Rebora
Qualità statica e dinamica nella didattica
QUALITÀ STATICA
 ciò che normalmente ci aspettiamo
dai diversi momenti didattici:
esecuzione di un programma chiaro,
completo, rispondente al contesto
 conformità a uno schema
precostituito che garantisce continuità
di apprendimento
 rispetto di regole fonte di forza
stabilizzatrice e permanenza nel
tempo dei sistemi didattici
 ripetizione nel tempo di contenuti
collaudati dall’esperienza
QUALITÀ DINAMICA
 l’aspetto irripetibile, unico e nuovo
che caratterizza un momento didattico
 è sempre una sorpresa, qualcosa che
trascende la normalità del quotidiano,
la scintilla che innesca coinvolgimento
emotivo e facilita l’apprendimento
 processo dinamico anche interno alla
normalità, che spinge la conoscenza
sempre più avanti
 frutto di versatilità e capacità di
connessione da parte dei docenti
La qualità dinamica emerge dagli schemi statici senza negarli, ma “mettendoli a
dormire” cioè padroneggiandoli così bene che essi diventano una parte inconscia. Il loro
rispetto è così abituale che non ci si pensa più. Nell’apparente monotonia dei rituali
statici della didattica si scopre a volte la libertà dell’interazione dinamica e creativa.
Università Carlo Cattaneo
Prof. Gianfranco Rebora
The mystery of good teaching
 Le recenti ricerche sull’efficacia delle scuole portano l’attenzione sui
fattori che caratterizzano i processi educativi all’interno delle aule e
quindi più legati al rapporto insegnante/studente rispetto a ciò che
avviene ai livelli più elevati come il sistema scolastico e l’assetto di
risorse e organizzativo di una scuola
 si riscopre così a livello scientifico una realtà che fa parte del senso
comune, il fatto che i risultati cognitivi ottenuti dagli studenti sono
soprattutto influenzati dalla qualità degli insegnanti e del processo
educativo e anche dalla qualità della leadership scolastica
 sembra ancora difficile peraltro riportare la qualità dell’insegnamento
a precise caratteristiche osservabili e sulle quali si possa intervenire: si
constata così the mystery of good teaching che sul piano concettuale
è riconducibile alla rilevanza della qualità dinamica
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Qualità ed evoluzione
 La qualità dinamica dei momenti didattici genera le punte alte dell’apprendimento, che
investono non solo aspetti strettamente tecnici, ma padronanza dei concetti e
tensione verso la conoscenza
 la qualità statica della didattica è però garanzia di continuità e progressione
dell’insegnamento
 i due tipi della qualità hanno bisogno l’uno dell’altro per esistere e una tensione tra le
due forze è necessaria per offrire un apprendimento che sia anche crescita della
persona
 l’evoluzione e il cambiamento culturale sono legati alla capacità di stimolare l’uscita da
schemi cognitivi acquisiti
conseguenze
 è utile e necessario garantire la qualità statica con regole e meccanismi
operativi di controllo
 sul piedestallo offerto dalla qualità statica si possono curare condizioni che
favoriscano la qualità dinamica
 ma la qualità dinamica per definizione non si ottiene con regole predefinite
Università Carlo Cattaneo
Prof. Gianfranco Rebora
La ricerca
CARATTERI SPECIFICI
 grande complessità delle
competenze impegnate
 innovazione e
sperimentalità che danno
unicità ad ogni progetto
 tensione strutturale tra
conoscenza stabilita e fonti
di originalità
Università Carlo Cattaneo
CONSEGUENZE
 limiti del ricorso a indicatori
quantitativi
 forte esposizione a
fallimenti dei controlli
 necessità di applicare
expertise specifica alla
valutazione
 necessità di bilanciare criteri
plurimi
Prof. Gianfranco Rebora
Due rischi (R. Brook)
 Prevalenza di una
logica di consenso nei
processi valutativi di
peer review, che
penalizza gli individui
originali (v. rilevanza
della serendipity)
Università Carlo Cattaneo
 Nei cicli di valutazione
ripetuti il successo nelle
procedure stesse della
valutazione può
divenire il vero obiettivo
al posto del successo
nella ricerca
Prof. Gianfranco Rebora
Research
quantity
quality
Amount of evaluation
Università Carlo Cattaneo
Prof. Gianfranco Rebora
I servizi
CARATTERI SPECIFICI
 forte rilievo della qualità
percepita
 evoluzione verso
maggiore complessità
professionale
 integrazione crescente
con didattica e ricerca
Università Carlo Cattaneo
CONSEGUENZE
 utilità del ricorso a metodi
di customer satisfaction
 rilievo della logica di
miglioramento
organizzativo
 crescente attenzione
all’interazione con attività
di didattica e di ricerca
Prof. Gianfranco Rebora
Due opposti rischi di fallimento della
valutazione e dei controlli
IRRILEVANZA
se le procedure di valutazione
sono troppo sconnesse dai
processi cui sono riferite e
diventano un mondo a sé
stante, autoreferenziale
Università Carlo Cattaneo
COLONIZZAZIONE
se i processi di verifica imposti
dall’esterno, attraverso le
informazioni e le azioni
richieste influenzano i valori e
i riferimenti degli attori
organizzativi sino a
deformarne i comportamenti,
allontanandoli dalle finalità
originarie
Prof. Gianfranco Rebora
Estremi che si toccano
Rifiuto ideologico della
valutazione in nome
dell’autonomia della
ricerca e
dell’insegnamento
Concezione
deterministica e solo
quantitativa della
valutazione
Sono accomunati dalla mancanza di disponibilità a mettere in
discussione il proprio modo di operare e di confrontarsi
criticamente con la complessità e la dinamicità del reale
Università Carlo Cattaneo
Prof. Gianfranco Rebora
La questione della proprietà dei sistemi
di valutazione
Anche se la valutazione è prevista dalle regole del
sistema è importante che una università non si limiti a
subirle, ma eserciti una proprietà attiva sui sistemi di
valutazione funzionanti al suo interno
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Esiti della valutazione
 un sistema di valutazione non è una macchinetta destinata
a produrre esiti prevedibili e definiti in partenza;
 esso invece dà luogo a processi e percorsi di interazione
tra soggetti, destinati a trovare ulteriore alimento nelle
dinamiche proprie dell’ambiente interno ed esterno
dell’istituzione;
 la valutazione è esposta quindi per sua natura a fenomeni
di rischio e di incertezza, di apertura a una pluralità di esiti
possibili;
 questi aspetti sono una delle ragioni fondamentali del suo
fascino e del suo valore come risorsa per affrontare il
futuro fuori dalle false certezze di una razionalità solo
apparente e formale.
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Perché è giusto istituzionalizzare la valutazione
dell’università…
ma soprattutto fare valutazione nell’università
Cento ragioni per non fare
valutazione:
 la valutazione costa
 è qualcosa di artificiale, forse
innaturale...
 è conflittuale
 è troppo soggettiva
 incontra resistenze
 non dispone ancora di
metodologie convincenti
 ……
Università Carlo Cattaneo
Almeno un motivo per volerla:
 che le università siano al
servizio della società, degli
studenti, delle persone...
Prof. Gianfranco Rebora
Kafka, “il Castello”
Alle rimostranze del protagonista, vittima delle angherie
dell’amministrazione del Castello, un funzionario risponde:
“Se c’è un servizio di controllo? Tutto è servizio di
controllo. Certo non è fatto nel senso grossolano della
parola perché errori non se ne commettono e, anche se
ciò accade, come nel caso suo, chi può dire alla fin fine
che sia davvero un errore?”
Università Carlo Cattaneo
Prof. Gianfranco Rebora
Orwell, “La fattoria degli animali”
“Clarinetto non si stancava mai di spiegare che enorme era il
lavoro di sorveglianza e di organizzazione della fattoria.
Molto di questo lavoro era tale che gli altri animali, per la
loro ignoranza, non lo potevano capire. Per esempio,
Clarinetto diceva loro che i maiali dovevano ogni giorno
faticare attorno a cose misteriose chiamate “schedari”,
“relazioni”, “registri”. Erano, questi, grandi fogli di carta che
dovevano venire completamente coperti di scrittura e
quando erano così compilati, venivano poi buttati nella
fornace. Ciò era della massima importanza per l’andamento
della fattoria, diceva Clarinetto.”
Università Carlo Cattaneo
Prof. Gianfranco Rebora