Epistemologia della
valutazione universitaria
Una proposta
Prof. Bruno Bordignon
1
Un Manuale di qualità di un sistema integrato
per l’università sarà conforme alle
norme di riferimento dei seguenti sistemi:
• ISO 9001:2008 (qualità)
• ISO 14001:2004 (gestione ambientale)
• OHSAS 18000:2007 (salute e sicurezza sul lavoro)
(Occupational Health and Safety Assessment Series)
• SA 8000:2000 (Responsabilità sociale)
(Social Accountability)[1].
[1] L’obiettivo del SA 8000 è di offrire una norma, basata sugli strumenti internazionali dei
diritti umani e le leggi nazionali sul lavoro, che protegge e dà la facoltà a tutto il
personale sottoposto al controllo e all’influsso dell’impresa – il quale produce prodotti o
offre servizi per tale impresa – includendo il personale assunto dall’impresa come i
fornitori/subappaltatori, sottofornitori e lavoratori domestici.
2
Pedagogia della valutazione, (Roberto Melchiori)
Dobbiamo ricordare il dato storico che,
all’interno dei processi di insegnamento e di apprendimento,
la valutazione è sempre esistita.
Faccio riferimento a tali processi per delimitare
il campo del mio intervento,
poiché la valutazione è insita in ogni azione umana,
almeno implicitamente.
Ed è il punto di partenza dal quale oggi è possibile
sviluppare una Pedagogia della valutazione come scienza.
3
Storia della valutazione
SCUOLA
Teorie relative all’apprendimento e all’insegnamento
Teorie relative a sistemi complessi e unitari
Modelli operativi (teorie) e approcci valutativi (scopo)
Paradigmi scientifici (positivismo, pragmatismo,
naturalismo, realismo)
Orientamento alla qualità
Orientamento alla quantità
4
Segni dell’orientamento
alla quantità
Segni dell’orientamento
alla qualità
Interesse per ciò che è visibile e
condivisibile.
La valutazione si traduce nella misurazione
degli esiti e nelle comparazione con
il modello prestabilito.
Interesse per la dimensione interiore non
manifesta del fenomeno.
Il giudizio nasce dall’interpretazione
dell’evento da parte di una molteplicità
di soggetti aventi molteplici criteri
di valutazione.
I soggetti della formazione sono una parte
dell’oggetto della valutazione e non
intervengono nella costruzione del criterio di
valutazione e del giudizio.
Gli stakeholders vengono coinvolti come fonti
di informazione e di giudizio.
Sono utilizzati criteri di valutazione e
procedure completamente predefiniti ed
esplicitati. L’oggetto viene considerato solo
per gli aspetti che consentono una
comparazione con il modello definito
(indicatori).
Sono utilizzati criteri di valutazione molteplici
e soggettivi e procedure valutative
emergenti dal contesto. L’oggetto e la sua
situazione vengono considerati globalmente.
Si tende alla comparazione classificazione e
generalizzazione.
Prevale il criterio dell’utilità locale sullo scopo
comparativo e sull’intenzione di
generalizzazione.
Prevale l’uso di strumenti quantitativi
eventualmente integrati con informazioni di
carattere qualitativo.
Prevale l’uso di strumenti qualitativi
eventualmente integrati con informazioni di
carattere quantitativo.
5
Università
1880: Victoria University (valutazione esterna):
(Manchester, Liverpool, Leeds)
1991: INQAAHE (International Network for Quality
Assurance Agencies in Higher Education)
2004: ENQA (European Association fon Quality
Assurance in Higher Education)
2007: AVEPRO (Santa Sede)
2009: ANVUR (Italia)
6
Vittadini
da
Hanushek
Efficacia
(Soddisfazione)
Efficienza
(Soddisfazione)
Interno al sistema
Esterno al sistema
Efficacia interna
Efficacia esterna
Effetto dell’ateneo o corso
di laurea sulla capacità di
apprendimento dello
studente (Soddisfazione
dello studente rispetto
all’insegnamento)
Effetto dell’ateneo o corso di
laurea sulla capacità
lavorativa del laureato Capitale Umano potenziale
(Soddisfazione del laureato
rispetto a condizione
lavorativa)
Efficienza interna
Efficienza esterna
Analisi ricavi-costi aziendali
dell’investimento
universitario (Soddisfazione
studente rispetto a risorse
impiegate)
Effetto dell’ateneo o corso di
laurea sul ritorno
dell’investimento in capitale
umano dell’individuo
(Soddisfazione laureato
rispetto a condizione
economica)
7
Valutazione, valore, fini e mezzi
valore come fine
finis operantis, valore morale
valore come risposta ad un
bisogno
Valore di mezzo rispetto alla
persona (valore economico …),
qualità
valore come perfezione
dell’azione o dell’opera
finis operis, razionalità dei
valore come bontà del mezzo
in se stesso, perché legato al
bene
deontologia professionale
mezzi rispetto al fine, cioè
perfezione dell’azione o
dell’opera
8
Teorie insufficienti
Nell’ampia bibliografia di matrice anglosassone
presa in considerazione
non si incontrano autori che vadano oltre
questa definizione di merit e worth,
che vogliamo problematizzare,
affrontare la relazione tra i termini e con il
concetto di value, indagare i dinamismi interni
al soggetto che portano alla attribuzione
o al riconoscimento di merit, worth, value
(Paola Plessi)
9
L’azione di valutazione
Principi noetici
Principi operativi
Prestazione (= intervento valutativo)
10
Requisiti*
Prova Prova Prova
1
2
3
Requisito 1
Requisito 2
Requisito 3
Requisito 4
Requisito 5
Requisito 6
...
* si crocia il requisito che viene valutato dalla prova
11
Valutare per competenze
valore come risposta
ad un bisogno
valore di mezzo rispetto alla
persona (valore economico …),
qualità
valore come perfezione
dell’azione o dell’opera
finis operis, razionalità
valore come bontà
del mezzo in se stesso, perché
legato al bene
deontologia professionale
dei mezzi rispetto al fine, cioè
perfezione dell’azione o
dell’opera
12
Valutare per competenze
Problematiche di principio
Se i processi e persino i risultati si svolgono per buona parte nella persona
stessa dello studente e del docente, ne consegue che la competenza,
(il processo conoscitivo umano competente) in quanto azione umana:
• è, in se medesima, intangibile;
• non è ripetibile, perché ogni azione umana è unica: se questo vale per
i fenomeni fisici (Ilya Prigogine), tanto più per i fenomeni umani!
Pertanto le direzioni possibili per la valutazione di una competenza sembrano le
due seguenti:
• se la competenza, in quanto azione umana, è in se medesima intangibile,
perché consiste in una modificazione che avviene all’interno della persona
umana, la valutazione di essa può avvenire attraverso l’osservazione di
quanto della competenza si rende percepibile, benché non sia mai possibile
valutarla direttamente;
• logicamente una competenza può essere valutata attraverso indicatori
osservabili, storicamente in evoluzione, i quali, a loro volta, possono essere
falsificati, mai verificati;
• se la competenza può essere osservata mediante indicatori, questi, in
quanto esterni, possono essere in qualche modo misurati.
.
13
Valutare per competenze
Problematiche di principio
All’interno dei limiti esplicitati,
sono almeno due le vie possibili
da percorrere per valutare
l’apprendimento dello studente:
• l’osservazione
• la misurazione
14
Valutare per competenze
Quali abilità per una competenza?
• abilità nell'uso delle forme della conoscenza
• abilità nell'uso delle fonti della conoscenza e
della metodologia storica
• abilità nel predisporre metodiche appropriate
di critica o falsificazione di teorie esplicative
• abilità di comunicazione
• abilità di comportamento
• abilità nei controlli dei processi attivati
15
Valutare per competenze
domande
• quali forme di conoscenza la persona competente ha
effettivamente sviluppato nel processo competente attivato
(bisogno, problema, teoria, critica, prestazione)?
• quali saperi di sfondo sono intervenuti nel processo,
attivato dalla persona competente
in vista della prestazione erogata?
• a quali fonti della conoscenza ha attinto?
• con quale metodologia si è accostato ad esse?
• la
le
in
in
persona competente come ha individuato e tematizzato
attese, fecondate dal vissuto,
problemi logici, cioè come li ha strutturati
termini di contraddizione tra asserti stabiliti?
16
Valutare per competenze
domande
• quali teorie esplicative di tali problemi ha elaborato ed a
quale livello di elaborazione?
• quali abilità sono state documentate nella
predisposizione delle metodiche di falsificazione della
teoria esplicativa sono?
• quale progetto di servizio o di prestazione o di prodotto è
stato effettivamente messo in opera?
• come la persona competente ha fatto conoscere al
destinatario della prestazione l'opportunità che gli viene
offerta?
• quali forme di comunicazione ha attivato?
17
Valutare per competenze
domande
• quale progetto di servizio o di prestazione o di prodotto è
stato effettivamente messo in opera?
• come la persona competente ha fatto conoscere al
destinatario della prestazione l'opportunità che gli viene
offerta?
• quali forme di comunicazione ha attivato?
• quali controlli sono stati messi in opera dall’agente
nell’attivazione del processo competente, che viene
valutato?
• con quale livello di performance?
18
Interazione tra valutazione del docente
e prestazione dello studente
Processo competente
del docente
relativo alla valutazione
Processo competente dello
studente relativo alle sue
prestazioni
Attese e bisogni
Attese e bisogni
Problemi
Problemi
Teorie
Teorie
Controlli o critiche
Controlli o critiche
Intervento sulla realtà
Intervento sulla realtà
19
Attese e bisogni
del docente sono
relativi
dello studente sono
relativi
al profilo istituzionale
alla prestazione che deve
realizzare
al corso di studio svolto
al corso di studio frequentato
allo studente
al proprio profilo professionale
all’immagine della propria
persona
al professore
…
…
20
Problemi – teorie – controlli o critiche
del docente sono
relativi
dello studente sono
relativi
agli indicatori di valutazione
ai problemi che emergono dalla
situazione nella quale interviene
la prestazione competente
alle prove di valutazione
alle teorie esplicative di tali
problemi
alla certificazione dello
studente
al controllo di tali teorie
…
…
21
Intervento sulla realtà
da parte del
docente
osservazione della
prestazione dello studente
da parte dello
studente
realizzazione della
prestazione
valutazione della prestazione soddisfazione delle attese e
dello studente sulla base
dei bisogni
degli indicatori previsti
redazione della certificazione
controllo metacognitivo
controllo metacognitivo
comunicazione
comunicazione
deontologia professionale
deontologia professionale
ri-progettazione per un
miglioramento continuo
ri-progettazione per un
miglioramento continuo
…
…
22
Valutazione universitaria
Problematiche di fatto
• Gli indicatori, in base ai quali avviene la valutazione,
non sono molto spesso disponibili, pur avendo riferimento
a diritti originari dello studente, a doveri del docente o
all’autonomia e libertà delle istituzioni universitarie
(scolastiche o formative).
• La realizzazione del profilo professionale di un corso
di laurea da parte di uno studente viene data per scontata
attraverso la somma dei crediti acquisiti (ECTS),
dei voti di valutazione finale dei singoli corsi frequentati e
del voto della tesi di laurea, senza documentare,
per mezzo di un Piano di Studi Personalizzato (PSP),
se e come crediti, corsi e tesi realizzino il profilo terminale
previsto.
23
L’organizzazione della
didattica universitaria
• nei rapporti con le scuole superiori (livello
secondario dell’istruzione)
• nell’accompagnamento degli studenti
• nella definizione dei profili da formare
• nella strutturazione dei corsi
• nell’attivazione di laboratori e tirocini
• nell’attivazione di modelli di didattica on line
• nella valutazione degli apprendimenti degli
studenti …
24
Manager Didattico
In ogni Facoltà, l’implementazione di un sistema
organizzativo della didattica esige la gestione:
• della didattica al suo interno,
• della didattica in relazione alle altre strutture,
sia interne all’ateneo sia esterne (es. Miur),
• dei flussi di informazioni verso la Segreteria
Studenti per consentire una completa e coerente
GESTIONE e certificazione di carriera
25
Procedure per la ricerca:
la descrizione procedurale
permette di:
• documentare il PSP di ogni studente, con la relativa
ri-progettazione, la formazione del singolo docente attraverso un
miglioramento continuo;
• la formazione dei docenti risultante attraverso il confronto
proceduralizzato tra le esperienze di ogni docente, sempre verso un
miglioramento continuo;
• la formazione dei nuovi docenti, che si trovano
delle piste di lavoro già descritte e proceduralizzate;
• la ricerca continua sulla didattica universitaria, che trova come
documentazione il percorso formativo (PSP) di ogni studente,
proceduralizzato attraverso la descrizione dei singoli ECTS, e il per
corso di strutturazione dei profili e del PSP elaborato dai Consigli di
corso.
26