A
P
V 12
N
Salerno
C I D
novembre1999
Nucleo di Valutazione dell’Università di Pisa
La Valutazione della Didattica
nell’Università di Pisa
L’opinione degli studenti
La valutazione della qualità della
didattica nell’Università
I
Indice
• Obiettivi del nucleo di valutazione
dell’Università di Pisa
• Le aree di valutazione nell ’università
• La valutazione della didattica nell’Università
• La metodologia Campusone CRUI
• L’opinione degli studenti
Venerdì 4 Luglio
2
Funzioni del Nucleo di Valutazione
(Legge 29/93 e ss)
• Verificare la corretta gestione delle
risorse pubbliche, la produttività della
ricerca e della didattica, nonché
l’imparzialità e il buon andamento
dell’azione amministrativa
• Determinare i parametri di riferimento
per il controllo
• Attuazione delle azioni di controllo
Venerdì 4 Luglio
3
LA POLITICA DEL NUCLEO DI
VALUTAZIONE DELL’UNIVERSITÀ DI PISA
• svolgere i compiti assegnati dalla legge
tramite il coinvolgimento e la
responsabilizzazione di tutte le strutture
dell’ateneo
• privilegiare lo sviluppo di modelli di
valutazione finalizzati all’autocontrollo
ed al miglioramento continuo
Venerdì 4 Luglio
4
Indice
• Obiettivi del nucleo di valutazione
dell’Università di Pisa
• Le aree di valutazione nell ’università
• La valutazione della didattica nell’Università
• La metodologia Campusone CRUI
• L’opinione degli studenti
Venerdì 4 Luglio
5
• PIANIFICAZIONE STRATEGICA
– OBIETTIIVI E STRATEGIE
– VALUTAZIONE CRE
• AMMINISTRAZIONE E GESTIONE
– CONTROLLO DI GESTIONE
– EFFICIENZA ED EFFICACIA DEI PROCESSI
• RICERCA
– VALUTAZIONE INDIVIDUALE (INDICATORI CRUI, DATA BASE PUBBLICAZIONI)
– VALUTAZIONE DELLE STRUTTURE
• DIDATTICA
– AUTOVALUTAZIONE RICORRENTE E VALUTAZONE ESTERNA PERIODICA
(PEER REVIEW)
– MIGLIORAMENTO CONTINUO
– TRASPARENZA ED IMMAGINE (SINTESI DEI RISULTATI
DELL’AUTOVALUTAZIONI MESSI A DISPOSIZIONE DI TUTTE LE PARTI
INTERESSATE SU SITO WEB DELLA CRUI)
Venerdì 4 Luglio
6
Indice
• Obiettivi del nucleo di valutazione
dell’Università di Pisa
• Le aree di valutazione nell ’università
• La valutazione della didattica nell’Università
• La metodologia Campusone CRUI
• L’opinione degli studenti
Venerdì 4 Luglio
7
La riforma “3+2”: le origini
Rapporto Martinotti 1997: obiettivi della
riforma:
–
–
–
–
–
–
–
Contrattualità del rapporto studenti-ateneo
Differenziazione competitiva tra gli atenei
Flessibilità curriculare
Accreditamento dei corsi di studio
Adozione del sistema dei crediti educativi
Adozione di sistemi di valutazione
Trasparenza
Venerdì 4 Luglio
8
Adozione di sistemi di valutazione
(autonomia, responsabilità, valutazione)
Autonomia:
• nella definizione degli obiettivi, dei
curricula, delle scelte attuative, delle
azioni di “controllo”
• nel processo di programmazione
didattica, come adempimento dal lato
della struttura didattica, della pluralità di
“contratti formativi” conseguenti al
perfezionamento delle iscrizioni
Venerdì 4 Luglio
9
Adozione di sistemi di valutazione
(autonomia, responsabilità, valutazione)
Responsabilità
• nei confronti degli studenti, che nella scelta
del corso di studio danno fiducia ed
investono in una proposta formativa
• a fronte degli investimenti e delle
aspettative delle “parti interessate”
–
–
–
–
–
famiglie
docenti, Ateneo, Murst
lo “stato” ovvero la società
il mondo del lavoro
i “partners”
Venerdì 4 Luglio
10
Adozione di sistemi di valutazione
(autonomia, responsabilità, valutazione)
Valutazione
• interna, attraverso processi più o meno formali di
autovalutazione, anche in collegamento a modelli
condivisi a livello settoriale o intersettoriale
• esterna, come valutazioni indipendenti di confronto
tipo peer review o di assesment a fronte di Modelli di
riferimento (tipo premi internazionali per la qualità o
l’eccellenza) o inserendosi in sistemi di
accreditamento (di seconda parte, di agenzia, di
settore) o di certificazione di terza parte (ISO 9001)
Venerdì 4 Luglio
11
Valutazione/Accreditamento
La valutazione analizza, in un processo dialettico, i
punti forti e quelli deboli pertinenti agli aspetti della
formazione negli istituti superiori, al fine di poterne in
primo luogo individuare le cause e, di conseguenza,
fornirelauna
serie di utili
indicazioni
che consentano
valutazione
potrebbe
corrispondere
alla
sia una garanzia, sia un miglioramento dell’attività
manutenzione
‘di routine’ senza
di un’autovettura
didattica
nel suo complesso,
tener conto da
dei
parte del
proprietario
(controlli
a intervalli
livelli raggiunti
sino
a quel momento
dai
singoli istituti
in questione
regolari in un’officina
autorizzata), mentre
l’accreditamento corrisponderebbe al controllo
L’accreditamento
consiste
in un’operazione
tecnico periodico
statale
per la revisionedio analisi
per il
preventiva, che ha come
oggetto
‘bollino
blù la previsione della
possibilità o meno che un singolo corso di studio o un
istituto superiore siano in grado di raggiungere uno
standard minimo
Venerdì 4 Luglio
12
Accreditamento dei corsi di studio
• prospettiva derivante dalla progressiva erosione
del valore legale del titolo di studio e dall’ampio
livello di autonomia concesso
• da un accreditamento “legale” sulla base di un
formale rispetto da parte di tutti gli atenei dei
requisiti ministeriali (il che potrebbe ridursi ad
una mera fictio iuris) ad un accreditamento
sostanziale, legato a tre criteri:
– valore culturale del titolo proposto,
– rispondenza a esigenze sociali o economiche,
– adeguatezza delle risorse messe a disposizione ed
efficienza /efficacia della loro gestione
Venerdì 4 Luglio
13
Indice
• Obiettivi del nucleo di valutazione
dell’Università di Pisa
• Le aree di valutazione nell ’università
• La valutazione della didattica nell’Università
• La metodologia Campusone CRUI
• L’opinione degli studenti
Venerdì 4 Luglio
14
IL “SISTEMA CLIENTE” DEL CS
Enti territoriali
Aziende
Specifica di
erogazione e
controllo del CS
Progettazione
del CS
Obiettivi di
apprendimento
Esigenze
ed
obiettivi
Interazione con
Clienti e PI
Specifica
del CS
Do
Plan
Processo di
erogazione
del CS
DCS
Valutazione da parte
dell'organizzazione
Act
Risultati
del
CS
Check
Valutazione da
parte del cliente
Analisi e miglioramento
delle prestazioni
del servizio
Società
Studenti
Venerdì 4 Luglio
16
Parti Interessate
Gli studenti
come utilizzatori diretti del servizio formativo
Le organizzazioni, imprese, singole persone
ovvero gli utilizzatori finali o beneficiari, che fruiranno o potranno
trarre benefici dalla professionalità acquisita dallo studente nel
Corso di Studio
L’Ateneo di appartenenza, il MURST, il personale
docente e non docente, i partners e i fornitori, la
comunità civile.
Venerdì 4 Luglio
17
CRITERI DI VALUTAZIONE
• VALORE DEGLI OBIETTIVI
• VALORE DEI RISULTATI
• VALORE DELL’ORGANIZZAZIONE E DEI
PROCESSI
Venerdì 4 Luglio
18
ASPETTI CHIAVE PER LA
VALUTAZIONE
•ORGANIZZAZIONE
•ESIGENZE ED OBIETTIVI
•RISORSE
•PROCESSI
•RISULTATI
Venerdì 4 Luglio
19
VALUTARE
A COSA CI SI PUO’ RIFERIRE
Insieme di proprietà e caratteristiche
che conferiscono ad un prodotto, un servizio,
un processo, un’organizzazione, una persona
la capacità di soddisfare esigenze esplicite od implicite
di una parteVenerdì
interessata
4 Luglio
20
Equazioni di
Maxwell
RISULTATO DI UN PROCESSO O DI UNA SERIE DI
LA
DIDATTICA
PROCESSI
COSA PREME ALLA PARTE
E INTERESSATA
LA RICERCA
Venerdì 4 Luglio
21
SISTEMA
Un insieme di elementi
e relazioni interagenti tra loro al fine di
svolgere una o più funzioni.
Gli elementi e le relazioni del sistema che consentono di
svolgere le funzioni previste sono collegati tra loro in una
catena di processi
IL SISTEMA DI GESTIONE
L’ORGANIZZAZIONE
(COME RISPONDERE AL MEGLIO ALLE
(Ateneo,
Dipartimento,
ESIGENZE
DELLE PARTI
INTERESSATE CON LE
“RISORSE” DISPONIBILI)
Corso di Studio, Corso di Dottorato)
Venerdì 4 Luglio
22
LA VALUTAZIONE
• IL CONTROLLO DEL SISTEMA (QUALITA’
CERTIFICAZIONE ISO
SISTEMA)
PRODOTTO & SISTEMA
• IL CONTROLLO DEI RISULTATI (QUALITA’
PRODOTTO)
ACCREDITAMENTO
VALUTAZIONE
PER UN’
ECCELLENZA
SOSTENIBILE NEL TEMPO
Venerdì 4 Luglio
23
Indice
• Obiettivi del nucleo di valutazione
dell’Università di Pisa
• Le aree di valutazione nell ’università
• La valutazione della didattica nell’Università
• La metodologia Campusone CRUI
• L’opinione degli studenti
Venerdì 4 Luglio
24
Adozione di sistemi di valutazione:
opinione degli studenti
• adempimento di una disposizione legislativa (art 1 L
370/99) che delega al NdV di ogni Ateneo
l’organizzazione di tale attività, presidiata da severe
sanzioni in tema di allocazione di risorse ministeriali
(uno degli elementi richiesti da un possibile
accreditamento ministeriale)
• elemento di monitoraggio/controllo dei processi
formativi, di quelli gestionali od organizzativi e di
contesto (supporto, orientamento, assistenza e
tutorato, placement) ai fini di miglioramento del
servizio
Venerdì 4 Luglio
25
Risultati e Controllo
La Misura dei Risultati
come elemento di
Controllo del Sistema
di Conduzione
dell’Impresa
ACT
PLAN
CHECK
Venerdì 4 Luglio
DO
26
• Chi:
• Cosa:
• Perché:
• Quando:
• Come:
Il Controllo dei Risultati
Le posizioni di responsabilità del CdS
capacità di attrazione, opinioni degli studenti
giudizio delle Parti Interessate
verificare l’efficacia dell’azione di Controllo
del Sistema a fronte degli obiettivi stabiliti
(target), degli “altri” e dei First Of Class
periodicamente, in relazione alla
dinamica di variazione dei fattori
di controllo
tecniche di controllo qualitative
e quantitative
(gli “indicatori”)
Venerdì 4 Luglio
27
•tempo di inserimento nel mondo del lavoro
•livello di soddisfazione delle imprese
•soddisfazione dei laureati a X anni dalla laurea
•% laureati
•durata
media degli studi
• Capacità
di attrazione
•indici di avanzamento negli studi
Risultati
• Efficacia interna
•
•n° studenti immatricolati
Opinioni
degli
studenti
•valore
degli
studenti all’ingresso
•risultati della selezione o dell’orientamento
• Efficacia esterna
•questionari di soddisfazione
sia sui singoli corsi che sul CdS nel suo complesso
Venerdì 4 Luglio
28
Sistema di gestione
Amministrazione
Facoltà
Ufficio Tecnico
Dipartimento A
Processi
e
Procedure
Segreterie
Struttura Organizzativa
Risorse
Strutture
Personale
Costi
Fornitori
Venerdì 4 Luglio
29
Riesame
• Valutazione formale effettuata dal CdS relativamente
allo stato e all’adeguatezza del Sistema di gestione a
fronte degli obiettivi stabiliti ed alla Politica.
• Elementi da considerare
– risultati (capacità di attrazione, efficacia interna
della formazione, opinione degli studenti,
efficacia esterna della formazione, soddisfazione
dei laureati e delle PI...)
– interventi correttivi, azioni di miglioramento
– Indicatori e dati derivanti dalla gestione del
Sistema
Venerdì 4 Luglio
30
DOC 09/02
CNVSU
“Proposta di un insieme minimo di
domande per la valutazione della
didattica da parte degli studenti”
a.a. 01/02 – 02/03
L 370/99 questionari
questionario del NVI a
agli studenti
distribuzione cartacea e
frequentanti 3+2
data entry manuale
NVI
indagini
conoscitive
rivolte agli
studenti
L 370/99 questionari
specifici per i
laureandi - primo e
secondo livello
a.a. 03/04 –
questionario del NVI a
distribuzione manuale,
ma con lettura ottica dei
moduli
a partire dalle prossime
sessioni di laurea sarà
disponibile una sezione
valutativa affiancata al
questionario informativo di
DIOGENE
DOC 4/03
CNVSU
“Proposta di un a.s.
insieme
di domande
2002 –minimo
questionario
L 370/99 questionari
per gli studenti
che
concludono
gli studi”
NVI
-ADI,
compilabile via
ai dottorandi
WEB
L 370/99 questionari
agli specializzandi e
agli iscritti ai Master
di 1° e 2° livello
Venerdì 4 Luglio
31
UN BRANO FAMOSO...
“ORA, ECCO, VEDI, CI VUOLE TUTTA LA
VELOCITÀ DI CUI SEI CAPACE PER
RESTARE ALLO STESSO POSTO.
SE VUOI ARRIVARE IN QUALCHE ALTRO
POSTO DEVI CORRERE ALMENO DUE
VOLTE DI PIÙ.”
“Alice nel paese delle meraviglie”
Lewis Carroll - 1872
Venerdì 4 Luglio
32