CampusOne:
Il modello di valutazione, i primi risultati
Roma, 8 ottobre 2003
Roberto Mirandola, Alfredo Squarzoni, Emanuela Stefani, Massimo Tronci
Piazza Rondanini, 48 00186 Roma Tel. +39.06.684411 fax +39.06.68441399 e-mail: [email protected]
CampusOne e la valutazione
La valutazione CampusOne è uno strumento per:
- il governo strategico dell’università
- la progettazione
- il miglioramento continuo
- il confronto, la competizione, la collaborazione
- l’individuazione delle best practices
- il ranking tra corsi di studio di aree omogenee
Il contesto di riferimento
70 atenei
- 21 hanno ampliato il nr. di valutazioni rispetto al progetto iniziale
- 10 hanno previsto l’applicazione della metodologia a tutti i CdS
500 corsi di laurea
16.000 docenti
90.000 studenti
Il sistema di gestione
Gli elementi fondanti sono:
Analisi
Pianificazione
Valutazione
Erogazione
Il Modello: le 5 dimensioni
esigenze
Risorse
Sistema
organizzativo
Risultati,
Analisi e
Miglioramento
soddisfazione
Parti interessate
Parti interessate
Esigenze
e
Obiettivi
Processo
formativo
studente
laureato
Il SISTEMA ORGANIZZATIVO è il tessuto connettivo di tutte le altre dimensioni !!
Struttura del Modello
Domande
5
Dimensioni
della
valutazione
Elementi della
valutazione
Elementi della
valutazione
Elementi della
valutazione
Domande
Domande
Domande
Fattori di guida per
rispondere alla domanda
Nota esplicativa
Fattori di guida per
rispondere alla domanda
Nota esplicativa
Fattori di guida per
rispondere alla domanda
Nota esplicativa
Il Modello: le 5 dimensioni
DIMENSIONI
Sistema Organizzativo
Esigenze e Obiettivi
Risorse
ELEMENTI
Sistema di Gestione
Responsabilità
Riesame
Esigenze delle parti interessate
Obiettivi formativi e politiche
Obiettivi di apprendimento
Risorse Umane
Infrastrutture
Processo formativo
Progettazione
Erogazione e Apprendimento
Servizi di contesto
Risultati, analisi e miglioramento
Risultati
Analisi e Miglioramento
Iniziative speciali di valorizzazione del CdS
Le modifiche al Modello
Modello 2002
Modello 2003
Esigenze e
Obiettivi
Esigenze delle parti interessate
Obiettivi generali e politiche
Obiettivi di apprendimento
A
Sistema
Organizzativo
Sistema di gestione
Responsabilità
Riesame
Sistema
Organizzativo
Responsabilità
Sistema di Gestione
Riesame
B
Esigenze e
Obiettivi
Esigenze delle parti interessate
Obiettivi formativi e politiche
Obiettivi di apprendimento
Risorse
Risorse umane
Infrastrutture
C
Risorse
Risorse umane
Infrastrutture
Processo formativo
Progettazione
Erogazione
Servizi di supporto
D
Processo formativo
Progettazione
Erogazione e Apprendimento
Servizi di contesto
Risultati, Analisi e
Miglioramento
Risultati
Analisi e Miglioramento
E
Risultati, Analisi e
Miglioramento
Risultati
Analisi e Miglioramento
Iniziative speciali
E-learning e servizi ICT
Aggiornamento, formazione
continua
Servizi logistici
Iniziative speciali
E-learning e servizi ICT
Aggiornamento, formazione
continua
Servizi logistici
La scala dei punteggi
Gli elementi contenuti in ciascuna delle 5 dimensioni sono
valutati in base ad una scala con quattro possibili livelli, in
ordine crescente di eccellenza, in funzione dei risultati
raggiunti dal CdS e delle modalità (più o meno sistematiche)
adottate per conseguirli:
 Non Valutabile
 Accettabile
 Buono
 Eccellente
La metodologia ha rappresentato:
uno strumento di lavoro utile a progettare, fare analisi e
migliorare con sistematica continuità;
 un modello per una gestione (strumento di gestione)
pianificata e sistematica di tutte le attività alla base di un
corso di studio;
 un’occasione per fare anamnesi;
 un momento per cominciare ad affrontare tematiche quali
la qualità e la valutazione;
 uno stimolo per avviare, all’interno dei corsi di studio, una
gestione per processi partendo dal coinvolgimento delle Parti
Interessate (stakeholders);
 una proposta dinamica perché caratterizzata da un
processo continuo.

CampusOne e il contesto europeo
UNESCO CEPES 2002
“nessun sistema di classificazione dovrebbe essere utilizzato quale
meccanismo primario o unico di valutazione degli elementi in
ingresso, dei processi e dei risultati dell’istruzione superiore”
BERLINO 2003
I Ministri dell’Istruzione superiore hanno convenuto che entro il 2005
i sistemi nazionali di garanzia della qualità dovranno includere:
- definizione delle responsabilità delle strutture ed istituzioni
coinvolte
- valutazione di corsi di studio o istituzioni, che includano
valutazione interna, valutazione esterna, partecipazione degli
studenti alle procedure e pubblicazione dei risultati
- un sistema di accreditamento, certificazione o analoghe procedure
- partecipazione internazionale, cooperazione e attività di rete
I principi EUA e CampusOne (1/3)
Principi espressi dall’EUA
Autonomia universitaria, strumento di un
sempre maggiore livello di prestazione e
capacità di competizione
Responsabilità
Esplicitazione della missione istituzionale
Esplicitazione degli obiettivi delle
istituzioni e dei corsi
Metodologia e Modello CampusOne
Autovalutazione e valutazione finalizzate
ad
assicurare
responsabilità,
consapevolezza, confronto e trasparenza
Sistema organizzativo
Esigenze ed obiettivi
Esigenze ed obiettivi (Obiettivi di
apprendimento), Processo formativo
I principi EUA e CampusOne (2/3)
Principi espressi dall’EUA
Qualità dei curricula
Qualità del personale accademico
Qualità delle infrastrutture e disponibilità
di attrezzature adeguate
Allocazione delle risorse
Capacità di rendere conto dell’uso delle
risorse umane e materiali e di condurre
verifiche e revisioni sistematiche
Metodologia e Modello CampusOne
Processo formativo
Risorse
Risorse + Servizi di contesto (in
processo formativo)
Risorse
Sistema organizzativo (Riesame)
Risultati, analisi e miglioramento
I principi EUA e CampusOne (3/3)
Principi espressi dall’EUA
Riscontro da parte dei portatori di interesse
Competitività scientifica internazionale
Meccanismi interni di garanzia di qualità
Periodicità della valutazione
Metodologia e Modello CampusOne
Esigenze delle parti interessate
Valore degli obiettivi e delle risorse messe in
campo
Sistema organizzativo (Gestione per
processi)
Risultati, analisi e miglioramento
Autovalutazione annuale, peer review
periodica, Risultati, analisi e miglioramento
Le fasi e gli attori della valutazione
CampusOne
Livello Corso di Studio
Formazione
autovalutatori
Predisposiz.
Rapp. Autov.
Livello Gruppi di Valutazione
Formazione
valutatori
Calibrazione
valutatori
Visita
in loco
Predisposiz.
Rapp. Valut.
Livello Cabina di Regia
Rapporto
finale
FORMAZIONE alla valutazione
• Formazione alla cultura della valutazione
(motivazione)
• Formazione alle metodologie e all’uso degli
strumenti
• Formazione degli esperti (profili; competenze;
professionalità, compiti istituzionali)
L’autovalutazione CampusOne
La formazione degli autovalutatori
 Corsi di formazione e di aggiornamento
 10 moduli formativi per autovalutatori di 40 ore
ciascuno
 284 docenti formati
 Corsi di formazione e aggiornamento su richiesta
presso le sedi
 225 docenti formati nelle sedi
 Seminari
Al fine di utilizzare il RAV come
reale stimolo al miglioramento…
il Gruppo di Autovalutazione deve riassumere i
PUNTI DI FORZA e i PUNTI DI DEBOLEZZA del CdS
come risultanti delle analisi e le valutazioni riportate
nel Rapporto di Autovalutazione
PUNTI DI FORZA E DI DEBOLEZZA EVIDENZIATI NEL RAPPORTO DI
AUTOVALUTAZIONE
DIMENSIONE
PUNTI DI FORZA
PUNTI DI DEBOLEZZA
SISTEMA
ORGANIZZATIVO
…
…
ESIGENZE E OBIETTIVI
…
…
RISORSE
…
…
PROCESSO FORMATIVO
…
…
RISULTATI, ANALISI
E MIGLIORAMENTO
…
…
L’autovalutazione CampusOne
Il Tutoraggio
La Cabina di regia CampusOne ha ritenuto di fornire
ai gruppi di autovalutazione dei Corsi di Studio inseriti
nel Progetto un ulteriore strumento di crescita,
individuando un gruppo di tutori che hanno
interagito e interagiscono con i responsabili dei Gruppi
di Autovalutazione.
I tutori sono uno strumento per accelerare il
processo di comprensione e interiorizzazione del
Modello di valutazione CampusOne da parte dei
Corsi di Studio.
Il tutoraggio
analisi e valutazione dei RAV redatti dai
Gruppi di Autovalutazione e presentazione dei risultati alla Cabina di Regia
TUTOR
aggiornamento alla Cabina di Regia
sull’andamento dell’azione di tutoraggio
per ogni singolo CdS
comunicazione alla Cabina di Regia delle
impressioni, dei commenti e delle proposte dei Corsi di Studio relative all’applicazione del Modello
La valutazione esterna
AUTOVALUTAZIONE e VALUTAZIONE ESTERNA
hanno lo stesso obiettivo
Un Rapporto di Autovalutazione ben preparato, ovvero in cui
si sia risposto in modo sintetico ma puntuale alle domande e
che proceda analizzando con oggettività le diverse componenti
del corso di studio, è la premessa per una costruttiva visita da
parte dei valutatori esterni.
La valutazione esterna CampusOne
è una PEER REVIEW
Processo
strutturato,
indipendente
e
documentato
di
valutazione
di
una
organizzazione da parte di un gruppo di
esperti completamente indipendenti da essa e
aventi almeno lo stesso livello di conoscenza
ed esperienza dei suoi responsabili
(peer = pari)
I VALUTATORI
• SISTEMISTA (68)
Docenti
• ESPERTO DELLA MATERIA (57)
• RAPPRESENTANTE PARTI INTERESSATE (50)
PER UN TOTALE DI 53 GRUPPI DI VALUTAZIONE
Profilo dei Valutatori (1/2)
• SISTEMISTA: è un docente, valutatore esperto di
sistemi qualità e delle applicazioni sistemiche dei
processi alle realtà universitarie
• ESPERTO DELLA MATERIA: è un docente con
esperienza nella classe di laurea a cui appartiene il
CdS; esso dovrà apportare nel gruppo di valutazione
le sue conoscenze in merito alle discipline sviluppate
dal CdS valutato
Profilo dei Valutatori (2/2)
• RAPPRESENTANTE
DELLE
PARTI
INTERESSATE: è l’esperto del mondo del lavoro,
scelto fra i soggetti che hanno interesse al tipo di CdS
in fase di valutazione
La formazione dei valutatori:
i contenuti
Sistemista
Le ISO + Modello CRUI +
Metodologia di valutazione
(tecniche approfondite)
Materia
Modello CRUI +
Metodologia di valutazione
Parti Interessate
Modello CRUI (sintesi
con evidenza contatti PI)
+ Metodologia di
valutazione
Calibrazione
Esercitazione di ogni
valutatore e confronto
collegiale di tutti i
gruppi di valutazione
Il futuro di CampusOne
Costituire una best practice nell’ampia dialettica
universitaria sulla metodologie caratteristiche della
valutazione
Consolidare la metodologia quale punto di riferimento
per le attività di valutazione (interna ed esterna) e di
gestione dei Corso di Studio
Capitalizzare l’esperienza per moltiplicarne gli effetti
positivi sul miglioramento dei Corsi di Studio rendendo
sistematica le valutazioni interne ed esterne
Utilizzare le professionalità sviluppate per trasferire
nelle strutture universitarie i concetti di eccellenza e
qualità totale