La Valutazione della qualità
delle attività didattiche:
modello CampusOne
Giornata CampusOne
Siena, 20 maggio 2003
Emanuela Stefani
Siena - Giornata CampusOne, 20 maggio 2003
I NUMERI
CampusOne è un laboratorio permanente che vede
coinvolti e impegnati:
- 70 atenei
- 270 corsi di laurea
- 9.000 docenti
- 50.000 studenti
Ad oggi al Progetto hanno aderito, oltre ai 270 CdS
CampusOne, 137 CdS “Campus-like”
Elenco atenei e CdS: www.campusone.it
Siena - Giornata CampusOne, 20 maggio 2003
I Campus-Like
I 20 Atenei che hanno richiesto
l’inserimento dei Campus-Like
Bari
Bari Politecnico
Cagliari
Camerino
Cassino
Catania
Catanzaro
Chieti
Milano
Napoli Fed.II
Palermo
Perugia
Pisa
Reggio Calabria
Roma La Sapienza
Salerno
Torino
Trento
Trieste
Venezia IUAV
Valle D’Aosta
19
3
2
2
10
1
1
2
2
1
8
1
45
1
1
18
10
1
1
5
3
Siena - Giornata CampusOne, 20 maggio 2003
Avvio di progetti paralleli per
estendere la valutazione in tutto
l’Ateneo
Bologna
Calabria
Cagliari
Genova
Padova
Pisa
Roma Tre
Salerno
Siena
Torino
I progetti e le esperienze:
www.campusone.it/link/?ID=424
Il Contesto Europeo
•
•
•
•
Magna Charta Universitatum (1988)
Sorbona (1998)
Dichiarazione di Bologna (1999)
Comunicato dei Ministri europei
dell’Istruzione (Praga, 2001)
• Salamanca (2001)
• Berlino (settembre 2003)
Siena - Giornata CampusOne, 20 maggio 2003
I documenti e gli attori
internazionali
• Raccomandazione del Consiglio dell’U.E. del 24
settembre 1998
• Relazione del Consiglio U.E. sugli “Obiettivi futuri e
concreti dei sistemi di istruzione e formazione”
• Comunicazione della Comunità Europea sul ruolo
delle università nell’Europa della conoscenza
• EUA Towards an accreditation scheme for higher
education in Europe
• ENQA Trans-European Evaluation Project (TEEP
2002)
• ELU Etude pour un référentiel partagé d’indicateurs
Siena - Giornata CampusOne, 20 maggio 2003
Gli Obiettivi
• Improve quality (la valutazione come
strumento di miglioramento della qualità)
• Provide good information (la valutazione
come strumento di comunicazione
interna/esterna)
• Value for money (la valutazione come
strumento di garanzia dell’investimento per
lo Stato)
Siena - Giornata CampusOne, 20 maggio 2003
Valutazione istituzionale:
motivazioni e risultati
Sistema
Universitario
Sistema
Ateneo
• Misurare per comunicare e
• Processo di Bologna
migliorare le competenze
• Armonizzazione 3+2
• Valorizzare le esperienze
• Orientamento agli
realizzate
stakeholders
• Competitività
• Orientamento alla qualità
• Accreditamento
Obiettivi e
risultati
• Definizione e
realizzazione di un
modello di valutazione
unico nazionale
• Costituzione Agenzia
Nazionale per
l’accreditamento
Corso di Laurea
• Controllo processi
formativi
• Controllo prodotti
formativi
• Applicazione sistemi di
valutazione
(ricerca/didattica/amministrazio
• Miglioramento
ne)
continuo
• Diffusione di una cultura della
valutazione
• Risposta esigenze
• Creazione di un sistema di
stakeholders
valutazione di ateneo
• Trasparenza dell’informazione • Flessibilità
Value for money
Siena - Giornata CampusOne, 20 maggio 2003
Provide good
information
Improve quality
Principi Comuni
• Autonomia istituzionale
• Indipendenza della metodologia, delle
“agenzie” e delle procedure utilizzate
• Approccio in due fasi:autovalutazione
/valutazione esterna (peer review)
• Pubblicazione di un rapporto
• Follow-up
Siena - Giornata CampusOne, 20 maggio 2003
Approcci
• fitness for purpose
(Valutazione)
la qualità dipende dal livello di
raggiungimento degli obiettivi da
parte dell’unità valutata (Corso,
ateneo, dipartimento)
• standard based
(Accreditamento)
la qualità corrisponde al grado di
aderenza a standard predefiniti
Siena - Giornata CampusOne, 20 maggio 2003
La Metodologia di valutazione
CampusOne
sulla base di una Metodologia che consente di analizzare
e valutare la qualità delle attività didattiche ed il sistema
di gestione dei Corsi di Studio
Fase I:
Autovalutazione condotta
dallo stesso CdS
Siena - Giornata CampusOne, 20 maggio 2003
Fase II:
Valutazione esterna realizzata
da esperti (peer-review)
La Cabina di regia




Acquisisce e analizza:
I Rapporti di Autovalutazione
Le schede di valutazione dei RAV compilate dai tutori
Le relazioni dei tutori




Effettua comparazioni ed analisi statistiche per:
Individuare impostazioni simili
Enucleare fattori critici comuni a più corsi
Evidenziare buone prassi
Siena - Giornata CampusOne, 20 maggio 2003
La Metodologia di
valutazione CampusOne
Siena - Giornata CampusOne, 20 maggio 2003
LA VALUTAZIONE CAMPUSONE
• È svolta a fronte del Modello
CampusOne
• Analizza puntualmente tutti gli aspetti previsti dal
modello, utilizzando adeguate tecniche di verifica,
mirate ad evidenziare la coerenza delle scelte didattiche
e dei processi fatte dal CdS (ad es. struttura degli
insegnamenti, test d’ingresso, propedeuticità fra
insegnamenti, risorse dedicate, ecc.)
Siena - Giornata CampusOne, 20 maggio 2003
Struttura del Modello
Domande
5
Dimensioni
della
valutazione
Elementi della
valutazione
Elementi della
valutazione
Elementi della
valutazione
Siena - Giornata CampusOne, 20 maggio 2003
Domande
Domande
Domande
Fattori di guida per
rispondere alla domanda
Nota esplicativa
Fattori di guida per
rispondere alla domanda
Nota esplicativa
Fattori di guida per
rispondere alla domanda
Nota esplicativa
Il Modello: le 5 dimensioni
esigenze
Risorse
Sistema
organizzativo
Risultati,
Analisi e
Miglioramento
soddisfazione
Parti interessate
Parti interessate
Esigenze
e
Obiettivi
Processo
formativo
studente
laureato
Il SISTEMA ORGANIZZATIVO è il tessuto connettivo di tutte le altre dimensioni!!
Siena - Giornata CampusOne, 20 maggio 2003
Il Modello: le 5 dimensioni
DIMENSIONI
Sistema Organizzativo
Esigenze e Obiettivi
Risorse
Processo formativo
Risultati, analisi e miglioramento
Iniziative speciali di valorizzazione del CdS
Siena - Giornata CampusOne, 20 maggio 2003
ELEMENTI
Sistema di Gestione
Responsabilità
Riesame
Esigenze delle parti interessate
Obiettivi formativi e politiche
Obiettivi di apprendimento
Risorse Umane
Infrastrutture
Progettazione
Erogazione e Apprendimento
Servizi di contesto
Risultati
Analisi e Miglioramento
I principi dell’EUA 1/3
• autonomia universitaria, strumento di un
sempre maggiore livello di prestazione e
capacità di competizione
• responsabilità
• esplicitazione della missione istituzionale e
degli obiettivi delle istituzioni e dei corsi
• qualità dei curricula
Siena - Giornata CampusOne, 20 maggio 2003
I principi dell’EUA 2/3
•
•
•
•
qualità del personale accademico
qualità delle infrastrutture e disponibilità
di attrezzature adeguate
allocazione delle risorse
capacità di rendere conto dell’uso delle
risorse umane e materiali e di condurre
verifiche e revisioni sistematiche
Siena - Giornata CampusOne, 20 maggio 2003
I principi dell’EUA 3/3
•
•
•
•
riscontro da parte dei portatori di interesse
competitività scientifica internazionale
meccanismi interni di garanzia di qualità
periodicità della valutazione
Siena - Giornata CampusOne, 20 maggio 2003
Le modifiche al Modello
Modello 2002
Modello 2003
Esigenze e
Obiettivi
Esigenze delle parti interessate
Obiettivi generali e politiche
Obiettivi di apprendimento
A
Sistema
Organizzativo
Sistema di gestione
Responsabilità
Riesame
Sistema
Organizzativo
Responsabilità
Sistema di Gestione
Riesame
B
Esigenze e
Obiettivi
Esigenze delle parti interessate
Obiettivi formativi e politiche
Obiettivi di apprendimento
Risorse
Risorse umane
Infrastrutture
C
Risorse
Risorse umane
Infrastrutture
Processo
formativo
Progettazione
Erogazione
Servizi di supporto
D
Processo
formativo
Progettazione
Erogazione e Apprendimento
Servizi di contesto
Risultati, Analisi e
Miglioramento
Risultati
Analisi e Miglioramento
E
Risultati, Analisi e
Miglioramento
Risultati
Analisi e Miglioramento
Iniziative speciali
E-learning e servizi ICT
Aggiornamento, formazione
continua
Servizi logistici
Iniziative speciali
E-learning e servizi ICT
Aggiornamento, formazione
continua
Servizi logistici
Siena - Giornata CampusOne, 20 maggio 2003
Al fine di utilizzare il RAV come
reale stimolo al miglioramento…
il Gruppo di Autovalutazione deve riassumere i
PUNTI DI FORZA e i PUNTI DI DEBOLEZZA del CdS
come risultanti delle analisi e le valutazioni riportate
nel Rapporto di Autovalutazione
PUNTI DI FORZA E DI DEBOLEZZA EVIDENZIATI NEL RAPPORTO DI
AUTOVALUTAZIONE
DIMENSIONE
PUNTI DI FORZA
PUNTI DI DEBOLEZZA
SISTEMA
ORGANIZZATIVO
…
…
ESIGENZE E OBIETTIVI
…
…
RISORSE
…
…
PROCESSO FORMATIVO
…
…
RISULTATI, ANALISI
E MIGLIORAMENTO
…
…
Siena - Giornata CampusOne, 20 maggio 2003
Gli indicatori statistici
Coorte CampusOne: è data dagli studenti che risultano
iscritti al primo anno di corso nell’anno accademico di
riferimento (avremo quindi la coorte 2001/2002, 2002/2003
etc.). In questo insieme ritroveremo sia gli immatricolati
(ovvero coloro che si iscrivono per la prima volta
all'università) sia coloro che sono transitati al primo anno del
CdS da altri corsi.
Variabili che si suppone influenzino la carriera universitaria
Sesso
Tipo di maturità
Votazione conseguita alla maturità:
è stata scelta la soglia di 9/10 (54)
perché si assume che rappresenti la
soglia più significativa ai fini dei
risultati universitari
Siena - Giornata CampusOne, 20 maggio 2003
Requisiti minimi per i corsi di
laurea e di laurea specialistica
(CNVSU)
• La numerosità degli studenti iscritti al primo
anno di corso
• La valutazione dei docenti necessari
• La valutazione delle strutture (aule, laboratori,
biblioteche)
Siena - Giornata CampusOne, 20 maggio 2003
Insieme minimo di indicatori
quantitativi (CNVSU)
•
•
•
•
Indicatori di risultato
Indicatori di risorse
Indicatori di processo
Indicatori di contesto
Siena - Giornata CampusOne, 20 maggio 2003
FORMAZIONE alla valutazione
• Formazione alla cultura della valutazione
(motivazione)
• Formazione alle metodologie e all’uso degli
strumenti
• Formazione degli esperti (profili; competenze;
professionalità, compiti istituzionali)
Siena - Giornata CampusOne, 20 maggio 2003
Il primo anno di valutazione
CampusOne
La formazione degli autovalutatori
 Corsi di formazione e di aggiornamento
 10 moduli formativi per autovalutatori di 40 ore
ciascuno
 284 docenti formati
 Incontri nelle sedi (di confronto, per la discussione dei RAV,
etc.)
 Seminari
Siena - Giornata CampusOne, 20 maggio 2003
Il primo anno di valutazione
CampusOne
Il Tutoraggio
La Cabina di regia CampusOne ha ritenuto di fornire ai
gruppi di autovalutazione dei Corsi di Studio inseriti nel
Progetto un ulteriore strumento di crescita, individuando
un gruppo di tutori che hanno interagito e interagiscono
con i responsabili dei Gruppi di Autovalutazione.
I tutori sono uno strumento per accelerare il
processo di comprensione e interiorizzazione del
Modello di valutazione CampusOne da parte dei
Corsi di Studio.
Siena - Giornata CampusOne, 20 maggio 2003
I Tutori
 Analizzano e valutano i RAV redatti dai Gruppi di
Autovalutazione e riportano i risultati alla Cabina di regia
 Riferiscono alla Cabina di regia sull’andamento dell’azione di
tutoraggio per ogni singolo CdS
 Riportano alla Cabina di regia le impressioni, i commenti e le
proposte dei Corsi di Studio riguardanti l’applicazione del
Modello
Siena - Giornata CampusOne, 20 maggio 2003
Il secondo anno:
la valutazione esterna
AUTOVALUTAZIONE e VALUTAZIONE ESTERNA
hanno lo stesso obiettivo
Un rapporto di autovalutazione ben preparato, ovvero in cui si sia
risposto in modo sintetico ma puntuale alle domande e che proceda
analizzando con serietà le diverse componenti del corso di studio, è la
premessa per una costruttiva visita da parte dei valutatori esterni.
Siena - Giornata CampusOne, 20 maggio 2003
La valutazione esterna CampusOne
è una PEER REVIEW
Processo strutturato, indipendente e
documentato di valutazione di una
organizzazione da parte di un gruppo di
esperti completamente indipendenti da
essa e aventi almeno lo stesso livello di
conoscenza ed esperienza dei suoi
responsabili
(peer = pari)
Siena - Giornata CampusOne, 20 maggio 2003
I VALUTATORI
• SISTEMISTA
Docenti
• ESPERTO DELLA MATERIA
• RAPPRESENTANTE DELLE PARTI
INTERESSATE
• RAPPRESENTANTE CRUI
Siena - Giornata CampusOne, 20 maggio 2003
Profilo dei Valutatori 1/2
• SISTEMISTA: è un docente, valutatore esperto di
sistemi qualità e delle applicazioni sistemiche dei processi
alle realtà universitarie
• ESPERTO DELLA MATERIA: è un docente con
esperienza nella classe di laurea a cui appartiene il CdS;
esso dovrà apportare nel gruppo di valutazione le sue
conoscenze in merito alle discipline sviluppate dal CdS
valutato
Siena - Giornata CampusOne, 20 maggio 2003
Profilo dei Valutatori 2/2
• RAPPRESENTANTE
DELLE
PARTI
INTERESSATE: è l’esperto del mondo del lavoro,
scelto fra i soggetti che hanno interesse al tipo di CdS
in fase di valutazione
• RAPPRESENTANTE
CRUI:
tecnico in
rappresentanza della Conferenza che può essere
presente e partecipare alla valutazione in appoggio al
gruppo
Guida alla Metodologia e Modello: www.campusone.it/link/?ID=429
Siena - Giornata CampusOne, 20 maggio 2003
La formazione dei valutatori:
i contenuti
Sistemista
Le ISO + Modello CRUI +
Metodologia di valutazione
(tecniche approfondite)
Materia
Modello CRUI +
Metodologia di valutazione
Parti Interessate
Modello CRUI (sintesi
con evidenza contatti PI)
+ Metodologia di
valutazione
Calibrazione
Siena - Giornata CampusOne, 20 maggio 2003
Esercitazione di ogni
valutatore e confronto
collegiale di tutti i
gruppi di valutazione
Il Calendario delle attività
di valutazione CampusOne 2003
Compilazione secondo
RAV e tutoraggio
Corsi di formazione per i
Valutatori
Consegna secondo RAV
Valutazione esterna
presso le sedi di tutti i
CdS CampusOne
Siena - Giornata CampusOne, 20 maggio 2003
marzo/giugno 2003
marzo/settembre 2003
14 giugno 2003
settembre/dicembre
2003
Gli Strumenti Informatici 1/2
Software sulla
valutazione
•Rapporti di
Autovalutazione
•Indicatori Statistici
•Rapporti di Valutazione
•Gestione di studenti, docenti,
insegnamenti, esami, stage ed enti
Monitoraggio carriera
degli studenti
Siena - Giornata CampusOne, 20 maggio 2003
•Raccolta dettagliata dei
regolamenti didattici
•Calcolo automatico indicatori e
coorte
Gli strumenti informatici 2/2
Questionario dati CdS
CampusOne
Monitoraggio
della spesa
Siena - Giornata CampusOne, 20 maggio 2003
•Struttura Corso
•Didattica
•Servizi
•Grado di attrattività ed
efficacia
•Mondo del lavoro
•Raccolta dati standardizzata di
impegni e spese per azioni di
ateneo e di CdS
•Controllo in tempo reale
dell’andamento della spesa sia a
livello locale che centrale, con
eventuale riparametrizzazione
degli impegni assunti
We don’t know what we don’t know
We don’t do what we don’t know
We won’t know until we measure
We don’t measure what we don’t
value
We don’t value what we don’t
measure
Mikel Harry
Six Sigma Academy
Siena - Giornata CampusOne, 20 maggio 2003