L‘ESPERIENZA DI UNIPD CON I
QUESTIONARI DI ESSE3
Cristina Stocco
10 ottobre 2012
1
Area Didattica e servizi agli studenti
Valutazione degli insegnamenti
• questionario “tradizionale” cartaceo a lettura ottica
Dal 1999/00
al 2009/10
Nel 2007/08
• sperimentazione parallela
di un questionario via WEB
• cambio del sistema informativo studenti e passaggio
ad ESSE3 (aprile 2010)
Dal 2010/11
• utilizzo dei questionari via WEB di ESSE3
Il metodo
 Indagine rivolta a tutti gli studenti iscritti a Corsi di Laurea e laurea
Magistrale attivati presso l’Ateneo di Padova esclusi i Corsi erogati
totalmente con modalità ON LINE
 E’ prevista la compilazione di un questionario via WEB per ogni
docente che svolga almeno 15 ore di attività didattica in ciascun
insegnamento previsto nel piano di studio dello studente per l’a.a. di
riferimento
 Rimane la scheda a risposta aperta cartacea da somministrare in
aula da parte del docente utile a favorire lo scambio diretto delle
opinioni con gli studenti anche durante il periodo di lezione
Il metodo
 Il questionario via WEB è attivo a partire da 20 gg. prima della fine
del periodo ufficiale di lezione fino alla fine dell’a.a. (30 settembre)
 Il questionario via WEB di ogni singola AD è obbligatorio per
l’iscrizione all’esame. E’ prevista una domanda preliminare
attraverso la quale lo studente può rifiutare la compilazione
assolvendo comunque all’obbligo suddetto in modo da consentire
l’iscrizione all’esame anche a chi rifiuta la compilazione
Il questionario
 Le domande proposte nel questionario sono differenziate per
studenti “frequentanti” e “non frequentanti”
 La Sezione “non frequentanti” prevede una domanda per indagare i
motivi della mancata frequenza e altre su aspetti organizzativi e di
contenuto dell’AD non legati all’attività del docente in aula.
 La Sezione “frequentanti” prevede le stesse domande del
questionario “tradizionale d’indagine “tradizionale” per permettere la
comparazione nel tempo e per soddisfare le indicazioni fornite dal
CNVSU (DOC 9/02)
 La scala dei giudizi (da 1 a 10), scelta per tentare di evitare
fenomeni di appiattimento, è la stessa adottata negli anni precedenti
e può essere facilmente ricondotta a quella proposta dal CNVSU
(scala ordinale a quattro modalità di risposta).
I numeri – a.a. 2010/11
Il tasso di copertura
AD-DOCENTE da
valutare
AD-DOCENTE
senza valutazione
AD-DOCENTE
valutate
N
N
%
N
%
5.710
726
12,7%
4.984
87,3%
Tasso di copertura per anno accademico
Dal 2005/06 al 2009/10 indagine “tradizionale”, 2010/11 indagine via WEB
100.0%
90.0%
80.0%
78.1%
70.0%
60.0%
87.3%
83.2%
81.5%
73.2%
62.3%
50.0%
2005/06
2006/07
2007/08
2008/09
2009/10
2010/11
I numeri – a.a. 2010/11
Numero di rispondenti e questionari
Numero di rispondenti
Questionari completi
N
TOT
MEDIA PER
STUD.
38.664
175.929
4,55
Tasso di partecipazione degli studenti
Numero di rispondenti
(esclusi erasmus n.568)
TOT
38.096
di cui
REGOLARI
34.292
Numero di iscritti
TOT
58.333
di cui
REGOLARI
39.688
Tasso di partecipazione
TOT
65,3%
STUDENTI
REGOLARI
86,4%
I numeri – a.a. 2010/11
L’adesione degli studenti. % di questionari compilati
Questionari proposti
agli studenti
175.929
Questionari rifiutati
19.701
11,2%
Questionari compilati
156.228
88,8%
Questionari compilati per livello di frequenza
studente non frequentante
meno del 30%
tra il 30% e il 50%
tra il 50% e il 70%
più del 70%
Totale
N.D.
N.
% VALIDA
14.296
5.591
9,2%
3,6%
8.247
19.326
107.990
155.450
778
5,3%
12,4%
69,5%
100%
19.887 (12.8%)
NON FREQUENTANTI
135.563 (77.2%)
FREQUENTANTI
Il sistema via WEB
Apertura questionari
Apertura questionari
Apertura dei questionari
Schema dei periodi ufficiali a.a. 2011/12
20 novembre
27 febbraio
10 gennaio
Date di apertura questionari
21 maggio
28 maggio
Apertura dei questionari
criticità …
 … se i periodi di lezione rispettano i periodi ufficiali
l’apertura dei questionari avviene correttamente
20 gg. prima della fine • il docente può sollecitare gli studenti e
distribuire il questionario a risposta aperta
effettiva delle lezioni
prima dell’apertura degli • gli studenti trovano il vincolo attivo
appelli
 altrimenti …
è necessario variare puntualmente l’apertura in modo da
garantire a docenti e studenti il corretto funzionamento
del sistema
Il sistema via WEB
Apertura questionari
Mail informativa al docente
Il docente sollecita gli studenti a compilare
il questionario
Apertura questionari
Mail informativa allo studente
Lo studente accede alla pagina
relativa al suo libretto e compila
il questionario
Lo studente può iscriversi
all'esame
Il libretto on line
 È necessario che i libretti siano popolati in maniera corretta e che i
dati dell’offerta didattica siano completi e corretti
Il sistema funziona se tutti i dati relativi all’offerta e
al carico didattico sono presenti in Esse3.
Il libretto on line
criticità …
 … se i libretti degli studenti sono popolati nei tempi previsti
dopo l’apertura dei
questionari
• Lo studente trova nel libretto on line tutte le
icone dei questionari associate alle
AD/docenti da valutare
 altrimenti …
al momento
dell’iscrizione all’esame
• Lo studente dovrà inserire a libretto l’AD
da “ricerca appelli” quindi tornare al
libretto on line per compilare il relativo
questionario e solo a quel punto potrà
iscriversi all’esame
Il sistema via WEB
Apertura questionari
Mail informativa al docente
Il docente sollecita gli studenti a compilare
il questionario
Durante il periodo di apertura il docente
potrà monitorare quanti studenti hanno
compilato il questionario
Al termine della prima sessione di
accertamento del profitto il docente potrà
accedere ai risultati di sintesi parziali
Al termine dell’anno accademico il
docente potrà accedere ai risultati di
sintesi e confronto definitive
Apertura questionari
Mail informativa allo studente
Lo studente accede alla pagina
relativa al suo libretto e compila
il questionario
Lo studente può iscriversi
all'esame
Al termine dell’anno accademico
lo studente potrà accedere ai
risultati in forma aggregata
Elaborazione e diffusione dei risultati
 I dati raccolti sono stati estratti dal DB di ESSE3 ed elaborati dal
Servizio Studi Statistici attraverso propri strumenti (Crystal Report e
APEX)
 I risultati della Valutazione della didattica sono accessibili dai diversi
attori, attraverso la propria password, in un’area WEB appositamente
costruita: www.unipd.it/pg/valutazione_didattica
Gli utenti sono:
 Docenti
(monitoraggio dei questionari e risultati parziali e definitivi delle proprie AD)
 Responsabili delle UOI
(risultati parziali e definitivi di tutte le AD dei CDS della propria UOI)
 Referenti delle Segreterie di UOI
(monitoraggio dei questionari di tutte le AD dei CDS della propria UOI)
 I risultati destinati agli studenti, aggregati per CDS, sono pubblicati nel
sito di Ateneo: Università >Università in cifre >Valutazione della didattica
Altri report
Interesse e soddisfazione degli studenti frequentanti.
Valore medio dei giudizi a livello di AD-Docente per Facoltà.
Facoltà di erogazione
AGRARIA
ECONOMIA
FARMACIA
GIURISPRUDENZA
INGEGNERIA
LETTERE E FILOSOFIA
MEDICINA E CHIRURGIA
….
Ateneo
Indipendentemente da come
Complessivamente,
si è svolto il corso, i
quanto si ritiene
contenuti dell'insegnamento
soddisfatto di come si
sono stati interessanti per
è svolto il corso? (F14)
lei? (F16)
8,04
7,84
8,18
8,28
7,87
8,34
8,01
7,59
7,23
7,65
7,79
7,18
7,82
7,50
8,01
7,47
Altri report
Interesse e soddisfazione degli studenti frequentanti.
Percentuale di AD-Docente caratterizzate da un giudizio medio insufficiente (inferiore a
6/10) e più che sufficiente (maggiore o uguale a 8/10), per Facoltà
(NB: sono evidenziati i valori superiori al valore medio d’Ateneo).
Facoltà di erogazione
AGRARIA
ECONOMIA
FARMACIA
GIURISPRUDENZA
INGEGNERIA
LETTERE E FILOSOFIA
MEDICINA E CHIRURGIA
……..
Ateneo
Indipendentemente da come si
è svolto il corso, i contenuti
dell'insegnamento sono stati
interessanti per lei? (F16)
% più che
% insufficienti
sufficienti
1,9%
59,0%
5,8%
48,5%
1,6%
68,0%
0,0%
65,8%
4,1%
50,4%
1,7%
73,8%
2,9%
58,7%
2,9%
57,2%
Complessivamente, quanto
si ritiene soddisfatto di
come si è svolto il corso?
(F14)
% più che
% insufficienti
sufficienti
4,9%
35,0%
16,5%
28,2%
6,2%
41,4%
2,6%
45,1%
16,0%
24,7%
5,4%
50,1%
8,9%
36,3%
9,4%
34,8%
Prospettive e sviluppi
Autovalutazione, valutazione e accreditamento del sistema
universitario italiano (Documento finale ANVUR del 24 luglio 2012)
Sezione G. La valutazione della didattica e dei servizi di supporto
 Opinione degli studenti frequentanti e non frequentanti
 sullo svolgimento dell’insegnamento, a circa 2/3 del corso
 sull’organizzazione del CDS e sugli esami sostenuti nell’a.a.
precedente, all’inizio di ogni anno accademico
 Obbligo di compilazione e individuazione degli studenti attivi (+ del
25% dei cfu previsti nell’a.a. precedente) e inattivi (- del 25% dei cfu
previsti nell’a.a. precedente)
 Possibilità di verifica della frequenza almeno con la comparazione
tra numero dichiarato dal docente e numero di studenti che hanno
dichiarato la frequenza.
Prospettive e sviluppi
 Garanzia di anonimato
… esigenze di dati per l’analisi (es. confrontare risposte date dallo
stesso studente a questionari diversi insegnamento esame)
 Opinioni dei laureandi
 riferimento Alma Laurea (Profilo dei laureati)
 Opinioni dei laureati a 1-3-5 anni
 riferimento Alma Laurea (Indagine occupazionale)
 Opinioni del docente
… raccolte “in parallelo” a quelle degli studenti
… a quale evento associare la compilazione
… nessuna indicazione sull’obbligo (prima del primo appello)
GRAZIE