“L’assicurazione della qualità come opportunità di sviluppo”
CONSERVATORIO DI MUSICA
“ARRIGO BOITO” DI PARMA
14 marzo 2009
Metodologie di analisi e di interpretazione dei dati
Franco Torelli
Nucleo di valutazione del Conservatorio di Parma
L’impostazione di base
• Il monitoraggio della soddisfazione ha riguardato tutte le
parti interessate, di studenti, docenti e personale ATA,
ritenendo infatti incompleto il solo dato fornito dagli utenti
diretti, ossia gli studenti.
• Un servizio educativo/formativo, infatti, a maggior
ragione con le peculiarità che caratterizzano il
Conservatorio, non può limitarsi all'obiettivo della
soddisfazione degli utenti, ma deve cercare di
raggiungere anche buoni risultati sotto l'aspetto del clima
interno, del rapporto tra i docenti, ecc. Un buon contesto
interno, infatti, si interfaccia direttamente con
l'erogazione di un servizio su livelli altrettanto elevati.
•
La scelta dei parametri
• Come è ormai consolidato nel mondo dell'impresa
privata e come sta entrando nelle buone prassi anche di
molti istituti che erogano un servizio pubblico, i parametri
su cui valutare la soddisfazione non sono stati decisi a
tavolino (si sarebbe trattato di una scelta arbitraria e
inevitabilmente distorta da tanti fattori consci e inconsci),
bensì per mezzo di una serie di colloqui preliminari
(individuali e soprattutto di gruppo) con i tre target
interessati.
• Grazie a questi focus group, i cui risultati sono esposti a
parte, è stato possibile individuare i parametri chiave,
ossia quelli che maggiormente possono contribuire a
generare soddisfazione o insoddisfazione.
• Mentre per il corpo docente e per il personale
ATA il campione dei rispondenti si può ritenere
sostanzialmente
corrispondente
all'intera
popolazione statistica di riferimento, nel caso
degli studenti il campione dei rispondenti
rappresenta una quota, seppur maggioritaria,
dell'universo statistico di riferimento
• È del resto inevitabile, in questi casi, che si
verifichi una mancata collaborazione da parte di
una quota di potenziali rispondenti.
Il campione
• D'altra
parte,
l'ampiezza
numerica
dei
questionari raccolti e correttamente compilati
consente
corrette
proiezioni
all'intera
popolazione statistica con un errore di
campionamento alquanto contenuto (0,14 punti
di soddisfazione, nella scala adottata da 1 a 5),
con il livello di confidenza universalmente
accettato per questo genere di indagini (95%),
nell'ipotesi prudenziale di un grado di
eterogeneità delle risposte medio-elevato
(peraltro verificato solo per alcuni parametri di
soddisfazione).
Tre tipologie di indicatori
• L'indice medio ponderato di soddisfazione: si tratta di un
indicatore che, con un'operazione di standardizzazione,
varia da -1 (massima insoddisfazione) a +1 (massima
soddisfazione) valori positivi di questo indice
evidenziano una sostanziale soddisfazione degli utenti,
proporzionalmente all'avvicinarsi a +1 di questo indice.
Per calcolare questo indicatore, si è attribuito valore 1
alle risposte "molto soddisfatto", valore 0,5 alle risposte
"piuttosto soddisfatto", valore 0 alle risposte
"mediamente soddisfatto", valore -0,5 alle risposte "poco
soddisfatto", valore -1 alle risposte "per niente
soddisfatto"
Si è poi proceduto a calcolare una media ponderata dei
valori, impiegando come sistema di pesi la frequenza
relativa delle risposte.
• La variabilità, ottenuta attraverso il calcolo della
deviazione standard, che è l'indice solitamente utilizzato
per misurare la dispersione delle risposte o, al contrario,
la loro concentrazione intorno alla media.
Un ridotto valore della deviazione standard evidenzia un
elevato grado di omogeneità delle risposte, al contrario,
una elevata entità della deviazione standard indica una
forte eterogeneità delle risposte rispetto alla media (molti
intervistati decisamente soddisfatti, ma anche molti
intervistati insoddisfatti).
Avendo utilizzato una scala da 1 a 5, il valore minimo
della deviazione standard è pari a zero, quello massimo
è pari a 2.
•
•
Infine, si è identificato un indicatore di importanza dei singoli parametri.
Chiedere agli intervistati, per ogni parametro, oltre alla soddisfazione anche
l'importanza, avrebbe significato raddoppiare i tempi di compilazione del
questionario, con il rischio di una caduta drastica del tasso di risposta e
della qualità delle risposte raccolte; si è perciò deciso di inserire nel
questionario, per ogni area di fattori considerati (es. la didattica, la
funzionalità delle strutture, ecc.), una domanda sulla soddisfazione
generale, relativamente a tale area.
In fase di elaborazione, si è poi proceduto a fare una analisi di correlazione
lineare tra la soddisfazione dei singoli parametri e la soddisfazione generale
relativa all'area a cui questi parametri appartengono.
Nel caso di correlazione positiva, il coefficiente di correlazione (r) cresce
(fino a un massimo di 1) all'aumentare della precisione del legame tra la
soddisfazione generale e la soddisfazione sul singolo parametro.
Un valore elevato di r può quindi fare ipotizzare una importanza del singolo
parametro nel generare la soddisfazione complessiva dell'area a cui il
parametro stesso appartiene.
Alcuni risultati relativi agli studenti
•
L'area della didattica, nel suo complesso, si posiziona su valori positivi di
soddisfazione, con qualche eccezione, tuttavia, riferibile alla numerosità
delle master class, alla numerosità, alla qualità e all’incidenza didattica
delle esibizioni artistiche.
•
Assolutamente positiva risulta l'area relativa al corpo docenti, sotto l'aspetto
della soddisfazione dichiarata. Particolare importanza sembra affiorare per
la qualità della formazione ricevuta, soprattutto per quanto riguarda la
discipline caratterizzanti, parametro quindi in grado di condizionare
sensibilmente la soddisfazione relativa all'intera area.
•
L'adeguatezza del numero di ore di lezione agli obiettivi: nell'ambito delle
discipline caratterizzanti, risulta l'aspetto contraddistinto dalla più elevata
eterogeneità di risposta.
• Infine, sulla funzionalità delle strutture, tutti i
parametri riscuotono giudizi positivi, in termini di
soddisfazione, ad esclusione della disponibilità
di spazi per lo studio degli studenti. Particolare
importanza
sembra
attribuita
alla
conservazione e manutenzione aule, che risulta
anche l'aspetto (insieme alla pulizia delle aule)
che presenta la maggiore difformità di opinioni.
• Al contrario, forte omogeneità si rileva in
corrispondenza
del
servizio
biblioteca/mediateca/museo e degli
orari di
apertura della struttura.
Alcuni risultati relativi ai docenti
• In complesso, l'area della didattica riscuote un livello di
soddisfazione positivo, seppur con negatività di entità
contenuta in riferimento ad alcuni parametri. All'interno di
questa area, particolare importanza è rivestita dalla
qualità delle proposte formative
• Una discreta omogeneità di opinioni emerge a proposito
sia della soddisfazione generale relativa all'intera area,
sia per la quantità delle discipline del corso; al contrario,
pareri piuttosto variabili tra i singoli docenti affiorano in
corrispondenza della coerenza delle master class con i
corsi e della numerosità delle master class.
Studenti: soddisfazione relativa alla funzionalità delle strutture
1,00
0,80
0,60
0,40
0,20
0,00
-0,20
-0,40
-0,60
-0,80
-1,00
Orari di Spazi per Spazi per Manutenzi
apertura la didattica lo studio one aule
Indice di soddisfazione
0,46
0,04
-0,52
0,17
Pulizia
0,33
Qualità
In
Strumenti
strumenti compless
nelle aule
nelle aule
o
0,15
0,15
0,21
Studenti: soddisfazione relativa al corpo docenti - discipline caratterizzanti
1,00
0,50
0,00
-0,50
-1,00
R appo rti co n Qualità della A deguatezza
i do centi
fo rmazio ne
o re lezio ne
Indice di so ddisfazio ne
0,60
0,42
0,11
A deguatezza
studio
individuale
C o rrettezza
di
valutazio ne
M o dalità
esami
In
co mplesso
0,06
0,39
0,29
0,44
Soddisfazione relativa alla funzionalità delle strutture: confronto tra
opinioni degli studenti e pareri dei docenti
0,60
Orari di apertura della struttura
studenti
Disponibilità di spazi per la didattica
Disponibilità di spazi per lo studio
-0,60
0,00
0,00
Conservazione e manutenzione aule
0,60
Pulizia
Disponibilità di strumenti nelle aule
Qualità degli strumenti nelle aule
-0,60
docenti
Soddisfazione relativa all'organizzazione di alcuni servizi: confronto
tra opinioni degli studenti e pareri dei docenti
0,5
Segreteria: orari di accesso
studenti
Segreteria: informazioni ricevute
0
-0,5
0
0,5
Rapporti con i coadiutori/bidelli
e con i tecnici
Servizio biblioteca, mediateca,
museo
-0,5
docenti
Soddisfazione relativa alla didattica: confronto tra opinioni degli
studenti e pareri dei docenti
Quantità delle discipline del corso
0,3
studenti
Qualità delle proposte formative
Distribuzione carichi formativi tra
discipline caratterizzanti e non
0
-0,3
0
0,3
Adeguatezza numero di ore di lezione
individuale agli obiettivi proposti
Adeguatezza reali possibilità di studio
individuale agli obiettivi proposti
Numerosità delle master class
-0,3
docenti
Coerenza delle master class con il corso