Dipartimento Processi Organizzativi ex ISPESL*
Via Alessandria 220/E - 00198 Roma
I sistemi di valutazione
della formazione
2 FEBBRAIO 2012
ENRICO LO SCRUDATO
* Ai sensi dell’art. 7 comma 1 del D.L. 31 maggio 2010 n. 78, convertito con la legge 30 luglio 2010 n. 122 l'ISPESL è soppresso e le relative funzioni sono attribuite all'INAIL
1
Perché valutare i risultati della formazione?
Per migliorare la qualità della formazione
successiva
Per conquistare e migliorare la credibilità della
funzione all’interno dell’organizzazione
Per dare feedback sui risultati conseguiti
ai singoli partecipanti  valutazione
individuale
a tutto il gruppo  valutazione del gruppo
Dipartimento Processi Organizzativi ex ISPESL*
2
I quattro livelli della valutazione
1° livello
valutazione
del gradimento
2° livello
valutazione
dell’apprendimento
Misura il gradimento e la soddisfazione dei
partecipanti alla fine di un intervento
formativo
Consiste nel valutare la differenza nelle
conoscenze e competenze possedute tra
l’inizio e la fine dell’intervento di formazione
3° livello
valutazione
del cambiamento
sul lavoro
Consiste nel valutare quanto è differente il
comportamento sul lavoro dopo l’attività
formativa
Misura quindi il trasferimento sul lavoro di
quanto appreso
4° livello
valutazione
dell’impatto
sui risultati
Consiste nel valutare la differenza tra i
risultati aziendali conseguiti da tutti i
partecipanti prima della formazione e quelli
conseguiti dopo
Dipartimento Processi Organizzativi ex ISPESL*
3
I “famosi” quattro livelli della valutazione
€ -
CORSO
+
Dipartimento Processi Organizzativi ex ISPESL*
Dipartimento Processi Organizzativi ex ISPESL*
Via Alessandria 220/E - 00198 Roma
1° livello
La valutazione
del gradimento
* Ai sensi dell’art. 7 comma 1 del D.L. 31 maggio 2010 n. 78, convertito con la legge 30 luglio 2010 n. 122 l'ISPESL è soppresso e le relative funzioni sono attribuite all'INAIL
5
La valutazione del gradimento
A cosa serve?
la soddisfazione dei partecipanti
è un discreto indicatore del successo del corso
… ma non dell’effettivo apprendimento
… e tanto meno del trasferimento
dell’apprendimento
Come attuarla?
attraverso un questionario di fine corso
È la forma di valutazione più usata in quanto:
economica
semplice da predisporre
standardizzabile
poco “minacciante”
Dipartimento Processi Organizzativi ex ISPESL*
6
Che cosa valutare ?
Il raggiungimento degli obiettivi
L’utilità dei vari argomenti trattati
L’interesse degli argomenti
Il clima d’aula
La congruità del tempo
Gli aspetti didattici (docenza, metodologie e materiali
didattici)
La trasferibilità sul lavoro di quanto appreso
Gli aspetti organizzativi
Che cosa si potrebbe cambiare in futuro
…………
Dipartimento Processi Organizzativi ex ISPESL*
7
Qualche suggerimento per il questionario
Scale associabili a numeri
Poche domande
Inserire domande conclusive
Esempi: ”Come valuta il seminario nel suo complesso?”
“Come valuta la docenza o l’attività didattica nel complesso?”
“Qual è il suo grado di soddisfazione complessiva?”
Anonimo
Scadente
Ottimo
Accurata presentazione ai partecipanti
Consigliata restituzione dei risultati ai partecipanti
Dipartimento Processi Organizzativi ex ISPESL*
8
Il questionario di valutazione…
esempio
1.Ritiene di aver raggiunto gli obiettivi didattici?
SI
NO
IN PARTE
•Conoscere la normativa generale e specifica in tema di igiene e sicurezza del lavoro;
•Conoscere i vari soggetti del sistema prevenzione aziendale, i loro compiti, le loro responsabilità e
le funzioni svolte dai vari Enti preposti alla tutela della salute dei lavoratori;
•Conoscere i rischi e i danni da lavoro, le misure di prevenzione per eliminarli o ridurli, i criteri
metodologici per la valutazione dei rischi, i contenuti del documento di valutazione dei rischi, la
gestione delle emergenze, in particolar modo per gli aspetti normativi;
•Conoscere le modalità con cui organizzare e gestire un sistema di prevenzione aziendale.
1.Come valuta la qualità formativa delle Unità Didattiche?
Adeguatezza Docenza
Validità metodologie
1
1
2
3
4
5
6
2
3
4
5
6
Normativa comunitaria e nazionale in tema di sicurezza e tutela della salute
Principi generali e aspetti applicativi del D.Lgs. 81/2008 e s.m.i.
La gerarchia delle fonti giuridiche. La Costituzione, il Codice Civile e il Codice
Penale. Lo statuto dei lavoratori. Normativa sull’assicurazione obbligatoria
Normativa specifica di riferimento (particolari categorie di lavoro: lavoro
minorile, lavoratrici madri,….)
Le norme tecniche UNI, CEI e loro validità
Dipartimento Processi Organizzativi ex ISPESL*
9
Come elaborare i dati emersi… esempi
valutazione dei moduli didattici (corso RSPP 21 novembre – 7 dicembre 2011)
RSPP
Anno
Mese/edizione
giudizi espressi – VALUTAZIONE MODULI
(scala di valori crescente da 1 a 6)
“Come valuta
complessivamente il
modulo?” MOD 1
“Come valuta
complessivamente il
modulo?” MOD 2
“Come valuta
complessivamente il
modulo?” MOD 3
Scarso
1
2011
I edizione
10,5
2
3
5,3
4
10,5
5,3
5,3
5
42,1
15,8
21,1
47,4
57,9
73,7
-
5,3
-
Ottimo
6
Nessuna
risposta
Dipartimento Processi Organizzativi ex ISPESL*
10
Come elaborare i dati emersi… esempio
valutazione degli obiettivi didattici
RSPP – medie dei giudizi espressi –
*
RAGGIUNGIMENTO OBIETTIVI (range 0-100) scala SI NO IN PARTE
Anno
2011
edizione
GIUDIZIO
SI
I
edizione
NO
IN PARTE
“Quanto ritiene di aver
raggiunto gli obiettivi
didattici?” MOD A
“Quanto ritiene di aver
raggiunto gli obiettivi
didattici?” MOD B
“Quanto ritiene di aver
raggiunto gli obiettivi
didattici?” MOD C
67%
81%
96%
-
4%
-
31,5%
13,7%
4,2%
Dipartimento Processi Organizzativi ex ISPESL*
11
Come elaborare i dati emersi … esempio
valutazione di materiali, contenuti ed utilità sul lavoro
RSPP 2010 – medie dei giudizi espressi –
MATERIALI, CONTENUTI e ESERCITAZIONI** (tutti i moduli)
Anno
Mese/edizione
2011
I edizione
scala di valori crescente da 1 a 6
Adeguatezza
complessiva dei
materiali didattici
Esaustività complessiva
dei contenuti trattati
Quanto ritiene utili i
temi affrontati per
il suo
aggiornamento
professionale?
Modulo A
Valore 6 ottimo
68%
68%
68%
Modulo B
Valore 6 ottimo
47,4%
47%
63%
Modulo C
Valore 6 ottimo
74%
79%
79%
Dipartimento Processi Organizzativi ex ISPESL*
12
Considerazioni conclusive
I questionari possono dare utili indicazioni specie
nelle prime edizioni
al docente per migliorare la
progettazione e l’attività didattica
all’organizzazione per migliorare
le fasi preparatorie e quelle successive
all’intervento
La richiesta di un parere sull’intervento è di per sé
motivante e la soddisfazione aumenta (a posteriori)
con la restituzione dei dati
Se il questionario riprende puntualmente il percorso
può aiutare a fissare gli apprendimenti più
significativi
Dipartimento Processi Organizzativi ex ISPESL*
Dipartimento Processi Organizzativi ex ISPESL*
Via Alessandria 220/E - 00198 Roma
2° livello:
La valutazione
dell’apprendimento
* Ai sensi dell’art. 7 comma 1 del D.L. 31 maggio 2010 n. 78, convertito con la legge 30 luglio 2010 n. 122 l'ISPESL è soppresso e le relative funzioni sono attribuite all'INAIL
18
LA VALUTAZIONE DELL’APPRENDIMENTO
Aspetti cognitivi
conoscenze:
nozioni, concetti, principi, …
capacità intellettuali
applicazione delle conoscenze
per risolvere problemi
ragionamento astratto
Non molto
complessa
Comportamenti interpersonali
Problematico
Capacità operative
Complessità
variabile
Dipartimento Processi Organizzativi ex ISPESL*
19
A cosa serve valutare l’apprendimento?
Rileva il livello di conoscenze e competenze acquisite
Fornisce indicazioni importanti sulla qualità della
didattica
(progettazione, docenza, documentazione, ecc.)
Da’ buone indicazioni su ciò che i partecipanti
potrebbero applicare sul lavoro
Ha un rapporto vantaggi / costi molto elevato
Dipartimento Processi Organizzativi ex ISPESL*
20
Come valutare gli aspetti cognitivi?
Conoscenze
questionario con domande chiuse ad iniziofine dell’attività formativa (valutazione del
differenziale)
questionario con domande chiuse solo alla
fine (valutazione assoluta)
Capacità intellettuali
questionario con domande chiuse ad iniziofine dell’attività formativa
o solo alla fine
sotto forma di mini-casi
su situazioni problematiche
Dipartimento Processi Organizzativi ex ISPESL*
21
Alcuni tipi di domande
Vero / falso
Scelte multiple
Ordinamento
Associaizoni
………………..
Dipartimento Processi Organizzativi ex ISPESL*
22
Domande vero/falso
Esempio
Indica quali sono, tra le voci sotto elencate, compiti
specifici del Servizio di Prevenzione e Protezione (SPP):
VERO
FALSO
1. La nomina del responsabile del servizio di prevenzione e
protezione
2. L’individuazione dei rischi per la salute e la sicurezza dei
lavoratori
3. Fornire ai lavoratori informazioni sulle misure di prevenzione
e protezione adottate
4. Elaborare procedure di sicurezza per le varie attività lavorative
5. Partecipare alla riunione periodica di prevenzione e protezione
Dipartimento Processi Organizzativi ex ISPESL*
23
Domanda a scelte multiple
Esempio
Per l’altezza, cubatura e superficie degli ambienti di lavoro, i
limiti minimi per aziende industriali che occupano più di cinque
lavoratori, ed in ogni caso in quelle con lavorazioni che
comportano la sorveglianza sanitaria sono:
A Altezza netta non inferiore a 3 metri e, per ogni lavoratore,
di una superficie di almeno 2 m2 e di una cubatura non
inferiore a 6 m3
B
Altezza netta non inferiore a 3 metri e, per ogni lavoratore,
di una superficie di almeno 2 m2 e di una cubatura non
inferiore a 10 m3
C
Altezza netta non inferiore a 3 metri e, per ogni lavoratore,
di uno spazio minimo sufficiente ad un normale movimento
in funzione del tipo di mansione svolta
Minori probabilità di azzeccare a caso la risposta esatta
Difficoltà ad individuare distrattori efficaci
Dipartimento Processi Organizzativi ex ISPESL*
24
Associazioni
Esempio
Indica con una freccia la corretta corrispondenza delle serie di elementi
descritti sotto.
1. La certificazione CE la richiede il …
2. L’idoneità al lavoro la rilascia il …
3. Le misure di prevenzione e
protezione sono elaborate dal …
4. L’applicazione delle norme di
sicurezza è obbligo del …
5. Prima della valutazione del rischio
deve essere consultato il …
a) Medico competente
b) Datore di lavoro
c) Lavoratore
d) Responsabile del SPP
e) Rappresentante dei
Lavoratori per la sicurezza
Facili da costruire
Impiego limitato - non tutti gli argomenti si prestano
Dipartimento Processi Organizzativi ex ISPESL*
Dipartimento Processi Organizzativi ex ISPESL*
Via Alessandria 220/E - 00198 Roma
3° livello:
La valutazione del
cambiamento sul
lavoro
* Ai sensi dell’art. 7 comma 1 del D.L. 31 maggio 2010 n. 78, convertito con la legge 30 luglio 2010 n. 122 l'ISPESL è soppresso e le relative funzioni sono attribuite all'INAIL
26
La valutazione del cambiamento sul lavoro
Per misurare il cambiamento
del comportamento sul lavoro
è necessario
trasformare gli obiettivi formativi
in indicatori osservabili e apprezzabili
da ruoli/interlocutori circostanti
i destinatari dell'attività formativa
Dipartimento Processi Organizzativi ex ISPESL*
27
Esempio: …………………….
Livello

min
max
Livello attuale
Desiderato
Verifica
intermedia
Livello raggiunto




 Situazioni/casi in cui si riconosce
l'inadeguatezza del comportamento
...................................
....
Livello attuale
Desiderato
Verifica
intermedia
Livello raggiunto




 Situazioni/casi in cui si evitano
comportamenti disfunzionali
...................................
....
Livello attuale
Desiderato
Verifica
intermedia
Livello raggiunto




 Capacità di mantenere comportamenti
adeguati in mancanza di supporto di altri
...................................
.....


Indicatori

Dipartimento Processi Organizzativi ex ISPESL*
Dipartimento Processi Organizzativi ex ISPESL*
Via Alessandria 220/E - 00198 Roma
4° livello:
La valutazione
dell’impatto
sui risultati
* Ai sensi dell’art. 7 comma 1 del D.L. 31 maggio 2010 n. 78, convertito con la legge 30 luglio 2010 n. 122 l'ISPESL è soppresso e le relative funzioni sono attribuite all'INAIL
29
4° livello: la valutazione dell’impatto sui risultati
Condizioni di fattibilità:
popolazioni abbastanza numerose, che
consentano di ammortizzare l’investimento
il metodo più efficace comporta
l’individuazione di (almeno) un gruppo
sperimentale e di (almeno) un gruppo di
controllo, ...
e di criteri quantitativi di valutazione
Dipartimento Processi Organizzativi ex ISPESL*
30
Esempio di valutazione del IV livello
Corso per docenti interni part-time
sulle tecniche di docenza
Obiettivo: migliorare l’efficacia dei docenti nell’insegnare le nuove
procedure interne rese necessarie dall’introduzione di…….
Indicatori di risultato: i giudizi espressi dai partecipanti dei loro corsi nel
questionario di fine corso
Partecipanti: circa 80 persone
Metodologia
adottabile
due gruppi di 10 persone ciascuno, estratte a sorte tra le
80, partecipano anche ad un seminario sulle tecniche di
docenza (gruppo sperimentale)
le altre 60 partecipano solo ad un corso sulle nuove
procedure da insegnare
dopo le prime 2-3 edizioni dei corsi si confrontano i
risultati dei questionari di gradimento di fine corso.
perché il seminario sulle tecniche didattiche possa essere
giudicato valido occorre che il gruppo sperimentale abbia
ottenuto risultati superiori
Dipartimento Processi Organizzativi ex ISPESL*
31
Qualche approfondimento
I gruppi sperimentali devono essere il più possibile
casuali per non inficiare i risultati
Il criterio di misurazione deve essere collegato con gli
obiettivi del corso e con le modalità classiche di
valutazione della prestazione dei partecipanti
Occorre spesso lasciar trascorrere un discreto lasso di
tempo per consentire agli effetti del corso di
concretizzarsi e per ottenere i dati dai sistemi interni
di controllo
Dipartimento Processi Organizzativi ex ISPESL*