Qualità nell’e-learning
“E-learning e innovazione”
18 Maggio 2010 nel Forum P.A.
Nuova Fiera di Roma
Qualità dell’e-learning
Valerio Eletti
TRIeL - Asfor
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
agenda
A.
Il problema della qualità della formazione on line
B.
Le rilevazioni sul campo nei corsi on line della PA
C.
L’analisi dei risultati e le proposte operative
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
A. Il problema della qualità
La mancanza di qualità nella formazione provoca diversi danni :
 perdita di tempo e di denaro
 mancata preparazione dei discenti alle sfide a cui dovevano essere preparati
 danni al committente (nel nostro caso la PA)
 danni ai clienti (nel nostro caso i cittadini)
Ciò vale in generale.
Che succede quando la formazione è erogata in e-learning?
Prima di rispondere condividiamo il senso che diamo a questo termine:
In questo contesto chiamiamo e-learning
il pacchetto di tecnologie+metodologie
che si aggiungono (non si sostituiscono)
alla cassetta degli attrezzi del formatore
per far aumentare efficacia ed efficienza alla formazione.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
A. Il problema della qualità
Che danni provoca la cattiva qualità nella formazione in e-learning?
Oltre a quelli comuni a tutti i tipi di formazione (perdita di tempo e di denaro, mancata
preparazione dei discenti alle sfide a cui dovevano essere preparati, danni al committente e
ai clienti), abbiamo anche:
 diffidenza dell’utente:
 verso la formazione in generale
 verso le tecnologie digitali in generale
 diffidenza del committente:
 verso la formazione in generale
 verso le tecnologie digitali in generale
Con un doppio danno per il cittadino
che vede minate l’efficienza e l’efficacia di una PA
percepita come incapace di rinnovarsi
e diffidente a tutti i livelli verso le nuove tecnologie
e quindi verso l’innovazione indotta dovunque - nel privato e all’estero dalle potenzialità dell’interconnessione in rete.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
A. Il problema della qualità
La cattiva qualità nella formazione in e-learning
genera dunque un effetto valanga che cresce su se stesso
e che va per questo controllato e troncato sul nascere:
 cosa attuata da anni nelle aziende di dimensioni nazionali e multinazionali,
grazie a meccanismi interni di autocontrollo e di ottimizzazione delle filiere
 cosa da attuare in tempi brevi e in maniera efficace anche nella PA,
se non si vogliono far dilagare gli attuali sensi di disillusione e sfiducia
sia nella formazione sia nelle nuove tecnologie digitali connesse in rete
Ma che cos’è che non funziona dal punto di vista qualitativo
nella attuale offerta formativa in e-learning della PA?
E quali sono invece i punti di forza presenti già oggi che andrebbero potenziati?
Vediamo in sintesi i risultati di un’indagine sul campo
realizzata da TRIeL nel 2009 e da poco conclusa …
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
agenda
A.
Il problema della qualità della formazione on line
B.
Le rilevazioni sul campo nei corsi on line della PA
C.
L’analisi dei risultati e le proposte operative
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
B. Le rilevazioni sul campo di TRIeL
Per verificare nel concreto che cosa funziona e che cosa non funziona
dal punto di vista qualitativo nella attuale offerta formativa in e-learning della PA,
il tavolo TRIeL ha condotto nell’ultimo anno una indagine sul campo
(coordinata dalla Dott.ssa Vaiasicca dell’Isfol, con la collaborazione della Dott.ssa Pratesi),
prendendo a riferimento le analisi di scenario delineate in ricerche europee
come Helios (Horizontal E-learning Integrated Observation System)
o Learnovation (promosso all’interno del Lifelong Learning Programme nel 2008)
e l’analisi Delphi realizzata nel corso del 2008 da Scienter per TRIeL
(i documenti di riferimento si trovano nelle cartelline a disposizione del pubblico).
I rappresentanti dei Ministeri, delle Regioni, degli Enti e delle Associazioni di categoria
presenti al Tavolo TRIeL hanno indicato al gruppo di ricerca i casi di studio da esaminare,
per un totale di 14 esperienze, alcune delle quali coinvolgono decine di aziende o consorzi.
A ciascun caso di studio
i ricercatori Isfol-TRIeL hanno dedicato colloqui approfonditi
e analisi dettagliate di 73 variabili sensibili.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
B. Le rilevazioni sul campo di TRIeL
Senza entrare nei dettagli della ricerca,
possiamo dire che tali variabili riguardano aspetti specifici relativi a:
• Progettazione,
• Competenze obiettivo,
• Target,
• Condizioni esterne di realizzazione,
• Contesto di spendibilità delle competenze acquisite,
• Metodi e strumenti,
• Ruoli intervenienti,
• Processi di valutazione,
• Riferimenti alla comunità,
L’analisi di ciascuna variabile e la valutazione della sua incidenza sul processo
hanno condotto a una valutazione sintetica dei punti di forza, dei punti di debolezza
e degli interventi di miglioramento individuabili per ciascun progetto.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
B. Le rilevazioni sul campo di TRIeL
In conclusione i ricercatori hanno elaborato alla fine di ogni analisi di caso,
una tabella valutativa relativa alla descrizione sintetica di
 Funzionalità,
 Usabilità,
 Contenuti,
 Malfunzionamenti,
 Compatibilità,
 Prestazioni
 Accessibilità.
Il totale dei punteggi attributi - con i rispettivi pesi - a ciascuna delle 73 variabili sensibili
ha dato luogo a una sorta di classifica informale basata su una misura di tipo qualitativo
che permette di delineare le best practices e le worst practices tra i casi esaminati,
dal punto di vista della qualità, dell’efficacia e dell’efficienza dell’intervento formativo.
Vediamo la “classifica” delle esperienze esaminate dal gruppo di ricerca TRIeL Isfol.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
B. Le rilevazioni sul campo di TRIeL
CASI
PUNTI
DESCRIZIONE
C3
66
Ente pubblico che si occupa del miglioramento delle tecniche di acquisizione di competenze nel settore
delle Piccole e Medie imprese che si occupano di import-export
C4
63
Master accreditato per la formazione manageriale di neoassunti del gruppo di 19 aziende che l’ha
promosso
C12
63
Progetto regionale che assicura il lifelong learning, destinandolo all’intera popolazione italiana
C13
63
Progetto di lifelong learning, promosso da un ente pubblico, che si rivolge al settore della formazione
C11
60
Master per l’aggiornamento di competenze per la gestione consapevole delle procedure organizzative
tramite le nuove tecnologie, promosso da un ente pubblico
C8
57
Progetto regionale cofinanziato dal Cnipa che ha proposto l’aggiornamento delle competenze di dirigenti
e funzionari delle P.A.
C9
49
Progetto regionale cofinanziato dal Cnipa che ha proposto l’aggiornamento delle competenze di dirigenti
e funzionari delle P.A.
C6
46
Propone corsi di aggiornamento per un corpo militare
C7
46
Progetto regionale cofinanziato dal Cnipa che ha proposto l’aggiornamento delle competenze di dirigenti
e funzionari delle P.A.
C5
45
Ha coinvolto docenti collegati alla rete promotrice in un percorso strutturato con simulazioni in real time
C10
44
Progetto europeo, promosso dalle P.A. europee, per lo sviluppo di una rete condivisa di saperi ed
esperienze
C14
40
Progetto di lifelong learning per il settore dell’educazione
C1
38
Master per docenti iscritti spontaneamente al progetto
C2
29
Progetto nato da un partenariato coordinato a livello europeo da soggetti privati e pubblici per la
creazione di un innovativo profilo nel settore audiovisivo
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
B. Le rilevazioni sul campo di TRIeL
Una serie di note doverose per la lettura della tabella:
 i dati sono stati trattati in forma anonima
 i primi sei casi (fondo verde) risultano qualitativamente all’altezza dei propri obiettivi
 gli ultimi tre casi (fondo rosso) risultano completamente inadeguati
 i casi centrali (fondo giallo e ocra) hanno gradi diversi di inadeguatezza
Pur mantenendo l’anonimato dei casi esaminati, ci sentiamo di segnalare
come migliore esperienza di utilizzo efficace ed efficiente dell’e-learning nella PA italiana
quella dell’Istituto Commercio Estero (ICE, indicato in tabella come C3),
che ha realizzato ed erogato un pacchetto di corsi blended
dedicati al miglioramento delle tecniche di acquisizione di competenze
nel settore delle Piccole e Medie imprese che si occupano di import-export.
E ora veniamo ai risultati che emergono da questa ricerca,
tenendo conto che sono le criticità gli elementi più preziosi da prendere in considerazione
se si vogliono individuare le linee guida per il raggiungimento della qualità richiesta.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
agenda
A.
Il problema della qualità della formazione on line
B.
Le rilevazioni sul campo nei corsi on line della PA
C.
L’analisi dei risultati e le proposte operative
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
C.1. L’analisi dei risultati
L’analisi dei dati della ricerca TRIeL Isfol,
tenendo conto anche di quanto viene osservato al proposito nella saggistica internazionale,
fa emergere delle criticità ricorrenti in tutti i casi esaminati,
a causa di azioni di progettazione, erogazione e/o valutazione inadeguate.
Vediamo le principali.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
C.1. L’analisi dei risultati
1.
Ogni intervento in e-learning viene ri-progettato ex-novo
senza utilizzare le esperienze
e i repository esistenti in altri settori (anche molto prossimi) della PA
(quanti duplicati si sono fatti, per esempio, dei corsi on line per la privacy
o per la sicurezza? Quanto denaro è stato così sprecato?)
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
C.1. L’analisi dei risultati
2.
Vengono trascurati o sottovalutati fattori critici dei nodi strutturali della filiera:
a. Chiarezza di obiettivi, bisogni e fattibilità
•
Commitment forte e chiaro della direzione e dei responsabili diretti
•
Effettiva rispondenza agli effettivi bisogni formativi degli utenti
•
Attenzione agli intralci burocratici
b. Adeguatezza delle infrastrutture
•
Dotazione tecnologica
•
Tipolgia di connessione
•
Software di supporto e gestione (piattaforma)
c. Preparazione in ambito e-learning di docenti e tutor
d. Attenzione agli utenti finali
•
Verifica dell’alfabetizzazione informatica degli utenti
•
Verifica dell’adeguatezza dei tempi di fruizione
•
Coinvolgimento e motivazione degli utenti
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
C.1. L’analisi dei risultati
3.
La committenza (direzioni del personale o responsabili formazione e sviluppo)
non è preparata a sufficienza:
si trova così a “subire” la superiore preparazione tecnologica e metodologica
di fornitori (di piattaforma, di contenuti, di sviluppo e di erogazione)
di cui non è in grado di valutare capacità, qualità e attendibilità;
per cui accetta spesso prodotti e servizi di scarsa qualità, e in particolare:
a. Piattaforme sw costose e inadeguate
b. Corsi in e-reading (dispense trasferite sic et simpliciter in digitale) …
c. … oppure unità didattiche rigide di prima generazione (CBT e WBT) …
d. … oppure di seconda generazione (brute riprese video di lezioni in aula)
e. Erogazioni senza coinvolgimento e motivazione degli utenti
Il tutto originato dalla sostanziale incapacità di elaborare e gestire i bandi
per l’assegnazione delle diversi fasi del lavoro (dall’analisi dei bisogni formativi,
alla piattaforma, all’instructional design, alla preparazione dei contenuti,
alla produzione delle unità didattiche, all’assistenza on line, ecc) ,
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
C.1. L’analisi dei risultati
4.
Non viene fatta una valutazione sistematica dei risultati ottenuti:
a. lato utente (ex ante, in corso ed ex post):
•
verifica del gradimento,
•
della preparazione ottenuta,
•
della capacità di applicarla sul lavoro
b. lato fornitore (esperti di contenuto, sviluppatori, erogatori):
•
valutazione di efficacia ed efficienza del prodotto/servizio fornito,
•
verifica del raggiungimento degli obiettivi formativi
•
eventuale ri-progettazione di parti del corso
E per definizione
senza feedback non è possibile ottenere miglioramento del processo,
ottimizzazione delle risorse impiegate,
adattamento della struttura committente alle esigenze
imposte dall’ambiente e dalla sua evoluzione continua.
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
C.2. Le proposte operative
Come diretta conseguenza dell’analisi delle criticità emerse dallo studio TRIeL Isfol,
si delineano delle nette linee guida tecniche e metodologiche
che in buona parte si sovrappongono o addirittura coincidono
con quelle che emergono dagli altri gruppi di lavoro di TRIeL (come il Delphi),
da ricerche parallele (come Fortic), e dalla letteratura internazionale.
Qui non entriamo però nelle soluzioni tecniche e metodologiche, utili agli specialisti,
ma diamo i punti di riferimento “politici” per una serie di azioni concrete
che possano evitare al cittadino i danni (di cui si parlava all’inizio)
causati da una cattiva qualità dell’e-learning nella PA.
Sono cinque “raccomandazioni”.
Vediamole una per una…
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
La cattiva qualità dell’e-learning nella PA
provoca un doppio danno per il cittadino
che vede minate l’efficienza e l’efficacia di una PA
percepita come incapace di rinnovarsi
e diffidente a tutti i livelli verso le nuove tecnologie
e quindi verso l’innovazione indotta dovunque,
nel privato e all’estero,
dalle potenzialità dell’interconnessione in rete.
Valerio Eletti
Qualità nell’e-learning
C.2. Le proposte operative

Formare i committenti (oltre ai gestori e ai formatori e-learning) nella PA
(azione avviata dal Cnipa con Stanca e poi non più praticata)

Supportare lo scambio e il confronto di esperienze tra le PA
(ripristino di un osservatorio nazionale sull’e-learning con uno sguardo all’Europa;
evidenziazione e diffusione delle buone pratiche e delle eccellenze)

Formare repository specialistici ragionati
(creare repository di unità didattiche di settore i cui elementi siano certificati;
per esempio scegliere tra quelli prodotti i migliori corsi su privacy e sicurezza)

Creare un albo di fornitori di qualità certificata
(fornitori da individuare analizzando le best practices private e pubbliche)

Creare un ente di ricerca e certificazione che coordini le funzioni sopra descritte
(e/o creare centri regionali coordinati con accesso a repository e studi comuni)
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti
Qualità nell’e-learning
GRAZIE PER L’ATTENZIONE
per approfondimenti o informazioni
[email protected]
Forum PA :: e-Learning e innovazione :: 18 maggio 2010
Valerio Eletti