La valutazione degli
outcome: esperienza sul
campo di una società
scientifica in prima linea
Matteo Piovella
Costantino Bianchi
http://www.soiweb.com
Congressi
Nazionali
• La Società
Oftalmologica
Italiana è una
Società Scientifica
con 126 anni di
storia e il 65% degli
Oculisti italiani sono
suoi Soci.
Congressi
Internazionali
Oculisti Iscritti
SOI
Il target prioritario degli eventi scientifici SOI
è la qualità. La SOI, da anni già dotata di un
articolato sistema di verifica interna, non ha
dovuto modificare il suo comportamento con
l’avvento del sistema ECM.
La SOI è infatti in grado di:
• gestire autonomamente un sistema di
aggiornamento professionale e di
accreditamento per tutti i suoi soci;
• fornire assistenza e know out alle altre
Società scientifiche.
E’ stato attivato un articolato, razionale, ed
efficiente sistema di selezione delle
presentazioni, che si fonda su:
•
•
•
•
indicazione delle tematiche da trattare;
selezione delle presentazioni (Commissione
scientifica, Comitati di lettura);
verifica in tempo reale da parte di incaricati dello
svolgimento dell’evento (presenza e puntualità
dei relatori, professionalità nella presentazione,
qualità delle immagini, ecc.);
votazione dei contenuti e dei relatori da parte dei
discenti.
ATTIVITA’ CERTIFICATA ECM A
CONGRESSI ISTITUZIONALI
Anni 2003-2005
DUE CONGRESSI ALL’ANNO
• Congresso di Primavera:
INTERNAZIONALE, 3-4 giorni, circa 100
eventi ( 50 sessioni e 50 corsi, in contemporanea
in circa 10 aule). Oltre 2000 partecipanti più gli
espositori.
• Congresso d’Autunno:
NAZIONALE, 4 giorni, circa 150 eventi ( 65
sessioni, 85 corsi, in contemporanea in 14 aule).
Oltre 3000 partecipanti più gli espositori.
FASE preparatoria attività ECM
ai Congressi.
• Preparazione programma, documenti iniziali
per le richieste di accredito.
• Accredito ministeriale, richiesto
singolarmente per ogni Sessione o Corso.
• Preparazione Scheda di valutazione e Test di
Apprendimento (Domande e risposta esatta).
• Realizzazione volumetto per scansione
risposte dei partecipanti.
• Implementazione delle attività automatiche di
scansione del materiale.
ATTIVITA’ DI CONTROLLO
ECM ai CONGRESSI.
VARCHI.
• Badge personale con barcode
• Coupon personale nominativo per ogni
ingresso ai corsi e per prenotazioni sessioni,
con barcode.
• Controllo accessi ad ogni passaggio del
partecipante tramite lettura del barcode, con
varchi su ogni porta delle sale.
• Oltre 50 terminali di controllo d’accesso attivi
in contemporanea.
• Controlli per duplicati di badge e controlli di
congruenza sulle presenze (ubiquità!).
ATTIVITA’ DI INFORMAZIONE
ECM ai CONGRESSI.
• Postazione consegna-ritiro dei test, con
personale qualificato in grado di dare le
opportune spiegazioni.
• Estrema cura nel dare a tutto il personale
congressuale la conoscenza di base
necessaria per rispondere a quesiti
riguardanti le problematiche ECM.
• Volumetto per risposte ai test ECM con
contromarca timbrata e riconsegnata al
partecipante.
DOPO IL CONGRESSO:
CONTROLLO ORARI
• La ridondanza dei sistemi di lettura permette
di lavorare su una media di 9 rilevazioni a
persona giornaliere.
• Controlli automatici di congruenza sugli orari
rilevati per ogni partecipante, pause comprese
con somme dei tempi di permanenza reale in
sala.
DOPO IL CONGRESSO:
CONTROLLO ORARI
Primo Screening
• partecipanti NON aventi diritto ai crediti per
mancanza di orario completo dell’evento;
• scansione completa dei test (sia
Valutazione sia Apprendimento ) e della
parte anagrafica necessaria.
DOPO IL CONGRESSO:
CONTROLLO TEST
Secondo screening
• partecipanti NON eventi diritto ai crediti per
mancanza di test compilati.
• Controllo risposte esatte al test di
apprendimento.
DOPO IL CONGRESSO:
CONTROLLO TEST
Terzo screening
• partecipanti NON aventi diritto ai crediti per
risposte errate al test di apprendimento.
• Database finale aventi diritto ai crediti per
ogni evento.
CERTIFICAZIONE:
chiusura del ciclo.
• Preparazione della lista ministeriale dei
partecipanti ad ogni evento accreditato.
• Invio liste al Ministero.
Non
• Invio attestati al partecipante.
sempre!
PROBLEMATICHE
• Grandi volumi di attività.
• Sovrapposizione delle attività di una
manifestazione su quelle delle successive.
• Iter continuo dei rilasci di accreditamenti.
• Continua attenzione alle dead-line per gli invii
e le chiusure delle pratiche.
• Necessità di struttura efficace ed efficiente.
• Forti investimenti in sistemi informatici.
• Ritardato invio dei crediti da parte del
Ministero.
OSSERVAZIONI
E
RIFLESSIONI
Essere l’unica Società Scientifica in campo
oculare si è rivelato per la SOI un grande
vantaggio. Non abbiamo infatti avuto un
problema lamentato da altre Società, che
hanno dovuto patire sistematici referaggi
“contro” non per scarso valore dei loro
eventi ma per partito preso da parte di
referee appartenenti ad altre parrocchie.
Tuttavia, anche se non è un nostro
problema, esso richiede una modifica del
sistema
attuale
(Autorità
garante
indipendente dalla Commissione ECM).
La SOI ritiene del tutto irrazionale
parametrare il numero di crediti concessi in
funzione inversamente proporzionale al
numero di partecipanti. Se ben organizzato
un corso con 100 partecipanti è in grado di
fornire lo stesso skill transfer di un corso
per 15 persone.
L’esperienza maturata suggerisce di dare
maggior peso, per la concessione di crediti,
alla tipologia del corso (p.e. wet lab),
piuttosto che a quanti vi partecipano..
La SOI ritiene quindi che i congressi
nazionali delle Società Scientifiche
debbano essere valutati con tipologia
loro propria e non come un unico
evento formativo. Le regole attuali
comportano un numero risibile di crediti
ECM e obbligano la Società a richiedere
l’accreditamento per ogni singolo
evento, con gravissimo onere
organizzativo e finanziario.
Nel Congresso di Roma del 2004 non
furono accreditati tutti gli eventi.
Mentre i corsi e le sessioni senza crediti
ECM andarono praticamente deserti, fu
necessario far intervenire le forze
dell’ordine perché i congressisti
cercarono di forzare gli accessi alle aule
accreditate.
SINTESI ATTIVITA’ ECM
2003-2005
EVENTO
Internazionale FIRENZE 2003
Nazionale ROMA 2003
Internazionale NAPOLI 2004
Nazionale ROMA 2004
Internazionale FIRENZE 2005
Nazionale MILANO 2005
TOTALI
PARTECIPANTI
2375
3693
2127
3477
2527
3085
17284
EVENTI
PER
MEDIA
TEST ACQUISITI ATTESTATI
CREDITI
ACCREDITATI
RILASCIATI PARTECIPANTI ATTESTATI per COMPLESSIVI
Valutazione e
e controllati
aventi diritto (2) PARTECIPANTE
Apprendimento (1)
singolarmente
32 su 34
126 su 150
76 su 103
118 su 154
83 su 103
98 su 114
MEDIA CREDITI
per
PARTECIPANTE
8900
15876
6184
10941
8503
10664
4482
7097
2544
5434
4710
4802
1633
2404
1024
1889
1465
1627
2,74
2,95
2,48
2,88
3,22
2,95
15208
12715
5370
10137
7878
6907
9,31
5,29
5,24
5,37
5,38
4,25
61068
29069
10042
2,89
58215
5,80
Accredito ministeriale ancora da ricevere per qualche evento in ogni manifestazione.
(1) I numeri indicati si intendono a coppia ( Scheda di valutazione e Test di apprendimento ): quindi i test reali trattati sono il doppio.
(2) Partecipanti con reali diritti per ricevere i crediti ( Test compilati e corretti, tempo di sala congruente, dati anagrafici presenti )
Per 7 congressi nazionali tenuti negli
ultimi 4 anni la SOI ha versati nelle
casse della commissione ECM più di
120.000 €, ricevendone in cambio un
servizio discutibile, blocco dei crediti di
180 eventi per quasi 2 anni,
sospensione di referee e “richiami” da
parte della Commissione ECM stessa.
La SOI propone che l’accreditamento
dei Congressi nazionali, organizzati da
Società Scientifiche che abbiano la
rappresentanza di tutta la specialità,
debbano avere un classificazione loro
propria, sia per quanto riguarda la
concessione di crediti, sia per quanto
riguarda l’esborso.
La strategia ministeriale, avallata da alcune
componenti universitarie, di “uccidere” i
congressi (sperando forse di avere dall’industria
più sconti sui farmaci in cambio di una minor
spesa per sponsorizzazioni?) è profondamente
errata.
Prendendo spunto e alibi della istituzione della
ECM, l’industria si è immediatamente attivata
ad organizzare ancor più congressi in proprio.
La SOI ritiene irrazionale (o forse fin troppo
“intelligente”, ai limiti del Codice Penale) che
vengano concessi più crediti ad eventi
formativi totalmente pagati dall’industria e
organizzati da provider privati - che hanno
per mission il lucro-, rispetto ad eventi
organizzati dalle Società Scientifiche, che
hanno per mission l’elevazione del livello
scientifico e professionale dei loro iscritti.
A questo proposito, qualcuno dovrebbe
spiegare a tutta la comunità scientifica
italiana perché da una parte sia stata
concessa la qualifica di provider a imprese
private, che operano praticamente senza
alcun controllo (e la concessione di
organizzare eventi ECM a operatori privati è
già molto criticabile di per sé);
mentre tale qualifica è stata invece negata
alla stragrande maggioranza delle Società
Scientifiche, che hanno una miriade di
controlli esterni ed interni, non ultimo e non
meno importante quello che i loro dirigenti
devono rendere conto del loro operato a chi li
ha eletti.
I Ministri e i Capi Dipartimento
passano;
Le Commissioni decadono;
Le Società Scientifiche restano.
Matteo Piovella & Costantino Bianchi