Conferenza Permanente delle Classi di Laurea delle Professioni Sanitarie
Meeting d’autunno
Portonovo di Ancona, 03-04 Ottobre 2008
La possibile trasferibilità del
“Progress Test”
nei Corsi di Laurea delle Professioni Sanitarie
Paolo Pillastrini (Presidente C.d.L. in Fisioterapia)
Lucia Bertozzi, Maria Teresa Naldi, Viviana Montevecchi,
(Coordinatori C.d.L. in Fisioterapia- Università di Bologna )
Gruppo di lavoro sul progress test . Mettersi in contatto con [email protected]
Prossimo incontro 25 novembre 08 ore 10-16 presso aula 1, padiglione 11 ,
Policlinico S. Orsola Malpighi, via Massarenti 9, Bologna
Dare conferma partecipazione via mail
Key Points
1)
Quale strumento valido e affidabile può permettere a noi e
agli
studenti
di
valutare
in
maniera
formativa
gli
avanzamenti graduali e le eventuali perdite di conoscenze?
2)
Ci può essere utile l’esperienza dei Corsi di Laurea in
Medicina che hanno aderito al progetto “Progress test”?
3)
Ci sono analoghe esperienze a Maastricht, all’Università del
Missouri e a McMaster in Canada?
4)
Il “Progress Test” nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
1
1)
Quale strumento valido e affidabile può permettere a noi e
agli studenti di valutare in maniera formativa gli
avanzamenti graduali e le eventuali perdite di conoscenze?
Attualmente il sistema di valutazione all’interno dei
corsi di Laurea delle Professioni Sanitarie prevede:
Valutazione sommativa
Misura gli outcome del processo
di apprendimento.
Il suo proposito non è quello di
migliorare la performance,
ma piuttosto misurare se è
stato raggiunto
un definito standard
di performance
2
Valutazione formativa
È un processo di valutazione
ideato per fornire
feedback costruttivi
che portino ad un miglioramento
della performance
1)
Quale strumento valido e affidabile può permettere a noi e
agli studenti di valutare in maniera formativa gli
avanzamenti graduali e le eventuali perdite di conoscenze?
Attualmente non disponiamo di strumenti validi e
affidabili che ci permettano di monitorare l’andamento
longitudinale dell’apprendimento del singolo studente
nei tre anni e tradurlo attraverso modalità misurabili e
graficamente osservabili
3
1)
Quale strumento valido e affidabile può permettere a noi e
agli studenti di valutare in maniera formativa gli
avanzamenti graduali e le eventuali perdite di conoscenze?
Gli studenti spesso
dimenticano conoscenze
La piena professionalità
importanti nel triennio; questo
indicata dai profili
provoca difficoltà
professionali non è compiuta,
nell’acquisizione di
per via delle lacune
competenze e una mancata
accumulate nella formazione
adeguatezza al core
dei primi anni di corso
curriculum
4
2) Ci può essere utile l’esperienza dei Corsi di Laurea in
Medicina che hanno aderito al progetto “Progress test”?
• Progress Test (PBL based)
• Quartely Profyle Examination (curriculum based)
• Personal Progress Index (PPI) (curriculum based)
Esistono dati in letteratura studi sulle proprietà psicometriche e sugli effetti sull’apprendimento di questo
tipo di valutazione
La letteratura ci dice che sono strumenti validi ed affidabili
La valutazione progressiva “…demonstrated strong construct validity, with highly significant statistical
tests of differences between classes and changes within classes on successive administrations…”
(Blake JM, Norman GR, Keane DR, Mueller CB, Cunnington J, Didyk N. “Introducing progress testing in
McMaster University's problem-based medical curriculum: psychometric properties and effect on
learning”. Acad Med, 1996 Sep;71(9):1002-7)
5
2) Ci può essere utile l’esperienza dei Corsi di Laurea in
Medicina che hanno aderito al progetto “Progress test”?
Esperienza Italiana
o 2006 - 2007
o Hanno aderito 25 corsi di laurea nel 2006
o Hanno aderito 38 corsi di laurea nel 2007
o Hanno partecipato 3496 studenti nel 2006
o Hanno partecipato 7930 studenti nel 2007
6
3) Ci sono analoghe esperienze a Maastricht, all’Università del
Missouri e a McMaster in Canada?
Indagine
Materiali e metodi
Banche dati: Pubmed, Cinahl
Query: progress test, quartely profyle examination, personal progress index,
progressive assessment, education
AND
nursing (nurs*), physiotherapy (physiot*), health professions, health sciences
Period: Any dates
Language: All languages
Results = 0
7
3) Ci sono analoghe esperienze a Maastricht, all’Università del
Missouri e a McMaster in Canada?
Domande:
Indagine
Materiali e metodi
•
Usate nel vostro corso di studi un sistema di valutazione progressiva?
•
Quale?
•
Si è mostrato efficace rispetto agli obiettivi che vi eravate posti?
Sede
Risposta
McMaster University
Universiteit Maastricht Medicine and Life Sciences
“McMaster PT program does not use a progress exam”
Faculty
of
Health
“We don't use a progress test in our department. There used to be
such a system, but for some reason they stopped with it”
Canadian Alliance of Physiotherapy Regulators
Toronto, Ontario
“The Alliance does not have experience with this
type of assessment; however, some of our colleagues in the
academic community are using comprehensive evaluations that
build from year to year”
University of Limerick
“Sorry, we are not familiar with this system here in Limerick”
University of Missouri Kansas City
Nessuna risposta
UMKC School of Nursing
Building (Kansas City)
Health
The Robert Gordon University
Aberdeen (United Kingdom)
8
Sciences
School-Hill
Nessuna risposta
Nessuna risposta
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
Blueprint categories
o 150 items (range in letteratura: 100 – 300)
o Discipline di base (75)
o Discipline professionalizzanti (75)
o Percentuale di quiz per ogni disciplina
o Risposte multiple (5)
o Un riferimento bibliografico per ogni quiz
o Evitare domande che prevedono risposte discutibili e con fonti
bibliografiche di riferimento poco autorevoli
o Evitare le domande con scarso rilievo clinico
9
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
Conoscenze
pure
.
Al termine del I semestre
del II anno
.
Conoscere la progressione
dell’apprendimento
10
Conoscenze di livello
superiore, che
richiedono
un’integrazione, una
complessità e
un’elaborazione
intellettiva
organizzata
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
Valutiamo:
• Le Conoscenze contributive
• Le Capacità cliniche decisionali
• L’Adesione ai valori professionali
11
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
Esempio quiz sulle conoscenze contributive:
Nell’andatura cosiddetta a “steppage”:
a)Il paziente appoggia prima l’avampiede e successivamente il
calcagno
b)Il paziente extraruota e abduce l’anca a ginocchio esteso
c)Il paziente esegue una triplice flessione ogni volta che esegue il
passo anteriore con l’arto leso
d)Il piede è bloccato in flessione dorsale
(Pillastrini P et al.: “I Concorsi di Fisioterapista”. Ed. Alpha Test, Milano, 2008)
12
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
Esempio quiz sulle capacità cliniche decisionali:
La Sig.ra Rossi, di 34 anni, si rivolge a te per la comparsa improvvisa 3
giorni fa di un dolore importante al braccio sinistro irradiato fino alle
dita, che non le ha permesso di dormire per 2 notti. Riferisce inoltre
una sensazione di formicolio all’indice e il medio. Non ha dolore al
collo. I Test da somministrarle a questo punto sono:
a)Upper Limb Tension Test
b)Relocation Test
c)Slump Test
d)Test di Lasègue
(Cleland J: “L’esame clinico ortopedico – un approccio EBM”. Ed. Elsevier – Masson, Milano, 2006)
13
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
Esempio quiz sull’adesione ai valori professionali:
La Sig.ra Bianchi, (caso sulla Privacy o la Responsabilità professionale:
Il sig. Bianchi si rivolge a te con una richiesta del medico di base per “mobilizzazioni all’arto
superiore”. Un mese fa ha avuto un incidente stradale e ha riportato diverse fratture, è stato
immobilizzato per un tempo imprecisato e con mezzi contenitivi non ben identificati… Il paziente non
ricorda bene ed è in possesso di una parziale e approssimativa documentazione medica. Il paziente
insiste per iniziare subito il trattamento.. non vuole perdere tempo. Cosa fai?
a)Lo mobilizzi subito, anche se con cautela, perché è importante per un buon esito del trattamento
intervenire precocemente
b)Gli spieghi che devi assolutamente fare degli accertamenti sulle sue condizioni prima di compiere
qualsiasi manovra di fisioterapia, perché queste potrebbero rivelarsi dannose in mancanza di idonea
documentazione
c)Lo mobilizzi, sei tranquillo perché pensi che se il medico di base te lo ha inviato ciò significa che non
ci sono controindicazioni al trattamento
d)Pensi che non sia compito tuo giudicare se l’intervento di fisioterapia sia precoce o meno, lo
mobilizzi, sei tranquillo. Sai che se anche dovessi avere qualche problema, la responsabilità ricadrà
sul medico di base che ha prescritto le mobilizzazioni
(CORTE DI CASSAZIONE, sez. IV, sentenza del 10 aprile 1998,11- 859)
14
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
I fase – esecuzione del Progress Test
o 1 volta all’anno per ciascuno dei 3 anni di corso
o A fine semestre (31 gennaio)
o Lo stesso giorno in tutte le sedi nazionali
o Durata prova: 4 ore
o Riconoscimento di crediti come attività a scelta
o Attività di tutorato prima e dopo la prova
Prima: il tutor guida lo studente verso uno studio continuo, organizzato, nel
rispetto delle propedeuticità e lo facilita nell’integrazione delle conoscenze
Dopo: lo aiuta a leggere i risultati della sua performance e lo guida verso
eventuali percorsi di recupero
15
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
II fase - Gestione dati raccolti con il Progress Test
o Elaborazione statistica dei risultati
o Restituzione a ciascuno studente della propria performance
(feedback allo studente)
o Restituzione ai docenti dei risultati ottenuti relativamente alla propria
disciplina (feedback al docente)
o Restituzione al Presidente del Corso dei risultati complessivi
(feedback al corso)
o Restituzione ad un’istituenda Commissione inter-Corsi di Laurea dei
risultati nazionali (feedback ai curricula)
16
4) Il Progress Test nei Corsi di Laurea delle Professioni
Sanitarie: una proposta concreta
Ideazione e revisione periodica delle
domande
o Commissione nazionale
o Ogni componente della Commissione Nazionale deve
essere un docente
o Si utilizzano libri in commercio, banche dati, ecc.
o Aggiornamento annuale dei quiz
17
Istituzione di un gruppo di lavoro
Caratteristiche del gruppo:
o Alta motivazione
o Disponibilità della propria sede ad aderire
o Impianto statistico
Referente:
o Paolo Pillastrini – E-mail: [email protected]
Appuntamento:
o Sede: presso l’aula 1 della sezione formativa di Bologna, Padiglione 11,
Azienda Ospedaliero-Universitaria di Bologna, via Massarenti 9 - BO
o Data: 25 Novembre 2008 (ore 10 – 16)
18
References
•
Albano MG, Cavallo F, Hoogenboom R, Magni F, Majoor G, Manenti F, Schuwirth L, Stiegler I, van der Vleuten C. “An
international comparison of knowledge levels of medical students: the Maastricht Progress Test”. Med Educ 1996
Jul;30(4):239-45
•
Binetti P. “Il Progress Test come modello di sperimentazione”. Med Chir 2005;29:1131-1135
•
Binetti P. “Il Progress Test come forma di monitoraggio dell’apprendimento personale e istituzionale”. Med. Chir
2004;26:989-994
•
Blake RL, Hosokawa MC, Riley SL. “Student performances on Step 1 and Step 2 of the United States Medical Licensing
Examination following implementation of a problem-based learning curriculum”. Acad Med 2000 Jan;75(1):66-70
•
Blake JM, Norman GR, Keane DR, Mueller CB, Cunnington J, Didyk N. “Introducing progress testing in McMaster
University's problem-based medical curriculum: psychometric properties and effect on learning”. Acad Med 1996
Sep;71(9):1002-7
•
Broudo M, Walsh C. “MEDICOL: online learning in medicine and dentistry”. Acad Med 2002 Sep;77(9):926-7
•
Des Marchais JE, Vu NV. “Developing and evaluating the student assessment system in the preclinical problem-based
curriculum at Sherbrooke”. Acad Med 1996 Mar;71(3):274-83
•
Enarson C, Cariaga-Lo L. “Influence of curriculum type on student performance in the United States Medical Licensing
Examination Step 1 and Step 2 exams: problem-based learning vs. lecture-based curriculum”, Med Educ 2001
Nov;35(11):1050-5
•
Parikh A, McReelis K, Hodges B. “Student feedback in problem based learning: a survey of 103 final year students across
five Ontario medical schools”. Med Educ 2001 Jul;35(7):632-6
19