PROGRESS TEST CL in Fisioterapia Progress test per i CL in Fisioterapia Il 29 gennaio scorso si è tenuta la prima edizione del Progress Test per i corsi di Laurea delle Professioni Sanitarie; per i C.L. in Fisioterapia ha coinvolto 10 Atenei in tutta Italia, per un totale di 18 sedi formative e 1.013 studenti. Cos’è il Progress Test, e perché si è deciso di utilizzare questo strumento? Attualmente il sistema di valutazione all’interno dei Corsi di Laurea delle Professioni Sanitarie prevede una valutazione di tipo sommativo-certificativa che rappresenta una fotografia del livello di conoscenze o competenze acquisite da uno studente al termine di un determinato percorso formativo. Durante il meeting autunnale della Conferenza Permanente delle Classi di Laurea delle Professioni Sanitarie, i Presidenti ed i Coordinatori dei C.L. hanno manifestato la necessità di individuare uno strumento valido e affidabile che possa permettere, a docenti e discenti, di valutare in maniera formativa gli avanzamenti graduali e le eventuali perdite di conoscenze degli studenti nel percorso triennale. Questa intenzione è stata formalizzata durante il meeting di Portonovo (AN) nel settembre 2008, dove è stata presentata una relazione dal titolo ”La possibile trasferibilità del Progress Test nei Corsi di Laurea delle Professioni Sanitarie” – pubblicata sui Quaderni delle Conferenze della Facoltà di Medicina e Chirurgia (44/2008) http://corsi.unibo.it/fisioterapia/Documents/Pillastrini%20-%20Progress%20Test.pdf. In quella occasione si è comunicata la data del primo incontro, (Bologna il 25 Novembre 2008), nel quale tutti i C.L. delle Professioni Sanitarie presenti hanno deciso come attivare questo percorso condividendo l’utilizzo del Progress Test. I CC.L. in Infermieristica, Ostetricia e Fisioterapia si sono attivati per somministrare questo test nell’ A.A.2009/10. E’ stata individuata per ogni corso di laurea una ”Commissione Nazionale Progress Test” che ha avuto il compito di: - Elaborare la batteria dei quiz che compongono il P.T. - Decidere le strategie ed il metodo di coinvolgimento e di condivisione dei quiz con gli altri Atenei - Individuare e monitorare le sedi pilota - Dotarsi di un apparato statistico centrale - Elaborare la lettera di risposta standard con gli esiti del Test per gli studenti Tale commissione, al suo interno ha individuato un referente al fine della costituzione della ”Commissione Nazionale Progress Test Intercorsi”. Ogni sede pilota che ha aderito al progetto si è attivata per: – Il riconoscimento del proprio Ateneo dell’attività tramite regolamento e/o programmazione didattica – La predisposizione di attività di tutorato verso gli studenti del “pre” e “post” prova – L’organizzazione della giornata del test – L’istituzione di un apparato statistico periferico – La raccolta dei propri dati – La comunicazione dei dati alla commissione nazionale – La comunicazione dei risultati agli studenti tramite lettera standard e attività di tutorato. Ogni Commissione delle singole professioni sanitarie si è organizzata autonomamente per la individuazione dei quiz. I CC.L. in Infermieristica hanno individuato quiz per la valutazione delle competenze, i CC.L. in Ostetricia per la relazione, i CC.L. in Fisioterapia per le conoscenze. I 10 Corsi di Laurea in fisioterapia, hanno condiviso, dopo aver ricevuto l’approvazione da parte di ogni singolo Ateneo, la progettualità per la scelta di un metodo di elaborazione e di condivisione dei quiz. Il gruppo di lavoro si è dato come punto di partenza il “Core Curriculum del fisioterapista” (www.presidentimedicina.org), utilizzandolo per: - individuare le aree tematiche di interesse - la formulazione delle domande - la quantificazione del numero dei quesiti riferiti proporzionalmente alla quantità di stringhe di ciascuna area tematica. I referenti di area che hanno partecipato alla elaborazione nazionale del Core Curriculum (http://corsi.unibo.it/fisioterapia/Documents/CORE%20CURRICULUM%20x%20PT.pdf ), hanno inviato entro il 31 maggio 2009 al referente della Commissione Nazionale Progress Test per i C.L. in Fisioterapia una batteria di 226 quesiti con le seguenti caratteristiche (come da schema allegato): - un riferimento bibliografico Mirco Branchini - Viviana Montevecchi 1 PROGRESS TEST CL in Fisioterapia - una risposta giusta - quattro risposte errate. Area FISIOLOGIA UMANA FISIOLOGIA MUSCOLARE Conoscenze prop/contributive: Domanda n°13 Riferimento bibliografico Istologia Fisica Durante la contrazione di un muscolo scheletrico quali unità motorie sono reclutate per prime?: Stringhe corrispondenti al core curriculum 59 - 95 83 24 – 25 104 - Levy Matthew N, Koeppen Bruce M, Stanton Bruce A. Principi di Fisiologia di Berne and Levy. Casa Editrice Elsevier Masson, 2007 - Rosati P, Colombo R, Maraldi N. Istologia. Casa Editrice Edi. Ermes, 2006. - Scannicchio D. Fisica Biomedica. Casa Editrice Edises, 2008. Risposta corretta Le unità motorie di piccole dimensioni, costituite da motoneuroni di piccolo diametro e fibre muscolari di tipo I Le unità motorie di grosse dimensioni, costituite da motoneuroni di grande diametro e fibre muscolari di tipo I Risposte scorrette Contemporaneamente tutte le unità motorie del muscolo Non esiste un ordine logico per il reclutamento delle unità motorie Le unità motorie di piccole dimensioni, costituite da motoneuroni di piccolo diametro e fibre muscolari di tipo II Una volta raccolte le domande, sono state suddivise e inoltrate agli Atenei che hanno dato la disponibilità di verificare la comprensione e la chiarezza delle stesse domande/risposte, sottoponendole a: - 5 studenti per ciascun anno di corso, - docenti della disciplina specifica - coordinatori di corso. Hanno partecipato alla comprensione dei quesiti 8 Atenei: 1. UNIBO (sede formativa d Imola) 2. UNICH 3. UNIFE (sede formativa di Faenza) 4. UNIMIB 5. UNIMORE 6. UNITS 7. UNIUD 8. UNIVR (sede formativa di Rovereto) Esempio di quesito inviato e sottoposto agli studenti con trascritti i risultati Studente Ambito Culturale istologia 1 domanda 1 Quale tra le seguenti rappresenta il corretto valore percentuale dei linfociti nella formula leucocitaria?: risposta 1 risposta 2 risposta 3 risposta 4 risposta 5 0 = non % 1= riformulazione domanda / è chiara chiarezza è chiara risposta 100 15/15 20-30% 80% 0,1-1% 2-4% 98% 15/15 15/15 15/15 15/15 15/15 Il 30 luglio il referente nazionale del progetto, ha raccolto gli esiti della verifica, e successivamente è stato delegato ad apportare le correzioni sulle criticità segnalate. Si è pertanto giunti alla elaborazione di un fascicolo comprendente 200 quesiti che ha formato la prima edizione del P.T. 2010. I 200 quesiti sono raggruppati in 10 ambiti: 1) Biochimica, Biologia applicata, Genetica medica, Istologia, Anatomia umana, Anatomia palpatoria, Fisiologia umana: 41 quesiti; 2) Fisica applicata, Radioprotezione, Bioingegneria: 4 quesiti; 3) Metodologia della ricerca, Lingua inglese, Statistica medica, Informatica generale, Informatica applicata: 10 quesiti; 4) Ortopedia e Traumatologia, Fisiopatologia dell' apparato locomotore, Fisioterapia in ortopedia e traumatologia, Massoterapia, Terapia fisica, Reumatologia, Medicina fisica riabilitativa in reumatologia, Mirco Branchini - Viviana Montevecchi 2 PROGRESS TEST CL in Fisioterapia 5) 6) 7) 8) 9) 10) Fisioterapia in reumatologia, Chinesiologia, Geriatria, Fisioterapia in geriatria, Fisioterapia speciale, Biomeccanica: 46 quesiti; Medicina legale, Organizzazione sanitaria, Diritto amministrativo, Medicina del lavoro: 5 quesiti; Malattie dell' apparato respiratorio, Malattie dell' apparato respiratorio e cardiovascolare, Malattie dell' apparato cardiovascolare, Chirurgia generale, Fisioterapia cardio-respiratoria, Fisioterapia nelle disabilità viscerali, Medicina interna, Oncologia medica: 21 quesiti; Pedagogia generale e sociale, Psicologia generale, Psicologia clinica, Scienze umane: 12 quesiti; Microbiologia, Patologia generale, Igiene generale e applicata, Farmacologia, Primo soccorso: 17 quesiti; Neurologia, Neuropsicologia, Medicina fisica riabilitativa in neurologia, Fisioterapia in neurologia, Terapia occupazionale, Riabilitazione generale: 26 quesiti; Ginecologia e ostetricia, Pediatria generale e specialistica, Sviluppo motorio, Neuropsichiatria infantile, Medicina fisica riabilitativa in pediatria, Fisioterapia in pediatria: 18 quesiti. Il 22 settembre 2009 in un ulteriore incontro plenario a Bologna si è definita la procedura operativa per lo svolgimento della prova: Ogni Ateneo ha individuato: - un referente che ha coordinato lo svolgimento della prova e raccolto i dati - un coordinatore per ogni sede formativa in cui si è svolta la prova - un coordinatore che ha presenziato e condotto la prova in altro Ateneo Si è condiviso di illustrare le finalità del P.T. agli studenti con attività di tutorato, realizzando una presentazione uguale per tutti (elaborata ed inoltrata dal referente nazionale, vedi sito: http://corsi.unibo.it/fisioterapia/Documents/Presentazione%20Progress%20Test%20per%20Studenti.pdf ), con le seguenti informazioni: cos’è il Progress Test che scopo ha il PT quale ricaduta avrà quanto valore in CFU, quali strumenti utilizza (informatici, o fascicolo cartaceo) di quali discipline e raggruppamenti di discipline valuta l’apprendimento, quale modalità di svolgimento chi guiderà la sessione in quale data l’esecuzione dove si svolgerà (sede-aula) quale materiale lo studente deve portare con sé quando verranno comunicati risultati Si è definita la modalità di somministrazione della prova ed il cronogramma della stessa: - durata della prova: 4 ore - presenza in aula di 1 Coordinatore di sede per ogni 30 studenti ed 1 Coordinatore esterno per la gestione della giornata - aula adeguata al numero di studenti partecipanti - foglio presenza per la registrazione dei partecipanti - materiale richiesto agli studenti: penna e documento di riconoscimento - modulo risposte Ogni indicato singolo Ateneo ha scelto una tra le seguenti modalità di somministrazione della prova: - cartacea: ad ogni studente viene consegnato un fascicolo cartaceo di 30 pagine contenente tutte le domande che al termine della prova sarà rigorosamente ritirato; - videoproiezione: le domande vengono proiettate su schermo e tutti hanno a disposizione lo stesso tempo per poter rispondere; questa modalità può essere temporizzata oppure no: nella temporizzata i coordinatori presenti non intervengono per l’avanzamento delle diapositive, che sono state programmate con un tempo proporzionale alla difficoltà/lunghezza della domanda; ogni domanda presenta sullo schermo il tempo rimanente a disposizione prima del passaggio alla successiva. La non temporizzata prevede l’intervento dei coordinatori per l’avanzamento delle diapositive. Ciascuna sede di somministrazione ha raccolto i dati dei propri studenti inserendoli in un foglio elettronico di excel predisposto con le opportune formule di calcolo da un collega dell’UNIMIB. Mirco Branchini - Viviana Montevecchi 3 PROGRESS TEST CL in Fisioterapia Tutte le sedi hanno inserito sul foglio elettronico i dati, trasmessi al referente nazionale che ha successivamente inoltrato per l’elaborazione statistica. Analoga procedura è stata seguita anche dal C.L. in Infermieristica, che ha utilizzato lo stesso foglio di calcolo ed inoltrato sempre alla UNIMIB i propri dati per l’elaborazione. L’output di questa elaborazione è stato rinviato, dal referente nazionale ad ogni singola sede di corso, che ha ricevuto: - il file elettronico corretto coi risultati di ogni singolo studente - i grafici dei risultati delle medie nazionali - i grafici dei risultati delle medie del proprio Ateneo In coerenza con lo spirito del Progress Test, nessun Ateneo ha conosciuto i risultati degli altri partecipanti. Hanno partecipato alla somministrazione del Progress Test 10 Atenei con 18 sedi formative: - Università di Bologna: sedi di Bologna, Cesena e Imola - Università di Chieti: sedi di Chieti e Chieti scalo - Università di Ferrara: sede di Ferrara e Faenza - Università di Milano Bicocca - Università di Modena e Reggio Emilia: sede di Modena e Reggio Emilia - Università di Parma: sede di Parma e Piacenza - Università di Sassari - Università di Trieste - Università di Udine - Università di Verona: sede di Verona, Vicenza e Rovereto La prova è stata somministrata con proiezione temporizzata da: UNIBO, UNIMORE, UNIPR e UNISS; con proiezione non temporizzata UNIVR; con fascicolo cartaceo UNIFE, UNICH, UNIUD, UNTS, UNIMIB. Risultati della 1° edizione del PT svoltasi il 29/01/2010 Valori in percentuale Valori assoluti QUESTIONARIO DI FEEDBACK DEL PROGRESS TEST La Commissione Nazionale dei CC.L. in Fisioterapia, tenutasi a Roma il 2 febbraio 2010 ha indicato la necessità di verificare il gradimento della prova con un questionario, che potesse essere utile a introdurre modifiche per una successiva edizione Sono state formulate 10 domande, inoltrate ai referenti della procedura che hanno provveduto a diffonderli sia agli studenti che ai coordinatori che hanno partecipato allo svolgimento della prova, con la richiesta di trasmettere entro il 28 febbraio 2010 il risultato dei questionari. Cosa è stato richiesto agli studenti: 1. Conoscevi le caratteristiche del Progress Test ? - Si – No 2. Hai avuto un sostegno tutoriale prima della prova - Si – No 3. Se si, con quali modalità ? - (Informazioni occasionali - A seguito di una tua richiestaPresentazione strutturata per tutti gli studenti) 4. In aula la prova è stata condotta da (presenti in aula) - Coordinatori della stessa sede del Corso, - Coordinatori di altri sedi del Corso (stesso Ateneo), - Presidente del Corso di Laurea (stesso Ateneo), - Coordinatore del Corso di Laurea di un altro Ateneo Mirco Branchini - Viviana Montevecchi 4 PROGRESS TEST CL in Fisioterapia 5. A tuo avviso, il numero di domande è stato: Eccessivo – Adeguato- Scarso 6. A tuo avviso, la complessità delle domande è stata: Elevata – Adeguata – Bassa 7. La prova è stata somministrata in modalità: Fascicolo cartaceo - Proiezione temporizzata Proiezione non temporizzata a) Se è stato utilizzato il fascicolo cartaceo, lo ritieni: Adeguato alle esigenze/tempi - Non adeguato, dispersivo b) Se è stata effettuata tramite proiezione, la ritieni: corretta ed adeguata-corretta ma da modificare- difficoltosa, meglio utilizzare il cartaceo c) Se è stata effettuata una proiezione con temporizzazione, la ritieni: adeguata - sempre troppo lunga - Alle volte lunga, altre volte troppo corta d) Se è stata effettuata una proiezione non temporizzazione, la ritieni: adeguata- sempre troppo lunga- Alle volte lunga, altre volte troppo corta 8. Il modulo risposte lo ritieni: Adeguato - Non adeguato 9. In merito ai contenuti dei quesiti, in quale %uale: Le discipline di riferimento non erano ancora state svolte a lezione - I quesiti hanno rispecchiato il programma svolto nelle discipline di riferimentoLe discipline di riferimento erano già state svolte ma gli argomenti dei quesiti non sono stato trattati 10. La location in cui si è svolto il test è stata: adeguata – inadeguata a) Se inadeguata, perché? Cosa è stato richiesto ai professionisti: 1) Hai ricevuto il materiale delle e-mail del 23 dicembre ‘09, e del 22 gennaio ‘10: Si - Pervenuto dietro sollecitazione - Non pervenuto a) Come giudichi il materiale che hai ricevuto: Chiaro - Sufficientemente chiaro- Non chiaro 2) Hai svolto il sostegno tutoriale prima della prova: Si – No 3) Se si, con quali modalità ? Informazioni occasionali - A seguito di una richiesta - Presentazione strutturata per tutti gli studenti 4) In aula la prova è stata condotta da (presente in aula): - Coordinatori della stessa sede del Corso Coordinatori di altri sedi del Corso (stesso Ateneo) - Presidente del Corso di Laurea (stesso Ateneo) Coordinatore del Corso di Laurea di un altro Ateneo 5) A tuo avviso, il numero di domande è stato: Eccessivo – Adeguato – Scarso 6) A tuo avviso, la complessità delle domande è stata: Elevata – Adeguata – Bassa 7) La prova è stata somministrata in modalità: Fascicolo cartaceo - Proiezione temporizzata - Proiezione non temporizzata a) Se è stato utilizzato il fascicolo cartaceo, lo ritieni: Adeguato alle esigenze/tempi - Non adeguato, dispersivo b) Se è stata effettuata tramite proiezione, la ritieni: corretta - corretta ma da modificare difficoltosa, meglio utilizzare il cartaceo c) Se è stata effettuata una proiezione con temporizzazione, la ritieni: adeguata - sempre troppo lunga - Alle volte lunga, altre volte troppo corta d) Se è stata effettuata una proiezione non temporizzazione, la ritieni: adeguata - sempre troppo lunga - Alle volte lunga, altre volte troppo corta 8) Il modulo risposte lo ritieni: Adeguato - Non adeguato – 9) Le domande sono adeguate ai contenuti trasmessi agli studenti? Adeguate - In minima parte non adeguate - Inadeguate 10) La location in cui si è svolto il test è stata: adeguata - inadeguata a) Se inadeguata, perché? Per i risultati è possibile collegarsi al sito: http://corsi.unibo.it/fisioterapia/Documents/Gradimento%20PT%20studenti.ppt.pdf Mirco Branchini - Viviana Montevecchi 5 PROGRESS TEST CL in Fisioterapia Percentuale di presenza degli studenti alla 1° edizione del PT media nazionale per anno di corso percentuale presenza studenti per ciascuna sede 100,00 90,00 80,00 73,82 percentuale presenza studenti per sede 70,00 60,00 81,08 1 50,00 2 40,00 3 30,00 20,00 78,04 10,00 0,00 BO CE IM MORE PC PR MI TS UD SS CH VR VI ROV FAE FE percentuali presenze per anno di corso/sede 100,00 90,00 80,00 70,00 60,00 1° anno 50,00 2° anno 40,00 3° anno 30,00 20,00 10,00 0,00 BO CE IM MORE PC PR TS UD SS CH ROV FE E’ prevista una prossima edizione del PT nella prima settimana di Ottobre 2010, dove ci si attende la partecipazione anche di altri Atenei. Per ogni notizia utile, potete consultare il sito: http://corsi.unibo.it/fisioterapia/Pagine/progress-test.aspx Bibliografia -Albano MG, Cavallo F, Hoogenboom R, Magni F, Majoor G, Manenti F, Schuwirth L, Stiegler I, Van Der Vleuten C: An international comparison of knowledge levels of medical students: the Maastricht Progress Test. Medical Education 30 (4): 239-45, 1996. -Blake JM, Norman GR, Keane DR, Mueller CB, Cunnington J, Didyk N: Introducing progress testing in McMaster University's problembased medical curriculum: psychometric properties and effect on learning. Academic Medicine 71 (9): 1002-7, 1996. -Enarson C, Cariaga-Lo L: Influence of curriculum type on student performance in the United States Medical Licensing Examination Step 1 and Step 2 exams: problem-based learning vs. lecture-based curriculum, Medical Education 35 (11): 1050-5, 2001. -Guilbert JJ, “Guida pedagogica per il personale sanitario”, ED. Dal Sud, Modugno (BA), 2002 -Scienza Riabilitativa, Vol. 7.1, Gennaio 2005, pag. 5-44 - CINAHL AN: 2009214965 -Gaddi A, Vettore l, Tommasi A. Il Core curriculum degli studi medici: proposta metodologica per una sua prima revisione. Med.Chir. 22: 846-9, 2003 -http://www.unibo.it/Portale/Relazioni+Internazionali/DimensioneInternazionale/Processo+di+Bologna/default.htm Mirco Branchini - Viviana Montevecchi 6