Il progetto EMQT (2009-2011)
Erasmus Mobility Quality Tools
Luigi F Donà dalle Rose
Università di Padova
Seminario nazionale a cura del Gruppo Italiano dei Bologna Expert
“Azioni centralizzate:
progetti per la qualità dei corsi congiunti e della
mobilità internazionale”
SUN - Seconda Università di Napoli, 22 maggio 2012
This project has been funded with support from the European Commission.
Agreement Number: 2009 – 3668/001-001
Il progetto EMQT:
Il progetto EMQT è stato finanziato come “rete strutturale Erasmus ”
focus: mobilità di scambio per motivi di studio e non su altre
forme di mobilità Erasmus
istituzioni di riferimento: soprattutto quelle con numero di
outgoing ≥ 100 (coprono il 77% della SMS)
FINALITÀ GENERALE e PERCORSO DI LAVORO
• Identificare modelli
organizzativi,
buone pratiche, procedure di
benchmarking e relativi
indicatori, per favorire la
qualità della mobilità Erasmus
degli studenti
• Mappatura della situazione presente
ed analisi dei relativi processi
• Fornire riferimenti comuni e condivisi
per ridisegnare quei processi al fine di
inglobare in essi i requisiti di qualità
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Origini e sviluppo
FINALITÀ e “DELIVERABLES” (vedi Brochure):
• Approntare una QTB – Quality Tools’ Box per
facilitare la QA sia interna che esterna della
organizzazione della mobilità e promuoverne la
qualità
• Identificare modelli
• sviluppare linee guida per:
organizzativi,
 incentivare l’autonomia e la accountability
buone pratiche, procedure di
delle istituzioni universitarie, sviluppando
benchmarking e relativi
strumenti per l’autocertificazione (capacità
indicatori, per favorire la
di riconoscimento, preparazione linguistica,
qualità della mobilità Erasmus
ecc.)
degli studenti
 Permettere a una determinata istituzione
di posizionarsi entro i diversi profili di
qualità possibili
 meccanismi di responsabilità/trasparenza
e di convalida esterna
Il progetto EMQT:
Origini e sviluppo
Il contesto circostante…
Recente studio ACA :
“Comparative study on
European and national-level
policies and practices on
academic mobility”
è
“PRIME –
Problems of
Recognition In
Making Erasmus”
reports
EMQT
complementare ad
altri progetti
IMPI – Indicators for
Mapping and
Profiling
Internationalisation
MAUNIMO – Mapping
UNIversity MObility
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Metodologia e metodi
Task Force (6) e rispettive chair
General organisational models
within HEIs
CHE Consult
Language preparation
Universidad de Granada
Information and orientation
Aristotle University of Thessaloniki
Students’ performances and
recognition
Alma Mater Studiorum Università di
Bologna
Reception of host students
Karl-Franzens-Universität Graz
e-Coaching or ICT mobility tools
Katholieke Universiteit Leuven
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Metodologia e metodi
tre percorsi metodologici
Consultazione dei partner
EMQT e di 52 partner di
prova (testing partners)
Interviste ai docenti
Analisi del processo di
riconoscimento
deliverables
EMQT
• EMQT Questionnaire + glossary
• Suggestions for Good practices
• List of Key indicators
• Mapping report
rapporto sintetico su Academic
Quality in Exchange Mobility
EMQT Report on the Recognition
Process
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
EMQT Brochure:
“Risultati del progetto EMQT”
1. Presentazione del progetto EMQT
2. EMQT Tools’ Box: componenti principali
a) Questionario e Glossario EMQT
b) Lista di Indicatori chiave
c) Suggerimenti per le Buone Pratiche (formulate in modo
omogeneo con le linee guida standard dell’ENQA e con
esempi )
d) Qualità Accademica nella mobilità di scambio (EMQT
position paper & sintesi ragionata delle 85 interviste)
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
EMQT Brochure (continua):
3. Documenti di riferimento EMQT
a) Quality in mobility: how to measure and assess it,
(Maria Sticchi Damiani)
b) EMQT Mapping Report(s)
c) EMQT Report sul Processo di Riconoscimento
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Utilizzo dei risultati da parte degli utenti finali
Partner al di fuori
dell’Europa
HEIs coinvolte in Erasmus
Agenzie Nationali LLPErasmus in Europa
Agenzie QA Europee e
possiblmente l’ENQA
Utenti target
principali:
Portatori di interessi a livello
politico: Commissione Europea,
EACEA, EUA, EAIE, ACA e altre
Associazioni
Studenti in mobilità
(e le loro famiglie)
Rete dei Bologna
Experts
Associazioni
di studenti
Agenzie di Ranking
Centri ICT presso le HEI
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Esempi di Utilizzo dei risultati
• Template ed esempio concreto: Charité Berlin
Nei Suggerimenti per le Buone Practiche, pag 74 Brochure
• Confronto e posizionamento:
Per confrontare la propria istituzione con lo scenario descritto sulla base dei
propri dati e posizionarla nel campo di variazione di alcuni indicatori chiave
• Come fonte di ispirazione:
Le Buone Pratiche e il Mapping Report possono essere utilizzati come spunto
per migliorare la qualità (aspetti utili delle attività di mobilità e idee su come
valutarne la qualità)
• esercizio interattivo di disseminazione (per ognuna delle 6
dimensioni)
Suggerimenti per le buone pratiche versus ingredienti per la Qualità dei
docenti
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Dove trovare i risultati EMQT?
Sito web EMQT: www.emqt.org
• EMQT Brochure
• Deposito di Buone Pratiche
Il vostro feedback è
benvenuto!!!
• Eventi e articoli
ruolo e contenuto LA
• Eventi pubblici EMQT:
Open Seminar (Bologna, Aprile 2011)
e Final Validation Conference (Bruxelles, Novembre 2011)
Sessione TED
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
ED ORA
ALCUNI DETTAGLI IN PIU’
sui
“RISULTATI”
DEL PROGETTO EMQT…
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Questionario EMQT
checklist per le pratiche di mobilità in 6 dimensioni
1. Prima versione – provata internamente
≈ 200 domande, 340 campi
2. Versione “rivisitata” – provata esternamente
95% sovrapposizioni, molto simile
3. Versione EMQT Tools’ Box
≈ 110 domande, 222 campi
(pag 25 Brochure)
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Domande aperte rispetto al totale
QUESTIONNAIRE
SECTION
general part
Sect. 1
Sect. 2
Sect. 3
Sect. 4
Sect. 5
Sect. 6
total
number of
question
columns in
EXTERNAL
testing
number of
open
questions
number of
numerical
questions
number of
closed
questions
50
79
27
41
45
60
38
340
100%
8
11
2
7
8
5
3
44
12,9%
33
19
6
2
16
4
8
88
25,9%
9
49
19
32
21
51
27
208
61,2%
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Un esempio di risposta
di domande aperte
Open question 4.3.9.1. – If your institution does not send out
students to go abroad to do exclusively research – why not? (12
valid returns)
1) it is forbidden by the Erasmus rules (e.g. as stated by
National Agency), 3 returns as a whole!
2) research can be carried out only together with other
activities (only 1 return!)
3) research project is considered as a study activity
4) thesis work in first cycle is not considered as research
(some testing institutions have only or prioritize the first
cycle)
5) almost no mobility in the 2nd cycle, where research can
be carried out
6) not required by students (in a medical faculty)
7) other European or National programs are best suited for
research activities abroad (3 returns)
Il progetto EMQT:
Risultati principali
Fatti e numeri dello EMQT Survey
il tasso di mobilità
Area Erasmus:
• Campione interno
13 università
• Campione esterno
65 università
• Campione aggregato
7,7 studenti su 1.000
(SMS, EC data for 2008-09)
14,9 (max 31,8 ÷ min 4,8)
21,4 (max 77,7 ÷ min 3,4)
18,8 (max 77,7 ÷ min 3,4)
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Lista di indicatori chiave:
METODOLOGIA GENERALE-II lavoro delle Task Force
• Identificazione degli indicatori : essi danno un’idea della qualità delle azioni
istituzionali finalizzate a un determinato GOAL di mobilità (riflessione di gruppo a priori )
• Traduzione degli indicatori in domande, da porre nel questionario (ex
post rilevare domande con maggiore o minore numero di risposte)
• Riflessione interna/dibattito basato su una metodologia concordata: dopo
diversi passaggi, da un questionario con 340 domande, le TF hanno
selezionato 4 indicatori generali più 37 indicatori
• CONCLUSIONE - la Lista è uno Strumento utile a monitorare e
migliorare la qualità della mobilità studentesca:
uso finalizzato a un auto-monitoraggio o a un confronto con altre istituzioni
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Suggerimenti per le Buone Pratiche
i.
Punto di vista di un’Agenzia Nazionale di QA:
buone pratiche estratte dalle risposte al questionario
(a cura di ANECA) → formulate in maniera omogenea alle ESG
ii.
Casi di Buone Pratiche identificati dalle 6 TF →
→ un primo “deposito” (“repository”) di B.P.
iii. Documento ed esempio di strategia di implementazione
Appendice (casi di buona pratica identificati tramite i
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Mapping Reports)
Il progetto EMQT:
Risultati principali
ESEMPIO →TF b: Preparazione linguistica e aspetti correlati
Per questa dimensione sono state analizzate sia l’offerta di corsi linguistici
presso l’istutione sia le azioni atte a standardizzare i diversi livelli linguistici
•
•
•
•
•
Buone Pratiche:
GP2.1. The institution offers pre-departure language units for outgoing
students and incoming students.
GP2.2. The institution offers semester/year-long language course units for
outgoing students and incoming students.
GP2.3. The institution offers language course units for specific purposes:
(i.e.: Law, Medicine, Engineering, etc.) for outgoing and incoming students.
GP2.4. The institution offers language course units at different levels.
GP2.5. The institution follows strictly the Common European Framework of
Reference, CERF.
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Rapporto sulla Qualità Accademica
Interviste con i docenti
20 DOMANDE (vedi Template pag. 128 brochure)
 Aspetti istituzionali
6
 Aspetti relativi al coordinatore di flusso
7
 Aspetti relativi al riconoscimento
4
 Problemi e futuro
2
 Suggerimenti
1
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Interviste con i docenti
partecipanti e metodologia per la sintesi
•
14 istituzioni partner del progetto EMQT
• 6 accademici intervistati per istituzione (in media)
 In totale: 83 ACCADEMICI INTERVISTATI
(e 2 AMMINISTRATIVI)
Metodologia di analisi concordata (identificazione e
statistica degli elementi ricorrenti; estrazione delle
“perle”)
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Esempio di RISULTATI INTERESSANTI
estratto dalle INTERVISTE
Accademici di 4 diverse università hanno mentionato le
differenze nei corsi come aspetti interessanti che potrebbero
far loro decidere di istituire degli accordi (diverse tipologie di
apprendimento/valutazione, o diversi approcci ai contenuti),
anziché l’argomento della compatibilità.
In 5 casi su 6, il docente apparteneva all’area scientifica, che,
solitamente, tende ad essere più rigida sul tema del
riconoscimento.
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Rapporto EMQT sul Processo di
Riconoscimento
a pag 274 e segg. della Brochure
• 7 passaggi temporali, 5 documenti (Piano
di Studi, LA, ToR, Proof of Recgnition, DS)
• la “corrente” dei crediti
…inoltre…
- complessità del processo di riconoscimento
- pratica effettiva e aspetti aperti → decisione politica?
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
EMQT Mapping Report
Parte Generale
Sezione 1: Organisational Structures (Tfa)
Sezione 2: Language issues (TFb)
Sezione 3: Information and Orientation (TFc)
Sezione 4: Students’ performance and recognition (TFd)
Sezione 5: Reception of incoming students (TFe)
Sezione 6: e-coaching or ICT tools (TFf)
Le diverse sezioni offrono una descrizione accurata del “paesaggio”
Erasmus, della sua fisiologia, delle sue pratiche consolidate, ecc.
Più 4 Appendici, tra le quali:
“FACTS AND FIGURES: an accompanying paper to the EMQT survey”
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
…altri risultati …
• Pratiche di nicchia (Service Learning modules,
Erasmus like virtual mobility)
• Fisiologia di Erasmus (valori medi degli indicatori)
• Intervallo di variabilità degli indicatori o spazio per:
 scelte politiche
 azioni di miglioramento
…inoltre
la Brochure EMQT offre una “fonte di ispirazione” per
azioni/soluzioni in molti contesti diversi
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Quali sono i prossimi passi?
• Disseminazione della Brochure EMQT e dei risultati in Europa e oltre
• Esportazione del modello Erasmus e dei suoi requisiti di qualità in altri
contesti
• Permettere alle università di posizionarsi nel più ampio contesto e
fornire loro gli strumenti per migliorare e aumentare la qualità della
mobilità dei loro studenti.
Il vostro feedback…
… per ampliare il “deposito” di buone pratiche e
migliorare la qualità dei risultati !!!
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Per qualsiasi informazione vi invitiamo a consultare il sito
Internet EMQT
www.emqt.org
ed a contattarci:
[email protected], [email protected]
Grazie per la vostra attenzione!
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
APPENDICE
• Solo in caso di tempo a disposizione o per
la discussione
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
EMQT Mapping Report
Parte Generale
Sezione 1: Organisational Structures (Tfa)
Sezione 2: Language issues (TFb)
Sezione 3: Information and Orientation (TFc)
Sezione 4: Students’ performance and recognition (TFd)
Sezione 5: Reception of incoming students (TFe)
Sezione 6: e-coaching or ICT tools (TFf)
Le diverse sezioni offrono una descrizione accurata del “paesaggio”
Erasmus, della sua fisiologia, delle sue pratiche consolidate, ecc.
Più 4 Appendici, tra le quali:
“FACTS AND FIGURES: an accompanying paper to the EMQT survey”
Servizio Relazioni Internazionali – Percorsi di Internazionalizzazione 2011-2012
Il progetto EMQT:
Risultati principali
Distribuzione delle istituzioni partecipanti al test esterno
per aree geografiche e dimensione della mobilità
GEOGRAPHICAL AREA
DISTRIBUTION OF RETURNS FROM
EXTERNAL TESTING
A – NORTHERN
EUROPE
B – EASTERN
EUROPE
C – SOUTHERN
EUROPE
D – CENTRAL
EUROPE
MOBILITY SIZE
GROUP 1
GROUP 2
GROUP 3
11
3
1
6
7
10
2
9
4
3
4
5
GRUPPO 1: da 1 a 100 outgoing; GRUPPO 2: da 101 a 300; GRUPPO 3: oltre 300
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Costruire “questo” paesaggio della mobilità
europea ha richiesto…
•
L’identificazione e l’estrazione di aspetti ed elementi di mobilità importanti
come testimoniato dai feedback al questionario,
•
Un’ interpretazione intellingente/realistica dei vari dati raccolti – a volte in
conflitto – sulla base dell’esperienza e delle competenze personali,
•
L’estrazione del campo di variabilità per gli indicatori significativi
… il tutto offerto in modo coerente e
facilmente utilizzabile
Ingredienti importanti del paesaggio sono i valori di diversi indicatori
“derivati” (i.e. tasso di mobilità; tasso di reciprocità; ecc.).
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Esempi di indicatori derivati - 1
derived indicator
Overall mobility rate
First cycle mobility rate
Second cycle mobility rate
One-tier degree courses mobility rate
Average
value
Minimum
value
Maximum
value
Number of
usable returns
18.8
3.4
77.7
40
17.0
20.7
20.1
2.0
2.2
1.4
78.4
50.0
23.9
30
25
14
(115.0)
Third cycle mobility rate
15.3
0.3
33.3
15
(138.9)
Number of outgoing students per
degree-course (overall)
Number of outgoing students per degree-course
(first cycle)
Number of outgoing students per degree-course
(second cycle)
Number of outgoing students per degree-course
(one-tier degree-courses)
Number of outgoing students per degree-course
(third cycle)
5.5
0.7
26.8
39
5.9
0.6
21.0
27
1.6
0.1
5.9
23
15.3
2.0
65.0
12
0.5
0.1
3.3
10
Esempi di indicatori derivati - 2
derived indicator
Average
value
2.05
Minimum
value
0.48
Maximum
value
7.8
Number of
usable returns
46
Ratio “academics” over “administrative
& technical staff”
Reciprocity ratio
average number of outgoing students
per Erasmus Office staff member
average number of outgoing students
per counselor/manager
AVERAGE VALUE OF EU MONTHLY
GRANT per STUDENT (in euro)
number of incoming students per
buddy/peer tutor
total number of outgoing students over
available places (as from BAs)
percentage of degree-courses offered in
English language
1.01
0.11
2.9
48
63.5
3
185
38
11.5
1
52
38
246
74
460
28
20
4.5
0.5
26
0.44
0.11
0.98
29
10.5%
0.2%
60%
23
Il concetto del profilo
• Per una singola istituzione
• Per un gruppo di rispondenti
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Test esterno versus interno
question
number
QUESTION
internal
sample
external
sample
57
13
83
5,4
NOTES
Section 1
1.1.4.1
1.1.5 a&b2
average number of outgoing students per Erasmus Office staff member
1.1.15.1 3
are students included in Erasmus QA?
support schemes for students with special needs outgoing
67%
44%
92%
45%
ratio STA over SMS
ratio STT over SMS
0,073
0,027
0,172
0,051
pre-departure / pre-arrival language course units, outgoing
75%
32%
pre-departure / pre-arrival language course units, incoming
75%
61%
50%
75%
61%
87%
67%
39%
1.2.4.0
1.3.1.3
average number of outgoing students per counselor/manager
Erasmus area average = 0,170
Erasmus area average = 0,039
Section 2
2.1.1 .1
2.1.2 .3
2.1.3 .5
semester/year-long language course units, outgoing
semester/year-long language course units, incoming
language course units for specific purposes (subject related…),
incoming
1. long term preparation is quite
stronger in ET;
2. the students of the ET seems to
be more equipped with language
skills
Section 3
3.1.2.1e
33%
77%
42%
69%
3.2.1.1e
Social network tools - addressed to incoming
comunication of satisfaction monitoring results with
partners
buddy system in place: a) for outgoing
8%
50%
67%
91%
3.2.4.1e
buddy system in place: b) for incoming
motivate local students to get engaged as buddies
67%
80%
BAs used both ways
60%
65%
12%
7%
16%
5%
13%
16%
37%
47%
50%
73%
17%
27%
8%
36%
58%
88%
33%
79%
0,5%
12,5%
17%
46%
3.1.8.1e
ET more open to new technologies
Section 4
4.1.2.1e
4.1.2.1e
4.1.2.1e
BAs used only for outgoing
BAs used only for incoming
4.1.2.1e
sleeping BAs
4.1.3 - derived average ratio "SMS number/available places"
indicator
4.3.1.1e
pre-departure ToR sent to host institution
4.3.2.1e
offer special preparatory activities (discipline
outgoings
offer special preparatory activities (discipline
incomings
specific) to
specific) to
IT is more open to asymmetric flows
mutual trust vs modern QA?
Section 5
5.2.7.10
5.2.8.11
course units taught in English
degree programmes entirely taught in English
derived indicator percentage of degree-courses offered in English language
Section 6
6.3.2.13
monitoring feedback from mobile students online
ET more open to new technologies
… così ogni instituzione può capire come
posizionarsi nel paesaggio
(profilo istituzionale)…
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012
Il progetto EMQT:
Risultati principali
Per qualsiasi informazione vi invitiamo a consultare il sito
Internet EMQT
www.emqt.org
ed a contattarci:
[email protected], [email protected]
Grazie per la vostra attenzione!
Disseminazione EMQT Seminario a cura dei Bologna Experts, Napoli 22 maggio 2012