Valutazione della ricerca
e criteri di allocazione delle risorse
Mario Bressan
CIVR, Comitato di Indirizzo per la Valutazione della Ricerca
[email protected]
Bologna 28 giugno 2007
1
Finalità
• Suggerire regole e procedure di riferimento per la valutazione
del Sistema Nazionale della Ricerca.
• Migliorare il collegamento istituzionale
valutazione e allocazione delle risorse.
tra
risultati
della
• Avviare procedure sistematiche di raffronto.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare trasparenza al processo.
Bologna 28 giugno 2007
2
Tempistica
• 20 maggio 2003:
Pubblicazione Linee Guida
• 16 dicembre 2003:
Decreto Ministeriale n°2206
• 1 aprile 2004:
Bando di partecipazione VTR
• 10 febbraio 2005:
Insediamento dei Panel
• 26 gennaio 2006:
Risultati dei Panel
• 8 febbraio 2007:
Relazione finale
Bologna 28 giugno 2007
3
http://vtr2006.cineca.it
Bologna 28 giugno 2007
4
Valutazione delle pubblicazioni
• Strutture partecipanti
102
–77 Atenei
–12 Enti pubblici di Ricerca
–13 Istituzioni private di Ricerca
• Ricercatori coinvolti
• Panelist
64.028
151
• Esperti esterni
6.661
• Prodotti valutati
17.329
• Valutazioni
35.440
Bologna 28 giugno 2007
5
Pubblicazioni scientifiche
censite da Thomson Scientifica
totale nel triennio 2001-3,
attribuite all’Italiab
valutate nel VTR 2001-3
97 000
11 500 (12%)
a in
precedenza: Thomson ISI (Institute of Scientific Information),
Philadelphia, USA
b
fonte: European Commission, Science, Technology and Innovation, Key
Figures, ed. 2002, 2003-2004 & 2005
Bologna 28 giugno 2007
6
Distribuzione per lingua dei prodotti valutati
12. Sc Giuridiche
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
14. Sc Politiche - Sociali
15f. Beni Culturali
8. Ing Civile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. ICT
15d. Sc Aerospaziali
9. Ing Industriale - Inform
4. Geologia
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano e Micro Tec
15b. Qualità alimenti
5. Biologia
6. Medicina
3. Chimica
1. Matematica
0%
10%
20%
30%
ITALIANO
Bologna 28 giugno 2007
40%
INGLESE
50%
60%
70%
80%
90%
100%
ALTRO
7
Distribuzione dei giudizi
46%
area 13
totale
38%
30%
27%
19%
17%
18%
5%
eccellenti
Bologna 28 giugno 2007
buoni
accettabili
limitati
8
Consistenza delle valutazioni
Prodotti
Giudizi dei due esperti esterni
Giudizio finale dei Panel
N°
%
Eccellente
Buono
Accettabile
Limitato
Eccellente-Eccellente:
2916
17%
2804
102
6
4
Buono-Buono:
3370
19%
29
3250
86
5
Accettabile-Accettabile
919
5%
35
856
28
Limitato-Limitato
326
2%
1
10
315
Eccellente-Buono
4308
25%
2212
2062
29
4
Buono-Accettabile
2642
15%
9
1437
1179
17
630
4%
7
316
307
15111
87%
1164
7%
102
880
180
2
Buono-Limitato
785
5%
1
160
450
174
Eccellente- Limitato
270
2%
19
123
100
28
Giudizi divergenti
2219
13%
TOTALE
17330
100%
5176
8057
3212
884
Accettabile-Limitato
Giudizi convergenti
Eccellente-Accettabile
Bologna 28 giugno 2007
9
Analisi delle divergenze di giudizio
nelle varie Aree
Giudizi divergenti (EccellenteAccettabile o Limitato; Buono-Limitato)
% sul totale
dell’Area
01 - Scienze matematiche e informatiche
66
9%
02 - Scienze fisiche
171
10%
05 - Scienze biologiche
152
10%
10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche
143
11%
13 - Scienze economiche e statistiche
105
11%
03 - Scienze chimiche
136
13%
06 - Scienze mediche
340
13%
09 - Ingegneria industriale e dell'informazione
172
14%
04 - Scienze della terra
97
15%
07 - Scienze agrarie e veterinarie
111
15%
11 - Scienze storiche, filosofiche, pedagogiche e psicologiche
174
15%
12 - Scienze giuridiche
156
15%
14 - Scienze politiche e sociali
58
16%
08 - Ingegneria civile ed architettura
127
17%
Area
Bologna 28 giugno 2007
10
Peer review,
impact factor & citation index
30
Numero medio di citazioni a giugno 2006
Impact factor medio
25
20
15
10
5
0
Citazioni (16,4)
IF (5,06)
Bologna 28 giugno 2007
Eccellente
Buono
Accettabile
Limitato
27,98
12,56
7,57
8,24
7,1
4,4
3,32
4,37
11
Peer review & Impact Factor (1)
Bologna 28 giugno 2007
12
Peer review & Impact Factor (2)
Bologna 28 giugno 2007
13
Peer review & Grado di proprietà
Bologna 28 giugno 2007
14
Criteri di allocazione delle risorse
1. Determinazione della quota delle
risorse da destinare a ogni Area
2. Determinazione degli indicatori di
performance e del loro peso
Bologna 28 giugno 2007
15
Determinazione della quota delle risorse
da destinare a ogni Area (1)
Finanziamenti di progetti di
ricerca su fondi propri delle
Università (2001-2003)
Prodotti
presentati dalle
Università
Autofinanziamenti
/ Prodotti
Peso
di
Area
01 - Scienze matematiche e
informatiche
28 mln €
816
33.830 €
1,35
02 - Scienze fisiche
36 mln €
733
49.240 €
1,96
03 - Scienze chimiche
50 mln €
862
58.450 €
2,33
…
…
…
…
95 mln €
2.655
35.850 €
1,43
…
…
…
…
67 mln €
1.159
57.970 €
2,31
…
…
…
…
11 - Scienze storiche,
filosofiche, pedagogiche e
psicologiche
34 mln €
1.46
29.210 €
1,16
12 - Scienze giuridiche
26 mln €
1.028
25.110 €
1
13 - Scienze economiche e
statistiche
36 mln €
1.008
38.490 €
1.53
Area
….
06 - Scienze mediche
….
09 - Ingegneria industriale e
dell'informazione
….
Bologna 28 giugno 2007
16
Determinazione della quota delle risorse
da destinare a ogni Area (2)
Prodotti presentati al
VTR da tutte le
Strutture
Peso
Prodotti
x peso
Quota di
Area
01 - Scienze matematiche e informatiche
02 - Scienze fisiche
03 - Scienze chimiche
04 - Scienze della terra
05 - Scienze biologiche
06 - Scienze mediche
07 - Scienze agrarie e veterinarie
840
2.101
1.175
688
1.663
2.832
773
1,35
1,96
2,33
1,79
1,97
1,43
2,12
1.131,67
3,57%
13,01%
8,64%
3,89%
10,37%
12,77%
5,19%
08 - Ingegneria civile ed architettura
09 - Ingegneria industriale e dell'informazione
10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche
11 - Scienze storiche, filosofiche, pedagogiche e psicologiche
12 - Scienze giuridiche
13 - Scienze economiche e statistiche
14 - Scienze politiche e sociali
769
1.216
1.349
1.183
1.062
1.007
373
1,92
2,31
1,19
1,16
1
1,53
1,85
1.478,19
689,17
4,67%
8,87%
5,06%
4,35%
3,35%
4,87%
2,18%
15a - Scienze e tecnologie per una società dell'informazione ….
313
1,87
585,21
1,85%
15b - Scienze e tecnologie per la qualità e la sicurezza degli alimenti
198
2,13
421,61
1,33%
15c - Scienze e tecnologie dei nano/microsistemi
383
2,16
827,53
2,61%
15d - Scienze e tecnologie aerospaziali
160
2,20
352,71
1,11%
15e - Scienze e tecnologie per lo sviluppo e la governance sostenibili
229
1,85
422,67
1,33%
15f - Scienze e tecnologie … e la valorizzazione dei beni culturali
194
1,59
308,64
0,97%
31.661
100%
Area
Totale
Bologna 28 giugno 2007
18.508
4.120,33
2.735,02
1.230,65
3.281,93
4.043,08
1.641,88
2.807,34
1.602,02
1.376,20
1.062,12
1.543,47
17
Determinazione degli indicatori di
performance e del loro peso
indicatore di performance
applicato ad ogni Struttura ed espresso come quota parte (%) del valore complessivo di ogni Area
peso
A - Qualità dei prodotti (rating medio moltiplicato per numero dei prodotti selezionati )
4
B - Proprietà dei prodotti eccellenti (grado medio di proprietà dei prodotti “eccellenti”
2
moltiplicato per il loro numero)
Valutazione della produzione scientifica
6
C - Ricercatori in mobilità internazionale (numero degli anni . persona dei
1
ricercatori in uscita e in entrata, per soggiorni > 3 mesi)
D - Ricercatori in formazione (numero di dottorandi, assegnisti & borsisti post-doc)
0,5
E - Finanziamenti da risorse esterne (MIUR, organismi internazionali, altri soggetti)
1
F - Finanziamenti da risorse proprie non vincolate
Bologna 28 giugno 2007
0,5
Valutazione dei dati di contesto
3
Totale
9
18
Quota delle risorse destinate alle Aree
attribuita alla singola Struttura
Bologna 28 giugno 2007
19
Concorrenza delle Strutture alle risorse
destinate alle Aree
Bologna 28 giugno 2007
20
Concorrenza delle Strutture alle risorse
destinate alle valorizzazioni applicative
Bologna 28 giugno 2007
21
•Componenti del Panel 13: Pierre DEHEZ - Université Catholique de Louvain; Jean Paul
FITOUSSI - Institut d'Études Politiques; Francesco GIAVAZZI - Università "Luigi Bocconi”;
Daniel GROS - Centre for European Policy Studies; Marco LIPPI - Università di Roma "La
Sapienza”; Luigi Lodovico PASINETTI - Università Cattolica; Daniel PEÑA - Universidad Carlos
III; Alessandro PENATI - Università Cattolica; Franco PERACCHI - Università di Roma "Tor
Vergata”; Alessandro PETRETTO - Università di Firenze; Angelo RICCABONI - Università di
Siena; Guido TABELLINI - Università "Luigi Bocconi"
•Gruppo di lavoro del CIVR: Simona Baiocco, Nicoletta Caldarola, Antonio Cilli, Agnese
Damiano, Franca Daniele, Ivana De Santis, Sebastiano Miscia, Orfeo Notaristefano, Riccardo
Palumbo, Riccardo Piola, Emanuela Reale, Paolo Sacchetta, Massimo Sargiacomo.
•Gruppo di lavoro del CINECA: Elena Donati, Flaviana Dozza, Nicola Gaudenzi, Gianna
Fabiani, Barbara Frabboni, Natasha Kapoustina, Marco Lanzarini, Alessandro Pucciarelli,
Chiara Tampellini.
•Allievi del Dottorato in Valutazione della Ricerca, Università “G. d’Annunzio”: Anna
Barbara, Antonio Costantini, Luisella Romano, Marco Costantini, Marco Seeber, Milena
Impicciatore, Laura Pedron
Bologna 28 giugno 2007
22
AUT, the Association of University
Teachers (UK)
Bologna 28 giugno 2007
23