Valutazione Triennale della Ricerca
(VTR) 2001-2003:
L’esperienza del Panel 13
Franco Peracchi
Università di Roma “Tor Vergata”
Scopi
• Suggerire regole e procedure di riferimento per la
valutazione nazionale della ricerca.
• Stabilire un collegamento tra risultati della
valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto tra le
strutture di ricerca.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare la massima trasparenza del processo
di valutazione.
2
Caratteristiche principali
• Si svolge su base triennale.
• Ha lo scopo di valutare la performance scientifica delle strutture di
ricerca (Università, enti pubblici di ricerca, ecc.) e dei progetti speciali
finanziati dal MIUR nei 3 anni precedenti.
• La performance scientifica delle strutture di ricerca è misurata dalla
“qualità” dei loro prodotti di ricerca.
• L’organizzazione generale e il calendario dell’esercizio sono fissati
dal MIUR.
• La partecipazione è volontaria (ma tutte le Università pubbliche
hanno partecipato).
• La selezione dei prodotti di ricerca viene effettuata dalle strutture.
• La valutazione dei prodotti di ricerca si svolge attraverso un sistema di
peer-review.
3
Il CIVR
• Il processo di valutazione è stato condotto dal CIVR (Comitato di
Indirizzo per la Valutazione della Ricerca) tramite un insieme di Panel
di area.
• Il CIVR dispone di personale tecnico e bilancio propri, e può usare
esperti esterni, anche stranieri.
• La spina dorsale del CIVR è il sistema informatico, disegnato e
implementato dal CINECA, il quale fornisce versioni PDF di quasi
tutti i prodotti (non circolano copie fisiche dei prodotti).
• Nella sua composizione attuale, il CIVR ha iniziato la sua attività nel
maggio 2003.
• Il CIVR consiste di 7 esperti, nominati dal Governo, ed eleggono un
Presidente al loro interno.
4
Membri del CIVR
• Mario Bressan (Chimica Generale, D’Annunzio)
• Michele Coccia (Letteratura Latina, Sapienza)
• Franco Cuccurullo (Medicina Interna,
D’Annunzio, Presidente)
• Enrico Garaci (Microbiologia, Tor Vergata)
• Fiorella Kostoris Padoa Schioppa (Economia
Politica, Sapienza)
• Carlo Rizzuto (Fisica, Genova)
• Renato Ugo (Chimica Inorganica, Milano)
5
Compiti del CIVR
• Formulare le linee guida dell’esercizio di
valutazione, e specialmente i criteri per la
valutazione dei prodotti.
• Organizzare il processo di valutazione.
• Scegliere i componenti dei 14 panel di area e dei
5 panel per aree speciali, che hanno il compito di
condurre l’esercizio di valutazione.
• Produrre un rapporto finale che contiene una
graduatoria delle strutture per ciascuna area
basata sulla valutazione data ai prodotti di ricerca
presentati da ciascuna struttura.
6
Aree e aree speciali
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
Scienze matematiche e informatiche
Scienze fisiche
Scienze chimiche
Scienze della terra
Scienze biologiche
Scienze mediche
Scienze agrarie e veterinarie
Ingegneria civile ed architettura
Ingegneria industriale e dell’informazione
Scienze dell’antichità, filologico-letterarie e storico-artistiche
Scienze storiche, filosofiche, psicologiche e pedagogiche
Scienze giuridiche
Scienze economiche e statistiche
Scienze politiche e sociali
15 a
15 b
15 c
15 d
15 e
15 f
Scienze e tecnologie per una società dell'informazione e della comunicazione
Scienze e tecnologie per la qualità e la sicurezza degli alimenti
Scienze e tecnologie dei nano/microsistemi
Scienze e tecnologie aerospaziali
Scienze e tecnologie per lo sviluppo e la governance sostenibili
Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
7
Selezione dei prodotti
• Per ciascuna area scientifica, le strutture hanno selezionato un insieme
di prodotti di ricerca (libri, capitoli di libro, articoli su rivista,
brevetti, ecc.), prodotti durante il triennio 2001-03.
• A ciascun prodotto prescelto, le strutture hanno assegnato anche una
categoria ISI.
• Il numero totale di prodotti selezionati da una struttura doveva essere
uguale al 50% del numero medio di ricercatori equivalenti a tempo
pieno (ETR) nel periodo 2001-03.
• Non era obbligatorio presentare prodotti in ogni area. Le aree prive di
prodotti sono state giudicate inattive.
• Queste due regole hanno consentito qualche trade-off tra aree.
• Non è chiaro come le strutture hanno selezionato i prodotti. Alcune
strutture chiaramente non hanno capito o hanno male interpretato i
criteri resi noti dal CIVR.
8
Criteri di valutazione dei prodotti
• Qualità: “Posizionamento del prodotto rispetto all’eccellenza
scientifica nella scala di valore condivisa dalla comunità scientifica
internazionale”.
• Rilevanza: “Valore aggiunto per l’avanzamento della conoscenza nel
settore e per la scienza in generale, nonché per i benefici sociali
derivati, anche in termini di appropriatezza, efficacia, tempestività e
durata delle ricadute. Integra il giudizio di qualità”.
• Originalità/Innovazione: “Contributo a nuove acquisizioni o
all'avanzamento di conoscenze, nel settore di riferimento. Integra il
giudizio di qualità”.
• Internazionalizzazione: “Posizionamento nello scenario
internazionale, in termini di rilevanza, competitività, diffusione
editoriale e apprezzamento della comunità scientifica, inclusa la
collaborazione esplicita con ricercatori e gruppi di ricerca di altre
nazioni”.
9
Classificazione dei prodotti
In base ai giudizi indipendenti di almeno 2 esperti
esterni e alla propria valutazione, i panel di area
classificano ciascuno dei prodotti ricevuti in una
delle seguenti 4 classi:
• Eccellente (20% superiore della scala di valore
condivisa dalla comunità scientifica
internazionale).
• Buono (60-80%).
• Accettabile (40-60%).
• Limitato (40% inferiore).
10
Componenti del Panel 13 (12, di cui 8 da
Università italiane e 4 da istituzioni straniere)
•
•
•
•
•
•
•
•
•
•
•
•
Pierre Dehez (UCL, Belgio)
Jean-Paul Fitoussi (OFCE, Francia)
Francesco Giavazzi (Bocconi)
Daniel Gros (CEPS, Belgio)
Marco Lippi (Sapienza)
Luigi Pasinetti (Cattolica)
Daniel Peña (Carlos III, Spagna)
Alessandro Penati (Cattolica)
Franco Peracchi (Tor Vergata, Presidente)
Alessandro Petretto (Firenze)
Alessandro Riccaboni (Siena)
Guido Tabellini (Bocconi)
11
Prodotti presentati dalle strutture
12
Prodotti valutati dal Panel 13
971 prodotti distinti (cioè al netto dei prodotti
presentati da più strutture) da 4 categorie
della classificazione ISI:
• 574 (59%) da IS0058 (Economia),
• 201 (21%) da IS0142 (Matematica),
• 183 (19%) da IS0132 (Management),
• 13 (1%) da IS0328 (Sociologia e
Antropologia).
13
Tipologie di prodotto nel Panel 13
• 526 (54%) articoli in riviste con fattore di
impatto (IF),
• 187 (19%) libri,
• 156 (16%) articoli in riviste senza IF,
• 102 (11%) capitoli di libro,
• nessun prodotto di altra tipologia (brevetto,
ecc.).
14
Tipologie di prodotto
Distribuzione per area
10. Sc Filol Lett - Stor Art
12. Sc Giuridiche
14. Sc Politiche - Sociali
11. Sc Stor Filos Psic Ped
15f. Beni C ulturali
8. Ing C ivile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. IC T
15d. Sc Aerospaziali
9. Ing Industriale - Inform
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano - Micro Tec
4. Geologia
15b. Qualità Alimenti
3. C himica
1. Matematica
5. Biologia
6. Medicina
0%
10%
20%
articoli
30%
40%
50%
libri e capitolo di libro
60%
70%
brevetti
80%
90%
altro
100%
15
Lingua dei prodotti nel Panel 13
•
•
•
•
770 (79%) in Inglese,
193 (20%) in Italiano,
5 in Francese,
3 in altre lingue.
16
Lingua dei prodotti
Distribuzione per area
12. Sc Giuridiche
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
14. Sc Politiche - Sociali
15f. Beni Culturali
8. Ing Civile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. ICT
15d. Sc Aerospaziali
9. Ing Industriale - Inform
4. Geologia
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano e Micro Tec
15b. Qualità alimenti
5. Biologia
6. Medicina
3. Chimica
1. Matematica
0%
10%
20%
30%
ITALIANO
40%
INGLESE
50%
60%
ALTRO
70%
80%
90%
17
100%
Attività del Panel 13
• L’esercizio di valutazione della ricerca è iniziato
alla fine di Gennaio 2005.
• Dopo l’elezione del Presidente e una prima tornata
di discussioni preliminari, si è deciso di strutturare
il Panel in tre sottogruppi: Economia,
Business/Finanza e Statistica/Econometria.
• L’assegnazione dei prodotti ai Panelisti è stata
fatta dal Presidente, tenuto conto dell’area di
specializzazione e dei suggerimenti di ciascun
Panelist.
18
Sottogruppi del Panel 13
• Economia (463 prodotti): Dehez (76),
Fitoussi (43), Gros (92), Pasinetti (73),
Petretto (87), Tabellini (92).
• Business/Finanza (249 prodotti): Giavazzi
(75), Penati (83), Riccaboni (101).
• Statistica/Econometria (259 prodotti):
Lippi (84), Peña (85), Peracchi (90).
19
Distribuzione dei prodotti per
categoria ISI e sottogruppo CIVR
Economia
Business
Statistica
TOTALE
Economia
361
116
97
574
Management
51
125
7
183
Matematica
41
8
152
201
Sociologia
10
3
13
TOTALE
462
259
971
249
20
Distribuzione dei prodotti per categoria ISI e
tipologia (% di lavori in italiano in parentesi)
No IF
IF
Capitolo
Libro
TOTALE
Economia
92
(15.2)
323
(0.0)
70
(27.1)
89
(62.9)
574
(15.5)
Management
32
(34.4)
40
(0.0)
21
(38.1)
90
(87.8)
183
(53.6)
Matematica
31
(0.0)
157
(0.0)
10
(0.0)
3
(33.3)
201
(0.5)
Sociologia
1
(0.0)
6
(0.0)
1
(100.0)
5
(80.0)
13
(38.5)
TOTALE
156
(16.0)
526
(0.0)
102
(27.5)
187
(74.9)
971
(19.9)
21
Le 9 riviste più frequenti per
categoria ISI
•
•
•
Economics [82 articoli su 415 (19.8%)]: Journal of Banking and Finance
(12), European Economic Review (11), Scottish Journal of Political Economy
(10), Journal of Economic Dynamics and Control (9), Applied Economics (9),
Research Policy (8), Journal of Public Economics (8), Journal of Economic
Behavior and Organization (8), Journal of Economic Theory (7).
Management [20 articoli su 72 (27.8%)]: Organization Science (3), Research
Policy (3), Management Science (2), Journal of Management Studies (2),
Journal of Banking and Finance (2), Oxford Review of Economic Policy (2), R
& D Management (2), Small Business Economics (2), Revue Française du
Marketing (2).
Mathematics [53 articoli su 188 (28.2%)]: Biometrika (10), Computational
Statistics and Data Analysis (10), European Journal of Operational Research
(9), Annals of Statistics (4), Scandinavian Journal of Statistics (4), Insurance
Mathematics and Economics (4), Environmetrics (4), Statistics and Probability
Letters (4), Journal of Statistical Planning and Inference (4).
22
Assegnazione dei prodotti agli
esperti esterni
• L’assegnazione di un prodotto ad esperti esterni (almeno due) è stata
fatta dal Panelist incaricato.
• C’è stato disaccordo tra i Panelist circa l’ interpretazione e il peso da
dare ai criteri CIVR per la valutazione dei prodotti.
• Ogni Panelist ha seguito criteri propri nell’assegnare i prodotti agli
esperti esterni e ha dato loro indicazioni non sempre coincidenti.
• Di conseguenza, esperti differenti potrebbero avere usato standard
differenti nel valutare i prodotti.
• Per circa 2/3 dei prodotti, la valutazione esterna è stata completata tra
aprile e giugno (3 mesi). Per il restante 1/3, il processo di valutazione
esterna si è concluso solo alla fine di novembre (8 mesi).
23
Affiliazione degli esperti esterni
dell’Area 13
Italiana
Straniera
Totale
Economia
92
(55.8)
73
(44.2)
165
(100.0)
Management
30
(73.2)
11
(26.8)
41
(100.0)
Matematica
48
(64.9)
26
(35.1)
74
(100.0)
Sociologia
6
(85.7)
1
(14.3)
7
(100.0)
TOTALE
176
(61.3)
111
(38.7)
287
(100.0)
24
Esperti esterni per area
Affiliazione
Raggruppamenti per aree affini
Esperti
utilizzati
Università
italiane
Istituzioni
estere
Enti di
ricerca
italiani
Imprese
Italiane
Scientifica (1, 2, 3, 4)
2.017
52%
29%
16%
3%
Scienze della vita (5, 6, 7)
2.125
53%
22%
23%
2%
Tecnologica (8, 9)
993
60%
13%
23%
4%
Umanistica (10, 11)
833
79%
13%
8%
0%
Giuridica e Socio-politica (12, 14)
408
81%
12%
7%
0%
Economica (13)
285
55%
37%
8%
0%
59%
22%
17%
2%
TOTALE 6.661
Analisi divergenze giudizi
26
Giudizi finali
• Basandosi sui giudizi degli esperti esterni, i Panelist incaricati hanno
proposto la loro proposta di giudizio agli altri componenti del
sottogruppo.
• Il consenso è stato raggiunto quando una maggioranza dei
componenti del sottogruppo si è detta d’accordo sul giudizio proposto.
• Alla fine del processo, si è raggiunto il consenso a livello di
sottogruppo (in alcuni casi dopo 1 o 2 iterazioni) per 967 dei 971
prodotti (99.6%).
• Per 830 di questi 967 prodotti (l’85.8%), il consenso è stato unanime.
• Per il sottogruppo Business, il consenso non è stato unanime in 6 casi,
per il sottogruppo Economia in 123 casi (26.7% dei prodotti dove si è
raggiunto il consenso), per il sottogruppo Statistica in 1 caso.
• Per 4 prodotti (3 di Economia, 1 di Statistica), il giudizio finale è stato
raggiunto attraverso votazione a maggioranza all’interno del panel.
27
Giudizi finali
Distribuzione per area
0%
10%
20%
30%
40%
50%
60%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. Ing Civile - Arch
9. Ing Industriale - Inform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. ICT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente
Buono
Accettabile
Limitato
70%
80%
90%
100%
Distribuzione dei giudizi finali del
Panel 13 per categoria ISI
Limitato
Accettabile
Buono
Eccellente
TOTALE
Economia
100
(17.4)
161
(28.0)
214
(37.3)
99
(17.3)
574
(100.0)
Management
60
(32.8)
48
(26.2)
62
(33.9)
13
(7.1)
183
(100.0)
Matematica
12
(6.0)
49
(24.4)
84
(41.8)
56
(27.9)
201
(100.0)
Sociologia
1
(7.7)
7
(53.8)
5
(38.5)
0
(0.0)
13
(100.0)
TOTALE
173
(17.8)
265
(27.3)
365
(37.6)
168
(17.3)
971
(100.0)
29
Evidenza statistica
• Gli articoli in riviste con IF tendono a ricevere le valutazioni più
alte, mentre i capitoli di libro quelle più basse.
• Per gli articoli publicati in riviste con IF, la probabilità di ricevere un
giudizio di “Eccellente” o “Buono” cresce con l’IF della rivista.
• Gran parte delle differenze nella distribuzione dei giudizi tra i Panelist
scompare una volta che si controlla per le differenze nella tipologia e
nella lingua dei prodotti ricevuti.
• Queste relazioni sono statisticamente fortemente significative.
• La loro interpretazione non però affatto ovvia. Per esempio: È la
reputazione della rivista dove un prodotto è stato pubblicato che aiuta
a creare il giudizio dato a un prodotto, oppure è il giudizio dato a un
prodotto che conferma la reputazione della rivista?
30
Regressioni per categoria ISI
(variabile dipendente:
punteggio CIVR = 1*E + .8*B + .6*A + .2*L)
cnst
no_IF
chapter
book
no_IF_it
chapter_it
book_it
n
R-square
RMSE
Economia
.788 ***
-.144 ***
-.305 ***
-.145 ***
-.286 ***
-.135 **
-.200 ***
574
.337
.209
Managem.
.800 ***
-.095 *
-.169 **
-.036
-.359 ***
-.206 *
-.348 ***
183
.400
.218
Matem.
.824 ***
-.211 ***
-.384 ***
.176 ***
-.800 ***
201
.320
.169
TOTALE
.798 ***
-.153 ***
-.296 ***
-.109 ***
-.261 ***
971
.374
.204
-.294 ***
-.124 ***
*** livello di significatività osservato (p-value) < .01
** 0.1 ≤ p-value < .05
* 0.5 ≤ p-value < .10
31
Conclusioni
• Il CIVR è stato un grande successo, riuscendo a processare in breve
tempo (circa 10 mesi) un gran numero di prodotti (quasi 18.000).
• Il sistema informatico che rappresenta la spina dorsale del CIVR ha
funzionato in modo molto efficiente e senza intoppi.
• L’esercizio potrebbe essere svolto ogni anno e la graduatoria delle
strutture potrebbe basarsi su una media mobile triennale.
• In questo modo, una nuova valutazione sarebbe necessaria solo per
circa un terzo dei prodotti valutati dal VTR 2001-2003.
• Le strutture potrebbero aggiustare la loro politica e i loro incentivi con
maggiore gradualità.
32