Comitato di Indirizzo per la Valutazione della Ricerca (CIVR)
Evoluzione della valutazione della
ricerca in Italia: dalla rilevazione
2001-2003 alle prossime attività
Mario Bressan
[email protected]
Ancona, 28 maggio 2009
1
VTR 2001-2003
• 20 maggio 2003
Pubblicazione Linee Guida
• 16 dicembre 2003:
Decreto Ministeriale n°2206
• 31 marzo 2003
registrazione della Corte dei Conti
• 1 aprile 2004:
Bando
• 10 febbraio 2005:
Insediamento dei Panel
• 26 gennaio 2006:
Risultati dei Panel
• 8 febbraio 2007:
Relazione finale
•Strutture partecipanti
102 (77 Atenei, 12 Enti pubblici, 13 Istituzioni private)
•Ricercatori coinvolti
64.028
•Panelist
151
Esperti esterni
6.661
•Prodotti valutati
17.329
Valutazioni
35.440
2
http://vtr2006.cineca.it
3
VTR
Il VTR ha generato una classifica delle istituzioni partecipanti, attribuendo a
ciascuna un peso percentuale.
Sulla base di:

Performance dei parametri valutati;

Peso di ogni singolo parametro;

Peso dell’Area scientifica di riferimento
4
VTR - Determinazione degli indicatori di performance e del
loro peso
peso
A - Qualità dei prodotti (rating medio moltiplicato per numero dei prodotti selezionati )
4
B - Proprietà dei prodotti eccellenti (grado medio di proprietà dei prodotti
2
“eccellenti” moltiplicato per il loro numero)
Valutazione della produzione scientifica
C - Ricercatori in mobilità internazionale (numero degli anni . persona
6
1
dei ricercatori in uscita e in entrata, per soggiorni > 3 mesi)
D - Ricercatori in formazione (numero di dottorandi, assegnisti & borsisti post-
0,5
E - Finanziamenti da risorse esterne (da MIUR, organismi internazionali e
1
doc)
altri soggetti)
F - Finanziamenti da risorse proprie (autofinanziamento)
0,5
Valutazione dei dati di contesto
3
Totale
9
5
VTR - Determinazione della quota delle risorse da
destinare a ogni Area
Peso
“costo unitario” della ricerca (*)
01 - Scienze matematiche e informatiche
1,35
02 - Scienze fisiche
1,96
03 - Scienze chimiche
2,33
04 - Scienze della terra
1,79
05 - Scienze biologiche
1,97
06 - Scienze mediche
1,43
07 - Scienze agrarie e veterinarie
2,12
08 - Ingegneria civile ed architettura
1,92
09 - Ingegneria industriale e dell'informazione
2,31
10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche
1,19
11 - Scienze storiche, filosofiche, pedagogiche e psicologiche
1,16
12 - Scienze giuridiche
1
13 - Scienze economiche e statistiche
1,53
14 - Scienze politiche e sociali
1,85
(*) calcolato sulla base dell’entità del cofinanziamento, su fondi propri non vincolati, di progetti di
ricerca da parte delle Strutture
6
VTR - Quota delle risorse (destinate alle Aree) attribuita
alla singola Struttura
7
VTR - Concorrenza delle Strutture alle risorse destinate
alle Aree
8
VTR - Concorrenza delle Strutture alle risorse destinate
alle valorizzazioni applicative
9
VQR 2004-2008
DPCM 7 settembre 2007: il CIVR è stato ricostituito per condurre un nuovo esercizio di
valutazione della ricerca
6 aprile 2009, il CIVR ha presentato al Ministro il progetto dell’esercizio VQR 2004-2008
Il VQR (Valutazione Quinquennale della Ricerca) si riferisce al periodo
compreso tra il 1° gennaio 2004 e il 31 dicembre 2008
SOGGETTI COINVOLTI

Universita statali;

Enti di ricerca vigilati dal MIUR;

Altri soggetti pubblici e privati, che svolgano attività di ricerca, su
richiesta.
AREE DI VALUTAZIONE

esclusivamente le 14 Aree disciplinari CUN, per ognuna delle
quali viene costituito presso il CIVR un Comitato (Panel) i cui
componenti sono nominati dal Ministro su indicazione del CIVR.
10
Articolazione del Piano Operativo (1)
ADEMPIMENTI DELLE STRUTTURE

dati e informazioni, relativi a:

Ricercatori (a tempo determinato, indeterminato e in formazione - dottorandi,
assegnisti, borsisti post-doc e specializzandi)

Personale tecnico e amministrativo

Brevetti & spin-off

Mobilità internazionale

Entrate per finanziamenti di progetti di ricerca

Impegno di risorse proprie in progetti di ricerca

PUBBLICAZIONI

articoli su riviste, limitatamente a quelle dotate di ISSN ;

libri e loro capitoli, inclusi atti di congressi, limitatamente a quelli dotati di ISBN ;

brevetti depositati;

composizioni, disegni, design, performance, mostre ed esposizioni organizzate,
manufatti, prototipi e opere d'arte e loro progetti, banche dati e software:
esclusivamente se corredati da pubblicazioni atte a consentirne adeguata
valutazione.



Ogni ricercatore affiliato ai vari Dipartimenti, seleziona DUE pubblicazioni
del quinquennio che lo vedano presente come autore o coautore.
La Struttura seleziona UNA delle due pubblicazioni, per la valutazione dei
Panel.
rapporto del Nucleo (o Comitato) Interno di Valutazione.
11
Ricercatori (2008)
AREE
Univ stat. & enti ricerca
miur
Univ non stat. & ENEA
1
Scienze matematiche e informatiche
3550
50
2
Scienze fisiche
4650
250
3
Scienze chimiche
4100
100
4
Scienze della terra
2050
150
5
Scienze biologiche
6150
150
6
Scienze mediche
11600
750
7
Scienze agrarie e veterinarie
3650
100
8
Ingegneria civile ed architettura
3150
100
9
Ingegneria industriale e dell’informazione
5900
400
10
Scienze dell’antichità, filologico-letterarie e storico-artistiche
6300
150
11
Scienze storiche, filosofiche, psicologiche e pedagogiche
5500
50
12
Scienze giuridiche
5200
200
13
Scienze economiche e statistiche
4850
450
14
Scienze politiche e sociali
1900
100
68550
3000
12
Peer review oppure analisi delle citazioni?
Ambedue le procedure (peer review e citation analysis) consentono un
ranking di qualità (pur con diversi significati e limiti) di





strutture,
dipartimenti,
gruppi di ricerca
singoli ricercatori
13
Limiti e vantaggi della peer review
LIMITI DELLA PEER REVIEW

Autoreferenzialità (chi nomina I revisori?)

Non consente il confronto internazionale

Alti costi

Tempi lunghi
VANTAGGI DELLA PEER REVIEW

Elimina I bias connessi con citazioni incongrue

Consente la valutazione di pubblicazioni in settori con caratteristiche di
lenta maturazione della visibilità, mettendo alla pari discipline
sperimentali e teoretiche

Consente la valutazione di pubblicazioni non catalogate nei database
(libri, monografie)
14
VTR - Consistenza delle valutazioni peer-review
Giudizi dei due referee
Giudizio finale del Panel
Eccellente
Buono
Accettabile
Limitato
N°
%
7.531
43%
Eccellente-Eccellente:
2916
17%
2804
Buono-Buono:
3370
19%
29
Accettabile-Accettabile
919
5%
35
856
Limitato-Limitato
326
2%
1
10
315
7.580
44%
Eccellente-Buono
4308
25%
2212
4
Buono-Accettabile
2642
15%
9
630
4%
2.219
14%
1164
7%
102
880
Buono-Limitato
785
5%
1
160
Eccellente- Limitato
270
2%
19
123
17330
100%
5176
8057
Giudizi identici
Giudizi convergenti
Accettabile-Limitato
Giudizi divergenti
Eccellente-Accettabile
TOTALE
96%
102
3250
51%
96%
6
4
86
5
93%
28
2062
48%
29
1437
54%
1179
45%
17
316
50%
307
7
76%
46%
180
49%
2
450
57%
174
100
37%
28
3212
97%
884
15
Limiti e vantaggi della analisi delle citazioni
LIMITI DELL’ANALISI DELLE CITAZIONI

Le citazioni possono essere un “riempitivo” dell’introduzione

Le citazioni possono essere fatte in un contesto negativo

Il cosidetto “Mattew effect”: « ...a chi ha, verrà dato, in modo che abbia ancor più
in abbondanza; ma a chi non ha, verrà tolto anche quello che sembra avere. »

“bias” associati agli articoli di review

Non considera il numero degli autori, favorendo così le discipline sperimentali su
quelle teoretiche

Ha bisogno di database controllati (omonimie, duplicazioni, afferenze, ….)
VANTAGGI DELL’ANALISI DELLE CITAZIONI

Oggettività

Consente il confronto internazionale

Bassi costi

Tempi corti
16
Peer review e analisi delle citazioni (1)
E’ possibile un uso alternato / integrazione delle due procedure, per arrivare al
giudizio finale di merito.
In conclusione, per le pubblicazioni sostenute da database affidabile, sono
possibili due alternative in termini di valutazione:
solamente l’analisi delle citazioni
una procedura peer review, che comunque non può esimersi dal
valutare anche le citazioni.
E’ fondamentale che il panel:

scelga preliminarmente la procedura che verrà adottata, settore per
settore, sottosettore per sottosettore,

giustifichi l’eventuale adozione della procedura mista
17
Peer review e analisi delle citazioni (2)
Il giudizio finale sulla singola pubblicazione, sia che proceda dalla sola
peer review (nel caso di prodotti non sostenuti da banche dati),
dalla sola citation analysis o dalla procedura mista, sarà espresso
in termini di “consensus report” dal panel, su una scala
numerica (monotonica o a fasce, preliminarmente definita per tutti
i panel)
Lo score di qualità complessiva fluirà nelle varie aggregazioni previste
(area, struttura, dipartimento) e possibili (gruppi di ricerca, singoli
ricercatori).
Il processo dà ai panel maggiori responsabilità, rispetto al VTR.
18
totale mondiale 2004-2007
DI CUI ITAL
ITAL nel top 1% delle più citate (misurato)
AGRIBIO
486,496
15,512
148
ARTS
170,452
456
28
BIOCHEM
892,320
39,448
420
BUSI
172,148
1,092
28
CHEM
492,408
17,744
164
CHEM.ENG
312,232
6,456
120
COMPUTER
484,000
15,620
136
DECISION
44,172
1,612
12
DENT
37,200
1,156
32
EARTH
311,276
14,932
400
ECON
86,896
2,140
11
ENERGY
132,000
2,660
32
ENG
1,320,000
34,340
300
ENVI
264,000
8,472
104
HEALTH
108,000
3,112
68
IMMU
228,000
8,972
128
MATE
536,000
12,472
140
MATH
334,868
16,032
168
1,904,440
73,656
616
MULT
64,000
1,020
20
NEUR
200,000
10,860
100
NURS
108,000
1,212
68
PHAR
244,000
9,700
168
PHYS
775,444
36,820
488
PSYC
177,856
3,268
100
SOCI
460,000
4,460
64
VETE
72,000
2,148
52
10,418,208
345,372
4,115
MED
TOTALE
19
analisi delle citazioni (2)
2,006
N° Lavori PHYS
n° lavori PHYS nel
top 1%
N° Lavori CHEM
n° lavori CHEM nel
top 1%
N° Lavori MATH
n° lavori MATH nel
top 1%
N° Lavori ECON
n° lavori ECON nel
top 1%
GLOBAL
USA
GERMANY
UK
FRANCE
ITALY
193,861
34,275
18%
18,319
9%
12,058
6%
12,998
7%
9,205
5%
1,939
674
35%
291
15%
239
12%
172
9%
122
6%
123,102
19,266
16%
9,018
7%
6,402
5%
6,484
5%
4,436
4%
1,231
452
37%
144
12%
124
10%
86
7%
52
4%
83,717
14,083
17%
5,936
7%
5,085
6%
5,449
7%
4,008
5%
837
289
35%
79
9%
90
11%
66
8%
42
5%
21,724
4,854
22%
996
5%
2,048
9%
599
3%
535
2%
217
76
35%
8
4%
38
18%
4
2%
3
1%
20
Adempimenti del CIVR

analisi delle citazioni relative a tutte gli articoli pubblicati nel
2004-2008 sulle riviste contenute in database.

determinazione dei pesi e delle quote di Area
analisi dei dati e delle informazioni, con sviluppo dei relativi
indicatori di performance
relazione finale dell’esercizio 2004-2008 del VQR:







una valutazione di merito complessivo del sistema nazionale
della ricerca;
una valutazione di merito di ogni singola Struttura;
una valutazione della capacità di trasferimento tecnologico e
di valorizzazione applicativa della ricerca di ogni singola
Struttura
una valutazione del posizionamento internazionale di tutte le
pubblicazioni soggette ad analisi delle citazioni
una valutazione di merito di ogni singolo Dipartimento.
21
Il processo
VQR 2004-2008
database
Analisi delle
citazioni
Governo
Strutture di ricerca
Comunità scientifica
• Relazione NUV/CIV
• Dati & informazioni
CIVR
Giudizi
Panel di Area
Pubblicazioni
selezionate
Strutture di ricerca
22
Allocazione delle risorse
L'allocazione del finanziamento da destinare alle singole Strutture in
relazione all'esito del VQR 2004-2008 si fonda sulla misurazione di tre
indicatori, a ciascuno dei quali è attribuita una specifica quota del
finanziamento complessivo:



performance di Area (80-85%);
trasferimento tecnologico e valorizzazione applicativa della
ricerca (1-5%);
posizionamento internazionale della produzione scientifica
(10-15%).
23
Calendario delle scadenze
Registrazione del D.M. e pubblicazione del bando di partecipazione al
VQR e dell’invito per le candidature a panelist
……
Termine per la trasmissione telematica da parte delle Strutture dei dati Entro 1 mese
relativi al personale
Termine per la trasmissione telematica delle pubblicazioni selezionate Entro 3 mesi
dalle Strutture
Termine per la trasmissione telematica delle candidature per i panelist
Entro 2 mesi
Insediamento dei Panel di Area
Entro 4 mesi
Termine per la trasmissione telematica da parte delle Strutture degli altri
dati e informazioni e dei Rapporti dei NUV/CIV
Entro 6 mesi
Pubblicazione telematica dei Rapporti dei Panel
Entro 12 mesi
Pubblicazione telematica della Relazione finale del CIVR
Entro 18 mesi
24
25
Costi del VQR
panel
referee esterni
4.570.000
3.030.000
staff civr
ricerca bibliometrica
totale
540.000
200.000
8.340.000
di cui per univ. stat. & enti miur
7.110.000
26