“LA VALUTAZIONE DELLA RICERCA …
tra scienza e improvvisazione”
Giovanni Abramo
CNR
e
Laboratorio di Studi sulla Ricerca e il
Trasferimento Tecnologico
Università degli Studi di Roma “Tor Vergata”
Dipartimento di Ingegneria dell’Impresa
Articolazione




La valutazione della ricerca: stato
dell’arte
La valutazione nazionale
La valutazione delle singole istituzioni
Il sistema di supporto alla valutazione
SSV-ORP
2
Perché valutare la ricerca?

Stimolare una maggiore produttività di
ricerca

Allocare le risorse in maniera efficiente

Demonstrating that investment in
research is effective and delivers public
benefits

Reducing information asymmetry
between supply and demand
3
La misura della produttività di
ricerca
q = F (K,L)
4
Come valutare la ricerca?




Metodo peer review
Metodo bibliometrico (scienze dure)
Metodo informed peer review
(scienze dure)
Metodo SSV-ORP (scienze dure)
5
Peer Review vs Bibliometria





È migliore la valutazione di qualità di due esperti o
dell’intera comunità scientifica mondiale?
(Precisione)
È corretto valutare tutto l’output di ricerca o una
quota soltanto? Le classifiche di performance sono
sensibili alla dimensione della quota? (Robustezza)
Le università sottomettono a valutazione i prodotti
migliori? (Affidabilità)
Che informazioni fornisce alle università la
valutazione nazionale peer-review? (Funzionalità)
Quante risorse consuma? (Costi e tempi)
6
Robustezza: sensibilità alla quota
Total
VTR
Of which
UDA
publications
products WoS publications (a)
(b)
Mathematics and computer science
751
711 (94.7%)
6,722
Physics
626
596 (95.2%)
12,919
Chemistry
758
712 (93.9%)
8,991
Earth science
323
303 (93.8%)
3,827
Biology
1,279
1,239 (96.9%)
8,103
Medicine
2,644
2,574 (97.4%)
27,577
Agriculture and veterinary science
617
571 (92.5%)
2,650
Industrial and information engineering
909
807 (88.8%)
13,500
Total
7,907
7,513 (95.0%)
84,289
a/b
10.6%
4.6%
7.9%
7.9%
15.3%
9.3%
21.5%
6.0%
8.9%
FONTE:
Abramo G., D’Angelo C.A., Caprasecca A., 2009. Allocative efficiency in public research funding:
can bibliometrics help? Research Policy, Vol. 38, n. 1, 206-215
7
Sensibilità delle classifiche alla quota
Mediana e intervallo di variazione (max – min) del ranking di Fisica, al variare della quota (4,6% - 60%)
8
Affidabilità: efficacia della
selezione dei prodotti per il VTR
Percentuale di articoli selezionati dalle università
con IQ inferiore alla mediana della
distribuzione:
 Scienze agrarie e veterinarie 29,6%
 Ingegneria industriale e dell’inform. 26,5%
 Matematica e informatica 24,8%
9
Efficacia della selezione dei prodotti
di Unialpha per il VTR
Confronto pubblicazioni in portafoglio – pubblicazioni
presentate al CIVR
Area disciplinare
Scienze matematiche
Scienze fisiche
Scienze chimiche
Scienze biologiche
Scienze mediche
Ingegneria civile e architettura
Ing. Industriale e dell'informazione
Articoli Di cui censiti Prodotti
CIVR
in ORP
SCI
22
17
8
38
92
8
14
22
16
7
35
87
7
12
242
497
296
440
996
14
289
Censiti in SCI
con IQ
maggiore
12
8
4
20
59
4
11
10
VTR: una valutazione lontana dalla
realtà
Classifica reale VTR se la selezione dei prodotti fosse stata
efficiente
Atenei al primo posto
Scienze matematiche e informatiche
46 su 54
Scienze fisiche
51 su 55
Scienze chimiche
51 su 53
Scienze della terra
30 su 43
Scienze biologiche
52 su 56
Scienze mediche
38 su 48
Scienze agrarie e veterinarie
17 su 34
Ingegneria industriale e dell'informazione
48 su 52
11
Peer Review





Impossibile misurare la produttività;
Classifiche fortemente sensibili alla quota
dei prodotti valutati
Valutazione comparata di qualità non
basata sui prodotti migliori
Nessuna informazione alle università per
allocare a loro volta le risorse in base al
merito
Costi (diretti e indiretti) e tempi enormi
12
Peer Review





Poco Preciso
Poco Robusto
Poco Affidabile
Poco Funzionale
Molto Costoso
13
Il sistema “SSV-ORP”
Struttura di raccolta-catalogazione-elaborazione dati per:

il censimento del personale di ricerca e dell’output
scientifico (pubblicazioni e proceedings) e tecnologico
(brevetti) del sistema di ricerca pubblico nazionale;

la classificazione dei prodotti di ricerca per autore, subject
category ISI, settore scientifico disciplinare (SSD), area
disciplinare (ADU), università/EPR;

il posizionamento delle singole università/EPR in funzione
della loro produzione, della qualità della stessa e della
produttività a vari livelli di aggregazione (scientist, gruppi di
ricerca, dipartimento, SSD, ADU, ateneo/EPR).
E’ un Decision Support System (DSS)!!!!!
14
Il campo d’osservazione

Fonti: Science Citation Index expanded®, Social Science
Citation Index®, Art&Humanities Citation Index®,
Conference Proceedings® (WoS -Thomson Reuters), circa
9.000 riviste; Espacenet.

Tutte le Università (95), tutti gli Epr (76), 196 enti
ospedalieri.

272.000 pubblicazioni, 100.000 proceeding, 1.600
brevetti.

310.000 (65.000 universitari) autori.

Tutte le 246 categorie ISI, tutti i 370 settori universitari
(scientifico-tecnologici, economico-sociali e artisticoumanistici); 14 aree disciplinari.

Intervallo di osservazione 2001-2008, aggiornato
annualmente (2001/2007 per i brevetti).
15
ORP: un’innovazione research-based
“la post-codifica dei dati”

Affiliation unification

Authors’ name disambiguation
16
Il valore di ORP
In riferimento a un dataset di pubblicazioni
WoS (18,000), di ricercatori di chimica
(700) in 10 università olandesi, Van Raan
(2008) afferma:
“This material is quite unique. To our
knowledge, no such compilations of very
accurately verified publication sets on a
large scale are used for statistical analysis
of the characteristics of the indicators at the
research group level”.
17
ORP per la valutazione
 Misura la qualità standardizzata di ciascun output scientifico
(citazioni e IF normalizzati)
 Associa ciascun prodotto di ricerca al suo autore (errore 5%)
 Misura la produttività del singolo (quantitativa, qualitativa,
contributiva), gruppo di ricerca, dipartimento, SSD, ADU,
ateneo/EPR.
 Stila classifiche di performance comparata di ciascun
ricercatore, gruppo di ricerca, …
 Stila classifiche di performance per livello d’inquadramento
 Individua gli improduttivi e stila classifiche per tasso di
concentrazione di improduttivi
 Stila classifiche relative ai soli produttivi
 Individua i top-performer e stila classifiche per tasso di
concentrazione di top-performer (eccellenza)
18
ORP per la valutazione
 Stila classifiche per intensità di collaborazione comparata
extra-muros: con organizzazioni estere, con imprese, con altre
università e istituzioni pubbliche di ricerca;
 Stila classifiche per intensità di collaborazione comparata
intra-muros: intra-settoriale, intra-area, inter-area;
 Analizza l’impatto della mobilità sul potenziale di
performance di Ateneo;
 Conduce analisi intertemporali;
 Supporta le università nel processo di selezione CIVR.
19
Gli indicatori (1/2)
Output (O), somma delle pubblicazioni riferibili all’entità (autore, istituzione)
in un dato settore;
Output contributivo (Oc), somma dei contributi delle singole “entità” a
ciascuna pubblicazione in ciascun settore;
Intensità di contribuzione (IC), rapporto tra Output contributivo e Output;
Indice di qualità (IQ), qualità* media normalizzata delle pubblicazioni riferibili
all’entità;
Forza scientifica (FS), prodotto dell’output per l’indice di qualità;
Forza scientifica contributiva (FSc), analoga all’output contributivo ma riferita
alla forza scientifica;
Indice di Hirsch, (h-index). Numero massimo “h” di pubblicazioni con almeno
h citazioni ciascuna.
Indice di Egghe, (g-index). Numero massimo “g” di pubblicazioni che ricevono
cumulativamente almeno g2 citazioni.
* Citazioni (o Impact Factor della rivista) ricevute dalle pubblicazioni, normalizzate rispetto all’intensità di
citazioni (Impact Factor) degli articoli del settore scientifico di riferimento.
20
Gli indicatori 2/2
Produttività (P) rapporto tra output e numero di addetti nel settore;
Produttività Qualitativa (PQ), rapporto Forza scientifica e numero di addetti
nel settore;
Produttività contributiva (Pc) e Produttività Qualitativa contributiva (PQc),
rapporto tra output contributivo (Forza scientifica contributiva) e numero di
addetti nel settore.
Indice di eccellenza (IE), numero di addetti al top 10% sul totale degli addetti
in un SSD
Tasso di improduttività (TI), numero di addetti non produttivi sul totale degli
addetti in un SSD
…
21
La valutazione dei singoli ricercatori
Il ranking percentile nazionale dei ricercatori in forza al Dipartimento
di “Biopatologia” di UNIalpha (2004-2007)
Nome
Tizio Caio 1
Tizio Caio 2
Tizio Caio 3
Tizio Caio 4
Tizio Caio 5
Tizio Caio 6
Tizio Caio 7
Tizio Caio 8
Tizio Caio 9
Tizio Caio 10
Tizio Caio 11
Tizio Caio 12
Tizio Caio 13
Tizio Caio 14
Tizio Caio 15
Tizio Caio 16
Tizio Caio 17
Ruolo
Ass.
Ord.
Ord.
Ord.
Ric.
Ass.
Ass.
Ord.
Ric.
Ass.
Ric.
Ric.
Ric.
Ric.
Ric.
Ord.
Ord.
SSD
MED/03
MED/08
MED/15
MED/30
MED/36
BIO/14
MED/08
FIS/07
MED/15
BIO/14
MED/15
MED/30
FIS/07
MED/36
MED/36
BIO/13
MED/30
Media
O
37
75
42
52
23
50
83
74
54
25
28
38
27
83
31
86
95
53
Oc
25
59
23
37
13
36
72
56
35
23
25
22
25
70
13
72
83
41
FS
22
61
23
39
6
38
70
62
40
18
27
20
15
70
13
69
75
39
FSc
23
58
27
41
11
38
64
55
44
20
22
21
17
67
13
75
77
40
22
La valutazione dei dipartimenti
Il rating medio e il rank dei dipartimenti dell’area medica
di UNIalpha
FSc
FS
Oc
O
Addetti Rating Rank Rating Rank Rating Rank Rating Rank
Dipartimento
12
40
12
39
12
41
10
53
17
Biopatologia e diagnostica per immagini
1
71
2
68
1
72
1
77
41
Chirurgia
2
68
1
72
2
70
1
77
43
Farmacobiologico
11
41
10
44
10
43
12
50
31
Medicina del lavoro
9
46
10
44
9
44
9
54
26
Medicina interna
7
52
7
53
7
53
7
60
40
Medicina sperimentale
6
57
5
58
3
60
3
66
25
Neuroscienze
13
36
12
39
13
37
13
45
35
Ricerche biomediche
9
46
9
45
10
43
11
52
31
Sanita' pubblica e biologia cellulare
3
58
3
59
3
60
4
65
34
Scienze chirurgiche
3
58
6
55
5
57
6
64
26
Scienze del movimento umano e dello sport
3
58
3
59
5
57
4
65
40
Scienze odontostomatologiche
8
50
8
51
8
52
8
58
36
Scienze oftalmologiche
23
La valutazione dei settori (SSD)
I settori di “Scienze matematiche e informatiche” di UNIalpha
Settore
MAT/01 - Logica matematica
MAT/02 - Algebra
MAT/03 - Geometria
MAT/04 - Matematiche complementari
MAT/05 - Analisi matematica
MAT/06 - Probabilità e statistica
MAT/07 - Fisica matematica
MAT/08 - Analisi numerica
MAT/09 - Ricerca operativa
INF/01 - Informatica
v.a.
1,007
0,525
0,863
0,646
0,592
0,519
0,764
0,286
0,945
P
Rank Rank (%)
79
11
25
34
63
18
33
28
19
31
4
33
36
22
26
31
77
12
v.a.
1,910
1,784
1,734
0,946
2,015
1,161
2,026
0,974
1,953
PQ
Rank Rank (%)
76
12
67
15
66
16
21
33
74
10
16
28
72
10
15
38
82
10
* Replicabile per Pc e PQc
24
La produttività di area (ADU) a
partire dai dati di settore (SSD)
nj
PTot k ( j ) 
 Pn
ik
i 1
Add ik
nj
 Add
i 1
ik
PTot k ( j ) = global productivity score for university k in area j;
Pnik = productivity in university k, in sector i (of area j), normalized to the
average of the values of all universities;
Add ik = number of researchers operating in sector i (of area j) of university k;
n j= number of sectors within area j
25
La valutazione delle aree (ADU)
Le ADU di UNIalpha
P
PQ
v.a. rank% v.a. rank%
ADU 1 0,559 33 0,863 48
ADU 2 1,011 83 0,870 77
ADU 3 0,575 62 0,884 75
ADU 4 0,378 17 0,647 32
ADU 5 0,213
4
0,228
4
ADU 6 0,339
8
0,359 17
ADU 7 1,781 100 1,117 92
ADU 8 1,002 75 0,968 83
ADU 9 0,753 67 0,838 50
…
Pc
v.a. rank%
0,487
25
1,146
92
0,896
67
0,878
48
0,549
4
0,132
8
0,608
92
1,151 100
1,073
83
PQc
v.a. rank%
1,100
48
1,513
92
1,456
83
1,451
48
0,653
4
0,196
17
0,178
78
1,646 100
1,277
67
26
ORP a supporto degli atenei nel
processo di selezione VQR
Le migliori pubblicazioni del ricercatore Tizio di
Scienze Biologiche di UNIalpha
Titolo
Evolution of yolk androgens in birds:
Development, coloniality, and sexual
dichromatism
Riferimenti
Settore
2004 - AMERICAN NATURALIST. Vol
169, n. 6, pp 802-819
ECOLOGY
32
Ecological conditions during winter
2004 - ECOLOGY LETTERS. Vol 7, n. 1,
predict arrival date at the breeding
ECOLOGY
pp 21-25
quarters in a trans-Saharan migratory bird
26
Consequences of prenatal androgen
exposure for the reproductive
performance of female pheasants
2006 - PROCEEDINGS OF THE ROYAL
SOCIETY B-BIOLOGICAL SCIENCES. BIOLOGY
Vol 274, n. 1606, pp 137-142
19
Maternal effects and the evolution of
brain size in birds: Overlooked
developmental constraints
2005 - NEUROSCIENCE AND
BEHAVIORAL
BIOBEHAVIORAL REVIEWS. Vol 31, n.
SCIENCES
4, pp 498-515
17
Protandry and sexual dimorphism in trans- 2007- BEHAVIORAL ECOLOGY. Vol
Saharan migratory birds
15, n. 4, pp 592-601
ZOOLOGY
Citazioni
9
27
ORP a supporto degli atenei nel
processo di selezione VQR
Le migliori pubblicazioni del ricercatore Tizio di
Scienze Biologiche di UNIalpha
Titolo
Evolution of yolk androgens in birds:
Development, coloniality, and sexual
dichromatism
Riferimenti
Settore
Citazioni
Citaz norm.
2004 - AMERICAN NATURALIST. Vol
169, n. 6, pp 802-819
ECOLOGY
32
2,476
Ecological conditions during winter
2004 - ECOLOGY LETTERS. Vol 7, n. 1,
predict arrival date at the breeding
ECOLOGY
pp 21-25
quarters in a trans-Saharan migratory bird
26
2,036
Consequences of prenatal androgen
exposure for the reproductive
performance of female pheasants
2006 - PROCEEDINGS OF THE ROYAL
SOCIETY B-BIOLOGICAL SCIENCES. BIOLOGY
Vol 274, n. 1606, pp 137-142
19
1,738
Maternal effects and the evolution of
brain size in birds: Overlooked
developmental constraints
2005 - NEUROSCIENCE AND
BEHAVIORAL
BIOBEHAVIORAL REVIEWS. Vol 31, n.
SCIENCES
4, pp 498-515
17
2,738
9
3,048
Protandry and sexual dimorphism in trans- 2007- BEHAVIORAL ECOLOGY. Vol
Saharan migratory birds
15, n. 4, pp 592-601
ZOOLOGY
28
ORP a supporto degli atenei nel
processo di selezione VQR
Le migliori pubblicazioni del ricercatore Tizio di
Scienze Biologiche di UNIalpha
Titolo
Evolution of yolk androgens in birds:
Development, coloniality, and sexual
dichromatism
Riferimenti
Settore
Citazioni
Citaz norm.
Percent.
2004 - AMERICAN NATURALIST. Vol
169, n. 6, pp 802-819
ECOLOGY
32
2,476
95,1
Ecological conditions during winter
2004 - ECOLOGY LETTERS. Vol 7, n. 1,
predict arrival date at the breeding
ECOLOGY
pp 21-25
quarters in a trans-Saharan migratory bird
26
2,036
86,3
Consequences of prenatal androgen
exposure for the reproductive
performance of female pheasants
2006 - PROCEEDINGS OF THE ROYAL
SOCIETY B-BIOLOGICAL SCIENCES. BIOLOGY
Vol 274, n. 1606, pp 137-142
19
1,738
91,4
Maternal effects and the evolution of
brain size in birds: Overlooked
developmental constraints
2005 - NEUROSCIENCE AND
BEHAVIORAL
BIOBEHAVIORAL REVIEWS. Vol 31, n.
SCIENCES
4, pp 498-515
17
2,738
94,6
9
3,048
97,5
Protandry and sexual dimorphism in trans- 2007- BEHAVIORAL ECOLOGY. Vol
Saharan migratory birds
15, n. 4, pp 592-601
ZOOLOGY
29
SSV-ORP





Precisione
Robustezza
Affidabilità
Funzionalità
Costi e tempi
30
SSV-ORP per gli Atenei





Supporto all’allocazione interna delle risorse
Stimolo al miglioramento continuo
Supporto alle policy di sviluppo e recruitment
Comunicazione esterna
Ottimizzazione del processo di selezione CIVR
31
Giovanni Abramo
CNR e
Università degli Studi di Roma “Tor Vergata”
Dipartimento di Ingegneria dell’Impresa
Laboratorio di Studi
sulla Ricerca e il Trasferimento Tecnologico
Via del Politecnico 1, 00133 Roma
Tel. 06 72597362 - Fax 06 72597305
[email protected]
www.disp.uniroma2.it/laboratorioRTT
32