CONSIGLIO NAZIONALE DELLE RICERCHE
Istituto di Studi sui Sistemi Regionali Federali e sulle Autonomie
''Massimo Severo Giannini''
Roma, 19 marzo 2012
La Valutazione della Ricerca del CNR
Le sfide della VQR dell’ANVUR
Giorgio Sirilli
Un Seminario di politica scientifica
Indice






La genesi
L’approccio
Gli attori
La Valutazione della Qualità della Ricerca (VQR)
Discussione
Le sfide
La domanda
 Quale sarà l’esito
della valutazione
del CNR da parte
dell’ANVUR?
Classifica delle università e degli enti di ricerca?
Possibile classifica degli enti di ricerca
INFN
CNR
.…
.…
.…
.…
.…
E’ possibile pronosticare l’esito della
VQR per gli enti di ricerca?
No
Un precedente
 Studio all’inizio del millennio (2002)
 Il 3% di Lisbona
1,20
L’approccio





Domanda di ricerca
Dati
Elaborazione
Conclusioni
Previsioni e raccomandazioni
La valutazione della ricerca
La valutazione della ricerca può essere definita come un processo
oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e
dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e
singoli ricercatori nel perseguire gli obiettivi prefissati.
La valutazione consiste in un complesso di attività coordinate, di
carattere comparativo, basate su metodi e tecniche formalizzate e
realizzate attraverso procedure codificabili, volte ad esprimere un
giudizio su interventi intenzionali rispetto al loro svolgimento ed agli
effetti generati.
La prima valutazione (Genesi)
Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che
aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne
sera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio si
riposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo che
Gli chiese: “Dio, come fai a sapere che quello che hai creato è
‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basi
la Tua valutazione? Non sei Tu forse un po’ troppo direttamente
coinvolto per dare un giudizio spassionato?” Dio rifletté su queste
domande per tutto il settimo giorno, ed il Suo riposo fu molto agitato.
L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.
La valutazione e gli indicatori
La valutazione e gli indicatori
L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche
degli indicatori è corretta, ma è comunque parziale
Each in his own opinion
Exceeding stiff and strong,
Though each was partly
in the right,
And all were in the wrong!
Ciascuno con la sua opinione
Convinto caparbiamente di essere nel
giusto,
Sebbene ciascuno fosse parzialmente
nel giusto,
Tutti erano nell’errore!
John Godfrey Saxe (1816–1887)
John Godfrey Saxe (1816–1887)
"The Blind Men and the Elephant"
"The Blind Men and the Elephant"
La valutazione
(Ben Martin)
 “Quando misuri un sistema, cambi il sistema”
 “I quattro principi di Merton:
- universalismo
- comunitarismo
- disinteresse
- scetticismo organizzato
sono sempre più erosi”
La valutazione: il difficile equilibrio tra le
esigenze della scienza e quelle della società
scienza
15
società
Number of universities
Le classifiche globali non coprono di più del 3-5% delle
università
del mondo
Alcune
considerazioni
Other 16,500
universities
Next 500
Top500
Top20
Performance
Scienza e ideologia: impatto sulle citazioni
3,000
Caduta del
muro di
Berlino
Nov. 1989
2,000
LENIN
1,500
1,000
500
CITATION YEAR
06
04
02
00
98
96
94
92
90
88
86
84
82
0
80
NR CITES
2,500
MARX
La matrice multidimensionale della valutazione
Unità da
valutare
Obiettivo
Dimensioni
dell’output
Indicatori
bibliometrici
Altri indicatori
Individuo
Allocazione di
risorse
Produttività della
ricerca
Pubblicazioni
Valutazione dei
pari
Gruppo di
ricerca
Miglioramento
della
performance
Impatto sulla
comunità
scientifica
Impact factor
Brevetti, licenze,
spin-off
Dipartimento
Incremento della Innovazione e
multidisciplinarità beneficio sociale
Impatto delle
citazioni
Inviti alle
conferenze
Incremento del
coinvolgimento
regionale
Sostenibilità
Collaborazioni
internazionali
Finanziamenti
esterni
Infrastrutture di
ricerca
Prestigio delle
citazioni
“Qualità” dei
PhD
Istituzione
Area di
ricerca
Promozioni,
reclutamento
La VQR
Unità da
valutare
Obiettivo
Dimensioni
dell’output
Indicatori
bibliometrici
Individuo
Allocazione di
risorse
Produttività
della ricerca
Pubblicazioni Valutazione
dei pari
Miglioramento
della
performance
Impatto sulla
comunità
scientifica
Impact
factor
Gruppo di
ricerca
Dipartimento
Istituzione
Area di
ricerca
Incremento della Innovazione e
multidisciplinarità beneficio
sociale
Incremento del
Sostenibilità
coinvolgimento
regionale
Promozioni,
reclutamento
Infrastrutture di
ricerca
Impatto
delle
citazioni
Altri indicatori
Brevetti,
licenze, spinoff
Inviti alle
conferenze
Collaborazioni
internazionali
Finanziamenti
esterni
Prestigio delle
citazioni
“Qualità” dei
PhD
ROARS
http://www.roars.it/online/
Agenzia vigilata dal MIUR
Sette membri (tutti universitari)
Presidente: Stefano Fantoni
Coordinatore della VQR: Sergio Benedetto
Vice coordinatore della VQR: Andrea Bonaccorsi
Gli attori della VQR
 ANVUR
 Gruppi di Esperti della Valutazione (GEV)
 Revisori
 Strutture
 Università
 Dipartimenti
 Enti di ricerca
 CINECA
 Ricercatori
La VQR
 GEV
 14 Gruppi
 450 esperti (di cui 3 del CNR)
 Cronoprogramma della VQR
 Inizio: novembre 2011
 Fine: giugno 2013
VQR – Aree, GEV, ricercatori, prodotti
GEV
Area
Mathematics and Information Science
Physics
Chemistry
Earth science
Biology
Medicine
Agronomy and Veterinary Medicine
Civil engineering and Architecture
Industrial
and Computer
engineering
Ancient History
Philological
Literature and
Arts
History, Philosophy Psychology Pedagogy
Law
Economics and Statistics
Political and Social sciences
TOTAL
25
18
23
9
38
79
24
28
39
42
38
37
36
13
449
Universities
Full
Assistant
professor professor Researcher TOTAL
968
1002
1256
3226
604
816
870
2290
703
963
1293
2959
259
376
460
1095
1234
1361
2283
4878
2186
2955
5052
10193
821
898
1320
3039
978
1104
1520
3602
1600
1504
1961
5065
1512
1628
2256
5396
1478
1434
2022
4934
1612
1123
2049
4784
1580
1331
1758
4669
437
485
775
1697
15972
16980
24875
57827
Research agencies
Research Technolo
er
gist
369
62
262
44
338
57
125
21
557
94
1165
196
347
58
412
69
579
97
617
104
564
95
547
92
533
90
194
33
6609
1112
Max
number of
products
12075
8572
11076
4099
18259
38154
11375
13483
18959
20198
18469
17907
17477
6352
216455
La metodologia
 15 indicatori utilizzati
 7 indicatori di Area
 8 indicatori di “Terza missione”
Indicatori
Indicatori di Area legati alla ricerca:
qualità
(0,5)
attrazione di risorse
(0,1)
mobilità
(0,1)
internazionalizzazione
(0,1)
alta formazione
(0,1)
risorse proprie
(0,05)
miglioramento
(0,05)
Oggi l’attenzione è tutta qui
Qualità dei “prodotti”
Punteggi:
eccellente
buono
accettabile
limitato
mancante
non valutabile
plagio o frode
1,0
0,8
0,5
0,0
-0,5
-1,0
-2,0
20% superiore della scala internazionale
60-80%
50-60%
<50%
Problemi della valutazione dei prodotti
Valutazione dei pari/
bibliometria
Riviste da
Giudizio finale
Associati includere
dei GEV
Pesi
20-20-10-50
Presenza schiacciante
degli universitari
Valori positivi
e negativi
Selezione dei
referee
Prodotti 6/3
Gli indicatori
 Indicatori di struttura di ‘terza missione’:
conto terzi
(0,2)
brevetti
(0,1)
spin-off
(0,1)
incubatori
(0,1)
consorzi
(0,1)
siti archeologici
(0,1)
poli museali
(0,1)
altre attività
(0,2)
Quanti indicatori?
Uno, nessuno, centomila?
Tre scenari per gli indicatori:
 un indicatore sintetico
 due indicatori (Area e Terza missione)
 cruscotto (scoreboard)
Scenari possibili:
 Graduatorie (Shanghai)
 multi-ranking
Valutazione della Qualità della Ricerca (VQR)
Università
Enti di ricerca
Didattica
Ricerca
Ricerca
Terza
missione
Terza
missione
Valutazione della Qualità della Ricerca
(VQR)
VAlutazione delle Strutture che svolgono
Attività di RIcerca e di TRAsferimento delle
COnoscenze
(VASARITRACO)
Il progetto della VQR
Un profilo degli enti pubblici di ricerca
Gli enti pubblici di ricerca:
realtà molto eterogenee
Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009
Sigla
Enti vigilati dal Miur
Cnr
Infn
Inaf
Ingv
Asi
Inrim
Ogs
Stazione zoologica "A. Dohrn"
Parco tecnologico Trieste
Centro Fermi
Indam
ISG
Altri enti
Enea
Istat
Iss
Isfol
Iit
Caratteristiche
differenziazione
scientifica e
tecnologica
svolge
attività di
ricerca
svolge
attività di
formazione
svolge
attività di
servizio
alta
bassa
bassa
bassa
bassa
media
media
bassa
alta
bassa
bassa
bassa
sì
sì
sì
sì
no
no
sì
sì
no
no
no
no
sì
sì
no
no
no
sì
no
sì
sì
no
no
no
sì
no
no
sì
no
sì
no
sì
sì
no
no
no
6/12
5/12
5/12
sì
sì
sì
no
no
si
sì
sì
si
no
alta
bassa
media
bassa
media
sì
sì
sì
sì
sì
La valutazione degli Istituti del CNR
 Svolta nel 2009
 Metodologia: “a tavolino” e “visita in loco”
L a valutazione degli Istituti - 2009
L a valutazione degli Istituti - 2009
L a valutazione degli Istituti - 2009
La valutazione degli Istituti del CNR
A missed opportunity?
Alcune considerazioni
Gli enti pubblici di ricerca devono essere valutati
La metodologia della VQR è inadatta per gli enti di ricerca
Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e “in loco”)
Informazioni “vecchie” (2004-2010) per un’utilizzazione futura in
tempi di “vacche magre”
 Valutazione adiuvante, non punitiva
 Modalità di utilizzazione dei risultati da parte dei policy maker




Sfide per il CNR








Penalizzazione del CNR – è più che un rischio
Prestare attenzione agli “altri” 14 indicatori
Tipo e qualità dei dati da fornire all’ANVUR
Valutazione dell’ente, degli istituti e dei ricercatori/tecnologi
Come rapportarsi con gli altri enti (concorrenti)?
Chiedere che gli enti di ricerca siano valutati a parte
Chiedere un “momento di riflessione” per migliorare la metodologia
Gestire le tensioni all’interno del CNR
E ora … affrontiamo le sfide
Mettiamoci a lavoro
Grazie dell’attenzione