Convegno CGIL
Roma, 24 aprile2012
La Valutazione della Qualità della Ricerca (VQR)
Le sfide per gli enti di ricerca
Giorgio Sirilli
Indice





Gli obiettivi
Gli attori
L’approccio
L’impatto sugli enti pubblici di ricerca
Ancune considerazioni
Avvertenza
Le diapositive con lo sfondo bianco contengono informazioni
Quelle con lo sfondo fondo blu contengono opinioni
L’ANVUR è un’Agenzia del MIUR, come l’Agenzia delle entrate è un’Agenzia
del MEF
Non è dunque una Autorità indipendente come l’Autorità garante della
concorrenza ed altre, ma uno strumento del ministro
E’ composta da sette membri (tutti universitari)
Presidente: Stefano Fantoni
Coordinatore della VQR: Sergio Benedetto
Vice coordinatore della VQR: Andrea Bonaccorsi
Gli attori della VQR
 ANVUR
 Gruppi di Esperti della Valutazione (GEV)
 Revisori
 Strutture
 Università
 Dipartimenti
 Enti di ricerca
 CINECA
 Ricercatori /tecnologi/docenti
Nella VQR vi sono due tipi di attori: le istituzioni (ANVUR, enti di ricerca, università) ed i
singoli ricercatori/tecnologi/docenti. Quest’ultimi hanno la responsabilità diretta della
fornitura dei “prodotti” attraverso il CINECA: se non forniscono i dati la VQR non può
essere eseguita.
La VQR
LA VQR è stata pensata dagli universitari per valutare l’università, gli enti di
ricerca sono un accidente
Gli universitari non “capiscono” il CNR. Ciò è stato ampiamente dimostrato
in occasione della valutazione svolta nel 2009 allorché i panel di esperti
hanno visitato gli Istituti
Gli universitari hanno un conflitto di interessi con la “seconda rete
scientifica”: la considerano una piattaforma al loro servizio da utilizzare e
da governare per svolgervi le attività che non riescono a realizzare nelle
università
Oggetto della valutazione
E’ stato deciso di valutare gli enti di ricerca nel loro complesso, non i
singoli istituti (107 nel CNR, simili ai dipartimenti).
Nelle università vengono valutati anche i dipartimenti
La VQR
 Gruppi di Esperti di Valutazione (GEV)
 14 Gruppi (vedi tabella seguente)
 450 esperti, quasi tutti universitari. Soltanto 3 sono ricercatori del
CNR
 Centinaia di referee (presumibilmente quasi tutti universitari,
selezionalti dagli universitari) che riceveranno il compenso di 30 euro
a “prodotto”)
 Cronoprogramma della VQR
 Inizio: novembre 2011
 Fine: giugno 2013
VQR – Aree, GEV, ricercatori, prodotti
GEV
Area
Mathematics and Information Science
Physics
Chemistry
Earth science
Biology
Medicine
Agronomy and Veterinary Medicine
Civil engineering and Architecture
Industrial
and Computer
engineering
Ancient History
Philological
Literature and
Arts
History, Philosophy Psychology Pedagogy
Law
Economics and Statistics
Political and Social sciences
TOTAL
25
18
23
9
38
79
24
28
39
42
38
37
36
13
449
Universities
Full
Assistant
professor professor Researcher TOTAL
968
1002
1256
3226
604
816
870
2290
703
963
1293
2959
259
376
460
1095
1234
1361
2283
4878
2186
2955
5052
10193
821
898
1320
3039
978
1104
1520
3602
1600
1504
1961
5065
1512
1628
2256
5396
1478
1434
2022
4934
1612
1123
2049
4784
1580
1331
1758
4669
437
485
775
1697
15972
16980
24875
57827
Research agencies
Research Technolo
er
gist
369
62
262
44
338
57
125
21
557
94
1165
196
347
58
412
69
579
97
617
104
564
95
547
92
533
90
194
33
6609
1112
Max
number of
products
12075
8572
11076
4099
18259
38154
11375
13483
18959
20198
18469
17907
17477
6352
216455
Il costo della VQR
E’ stato stimato che la VQR costerà 300 milioni di euro,
pari a metà del Fondo di Finanziamento Ordinario del CNR
Il costo verrà sostenuto principalmente dall’università (92%)
mente la quota rimanente sarà a carico delle strutture da valutare
(6%) e dell’ANVUR (2%)
La metodologia della VQR
Nella VQR verranno raccolti i dati relativi a 15 indicatori:
7 indicatori di Area
8 indicatori di “Terza missione”
E’ stata adottata una metodologia “a tavolino”, basata
soltanto su documenti
E’ da notare la terminologia usata: “Terza missione” è un concetto residuale
dell’università che è impegnata prioritariamente nella didattica e nella ricerca. Le
attività elencate fanno pienamente parte della missione degli enti pubblici di ricerca,
non sono residuali.
Indicatori
Indicatori di Area legati alla ricerca:
qualità
(0,5)
attrazione di risorse
(0,1)
mobilità
(0,1)
internazionalizzazione
(0,1)
alta formazione
(0,1)
risorse proprie
(0,05)
miglioramento
(0,05)
Oggi l’attenzione è tutta qui
Qualità delle pubblicazioni
Punteggi:
eccellente
buono
accettabile
limitato
mancante
non valutabile
plagio o frode
1,0
0,8
0,5
0,0
-0,5
-1,0
-2,0
20% superiore della scala internazionale
60-80%
50-60%
<50%
La VQR presenta forti caratteri di originalità. Prevede l’assegnazione di valori negativi,
scleta ignota ad altre procedure valutative. La distribuzione 20-20-10-50 non riflette la
distribuzione statistica delle pubblicazioni
Problemi della valutazione dei prodotti
Valutazione dei pari/
bibliometria
Riviste da
Giudizio finale
Associati includere
dei GEV
Classificazioni
Pesi
20-20-10-50
Presenza schiacciante
degli universitari
Valori positivi
e negativi
Selezione dei
referee
Prodotti 6/3
Nell’ovale è riportato un elenco, non esaustivo, dei punti critici della VQR: in
particolare l’assegnazione di punteggi negativi e la richiesta ai ricercatori degli enti di
ricerca di esibire 6 “prodotti” ed agli universitarii di esibirne 3
Gli indicatori
Indicatori di struttura di ‘terza missione’:
conto terzi
(0,2)
brevetti
(0,1)
spin-off
(0,1)
incubatori
(0,1)
consorzi
(0,1)
siti archeologici
(0,1)
poli museali
(0,1)
altre attività
(0,2)
Le strutture dovranno fornire i dati su 14 indicatori: tali dati non sono certificati da
un’autorità indipendente, per cui vi potranno essere comportamenti opportunistici
nella competizione tra enti e università per l’assegnazione delle risorse. In particolare
la categoria “alte attività” si presta a libere e interessate interpretazioni di carattere
estensivo
La carta europea dei ricercatori
Valutazione
“Il merito non dovrebbe essere valutato esclusivamente sul numero di
pubblicazioni, …., ma dovrebbe essere ponderato con le attività di
insegnamento e supervisione, il lavoro di équipe, il trasferimento delle
conoscenze, la gestione della ricerca, l’innovazione e le attività di
sensibilizzazione del pubblico”
Le attività segnate in rosso, svolte dai ricercatori e menzionate della Carta europea dei
ricercatori, non sono considerate nella VQR
Quanti indicatori?
Uno, nessuno, centomila?
Tre scenari per gli indicatori:
 un indicatore sintetico
 due indicatori (Area e Terza missione)
 cruscotto (scoreboard)
Scenari possibili:
 graduatorie (Shanghai)
 multi-ranking
Quale sarà l’output della VQR: un solo indicatore per ciascuna struttura, due indicatori
o un cruscotto di 15 indicatori?
Mancano regole chiare econdivise: la metodologia della VQR non dà risposta a questi
quesiti lasciando aperte tutte le possibilità
Valutazione della Qualità della Ricerca (VQR)
Università
Enti di ricerca
Didattica
Ricerca
Ricerca
Terza
missione
Terza
missione
Valutazione della Qualità della Ricerca
(VQR)
VAlutazione delle Strutture che svolgono Attività di RIcerca e di
TRAsferimento delle COnoscenze (VASARITRACO)
La VQR non valuta la ricerca e la sua qualità, ma le strutture impegnate in una serie di
attività di produzione e trasferimento delle conoscenze
Un profilo degli enti pubblici di ricerca
La VQR valuta soltanto i 12 enti di ricerca vigilati dal MIUR, lasciando fuori importanti
enti di ricerca come l’ENEA, l’ISTAT, l’Istituto Superiore di Sanità, l’ISFOL
Gli enti pubblici di ricerca sono profondamente diversi tra loro per dimensione,
missione e struttura, e diversi dall’università
Tra I 12 enti vigilati dal MIUR soltanto 6 svolgono attività di ricerca
Va chiarito come verranno valutati gli enti che non svolgono attività di ricerca (per
esempio l’Agenzia spaziale italiana
Gli enti pubblici di ricerca:
realtà molto eterogenee
La valutazione degli Istituti del CNR
 Nel 2009 il CNR ha sottoposto a valutazione i suoi 107 Istituti di ricerca
 E’ stata impiegata una metodologia che prevedeva sia l’analisi “a tavolino”
che le “visite in loco”
 Il costo diretto della valutazione è stato di 1,8 milioni di euro, a cui vanno
aggiunti i costi indiretti stimati pari a 2,8 milioni di euro. Totale: 4,6 milioni
di euro
 Il return on investment è stato finora pari a 0. Non risulta che le
informazioni raccolte non siano state utilizzate per orientare le scelte
dell’ente
Sarebbe oppotuno utilizzare i risultati della valutazione degli Istituti del CNR per
eseguire la VQR
Andrebbe affettuato un accurato calcolo del costo che stanno sostenendo gli enti di
ricerca per corrispondere alle richieste della VQR
L a valutazione degli Istituti - 2009
Nel caso della valutazione degli Istituti del CNR le regole erano chiare fin dall’inizio ed
il personale era coinvolto nell’ambito degli Istituti ma non era chiamato a fornire al
Panel generale alcuna informazione. Al termine dell’esercizio ciascun Istituto ha
avuto la sua valutazione numerica e qualitativa (vedi gli esempi sopra riportati)
Una simulazione sul comportamento dei ricercatori/tecnologi del CNR
Nel caso in cui 350 ricercatori/tecnologi (il 10%) non inserisca i dati
("mancante" nel gergo ANVUR) l'impatto sarà di una diminuzione del
punteggio del 18,3%.
Nel caso in cui 350 ricercatori/tecnologi (10%) inserisca qualche prodotto
anomalo (“non valutabile” nel gergo ANVUR), l'impatto sarà di una
diminuzione del punteggio del 26,7%.
Alcune considerazioni
 Non c’è dubbio che gli enti pubblici di ricerca debbano essere valutati
 La metodologia della VQR è una originalità nel panorama internazionale e
non è stata sottoposta a test
 La metodologia della VQR è inadatta per gli enti di ricerca
 La VQR penalizza il CNR
 Gli enti dovrebbero essere valutati con una metodologia ad hoc (“a
tavolino” e “in loco”)
Alcune considerazioni
 Per il CNR andrebbero utilizzati i risultati della valutazione svolta tre anni
fa
 Le informazioni acquisite sui “prodotti” sono “vecchie” (2004-2010): nel
frattempo sono cambiate molte cose
 La valutazione deve essere adiuvante, non punitiva (le dichiarazioni di
Benedetto hanno suscitato molta apprensione circal’uso dei risultati della
VQR)
 La VQR, come ogni tipo di musurazione, cambia le regole del gioco. C’è il
pericolo che i ricercatori degli enti di ricerca, per ben apparire nelle
classifiche VQR, tendano ad appiattirsi sui parametri tipicamente
universitari, snaturando la missione degli enti di ricerca
 Vanno chiarite le modalità di utilizzazione dei risultati da parte dei policy
maker (dentro e fuori gli enti)
E ora … affrontiamo le sfide
Grazie dell’attenzione