Convegno
Il Sistema Universitario Campano: la cooperazione tra gli Atenei per
rispondere alle sfide della società su formazione, innovazione, lavoro
Università degli Studi di Napoli “L’Orientale”
Napoli, 25-26 giugno 2015
La valutazione della ricerca oggi in Italia: sfide e prospettive
Giorgio Sirilli
IRCrES-CNR
Redazione ROARS
1
11
ROARS
Inizio: 2011
Redazione: 14 membri
Collaboratori: 250
Contatti: 10,6 million (Novembre 2011 – Maggio 2015)
Contatti giornalieri: 500 Novembre 2011; 8,000 in 2014)
Articoli pubblicati: 2,000
Commenti dei lettori: 30,000
ROARS è all’ 8° posto tra i blog culturali in Italia
ROARS, un’espressione di democrazia e di partecipazione, è
diventato un attore nel panorama del dibattito pubblico e nella
formazione delle decisioni politiche.
2
22
Una breve storia della valutazione della ricerca
Research Assessment Exercise (RAE)
Research Excellence Framework (REF) (impact)
Unificazione delle Germania
Italia, un paese in ritardo
Valutazione in Italia: sì o no?
Sì, ma … una buona valutazione
Obiettivo: adiuvante (“Valutare per promuovere”)/assegnazione
delle risorse
3
33
Indirizzo, valutazione e controllo
1. Limitati interventi ordinamentali; fiducia ai meccanismi di
autoregolazione e controllo orizzontale dei pari
– enfasi sul carattere di bene pubblico della conoscenza
scientifica e dell’istruzione
2. Regolazione diretta attraverso norme e direttive attuate da
agenzie
– rendimenti privati della ricerca e interesse privato individuale
ad «investire» in capitale umano
• L’Italia ha scelto, con decenni di ritardo la seconda via
• Ha costruito un sistema istituzionale sbilanciato
4
44
Valutare è difficile
Michael Faraday
William Gladstone
Il ministro inglese delle finanze, William Gladstone, chiese a
Michael Faraday quale fosse il valore pratico dell’elettricità.
Il commento di Gladstone’s fu semplicemente “Ma in fondo,
quale sarà l’utilità della sua scoperta?”
“Perché, signore, vi è ogni probabilità che molto presto lei potrà
tassarla.”
5
55
Fermi e Pontecorvo
Bruno Maksimovič Pontekorvo
6
66
Fermi e Pontecorvo
“La fisica è una sola ma disgraziatamente oggi i fisici sono divisi
in due categorie: i teorici e gli sperimentatori. Se un teorico non
possiede straordinarie capacità il suo lavoro non ha senso…
Per quanto riguarda la sperimentazione invece anche una
persona di medie capacità ha la possibilità di svolgere un lavoro
utile.” (Enrico Fermi, 1931)
7
77
L’indice h-index (Jorge Eduardo Hirsch)
L’impatto del lavoro del singolo ricercatore
Se un ricercatore ha un h-index di 20, ha pubblicato 20
articoli che hanno ricevuto 20 citazioni ciascuno.
8
88
Impact factor (Eugene Fardfield)
L’impact factor di una rivista è una misura che riflette il
numero medio di citazioni, nei due anni precedenti, degli
articoli (articoli, review, proceedings, note) pubblicati in quella
rivista
Per esempio, se una rivista ha un impact factor di 3 nel 2008, i
suoi articoli del 2006 e 2007 hanno ricevuto 3 citazioni
ciascuno nel 2008
9
99
Il caso del grafene
Andre Geim and Konstantin Novoselov dell’University of Manchester
hanno vinto il Premio Nobel nella fisica nel 2010
Il loro articolo è stato pubblicato nel 2004 e nel 2007 era ampiamente
citato
10 10
10
Il caso de grafene
2004
2004
11 11
11
Il Nobel e il bosone (2013)
Peter Ware Higgs
13 works, mostly in “minor” journal, h-index = 6
Francois Englert
89 works, both in prestigious and minor journals, h-index = 10
W. S. Boyle
h-index = 7
G. E. Smith
h-index = 5
C. K. Kao
h-index = 1
T. Maskawa
h-index = 1
Y. Namby
h-index = 17
12 12
12
L’ondata neo-liberale degli anni 1980
13 13
13
Le nuove parole chiave
New public management
Value for money
Accountability
Rilevanza
Eccellenza
14 14
14
L’ondata neo-liberale in Italia
Letizia Moratti
Ministro del MIUR
Prima dovete dimostrare che usate in maniera efficiente
ed efficace i soldi pubblici, poi apriremo i cordoni della
borsa.
Non è successo!
15 15
15
ANVUR
16 16
16
“Contro l’ideologia della valutazione.
L’ANVUR e l’arte della rottamazione dell’università”
“L’ANVUR è molto più che un organismo
amministrativo fra gli altri. E’ frutto di
un progetto culturale e politico di
riduzione del possibile e del
disboscamento del molteplice.”
17 17
17
“Contro l’ideologia della valutazione.
L’ANVUR e l’arte della rottamazione dell’università”
L’ANVUR non è un accidente della storia, ma il
portato coerente di un disegno di potere e di una
ideologia che già di per sé è foriera di gravi
conseguenze politiche e sociali a livello mondiale,
ma che è del tutto inadeguata ad affrontare il
problemi del mondo del sapere, della serendipity,
della creatività, del molteplice, introducendo
forzosamente il metro dei rapporti di mercato,
cercando la “soddisfazione del cliente”, l’eccellenza
a scapito della collaborazione.
18 18
18
“Contro l’ideologia della valutazione.
L’ANVUR e l’arte della rottamazione dell’università”
Al fondo di quello che oggi viene definito lo
evaluative state c’è il governo minimo, ovvero una
forma di governabilità che tende ad abdicare al
ruolo e alle responsabilità della politica e a sottrarsi
a ogni discussione democratica e quindi alla ricerca
del consenso, per affidarsi invece alla guida di
‘piloti automatici’ ed a istanze di controllo tecnico e
amministrativo.
19 19
19
Il fascio della conoscenza
20 20
20
Le attività dell’università
Università
insegnamento
ricerca
“terza missione”
21 21
21
Collaborazione tra imprese innovatrici e enti pubblici
22 22
22
Cambiamenti nella vita universitaria
L’università ormai dipende da:
- Progressiva rilevanza della misurazione bibliometrica
- Standard di qualità
- Referaggi “ciechi” (qualcuno vede te, e ti giudica, ma tu non vedi lui)
- Mediane bibliometriche
- Classificazione delle riviste (A, B, C, …)
- Citazioni opportunistiche
- Turismo accademico
- Onere amministrativo
- …….
23 23
23
Le conseguenze epistemiche della valutazione basata sulla bibliometria
Principali risultati
Un cambiamento radicale nel comportamento dei ricercatori dovuto
all’introduzione della valutazione basata sulla bibliometria
La valutazione basata sulla bibliometria ha una fondamentale funzione
normativa rispetto alle pratiche scientifiche, che producono un
profondo impatto sullo statuto epistemico delle discipline
(T. Castellani, E. Pontecorvo, A. Valente, Epistemological consequences of bibliometrics:
Insights from the scientific community, Social Epistemology Review and Reply Collective vol. 3
no. 11, 2014).
24 24
24
Le conseguenze epistemiche della valutazione basata sulla bibliometria
1. La valutazione basata sulla bibliometria ha cambiato il modo in cui
gli scienziati scelgono l’oggetto della loro ricerca:
- scegliendo temi “di moda”
- posizionando l’articolo nella coda di una scoperta importante
(bandwagon effect)
- scegliendo brevi articoli empirici
2. La fretta
3. I temi interdisciplnari sono sacrificati. I sistemi di valutazione basati
sulla bibliometria scoraggiano i ricercatori a cambiare oggetto della
ricerca durante la propria carriera
4. La ripetizione degli esperimenti è scoraggiata. Sono di interesse
soltanto i nuovi risultati
(T. Castellani, E. Pontecorvo, A. Valente, Epistemological consequences of bibliometrics:
Insights from the scientific community, Social Epistemology Review and Reply Collective vol. 3
no. 11, 2014).
25 25
25
Eccellenza
Statuto del CNR 2011
Statuto del CNR 2015
26 26
26
San Francisco Declaration on Research Assessment
San Francisco Declaration
on Research Assessment
Raccomandazione generale
Non usare le metriche basate sulle riviste, come l’impact
factor, come una misura surrogata della qualità degli articoli
dei singoli ricercatori, per valutare il contributo scientifico di
uno scienziato, o per decidere su reclutamento, promozioni o
finanziamenti
27 27
27
La resipiscenza
28 28
28
Il Manifesto di Leida
29 29
29
Il Manifesto di Leida
“I dati sono sempre più usati per governare la scienza. Le
valutazioni della ricerca che in passato erano svolte ad hoc ed
eseguite dai pari sono ora routine e si basano su metriche. Il
problema è che ora la valutazione è guidata dai dati invece che
dal giudizio. Le metriche sono proliferate: spesso con buone
intenzioni, non sempre ben informate, spesso male applicate.
Corriamo il rischio di danneggiare il sistema con strumenti nati
per migliorarlo, giacché la valutazione è sempre più spesso
eseguita da organizzazioni sprovviste delle competenze, o delle
consulenze, delle buone pratiche .”
30 30
30
Il Manifesto di Leida – Dieci principi
1. La valutazione quantitativa deve supportare il giudizio ricerca qualitativo
2. Misurare le prestazioni in relazione alla missione di ricerca
dell’istituzione, del gruppo o del ricercatore
3. Salvaguardare l’eccellenza nella specifica locale
4. Mantenere aperto, trasparente e semplice il processo di acquisizione dei
dati e quello di analisi
5. Consentire ai valutati di verificare i dati e l’analisi
6. Tenere conto delle differenze tra aree disciplinari nelle pratiche di
pubblicazione e citazione
7. Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del
loro portafoglio scientifico
8. Evitare finta concretezza e falsa precisione
9. Riconoscere gli effetti sistemici della valutazione e degli indicatori
10. Verificare regolarmente la qualità degli indicatori ed aggiornarli
31 31
31
Le classifiche delle università
Le principali fonti delle classifiche
ARWU Shangai (Shangai, Jiao Tong University)
QS World University Ranking
THE University Ranking (Times Higher Education)
US News e World Reports (Best Global Universities)
32 32
32
Top
UNIVERSITIES
Worldwide university rankings, guides & events
Criteri
•Ricerca
•Insegnamento
•Impiegabilità
•Internazionalizzazione
•Strutture
•Responsibilità sociale
•Innovazione
•Arte e cultura
•Inclusità
•Criteri specialistici
Number of universities
Le classifiche globali coprono circa il 3-5% delle università
Other 16,500
universities
Next 500
Top500
Top20
Performance
34 34
34
Le classifiche delle università: il caso dell’Italia
ARWU Shangai (Shangai, Jiao Tong University)
QS World University Ranking
THE University Ranking (Times Higher Education)
US News e World Reports (Best Global Universities)
ARWU Shangai:
Bologna 173,, Milano 186, Padova 188, Pisa 190, Sapienza 191
QS World University Ranking:
Bologna 182,, Sapienza 202, Politecnico Milano 229
World University Ranking SA:
Sapienza 95, Bologna 99, Pisa 184, Milano 193
US News e World Report:
Sapienza 139, Bologna 146, Padova 146, Milano 155
35 35
35
La valutazione è costosa
Research Assessment Exercise (RAE)
540 milioni di Euro
Research Excellence Framework (REF)
1 milione di Sterline (500 milioni)
Valutazione della Qualità della RIcerca (VQR)
300 milioni di Euro (ROARS)
182 milioni di Euro (Geuna)
36 36
36
La valutazione è costosa
37 37
37
La valutazione è costosa
Abilitazione Scientifica Nazionale: 126 million Euro
- Costo per domanda: 2.300 euro
- Costo per assunzione: 32.000 euro
38 38
38
Prospettive
Non si torna indietro
Il sistema è stato misurato ed è cambiato
Coscienza delle limitazioni delle metriche
La sfida: evitare che la valutazione produca più problemi che soluzioni
Principali problemi:
Classifiche
Competizione/collaborazione degli scienziati
Peer review/bibliometria
Scienze “naturali” e “umane e sociali”
Comportamento opportunistico
La spaccatura della comunità accademica
L’equilibrio tra insegnamento, ricerca e terza missione
Burocratizzazione
L’uso della valutazione nelle decisioni politiche
39 39
39
Prospettive
ANVUR (Consiglio direttivo)
VQR.2 (in fase di inizio)
ASN.2 (mediane)
AVA (visite in corso)
Terza missione (studio)
40 40
40
Valutazione della ricerca
Grazie dell’attenzione
41 41
41