L’analisi CRUI
delle citazioni delle pubblicazioni
recensite dall’ISI
Elena Breno, Giovanni A. Fava,
Vincenzo Guardabasso e Mario Stefanelli
Roma, 8 ottobre 2003
Piazza Rondanini, 48 00186 Roma Tel. +39.06.684411 fax +39.06.68441399 e-mail: [email protected]
Sommario
• Premessa e finalità dell’analisi
• Metodologia dell’analisi
• Analisi dell’impatto della ricerca scientifica
nazionale in ambito internazionale
• Analisi della produzione scientifica degli Atenei
• Conclusioni e prospettive future
Premessa (1)
(Prof. Luciano Modica)
• E‘ largamente condivisa l’opinione che si debba
valutare la ricerca degli Atenei.
• E‘ molto difficile definire metodologie di
valutazione “oggettiva” della “qualità” della
ricerca.
• Gli appartenenti ad una comunità scientifica spesso
condividono lo stesso giudizio circa la qualità dei
“colleghi” e dei risultati della loro ricerca.
• Ma questi “valori” soggettivi spesso sfuggono ad
analisi puramente “oggettive”.
Premessa (2)
• Un indicatore quantitativo, sia pur molto
rozzo, spesso usato per valutare l’attività di
ricerca di gruppi o enti è rappresentato dal
numero di pubblicazioni prodotte.
• Un correttivo a questo indicatore è possibile
analizzando le informazioni gestite
dell’Istitute of Scientific Information (ISI) che
fornisce, oltre alla rivista (più di 9.000), anche
il numero di citazioni ricevute da ogni
pubblicazione inserita nella banca dati.
Classi di indicatori per la valutazione
della ricerca
• Acquisizione e gestione delle risorse
• Produzione scientifica
• Visibilità o presenza nazionale e
internazionale
• Impatto sul sistema socio economico
Finalità dell’analisi
• Contributo alla definizione di una metodologia
condivisa di valutazione della ricerca utilizzando le
informazioni contenute nella banca dati dell’ISI.
• Analisi della produzione scientifica di gruppi di
ricerca (università, settori scientifici, dipartimenti):
– produttività (numero di pubblicazioni/ numero di ricercatori)
– visibilità (numero di citazioni/numero di ricercatori)
– impatto (numero di citazioni/numero di pubblicazioni).
• Tali indicatori di performance scientifica sono stati
stimati per settori scientifici il più possibile omogenei.
ISI National Science Indicators
• Il NSI mette a disposizione un insieme di
indicatori per la valutazione comparativa della
produzione scientifica italiana nel periodo 19811999 rispetto a circa cento nazioni.
• Il NSI fornisce il numero di pubblicazioni (P) e il
numero di citazioni (C) ricevute da ciascuna
pubblicazione.
• Il rapporto C/P permette di calcolare l’impatto
internazione della ricerca di una nazione.
Paesi dell’UE classificati
per Impatto Scientifico (1981-1999)
Nazione
Impatto (C/P)
Citazioni (C)
Pubblicazioni (P)
Sweden
13,63
2.733.844
200.519
Denmark
12,80
1.277.433
99.836
Netherlands
12,36
3.029.184
245.055
UK
12,08
12.035.155
995.997
Belgium
10,43
1.273.803
122.106
Finland
10,31
875.172
84.881
France
9,73
6.200.504
637.357
Germany
9,61
8.391.278
873.536
Italy
8,76
3.070.391
350.433
Austria
8,51
666.197
78.266
Ireland
7,20
213.072
29.575
Spain
6,10
1.255.011
205.742
Portugal
5,59
111.770
19.979
Greece
5,20
231.153
44.466
Andamento nel tempo dell’Impatto
(Italia rispetto a Danimarca e Svezia)
Italy vs. Denmark and Sweden
6
4
Italy
3
Denmark
Sweden
2
1
5 year overlapping periods
95-99
94-98
93-97
92-96
91-95
90-94
89-93
88-92
87-91
86-90
85-89
84-88
83-87
82-86
0
81-85
Impact
5
Categorie ISI
• La banca dati ISI permette di analizzare il livello di
competitività del sistema della ricerca italiana in
circa 100 settori di ricerca (categorie ISI) .
• Non è possibile distinguere il contributo della ricerca
universitaria da quella di altri enti di ricerca pubblici
e privati.
• Non è facile tener conto delle risorse, umane e
materiali, impegnate nei vari settori.
• Si possono, comunque, produrre studi di settore e,
soprattutto, analizzare evoluzioni nel tempo del
livello di impatto.
Categorie ISI in cui l’Italia presenta un Impatto
superiore al valore medio mondiale (1981-1999)
N
Categorie ISI
Impatto
Italia
(I)
Impatto
globale
(W)
Differenza % Impatto
italiano rispetto al globale
(I-W)/W x 100
1
Inorganic & Nuclear Chemistry
11,03
7,97
+38
2
Chemical Engineering
7,34
5,39
+36
3
General & Internal Medicine
14,32
11,78
+22
4
Metallurgy
4,72
3,96
+19
5
Geology/Petrology/Mining Engineering
1,4
1,25
+12
6
Instrumentation/Measurement
5,06
4,56
+11
7
Chemistry
10,36
10,1
+3
8
Organic Chemistry/Polymer Sciences
9,33
9,14
+2
ISI Italian Citation Report
1981-1999
•
•
•
•
•
Numero di pubblicazioni: 459.740
Numero di citazioni: 3.209.760
Numero di autori: 2.423.201
Numero di affiliazioni: 1.089.252
Numero di riviste: 9.335
Modello concettuale dei dati
Addresses
9
Authors
Area CUN
Articles
Journals
Categories
Fields
106
24
Aree scientifiche CUN considerate nello studio
Area CUN
01
02
03
04
05
06
07
08
09
Denominazione
Scienze matematiche e informatiche
Scienze fisiche
Scienze chimiche
Scienze della terra
Scienze biologiche
Scienze mediche
Scienze agrarie e veterinarie
Ingegneria civile e architettura
Ingegneria industriale e dell’informazione
Descrittori
1. Risorse umane: numero di docenti e ricercatori
di ruolo alla data del 31 Dicembre 2000 (fonte
MIUR) .
2. Volume della produzione scientifica:
numero di pubblicazioni scientifiche relative al
quinquennio 1995-1999 (fonte ISI) .
3. Citazioni della produzione scientifica:
numero di citazioni ricevute nello stesso periodo
da ciascuna pubblicazione (fonte ISI) .
Indicatori
1. Produttività scientifica: rapporto tra il numero
di pubblicazioni nel quinquennio e il numero di
professori e ricercatori.
2. Visibilità scientifica: rapporto tra il numero di
citazioni ricevute dalle pubblicazioni del periodo
e il numero di professori e ricercatori.
3. Impatto scientifico: rapporto tra il numero di
citazioni e il numero di pubblicazioni del periodo.
Analisi da diversi punti di vista
• Sistema nazionale universitario
• Aree scientifiche CUN
• Dipartimenti di un Ateneo
• Gruppi di ricerca
La valutazione della
performance scientifica
degli Atenei
Possibili viste
della performance degli Atenei
• Valutazione della performance:
– a livello complessivo
– a livello di macro aree: Scienze della vita,
Scienze cliniche e Scienze tecniche
– a livello di aree più specifiche: le aree
scientifico-disciplinari definite dal CUN
Il posizionamento dell’Ateneo
in una specifica Area CUN
Area 01 - SCIENZE MATEMATICHE
4
3
2
Produttività
1
0
-4
-3
-2
-1
0
-1
-2
-3
-4
Impatto
1
2
3
4
La valutazione della
performance delle strutture di
ricerca di un Ateneo
Il posizionamento
dei Dipartimenti di un Ateneo
• Utile per valutare la performance scientifica dei
Dipartimenti di un Ateneo comparandola con quella
di strutture di ricerca nazionali “omogenee”.
• Opportunità di utilizzare i risultati dello studio
CRUI per una valutazione di Ateneo sfruttando le
informazioni disponibili solo a livello locale.
• Necessità di tener conto del mix di produzione dei
singoli Dipartimenti nelle diverse Aree CUN.
• Stima della performance media nazionale tenendo
conto del mix di produzione dello Dipartimento.
Produttività scientifica
dei Dipartimenti dell’Ateneo
La distribuzione nelle aree CUN della produzione
scientifica dei Dipartimenti di un Ateneo
AREE CUN
DIPARTIMENTI
Lavori non assegnati
BIOCHIMICA
BIOLOGIA ANIMALE
CHIMICA FARMACEUTICA
CHIMICA FISICA
CHIMICA GENERALE
CHIMICA ORGANICA
CHIRURGIA
DISCIPLINE ODONTOSTOMATOLOGICHE "S. PALAZZI"
ECOLOGIA DEL TERRITORIO E DEGLI AMBIENTI TERRESTRI
ELETTRONICA
FARMACOLOGIA SPERIMENTALE E APPLICATA
FISICA
FISICA NUCLEARE E TEORICA
GENETICA E MICROBIOLOGIA 'A.BUZZATI-TRAVERSO'
INFORMATICA E SISTEMISTICA
ING. EDILE E DEL TERRITORIO
ING. ELETTRICA
ING. IDRAULICA ED AMBIENTALE
MALATTIE INFETTIVE
MATEMATICA 'FELICE CASORATI'
MECCANICA STRUTTURALE
MEDICINA INTERNA E TERAPIA MEDICA
MEDICINA LEGALE E SANITA' PUBBLICA
MEDICINA PREVENTIVA, OCCUPAZIONALE E DI COMUNITA'
MEDICINA SPERIMENTALE
PATOLOGIA UMANA ED EREDITARIA
SCI EMATOLOG., PNEUMOL. E CARDIOVASC MEDICHE E CHIRURG.
SCI FISIOLOGICHE-FARMACOL. CELLULARI MOLECOLARI
SCI MORFOLOGICHE EIDOLOGICHE E CLINICHE
SCI NEUROLOGICHE
SCI PEDIATRICHE
SCI SANITARIE APPLICATE E PSICOCOMPORTAMENTALI
Percentuale produzione di Ateneo
Totale produzione di Ateneo
1
2
3
0,9
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,8
0,0
1,0
0,0
0,0
0,0
0,0
60,7
2,6
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
1,8
93
3,2
0,0
0,0
0,0
47,5
10,5
0,0
0,0
0,0
0,0
39,5
0,0
89,0
82,1
0,2
2,1
0,0
26,8
9,1
0,0
10,7
2,6
0,0
0,0
2,0
1,9
0,0
0,0
0,0
0,0
0,5
0,0
0,0
15,2
763
4,6
16,1
0,5
27,6
50,8
75,8
87,7
0,3
0,0
10,0
4,7
5,2
6,4
1,5
4,4
0,0
0,0
2,4
36,4
0,0
1,4
0,0
0,5
59,1
3,9
0,0
0,0
1,9
0,0
0,0
3,0
0,0
0,0
9,5
479
4
5
0,0
15,7
0,0
58,9
0,0
59,5
0,0
66,3
0,0
1,7
0,7
12,4
0,0
9,4
0,0
13,6
0,0
9,1
20,0
70,0
0,0
0,7
0,0
65,5
0,0
0,0
0,0
1,1
0,0
74,2
0,0
9,4
100,0
0,0
0,0
0,0
9,1
9,1
0,0
32,3
0,0
1,4
2,6
0,0
0,0
22,9
0,0
9,1
0,0
51,0
0,0
29,6
0,0
32,5
0,0
13,5
0,0
79,0
0,0
16,4
0,0
30,8
0,0
19,3
0,0
18,2
0,1
25,0
6
1258
Totale lavori
6
7
8
9
70,5
25,0
39,5
4,9
0,0
0,0
1,4
85,8
90,9
0,0
0,0
27,6
0,6
0,0
20,7
22,9
0,0
0,0
0,0
66,2
0,7
0,0
76,7
18,2
37,3
68,5
65,4
84,6
21,0
83,6
65,7
80,3
81,8
39,9
2007
0,0
0,0
0,5
0,6
0,0
0,0
1,4
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,2
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
2,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,1
6
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
9,1
0,0
2,1
28,2
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,0
0,3
15
5,1
0,0
0,0
0,6
0,0
0,7
0,0
0,3
0,0
0,0
55,1
1,7
4,1
14,4
0,2
64,6
0,0
70,7
27,3
1,5
22,9
64,1
0,0
13,6
3,9
0,0
2,1
0,0
0,0
0,0
0,0
0,4
0,0
8,1
408
434
124
200
163
120
153
138
324
11
10
301
58
345
263
411
96
1
41
11
65
140
39
442
22
51
54
240
104
62
140
201
238
33
5.035
Il posizionamento
dei Dipartimenti di un Ateneo
9
7
33
19
5
29
3
Impatto
26
30
39
44
37
1
5
-5
-3
21
-1
32
23
7
40
14
3
5
7
9
-1
43
20
22
-3
11
38 27
17 6 2 1
1
15
31
18
43
42
28
10
-5
Produttività scientifica
Conclusioni
• Incentivare la politica della “qualità” e
del “merito”.
• Individuare aree e strutture di
“eccellenza”.
• Pianificare attività e interventi.
• Assicurare trasparenza al processo di
allocazione delle risorse.
• Valorizzare, confrontare e motivare, sia
a livello centrale che periferico.
Futuro
I.
Verifica del grado di “interesse reale” per questa
ricerca da parte degli Organi di Governo e
Valutazione del sistema universitario.
II. In caso affermativo, occorre:
1. acquisire gli aggiornamenti dell’Italian Citation
Report;
2. realizzare un sistema di monitoraggio della
produzione scientifica degli Atenei basato su
indicatori bibliometrici condivisi a livello
internazionale;
3. offrire un servizio a tutti gli Atenei per favorire
studi locali di valutazione della ricerca.
Il posizionamento relativo
di un Ateneo in un’area CUN
Area 01 - SCIENZE MATEMATICHE
4
3
2
Produttività
1
0
-4
-3
-2
-1
0
-1
-2
-3
-4
Visibilità
1
2
3
4
Il posizionamento
dei Dipartimenti di un Ateneo
15
19
13
11
9
33
43
29
7
Visibilità scientifica
7
5
42
26
3
37
39 5 18
1
-5
-3
11
23
17
6
40
2
14
30 44 1
27
4 20 38
15
22
-1
3
1
32
-1 28
31 10 21
-3
-5
Produttività scientifica
3
5
7
9