VTR 2001- 2003
CIVR
Comitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI del 30 marzo 2006, ore 11
Panel 01 Scienze matematiche e informatiche
Prof. Alfio Quarteroni
Scopi e specificità del VTR
• Suggerire regole e procedure di riferimento per la
valutazione del Sistema Nazionale della Ricerca.
• Migliorare il collegamento istituzionale tra risultati
della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare trasparenza al processo.
Il processo
Governo
Strutture di ricerca
Comunità scientifica
• Dati & informazioni
• Relazione NUV/CIV
CIVR
Giudizi
Panel di Area
Prodotti
Strutture di ricerca
Strutture partecipanti
Area 01
Atenei
53
Enti pubblici di Ricerca
(CNR,INDAM)
2
Istituzioni private di Ricerca
--
Aree
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
Scienze matematiche e informatiche
15 a
15 b
15 c
15 d
15 e
15 f
Scienze e tecnologie per una società dell'informazione e della comunicazione
Scienze e tecnologie per la qualità e la sicurezza degli alimenti
Scienze e tecnologie dei nano/microsistemi
Scienze e tecnologie aerospaziali
Scienze e tecnologie per lo sviluppo e la governance sostenibili
Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
Scienze fisiche
Scienze chimiche
Scienze della terra
Scienze biologiche
Scienze mediche
Scienze agrarie e veterinarie
Ingegneria civile ed architettura
Ingegneria industriale e dell’informazione
Scienze dell’antichità, filologico-letterarie e storico-artistiche
Scienze storiche, filosofiche, psicologiche e pedagogiche
Scienze giuridiche
Scienze economiche e statistiche
Scienze politiche e sociali
Prodotti selezionabili
•
•
•
•
•
•
•
Libri
Capitoli di libri
Articoli su riviste
Brevetti e risultati di valorizzazione applicativa
Progetti, composizioni, disegni e design
Performance, mostre ed esposizioni
Manufatti e opere d'arte
Selezione dei prodotti (1)
• Le strutture (Universita’, etc.) hanno selezionato in autonomia i prodotti
da trasmettere ai Panel.
• Il numero complessivo di prodotti selezionati è stato fissato nel 50% del
numero medio annuo dei ricercatori della Struttura (calcolato sul
triennio), espressi in ETP.
• Non era obbligatorio presentare prodotti in ogni area o settore
disciplinare della stessa.
• Le aree prive di prodotti sono state giudicate inattive.
• L’area selezionata dipendeva dalla collocazione del prodotto e non da
quella degli autori.
• Per ciascun prodotto è stata trasmessa una scheda illustrativa, con
l’allegato in pdf della pubblicazione.
(In assenza di allegato, è stata richiesta alle Strutture copia cartacea)
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun
prodotto selezionato in una sola Area;
• Strutture diverse potevano selezionare prodotti
identici e presentarli anche in Aree diverse;
• Ciascun prodotto selezionato, anche se presentato
in Aree diverse, è stato sottoposto ad un unico iter
valutativo, che ha coinvolto tutti i Panel interessati.
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due
esperti esterni, per i seguenti criteri:
–
–
–
–
–
qualità
rilevanza
originalità/innovazione
internazionalizzazione
impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato
un giudizio di merito descrittivo.
Criteri (1)
• Qualità: posizionamento del prodotto rispetto
all’eccellenza scientifica nella scala di valore condivisa
dalla comunità scientifica internazionale. Il giudizio di
merito è affidato ad esperti esterni indipendenti, che
operano nel settore o in settori affini a quello di
appartenenza del prodotto (peer review).
• Rilevanza: valore aggiunto per l’avanzamento della
conoscenza nel settore e per la scienza in generale,
nonché per i benefici sociali derivati, anche in termini di
appropriatezza, efficacia, tempestività e durata delle
ricadute. Integra il giudizio di qualità.
• Originalità/innovazione: contributo a nuove acquisizioni o
all’avanzamento di conoscenze, nel settore di riferimento.
Integra il giudizio di qualità.
Criteri (2)
• Internazionalizzazione: posizionamento nello scenario
internazionale, in termini di rilevanza, competitività,
diffusione editoriale e apprezzamento della comunità
scientifica, inclusa la collaborazione esplicita con
ricercatori e gruppi di ricerca di altre nazioni.
Integra il giudizio di qualità.
• Impatto: effetti sociali, economici e culturali, diretti e
indiretti del prodotto.
Livelli di merito dei prodotti (1)
• Ciascun esperto ha espresso su ogni prodotto
un giudizio unico e complessivo, con
attribuzione a quattro livelli di merito (in
coerenza con il giudizio descrittivo):
– eccellente
– buono
– accettabile
– limitato
Livelli di merito dei prodotti (2)
• Eccellente: la qualità del prodotto si colloca nel 20%
superiore della scala di valore condivisa dalla
comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 60-80%.
• Accettabile: il prodotto si colloca nel segmento
40-60%.
• Limitato: il prodotto si colloca nel 40% inferiore.
Componenti del Panel 01
• ALBEVERIO SERGIO (Bonn)
• CANNONE MARCO (CNRS-Paris)
• NIVAT MAURICE (Paris)
• PICCOLI BENEDETTO (CNR-Roma)
• PROCESI CLAUDIO (Roma-La Sapienza)
• QUARTERONI ALFIO (Presidente)
(Politecnico di Milano e EPFL, Lausanne)
• VANNESCHI MARCO (Pisa)
Distribuzione dei prodotti
I prodotti sono stati distribuiti fra i panelist in base alle
specifiche competenze:
Panelist
Prodotti assegnati
Sergio Albeverio
Marco Cannone
Maurice Nivat
Benedetto Piccoli
Claudio Procesi
Alfio Quarteroni
Marco Vanneschi
124
126
71
147
139
130
50
Totale
787
Sottogruppi del Panel 01
• CONSENSUS GROUP N.1:
NIVAT MAURICE
PICCOLI BENEDETTO
QUARTERONI ALFIO MARIA
VANNESCHI MARCO
(Mat. Appl. e Informatica)
• CONSENSUS GROUP N.2:
ALBEVERIO SERGIO
CANNONE MARCO
PROCESI CLAUDIO
(Mat.”Pura”)
Prodotti valutati nell’area
Area 01
Prodotti presentati dalle Strutture
840
di cui:
96 presentati da 2 Strutture
-48
6 presentati da 3 Strutture
-4
2 presentati 2 volte dalla stessa Struttura
-1
Prodotti valutati dal Panel
787
Numero di prodotti presentati
Grandi strutture (≥25 prodotti)
64
60
61
56
52
51
48
44
40
42 43
38
35
36
32
28
24
28
32
30 30 31 31
25
Milano POLITECNICO
Milano STATALE
Torino UNIVERSITA'
GENOVA
PADOVA
PALERMO
FIRENZE
BOLOGNA
INDAM
PISA Univ.
NAPOLI Federico II
CNR
ROMA Sapienza
Numero di prodotti presentati
Medie strutture (10-24 prodotti)
24
23
22
21
20
19
18
17
16
15
14
13
12
11
10
Cagliari - Lecce
Udine - Perugia
Parma - Pavia - Milano Bicocca
Trieste - L'Aquila
Salerno
Torino POLITECNICO - Bari
Catania
Roma Tor Vergata
Numero di prodotti presentati
Piccole strutture (≤9 prodotti)
10
9
8
7
6
5
4
3
2
1
0
Sannio - IUAV - Sassari - Urbino - Cassino
Bergamo
SISSA - Pisa NORMALE - CATTOLICA
Verona - Marche - Reggio Calabria
Basilicata - Brescia - Chieti/Pescara
Insubria - Camerino - Piemonte Or. - Napoli II
Bari Politecnico - Siena - Venezia
Ferrara
Roma Tre - Modena e Reggio E. - Calabria
Esperti esterni coinvolti
Area 01
Numero
esperti
Numero
Valut/esperto
Valut.
Nazionalità
Provenienza
Italiana
Accademica
113
722
6.4
Italiana
Nonaccademica
20
85
4.3
Straniera
Mista
119
767
6.4
252
1.574
6.2
Totali
Tipologia dei prodotti (1)
Area 01
Tipologia
Numero
Articolo su rivista
%
746
94.79
Brevetto
2
0.25
Capitolo di libro
7
0.89
26
0.30
Performance, mostra ed esposizione
1
0.13
Progetto, composizione, disegno e design
2
0.25
Risultato di valorizzazione applicativa
3
0.38
787
100
Libro
Totale
Tipologia dei prodotti (2)
Area 01
Tipologia prodotto
ISI
numero
valutati eccellente
721 256 (35.5%)
Altri (non-ISI, libri, etc.)
Totale
66
28 (42.4%)
787 284 (36.0%)
Riviste ricorrenti
Area 01
ARCHIVE FOR RATIONAL MECHANICS AND ANALYSIS
COMMUNICATIONS IN MATHEMATICAL PHYSICS
JOURNAL OF DIFFERENTIAL EQUATIONS
MATHEMATICAL MODELS & METHODS IN APPLIED SCI
Rivista
JOURNAL OF FUNCTIONAL ANALYSIS
NUMERISCHE MATHEMATIK
JOURNAL OF MATHEMATICAL PHYSICS
JOURNAL OF ALGEBRA
SIAM JOURNAL ON NUMERICAL ANALYSIS
SIAM JOURNAL ON CONTROL AND OPTIMIZATION
ANN INSTITUT H POINCARE. ANALYSE NON LINEAIRE
TRANSAC OF THE AMERICAN MATHEMATICAL SOC
THEORETICAL COMPUTER SCIENCE
0
5
10
15
numero
20
25
30
Tipologia e qualità dei prodotti
Area 01 Scienze matematiche e informatiche
Eccellente
Buono
0%
Articolo su rivista (746)
Brevetto (2)
Capitolo di libro (7)
Libro (26)
Performance, mostra ed esposizione (1)
Progetto, composizione, disegno e design (2)
Risultato di valorizzazione applicativa (3)
Accettabile
25%
Limitato
50%
75%
100%
Distribuzione per Lingua
Nelle diverse Aree
12. Sc Giuridiche
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
14. Sc Politiche - Sociali
15f. Beni Culturali
8. Ing Civile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. ICT
15d. Sc Aerospaziali
9. Ing Industriale - Inform
4. Geologia
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano e Micro Tec
15b. Qualità alimenti
5. Biologia
6. Medicina
3. Chimica
1. Matematica
0%
10%
20%
30%
ITALIANO
40%
INGLESE
50%
60%
ALTRO
70%
80%
90%
100%
Grado medio di Proprietà
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie 8. Ing Civile - Arch
9. Ing Industriale 10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic
12. Sc Giuridiche
13. Economia 14. Sc Politiche - Sociali
15a ICT
15b. Qualità Alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo
15f. Beni Culturali
Totale
Prodotti eccellenti
1
Distribuzione dei giudizi (2)
Andamento complessivo per area
0%
10%
20%
30%
40%
50%
60%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. Ing Civile - Arch
9. Ing Industriale - Inform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. ICT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente
Buono
Accettabile
Limitato
70%
80%
90%
100%
Distribuzione dei giudizi (3)
48%
Area 01 - 787 prodotti
36%
13%
3%
Eccellente
Buono
Accettabile
Limitato
Analisi divergenze giudizi
Impact Factor dei prodotti (1)
Media ( ♦ ) e intervallo di variazione (
)
La Valutazione delle Aree (1)
Peso dei giudizi
Giudizio
Significato
Peso
Eccellente
Il prodotto si colloca nel 20% superiore della scala di
valore condivisa dalla comunità scientifica
internazionale
Buono
Il prodotto si colloca nel segmento 60%-80%
0.8
Accettabile
Il prodotto si colloca nel segmento 40%-60%
0.6
Limitato
Il prodotto si colloca nel 40% inferiore
0.2
1
La Valutazione delle Aree (2)
Il rating
Esprime il giudizio medio sui prodotti
presentati da ogni singola Struttura nelle
diverse Aree.
Si ottiene dividendo la somma dei giudizi
pesati attribuiti ai singoli prodotti (prodotti
pesati) per il numero totale di prodotti
presentati.
La Valutazione delle Aree (5)
La Valutazione delle Aree (6)
Analisi dei dati:
Il panel ha classificato i prodotti secondo i seguenti settori
scientifico-disciplinari del MIUR, Area 01-Scienze matematiche e
informatiche:
MAT
MAT
MAT
MAT
MAT
MAT
MAT
MAT
MAT
01
02
03
04
05
06
07
08
09
e in più
Logica matematica
Algebra
Geometria
Matematiche complementari
Analisi matematica
Probabilità e statistica matematica
Fisica matematica
Analisi numerica
Ricerca operativa
Informatica teorica
Software
Algoritmica non numerica
La Valutazione delle Aree (7)
140
120
100
E
B
A
L
80
60
40
20
0
MAT01 MAT02 MAT03 MAT04 MAT05 MAT06 MAT07 MAT08 MAT09
INF
TEO
ALG NN SOFT
Suggerimenti (1)
Possibilità di un terzo giudizio: per i prodotti che hanno ricevuto
giudizi molto discordanti (ad es. E-L), si potrebbe sempre chiedere
un terzo giudizio ad un esperto indipendente.
Un grado di giudizio in più (o in meno): la distinzione
buono/eccellente risulta forse troppo sfumata. Può essere utile sia
introdurre una nuova fascia “very good”, sia ridurre i gradi di
giudizio a tre. Inoltre si potrebbe indicare una stima di massima del
numero di prodotti da ritenere eccellenti, da cui non discostarsi
eccessivamente.
Suggerimenti (2)
Correttivi nel ranking? E' chiaro che per strutture medie/grandi
la legge dei grandi numeri gioca a favore del processo di
valutazione e produce un risultato ragionevole. Per piccole
strutture, invece, accade il contrario, e le fluttuazioni statistiche
sono significative. Sembra opportuno mettere un limite inferiore
al numero dei prodotti oppure introdurre più criteri per strutture
piccole.
Correttivi “locali”: si potrebbe considerare la customizzazione
per area di alcuni (se non tutti) fra i criteri di valutazione,
direttamente da parte del CIVR con la collaborazione del Panel
di area.