Gruppo di Lavoro per la
Valutazione: GLV1
G. Chiefari, M. Diemoz, V. Vercesi
CIVR
 Comitato di Indirizzo per la Valutazione della Ricerca
 Componenti del CIVR (DPCM 2. 5. 2003)







Franco Cuccurullo, Ordinario di Medicina Interna e Rettore dell'Università
“G. D'Annunzio” di Chieti-Pescara (Presidente)
Mario Bressan, Ordinario di Chimica Generale presso l' Università di Chieti
Michele Coccia, Ordinario di Letteratura Latina presso l'Università di Roma
“La Sapienza”
Enrico Garaci, Ordinario di Microbiologia presso l'Università di Roma “Tor
Vergata“
Fiorella Kostoris Padoa Schioppa, Ordinario di Economia Politica presso
l’Università di Roma “La Sapienza”
Carlo Rizzuto, Ordinario di Ingegneria presso l’Università di Genova
Renato Ugo, Ordinario di Chimica Inorganica presso l'Università di Milano
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
2
Il Percorso di Gioco
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
3
CIV
 Comitato Interno di Valutazione







Dr. H. E. Montgomery, FNAL (USA). Chair
Prof. C. Castellano, ESAOTE spa, Genova (Italy)
Dr. U. Bassler, LNPHE-U, Paris VI/VII (France)
Prof. J. Engelen, Nikhef (Netherlands)
Prof. W. F. Henning, GSI Darmstadt (Germany)
Prof. R. Paladini, University Rome “La Sapienza” (Italy)
Prof. G. Veneziano, CERN Geneva (Switzerland)
 Il CIV è responsabile di


Validare i prodotti presentati dalla struttura
Stabilire la coerenza dei dati inviati al CIVR con i criteri di valutazione


Qualità, rilevanza, innovazione, internazionalizzazione, mobilità, produttività,
impatto socio-economico
Elaborare un rapporto triennale (+interim annuali) con

Validazione, valutazione performance scientifica con analisi retrospettiva,
impatto, responsabilità, congruità
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
4
Come è il gioco
 Pubblicazione delle “Linee Guida per la Valutazione della Ricerca” da parte del
CIVR
 La valutazione della ricerca è un processo fondato sull’analisi critica di dati e
informazioni, che conduce ad un giudizio di merito

Fine ultimo: una appropriata assegnazione delle risorse
 L’obiettività del processo presuppone


Criteri e metodologie predefiniti
Valutatori esterni alla struttura e non coinvolti nel processo da valutare
 Valutazione della Ricerca non come processo burocratico, ma preziosa
opportunità per mettere a fuoco aspetti nevralgici della performance delle
strutture
 L’esercizio completo si tiene con cadenza triennale

Il Ministero stabilisce l’organizzazione generale e la destinazione di adeguate
strutture di supporto
 Pubblicazione del “Bando di partecipazione all' esercizio 2001-2003 per la VTR,
Valutazione Triennale della Ricerca”
 Pubblicazione del “Bando per la segnalazione di Esperti per la Costituzione dei
Comitati di Area (PANEL) per l' esercizio VTR 2001-2003"
 Il CIVR si avvale di procedure informatizzate, la cui gestione è affidata al
consorzio interuniversitario CINECA
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
5
Le regole del gioco
 Sono in gara 77 Atenei, 12 EPR, 13 Enti convenzionati
 Ogni Struttura deve presentare un numero di Prodotti Selezionati della Ricerca
pari al 50% della media degli FTE nel triennio 2001-2003

Ogni prodotto deve essere accompagnato da una scheda illustrativa
 Al fine di calcolare gli FTE afferenti alla Struttura, gli universitari contano il
50% (didattica)
 Per le pubblicazioni il riferimento CIVR è il database ISI (Institute for Scientific
Information), mirrored al CILEA

http://wok.cilea.it/portal.cgi?DestApp=WOS&Func=Frame
 Tipologie del CIVR per i prodotti da proporre per la selezione








Articolo su rivista
Capitolo di libro
Libro
Brevetto
Risultato di valorizzazione applicativa
Progetto, composizione, disegno e design
Performance, mostra ed esposizione
Manufatto ed opera d’arte
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
6
1° giro: pubblicazioni
 Il GLV1 ha selezionato le pubblicazioni da presentare con la
seguente metodologia


Dai rappresentanti nazionali di esperimento sono state raccolte le
pubblicazioni nel triennio in esame
Attraverso una ricerca su ISI la lista è stata verificata ed integrata


I rappresentanti nazionali hanno ordinato ogni lista in modo congruo ai
parametri della valutazione


“quality and scientific importance of the product, international level of the
journals and bibliometric indexes”
Le liste sono state incrociate dal GLV per ottenere un campione
rappresentativo ed esauriente delle attività della CSN1 nel triennio


Gli assenti erano una percentuale rilevante !!!
Lo scopo è presentare la Fisica Subnucleare con Acceleratori
L’ottimizzazione globale è stata possibile solo dopo aver visto
collegialmente tutti i prodotti INFN

Lo scopo è presentare l’INFN
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
7
2° giro: manufatti e progetti
 Una parte rilevante dell’attività della CSN1 risiede nella
realizzazione dei suoi apparati sperimentali

Dare importanza a questi manufatti (o opere d’arte…) è fondamentale per




Sottolinearne l’alto connotato tecnologico
Evidenziarne le dimensioni (“Big Science”)
Mostrare le connessioni con il mondo industriale
Giustificare anche i finanziamenti ricevuti…
 I progetti costituiscono l’elemento di continuità verso il futuro
 I progetti NON possono essere strettamente “Progetti di Ricerca”
 Elementi strategici per i settori multi-disciplinari



Supporto ricevuto in particolare da LNF
Importante contributo dell’INFN per fornire attrezzature, soluzioni
tecnologiche o infrastrutture di calcolo da utilizzare in altri campi
Dimostrazione della vivacità intellettuale della nostra linea di ricerca
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
8
Punti a favore e contro
 Molto buono il valor medio
degli IF anche per i nonselezionati
 Il grado di proprietà (rapporto
del numero di autori) è indizio
di forte internazionalizzazione
e quindi non è molto alto
All Papers 2001-2003
Experimental Sub-nuclear Physics
250
Average = 3.46
200
150
100
50
0
0 0.5
1 1.5
2 2.5
3 3.5
4 4.5
5
5.5
6
6.5
7
7.5
8
8.5
9
9.5 10
Impact Factor
Selected papers 2001-2003
Experimental Sub-nuclear Physics
Selected Products 2001-2003
Experimental Sub-nuclear Physics
Degree of Property
80
160
70
Average = 4.75
140
60
120
50
100
40
80
30
60
20
40
10
20
0
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
5.5
Impact Factor
VTR CSN1 Febbraio 2005
6
6.5
7
7.5
8
8.5
9
9.5 10
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1.1
Degree of Property
Chiefari, Diemoz, Vercesi
9
Carte e numeri
 Il numero totale di prodotti presentati dall’INFN è di 660



623 Pubblicazioni
31 Manufatti
6 Progetti
 Per la CSN1: 206 Pubblicazioni, 13 Manufatti e 6 Progetti
 I 13 Manufatti sono stati selezionati partendo da un campione fornito dai
Rappresentanti Nazionali e sono stati discussi in riunioni plenarie dei GLV con i
Presidenti Iarocci e Petronzio
 I 6 Progetti sono stati scelti in modo analogo, premiando l’impatto
interdisciplinare

GRID, SPARC, SPARX, PLASMON-X, CTF3, TTF
Overall Scientific Productivity Subnuclear Physics 2001-2003
Papers
Total
FTE
630
770
VTR CSN1 Febbraio 2005
Papers
Selected
206
IF/paper
Total
IF/paper
Selected
Authors %
Selected
IF/paper/
author S
3.46
4.75
0.27
1.28
Chiefari, Diemoz, Vercesi
10
Il gioco continua
 Oltre ai 660 Prodotti Selezionati della Ricerca corredati da relative schede, sono
state chieste due relazioni da inviare al CVI per la validazione


Produttività scientifica globale dell’Ente
Impatto Socio-Economico-Interdisciplinare
 Per la prima relazione sono stati presi in esame, tra l’altro


Qualità della produzione scientifica
Confronto internazionale



Occasione per dare elementi di valutazione critica per l’IF
Grado di soddisfazione delle milestone
Contributi alle conferenze

Qualche sorpresa negativa per la scarsa presenza di italiani nei plenary talk
 Per la seconda relazione volevamo abbandonare il tavolo

Highlights sulle innovazioni teconologiche


Studio delle ricadute industriali ad alta tecnologia, e frazione nazionale



Per la CSN1: Reti, GRID, Acceleratori e+e- (SPARC/X)
Il famoso questionario che molti hanno amato
Un modello macro-economico dell’impatto dell’INFN: Leontief
Il rapporto INFN-CERN: R&D e ritorno all’industria italiana
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
11
Probabilità e Imprevisti
 Rendere omogenee, nelle forme e nei contenuti, 225 schede non è
stata impresa facile

Ancora dopo la sottomissione finale al MIUR sono stati riscontrati piccoli
errori o inesattezze


La probabilità che questo venga notato può essere ritenuta bassa
Per il futuro serve ancora maggiore attenzione
 Secondo il database ISI mancano comunque all’appello circa il
10% delle pubblicazioni con affiliazione INFN
 Le Linee Guida stabiliscono una regola capestro per il calcolo della
“proprietà” di un prodotto


La proprietà viene calcolata tenendo conto delle affiliazioni multiple
Il risultato netto è che, poiché quasi tutti i ricercatori dipendenti e incaricati
firmano con doppia affiliazione (INFN and University), TUTTI i gradi di
proprietà sono dimezzati



A quali imprevisti questo possa condurre non è dato sapere
Certo è che qualunque calcolo automatico che il CIVR metterà in opera (e.g.
rapporto tra finanziamenti e proprietà intellettuale) ci penalizzerà
Abbiamo cercato di ottenere un intervento del Management INFN verso il
CIVR, ma senza risultato
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
12
I nostri giocatori
 Sono stati molti, impossibile citarli tutti
 Certamente degni di menzione per l’alto grado di
sportività dimostrato



I coordinatori della CSN1 di questi anni
I Presidenti della CSN1: Calvetti, Dosselli, Ferroni
I responsabili nazionali di esperimento


ALEPH, ATLAS, BABAR, BTEV, CDF, CMS, COMPASS, DELPHI,
FOCUS, HERA-B, JFNAL, KLOE, L3, LHCB, NA48, OPAL, ZEUS
I link del GLV1 verso gli esperimenti della CSN1

R. Tenchini, M. Curatolo, M. Morandin, D. Pedrini, M. Dell'Orso,
F. Palla, A. Martin, A. Perrotta, D. Pedrini, A. Zoccoli, M. Negrini,
F. Bossi, A. Cartacci, U. Marconi, E. Iacopini, F. Fabbri, D. Boscherini
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
13
Primi Premi
 Il CVI ha elaborato la sua relazione di accompagnamento che ha
sottomesso al CIVR

Duplice incontro: 30/6-2/7 per i Prodotti e la Relazioni delle CSN, 22-23/11
per le Relazioni Scientifiche e Socio-Economiche e i dati addizionali su
personale, finanze, etc
 La CSN1 ha ottenuto nel report apprezzamenti di altissimo livello

Sia per la qualità generale dei prodotti selezionati



“In summary the years 2001-3 have seen a very high level of production of
results based both on mature programs which have now finished and on young
programs just establishing operation ”
“Over all the quantitative measures applied, the scientific productivity in his
sub-field is outstanding”
Sia per i contributi specifici agli apparati sperimentali

“The pieces of equipment included a number of major contributions to the world
investment in this physics”
 E tutto l’INFN realizza uno score elevato

“The primary measure of productivity, publications, compare favourably
with those of institutes in other countries. It is a relatively straightforward
conclusion that INFN places Italy in the top 5-7 countries worldwide in the
relevant fields”
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
14
L’importante è partecipare
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
15
Come finisce il gioco
 I prodotti sono stati inseriti nel database CINECA

Un database INFN è stato messo a punto a LNF grazie al supporto del gruppo DataWeb
 Il CIVR nomina i membri dei Panel (“Panelist”)
 I Panelist affidano ciascun prodotto ad almeno due Esperti di Settore, selezionati per
competenze
 Gli Esperti valutano i prodotti, attribuendoli allo specifico livello di merito




Eccellente: il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla
comunità scientifica internazionale
Buono: il prodotto si colloca nel segmento 60-80%
Accettabile: il prodotto si colloca nel segmento 40-60%
Limitato: il prodotto si colloca nel 40% inferiore
 I Panelist ricevono i giudizi, elaborano relazioni di consenso e la relazione di Settore
 Il Panel elabora la ranking list e la comunica al CIVR: responso nel Settembre 2005
A
Almeno il 50% dei prodotti è giudicato eccellente e i rimanenti buoni
B
Almeno il 30% dei prodotti è giudicato eccellente e i rimanenti buoni
C
Almeno il 50% dei prodotti è giudicato eccellente o buono e i rimanenti di valore accettabile
D
Almeno il 30% dei prodotti è giudicato eccellente o buono e meno del 50% di valore limitato
E
Almeno il 20% dei prodotti è giudicato eccellente o buono e meno del 50% di valore limitato
F
Meno del 20% dei prodotti è giudicato eccellente o buono e meno del 50% di valore limitato
NV
Oltre il 50% dei prodotti è di valore limitato
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
16
I Panelist Area 02













Livio BALDI - ST Microelectronics
Gianpaolo BELLINI - Università degli Studi di Milano
Nicola CABIBBO - Università degli Studi di Roma "La Sapienza"
Antonino CATTANEO – Scuola Internazionale Superiore di Studi Avanzati
Francesco DE MARCO - Ente per le Nuove tecnologie, l’Energia e
l’Ambiente
Carlo FERDEGHINI – Istituto Nazionale per la Fisica della Materia
(INFM)
Ingolf LINDAU - Stanford University; Lunds Universitet
Ferdinando MACCHETTO – European Space Agency (ESA)
Giorgio PARISI - Università degli Studi di Roma “La Sapienza”
Alvio RENZINI – European Southern Observatory (ESO)
Emanuele RIMINI - Università degli Studi di Catania
Giacinto SCOLES – Scuola Internazionale Superiore di Studi Avanzati
(SISSA)
Maria Beatrice VITTORELLI - Professore Emerito, Università di Palermo
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
17
Game over
 Voglio ringraziare Marcella e Gianni

Che mi hanno sempre aiutato, sostenuto, incoraggiato
 Vogliamo ringraziare Umberto

Che ci ha spronato continuamente a fare meglio e ha
contribuito non poco al lavoro quotidiano
 Il Gruppo di Lavoro per la Valutazione rimette il proprio
mandato nelle mani del Presidente della CSN1


Con la speranza di avere contribuito positivamente al processo
di Valutazione, all’immagine della CSN1 e a quella dell’Ente
Con la certezza che momenti mistici di tale levatura non si
riproporranno tanto facilmente
VTR CSN1 Febbraio 2005
Chiefari, Diemoz, Vercesi
18