Gruppo di Lavoro per la
Valutazione della Ricerca
Chiefari, Diemoz, Dosselli, Vercesi
Definizioni e presupposti


Pubblicazione delle “Linee Guida per la Valutazione della Ricerca” da
parte del CIVR (MIUR)
La valutazione della ricerca è un processo fondato sull’analisi critica di
dati e informazioni, che conduce ad un giudizio di merito. L’obiettività del
processo presuppone



L’esercizio completo si tiene con cadenza triennale


Criteri e metodologie predefiniti
Valutatori esterni alla struttura e non coinvolti nel processo da valutare
Il Ministero stabilisce l’organizzazione generale e la destinazione di
adeguate strutture di supporto
Valutazione della Ricerca non come processo burocratico, ma preziosa
opportunità per mettere a fuoco aspetti nevralgici della performance
delle strutture




Qualità e rilevanza della produzione scientifica, nuove frontiere
Originalità, innovazione, internazionalizzazione
Capacità di gestire risorse, dare risposte a grandi temi sociali
Indicazioni per pianificazione strategica degli interventi per la ricerca
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
2
Valutazione Triennale della Ricerca


Decreto del MIUR n. 2206, registrato alla Corte dei Conti il 12 marzo 2004
Disciplina il processo di valutazione dei risultati della ricerca, che riguarda le
seguenti strutture






Università (statali, non statali legalmente riconosciute)
Enti di ricerca, ENEA e ASI
altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta…
L'attuazione e la gestione del processo sono affidate al Comitato di Indirizzo
per la Valutazione della Ricerca (CIVR)
L’esercizio di valutazione coinvolge il personale di ricerca delle Strutture (a
tempo indeterminato e a tempo determinato), che ha come esito principale
della propria attività la pubblicazione di prodotti di ricerca
Ai fini del presente decreto per personale di ricerca si intende



professori e ricercatori delle Università (con peso 0,5 ETP)
ricercatori degli Enti di ricerca (con peso 1 ETP)
personale di ricerca dipendente dagli altri soggetti pubblici e privati (con peso
variabile, rapportato all’impegno contrattuale finalizzato alla ricerca)
http://www.civr.it/news/decreto_miur2206RIC.pdf
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
3
Bando di partecipazione





Primo esercizio di Valutazione Triennale della Ricerca (VTR)
L’esercizio è rivolto alla valutazione della performance scientifica delle
”Strutture” di ricerca di cui al decreto
L’esercizio 2001-2003 verrà articolato sulle 14 Aree disciplinari indicate
dal Comitato Universitario Nazionale (CUN) e su 6 Aree speciali
Per ogni Area viene costituito presso il CIVR un unico Comitato (Panel)
di Area, con esperti di alto livello, anche stranieri, scelti sulla base della
specializzazione, capacità ed esperienza
La valutazione viene effettuata sulla base di elementi conoscitivi forniti
dalle Strutture interessate alla valutazione, che sono di tre tipi



prodotti scientifici selezionati dalle Strutture stesse tra quelli ritenuti i migliori
e più significativi, atti a dimostrarne la qualità e consistenza scientifica
dati sulle dimensioni complessive della Struttura, in termini di risorse
disponibili e acquisite e sul loro impiego nella ricerca
un rapporto triennale da parte del proprio Nucleo o Comitato di Valutazione
(NUV/CIV) o, in sua assenza, da parte dei responsabili della Struttura stessa
http://www.civr.it/news/bando35(16.3.04).pdf
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
4
Scaletta temporale

L’elenco dei prodotti selezionati da parte delle Strutture (punto 1), pari al 50% del numero
medio di ETP nel triennio e validati dai NUV/CIV dovranno essere trasmessi per via
telematica (CINECA) ai Panel entro il 30 giugno 2004


I dati e le informazioni di cui al punto 2), nonchè i rapporti dei NUV/CIV, di cui al punto 3),
dovranno essere trasmessi al CIVR entro il 31 dicembre 2004


Per la CSN1 corrispondono a circa 200 prodotti
Varie informazioni riguardanti la performance della ricerca, elementi di valutazione dell’impatto
socio-economico, mobilità,…
Il Rapporto dei Panel, che deve pervenire al CIVR entro il 30 giugno 2005, è un rapporto
collegiale articolato in tre parti distinte

Valutazione dei singoli prodotti (consensus report)


Ranking list delle Strutture


Attribuisce le Strutture a fasce di merito predefinite dal CIVR
Relazione finale


Riesame critico dei giudizi di merito degli esperti esterni, ricondotti ad un momento di sintesi, articolato in
quattro livelli (eccellente; buono; accettabile; limitato).
Punti di forza e di debolezza dell’Area a livello complessivo in relazione ai vari aspetti presi in esame (merito
scientifico, produttività, impatto del settore scientifico nel confronto internazionale), suggerendo, ove
possibile, specifici interventi, che permettano di migliorare le opportunità e gli aspetti ritenuti critici
Al CIVR compete la stesura della relazione finale dell’esercizio 2001-2003 del VTR, da
consegnare al Ministro entro il 31 marzo 2006, che comprende:


il giudizio di merito per ogni singola Struttura
la valutazione di merito complessivo del sistema nazionale della ricerca, sia per Area che globale,
che emerge dalla integrazione degli elementi di analisi a disposizione del CIVR
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
5
Criteri di Valutazione
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
6
Numerologia
Linea CSN1
2001-2002-2003
TotaliSelez % sel Sample
LHC (ATLAS,CMS,LHCb)
LEP (ALEPH,DELPHI,OPAL,L3)
Materia-Anti (BABAR,KLOE,NA48,BTEV)
Hadronic (CDF,FOCUS,JFNAL)
DIS (COMPASS,ZEUS)
162
192
119
84
56
47
64
53
49
25
0,29
0,33
0,45
0,58
0,45
Totali
613
238
0,39
0,20
0,27
0,22
0,21
0,10
Selezionati a partire dalle priorità date dai Responsabili Nazionali.
Utilizzati criteri legati all’IF, notorietà, etc
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
7
Statistiche
Prodotti Selezionati
Prodotti Totali
LHC (ATLAS,CMS,LHCb)
11%
9%
20%
LEP
(ALEPH,DELPHI,OPAL,L3)
26%
14%
1
Materia-Anti
(BABAR,KLOE,NA48,BTEV)
21%
2
3
Hadronic
(CDF,FOCUS,JFNAL)
4
5
19%
26%
DIS (COMPASS,ZEUS)
32%
CSN1 - 05/04/2004
22%
Chiefari,Diemoz,Dosselli,Vercesi
8
Prodotti selezionati della Ricerca

Due tipologie di prodotti



Pubblicazioni: caratteristici della nostra produttività scientifica
Progetti: rappresentativi delle grandi realizzazioni sperimentali e dei contatti
con il mondo industriale
Ogni prodotto sarà presentato solamente tramite una scheda, contenuta
in un massimo di 3500 caratteri, che deve riportare



riferimenti bibliografici
area e disciplina di riferimento
un riassunto (abstract)





Comprensibile ad un “fisico quadratico medio” (non c’è Panel dedicato all’INFN)
l’affiliazione degli autori
ogni notizia utile a definire il collocamento internazionale
l’eventuale carattere interdisciplinare e la notorietà del prodotto, nonché
l'autorevolezza della rivista / editore / manifestazione / ecc., con cui è stato
reso pubblico, inclusi, se applicabili e rilevanti, gli indici bibliometrici (ad
esempio, impact factor, citation analysis e recensioni
5 parole chiave scelte dall’apposito menu della procedura informatizzata del
CINECA
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
9
Confronto con altri Enti
INFN
CNR
ENEA
INFM

CIVR
ISI
1538
5333
427
2302
1642
3782
295
1430
Totale
ISI All
20264
1351
3268
1704
4159
299
1469
Dati da relazione CIVR e database ISI, anno 2000




CIVR: numero risultante dalla relazione annuale 2000-2001
ISI: numero ottenuto dal database con ricerca per Ente
Tot: numero totale di lavori dichiarato dagli Enti (anche non su rivista)
ISI All: numero totale (non solo article) di lavori risultanti su ISI
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
10
Next steps

Ogni esperimento ha fornito al GLV un rappresentante che
seguirà il lavoro di preparazione dei prodotti



Entro il 5 maggio dobbiamo avere il 20% delle schede
pronte





Assegnazione delle schede ai responsabili della stesura
Monitor della compilazione secondo le regole che ci siamo dati
Riunione del GLV per risolvere ultime ambiguità e definire la
“numerologia” finale
Inclusione dei prodotti dei Laboratori Nazionali
Massima attenzione a non includere prodotti di valore limitato che
possono far scivolare la valutazione del CIVR
1 Luglio: riunione con il CIV (Montgomery et al.) che
prenderà in esame la validazione dei prodotti e la
preparazione del rapporto finale
Massima collaborazione necessaria per garantire la perfetta
riuscita dell’esercizio
CSN1 - 05/04/2004
Chiefari,Diemoz,Dosselli,Vercesi
11