Gruppo di Lavoro per la
Valutazione della Ricerca
Chiefari, Diemoz, Dosselli, Vercesi
Definizioni e presupposti


Pubblicazione delle “Linee Guida per la Valutazione della Ricerca” da
parte del CIVR (MIUR)
La valutazione della ricerca è un processo fondato sull’analisi critica di
dati e informazioni, che conduce ad un giudizio di merito. L’obiettività del
processo presuppone



L’esercizio completo si tiene con cadenza triennale


Criteri e metodologie predefiniti
Valutatori esterni alla struttura e non coinvolti nel processo da valutare
Il Ministero stabilisce l’organizzazione generale e la destinazione di
adeguate strutture di supporto
Valutazione della Ricerca non come processo burocratico, ma preziosa
opportunità per mettere a fuoco aspetti nevralgici della performance
delle strutture




Qualità e rilevanza della produzione scientifica, nuove frontiere
Originalità, innovazione, internazionalizzazione
Capacità di gestire risorse, dare risposte a grandi temi sociali
Indicazioni per pianificazione strategica degli interventi per la ricerca
CSN1 - 02/04/2003
Chiefari,Diemoz,Dosselli,Vercesi
2
Tipologie della Valutazione

Valutazione formativa o prospettica (ex-ante)









Proposte (piano di ricerca, ricadute, dotazioni)
Obiettivi (qualità, rilevanza, originalità, fattibilità)
Produttività (valore aggiunto…)
Qualità (chiarezza, scansione temporale, responsabilità)
Rilevanza (contributo nel settore di riferimento)
Impatto economico e sociale (formazione, collaborazioni)
Gestione delle risorse (congruità, raccordo con altri)
Valutazione in itinere degli obiettivi e della congruenza
Valutazione sommatoria o retrospettiva (ex-post)







Obiettivi raggiunti vs previsti
Produttività (pubblicazioni, spin-off, innovazione)
Qualità e rilevanza (peer review e indicatori oggettivi)
Outcome (scambi culturali, formazione, trasferimento tecnologico)
Impatto economico e sociale (parere di panel, benchmarking)
Gestione delle risorse (tempi medi, programmazione, finanze)
Valore aggiunto rispetto a possibili alternative
CSN1 - 02/04/2003
Chiefari,Diemoz,Dosselli,Vercesi
3
Organizzazione generale
CSN1 - 02/04/2003
Chiefari,Diemoz,Dosselli,Vercesi
4
Cosa e come


Aree definite come da CRUI (+ aree speciali)
Dati e informazioni validati dal CIV coerenti con i criteri di valutazione


Presentare un numero di prodotti selezionati pari al 50% del numero
medio di ETP in un triennio, validati dal CIV



Libri, articoli, brevetti, progetti, disegni&design, performance, mostre,
manufatti, opere d’arte, …
Ogni prodotto è accompagnato da una scheda illustrativa
Il CVI elabora un rapporto triennale (+interim annuali) con


Qualità, rilevanza, innovazione, internazionalizzazione, mobilità, produttività,
impatto socio-economico (cfr. vecchio “decalogo”)
Validazione, valutazione performance scientifica con analisi retrospettiva,
impatto, responsabilità, congruità, …
I Panel di esperti esprimono rating sui prodotti



2 esperti per prodotto (qualità,rilevanza,originalità,internazionalizzazione)
Giudizio: eccellente, buono, accettabile, limitato
Ranking list e relazione finale unitamente al CIVR
CSN1 - 02/04/2003
Chiefari,Diemoz,Dosselli,Vercesi
5
Numerologia Gruppo 1

ETP-Ric
Tecn
ETP-Tecn
TOT
ETP-TOT
2001
817
697,7
98
71,8
915
769,5
2002
776
680,4
109
69,5
885
749,9
2003
768
678
118
82,7
886
760,7
Naturalmente il tutto va inquadrato in una prospettiva globale dell’Ente
Una veloce ricerca usando ISI (Institute for Scientific Information) come
raccomandato da CIVR, trova ~170 pubblicazioni CSN1 nel 2002, inoltre



Ric
Lettura testuale delle Linee Guida: il Gruppo 1 deve presentare circa 380
prodotti nel triennio (50% della media degli ETP)


Anno
ISI non contiene né conferenze (assenza di referaggio), né “grossi” lavori CERN
(Yellow Report, TDR, etc) → Spires?
Piccolo contributo numerico al totale, ma spesso di alta qualità
Nonostante la fase degli esperimenti LHC, la situazione non è gravissima


Tuttavia il costo di ogni pubblicazione LHC è ovviamente molto alto…
Il triennio successivo (2004-2006) potrebbe essere peggio
CSN1 - 02/04/2003
Chiefari,Diemoz,Dosselli,Vercesi
6
Prodotti selezionati della Ricerca

Le pubblicazioni non devono essere la nostra unica tipologia di prodotto




Schedatura di tutti i progetti (“design”) fatti per realizzare le componenti
dei rivelatori (meccanica, elettronica, software specialistico, etc)
Identificazione di realizzazioni rappresentative che mostrino tutte le
componenti e gli aspetti della nostra attività (Centro regionale ECAL;
Assemblaggio MDT LNF; Silici CMS; Tier1 GRID; Magneti; …)






Per poter coprire gli altri campi della valutazione (impatto socio-economico,
spin-off, internazionalizzazione, etc)
Per fornire al CVI e al CIVR un quadro organico delle ricerche del Gruppo
Capacità di gestione di grandi iniziative (responsabilità)
Alta professionalità del personale coinvolto
Coinvolgimento dell’industria e trasferimento di know-how
Internazionalizzazione (partecipazione ricercatori stranieri)
Spin-off derivati dalle tecnologie di punta
Uso “oculato” di tutte queste informazioni, data l’estensione temporale
dei progetti rispetto alla cadenza triennale della valutazione
CSN1 - 02/04/2003
Chiefari,Diemoz,Dosselli,Vercesi
7
Commenti



Importanza di un’area separata per valorizzare meglio il contributo INFN
(vedi Tabella III del documento, struttura vs area)
Utilizzo di indicatori usati anche dalla UE (come nel rapporto CIVR)
Valutazione ex-ante, in itinere, ex post




Ex-post: oggetto del nostro lavoro di GLV
Ex-ante: compito della CSN1 e del management dell’Ente che fornisce gli
indirizzi per la ricerca (selezione delle iniziative, Piano Triennale)
In itinere: lavoro dei referee e della CSN1 (progresso, congruità finanziaria)
Preparazione dello status report al CVI quest’anno



Aggiornamento di alcune informazioni sul bilancio socio-economico
Consuntivo scientifico e.g. per il 2002 (pubblicazioni et al.)
Proposta per il 2004 e prime indicazioni sugli altri prodotti (progetti etc.)



Necessaria molta collaborazione da parte degli esperimenti…
Valutazione della necessità o meno di accorpare i prodotti
Incorporare il feedback del CVI nella preparazione della relazione triennale
CSN1 - 02/04/2003
Chiefari,Diemoz,Dosselli,Vercesi
8