18 febbraio 2004
UNIVERSITÀ DELLA CALABRIA
Franco Cuccurullo
VALUTAZIONE DELLA RICERCA
www.civr.it
Scopi e specificità
Suggerire regole e procedure di riferimento per la
valutazione del Sistema Nazionale della Ricerca.
Migliorare il collegamento istituzionale tra risultati
della valutazione, selezione dei programmi e
allocazione delle risorse.
Avviare procedure sistematiche di raffronto tra
organismi di ricerca nazionali ed internazionali.
Favorire la diffusione dei risultati della ricerca.
www.civr.it
Assegnazione delle risorse
In sede di assegnazione delle risorse
pubbliche finalizzate alle attività di
ricerca, il MIUR considererà in via
prioritaria le Strutture che hanno
partecipato all’esercizio di valutazione.
www.civr.it
Sistema di Valutazione
L'esercizio è triennale e valuta la performance
scientifica di strutture e progetti speciali,
finanziati dal MIUR nel triennio precedente.
Organismi di Valutazione
– CIVR
– Panel di Area e di Progetto
– Comitati/Nuclei di Valutazione (CNV)
Oggetti di Valutazione
– Strutture di ricerca
– Progetti speciali
www.civr.it
Governo
Strutture di ricerca
Comunità scientifica
CIVR
Giudizi
Dati
Panel di Area e di Progetto
Prodotti
Strutture di ricerca
www.civr.it
Progetti speciali
CIVR
È composto da 7 esperti nominati dal Governo;
organizza l’intero processo di valutazione;
definisce i criteri per la composizione dei Panel
e ne sceglie i componenti;
produce la Relazione finale per singola struttura
o progetto speciale;
propone modalità di collegamento tra risultati
della valutazione e attribuzione delle risorse.
www.civr.it
Procedura informatizzata
La trasmissione di tutti i dati è interamente
informatizzata e gestita dal CINECA.
La procedura informatizzata permette un
costante monitoraggio top-down da parte del
CIVR.
www.civr.it
Panel di Area e di Progetto
Sono composti da 5-9 esperti appartenenti alla
comunità scientifica.
Si avvalgono di esperti esterni, anche stranieri,
con il compito di esprimere giudizio di merito:
– sui Prodotti selezionati dalle Strutture;
– sui Progetti speciali.
Integrati da eventuali sub-Panel, redigono il
rapporto finale e la ranking list:
– di area, a cura dei Panel di area;
– di progetto, a cura dei Panel di progetto.
www.civr.it
Aree di valutazione
Corrispondono alle 14 aree scientifico-disciplinari
del CUN, integrate da aree speciali, indicate dal
CIVR all'inizio di ogni esercizio triennale.
Le aree speciali sono scelte in considerazione del
prioritario valore aggiunto per il Paese e della loro
coerenza con gli obiettivi previsti dal PNR e dai
programmi comunitari.
www.civr.it
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
Scienze matematiche e informatiche
Scienze fisiche
Scienze chimiche
Scienze della Terra
Scienze biologiche
Scienze mediche
Scienze agrarie e veterinarie
Ingegneria civile ed Architettura
Ingegneria industriale e informatica
Scienze dell’Antichità, filologico-letterarie e storico-artistiche
Scienze storiche, filosofiche, psicologiche e pedagogiche
Scienze giuridiche
Scienze economiche e statistiche
Scienze politiche e sociali
www.civr.it
Aree speciali del CIVR
Scienze e tecnologie per una società
dell'informazione e della comunicazione
Scienze e tecnologie per la qualità e la sicurezza
degli alimenti
Scienze e tecnologie dei nano/microsistemi
Scienze e tecnologie aerospaziali
Scienze e tecnologie per lo sviluppo e la
governance sostenibili: aspetti economici, sociali
ed ambientali
Scienze e tecnologie per la valutazione e la
valorizzazione dei beni culturali
www.civr.it
Strutture
Università
Enti di ricerca controllati dal MIUR
Industrie (D. Lgs. 297/99)
www.civr.it
Adempimenti delle strutture
Trasmettono al CIVR i dati conoscitivi validati dai
CNV.
Trasmettono ai Panel di Area i prodotti
selezionati validati dai CNV.
Trasmettono al CIVR i Rapporti dei CNV.
www.civr.it
Dati e informazioni
Quadro sinottico delle risorse umane, con la
media nel triennio dei ricercatori (in ETP)
presenti nella struttura e in ciascuna Area.
Dati sulle risorse finanziarie e sulla gestione.
Documentazione su brevetti, spin off e
partnership, anche in termini di risorse
impegnate e impatto occupazionale.
www.civr.it
ETP
Professori e ricercatori delle Università, con
peso 0,5 ETP;
ricercatori degli Enti pubblici di ricerca, con peso
1 ETP;
personale di ricerca dipendente da altri soggetti
pubblici e privati, con peso variabile, rapportato
all’impegno contrattuale finalizzato alla ricerca
www.civr.it
Risorse umane
01 - Ricercatori (ETP)
02 - Ricercatori (ETP) in mobilità all’estero
03 - Ricercatori (ETP) stranieri a contratto
04 - Personale tecnico-amministrativo
complessivo
05 - Dottorandi e assegnisti
06 - Autori complessivi dei prodotti selezionati
07 - Autori appartenenti alla struttura
www.civr.it
Risorse finanziarie
08 - Entrate complessive
09 - Trasferimento statale ordinario
10 - Finanziamento e cofinanziamento dei
progetti
www.civr.it
Brevetti
11 - Brevetti depositati
12 - Brevetti attivi
13 - Entrate derivanti da brevetti
14 - Spese di gestione dei brevetti
www.civr.it
Prodotti selezionati della ricerca
Le strutture trasmettono ai Panel di area l’elenco
dei prodotti selezionati.
Il numero dei prodotti è il 50% del numero medio
dei ricercatori (ETP) della struttura.
L’area di elezione dipende dalla collocazione del
prodotto e non da quella degli autori.
Per ciascun prodotto viene trasmessa una
scheda illustrativa.
Non è obbligatorio presentare prodotti in ogni
area.
Le aree prive di prodotti sono giudicate inattive.
www.civr.it
Tipologie dei prodotti
Libri e loro capitoli
Articoli su riviste
Brevetti
Progetti, composizioni, disegni e design
Performance, mostre ed esposizioni
Manufatti e opere d'arte
www.civr.it
Prodotti non selezionabili
Attività puramente editoriali
Testi o software di esclusivo interesse didattico
Abstract di conferenze
Prove e analisi di routine
Rapporti tecnici interni
www.civr.it
Selezione dei prodotti
 Attivazione
CAR
▼
 Attivazione
CAT
Fase I
www.civr.it
DIP
▼
input
prodotti
per i
CAR
Fase II
CAR
▼
seleziona
prodotti
Fase III
CAT
▼
satura
potenziale
di Ateneo
Fase IV
NUV
▼
input
prodotti
per i
Panel
Fase V
Giudizio di merito sui prodotti (1/2)
Ogni prodotto è valutato da almeno due esperti,
per i seguenti criteri:
–
–
–
–
qualità
rilevanza
originalità/innovazione
internazionalizzazione e/o potenziale competitivo
internazionale.
Per ciascun criterio gli esperti formulano un
giudizio descrittivo.
www.civr.it
Giudizio di merito sui prodotti (2/2)
Il giudizio su ciascun
prodotto è unico e
complessivo, con
attribuzione a quattro
livelli di merito:
–
–
–
–
www.civr.it
eccellente
buono
accettabile
limitato
Livelli di merito dei prodotti
Eccellente: il prodotto si colloca nel 20%
superiore della scala di valore condivisa dalla
comunità scientifica internazionale.
Buono:il prodotto si colloca nel segmento 6080%.
Accettabile: il prodotto si colloca nel segmento
40-60%.
Limitato: il prodotto si colloca nel 40% inferiore.
www.civr.it
Rapporto dei Panel di Area
Consensus Report: riconduce i giudizi singoli
degli esperti ad un momento di sintesi
(eccellente, buono, accettabile, limitato).
Ranking list di Area: attribuisce le strutture alle
fasce di merito predefinite dal CIVR.
Relazione finale:
– individua punti di forza e di debolezza dell’area;
– prevede un’apposita sezione per i brevetti.
www.civr.it
Fasce di merito
A - Almeno il 50% è eccellente e i rimanenti buoni.
B - Almeno il 30% è eccellente e i rimanenti buoni.
C - Almeno il 50% è eccellente o buono e i rimanenti
accettabili.
D - Almeno il 30% è eccellente o buono e meno
del 50% è di valore limitato.
E - Almeno il 20% è eccellente o buono e meno
del 50% è di valore limitato.
F - Meno del 20% è eccellente o buono e meno
del 50% è di valore limitato.
NV- Oltre il 50% dei prodotti è di valore limitato.
www.civr.it
Rapporto dei CNV
Valutazione della performance scientifica
Impatto socio economico
Congruità e competenza delle risorse umane
Mobilità internazionale
Adeguatezza di dotazioni strumentali e servizi
Capacità di attrarre e gestire risorse
Principali punti di forza e di debolezza
Collegamento tra valutazione e processi
decisionali
Raccomandazioni e conclusioni
www.civr.it
Criteri e indicatori adottati dal CIVR (1/4)
Criteri
Indicatori
Qualità; rilevanza;
originalità/innovazione;
internazionalizzazione e/o
potenziale competitivo
internazionale
Giudizi di merito dei
Panel sui prodotti
selezionati
www.civr.it
Criteri e indicatori adottati dal CIVR (2/4)
Criteri
Indicatori
Mobilità
internazionale
Ricercatori in mobilità all'estero +
Ricercatori stranieri a contratto /
Ricercatori totali
Produttività
Autori dei prodotti selezionati
appartenenti alla struttura / Autori
complessivi dei prodotti
selezionati
www.civr.it
Criteri e indicatori adottati dal CIVR (3/4)
Criteri
Indicatori
1 a) Giudizi di merito su brevetti
Impatto socioeconomico:
1. Imprenditorialità
2. Formazione
www.civr.it
1 b) Giudizi di merito su spin off e
partnership
2) Borsisti, dottorandi, assegnisti /
Ricercatori totali
Criteri e indicatori adottati dal CIVR (4/4)
Criteri
Indicatori
Attrazione
delle risorse
Entrate complessive - Trasferimento
statale ordinario / Entrate
complessive
Ricercatori / Personale complessivo
Gestione
delle risorse
www.civr.it
Finanziamento e cofinanziamento di
progetti / Ricercatori totali
Relazione finale del CIVR
Si fonda sull’analisi dei:
– Rapporti dei CIV / NUV;
– Rapporti dei Panel di Area;
– dati e informazioni trasmessi direttamente
dalle Strutture
Si conclude con un giudizio articolato per
singola Struttura.
www.civr.it
Date di riferimento
Inizio Esercizio 2001-2003
Trasmissione dati Strutture
Consegna al CIVR Rapporti Panel
Consegna al Ministro Relazione CIVR
Inizio Esercizio 2004-2006
www.civr.it
1/1/’04
30/6/’04
30/6/’05
31/12/’06
1/1/’07