CIVR
Comitato di Indirizzo per la Valutazione della Ricerca
VTR 2001- 2003
Incontro CRUI
con i Presidenti dei Nuclei di Valutazione
13 Aprile 2006
Mario Bressan
Numeri del VTR
• Strutture partecipanti
• Ricercatori coinvolti
• Aree di Ricerca
• Panelist
• Esperti esterni
102
64.028
20
151
6.661
• Prodotti valutati
17.329
• Valutazioni
35.440
• Consulenze
30.000
• Costi diretti di processo
3.550.000 euro
Prodotti valutati
Prodotti presentati dalle Strutture
18.508
dei quali:
1.876
presentati da 2 Strutture
-938
273
presentati da 3 Strutture
-182
32
presentati da 4 Strutture
-24
15
presentati da 5 Strutture
-12
6
presentati da 6 Strutture
-5
34
presentati 2 volte dalla Struttura
1
escluso per erronea tipologia
Prodotti valutati dai Panel
-17
-1
17.329
Prodotti ISI
Nel triennio
Valutate nel VTR2006
2001-2003
Produzione complessiva
italianaa
Produzione delle Strutture
che hanno partecipato al
VTRb
a fonte:
97,000
(11%)
11,000c
80,000
(14%)
Science, Technology and Innovation, European Commission, Key Figures,
ed. 2002, 2003-2004 & 2005
bStima
cdi cui ca 4,000 valutati eccellenti
Percorso di valutazione dei prodotti
Criteri di valutazione CIVR
Criteri
Indicatori
peso
QUALITÀ; RILEVANZA;
ORIGINALITÀ / INNOVAZIONE;
INTERNAZIONALIZZAZIONE
Giudizi di merito dei Panel sui prodotti selezionati
4
PRODUTTIVITÀ (relativamente
ai prodotti selezionati)
Grado di proprietà medio dei prodotti selezionati
2
MOBILITÀ INTERNAZIONALE
Ricercatori in mobilità all'estero + Ricercatori residenti
all’estero a contratto / Ricercatori ETP
1
Giudizi di merito CIVR su brevetti e altri aspetti di
valorizzazione e trasferimento dei risultati e delle
competenze generati dalla ricerca
1
IMPATTO SOCIO-ECONOMICO
Dottorandi + Assegnisti + Borsisti post dottorato /
Ricercatori ETP
ATTRAZIONE DELLE
RISORSE
Entrate complessive - Trasferimento statale ordinario /
Entrate complessive
1
Ricercatori ETP / Personale complessivo
GESTIONE DELLE RISORSE
Finanziamento (e/o cofinanziamento) di progetti di ricerca /
Ricercatori ETP
1
Grado di proprietà (1)
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie 8. Ing Civile - Arch
9. Ing Industriale 10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic
12. Sc Giuridiche
13. Economia 14. Sc Politiche - Sociali
15a ICT
15b. Qualità Alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo
15f. Beni Culturali
Totale
Prodotti eccellenti
1
Grado di proprietà
di ogni prodotto, riferito alla struttura che lo ha selezionato
• Il grado di proprietà è stato calcolato dalla
struttura stessa, prodotto per prodotto, sulla
base del numero degli autori afferenti alla
struttura (anche tenendo conto di eventuali
affiliazioni multiple) diviso per il numero totale
degli autori
• Una critica frequente
– un grado di proprietà basso può significare una grande
apertura a collaborazioni esterne e quindi, lungi da
essere un dato negativo, potrebbe essere un dato
positivo.
Collaborazioni
• Tra le collaborazioni, le più significative sono
quelle con istituzioni straniere
• Il grado di proprietà, come calcolato, non è in
grado di distinguere tra autori nazionali e
stranieri
• Tuttavia:
– La collaborazione internazionale è presa in adeguata
considerazione dall'esercizio
– la mobilità internazionale dei ricercatori (sia in uscita
che in entrata) è valutata area per area e struttura per
struttura e costituisce uno dei sei criteri di giudizio del
CIVR, con peso formale 10% sul totale
Grado di proprietà
dei prodotti “eccellenti”
• I lavori di elevata qualità, quando associati ad
elevato grado di proprietà, sono indicativi di
leadership di area/settore
– Prodotti, anche di elevata qualità. ma con grado di
proprietà sensibilmente al di sotto della media di Area,
sono riconducibili all'impegno prevalente di gruppi
esterni alla struttura, in collaborazione con i quali
operano (lodevolmente) unità "subcritiche" della
Struttura stessa
• L'indicatore che proponiamo è il grado di
proprietà (medio, per struttura e in ogni area),
dei prodotti valutati come "eccellenti”
La Valutazione delle Strutture
Il sito http://vtr2006.cineca.it sarà progressivamente
implementato fino a raggiungere la configurazione
finale
Rapporto Triennale del Nucleo di Valutazione
•
•
•
•
•
•
•
•
Elementi di valutazione dell’attività scientifica;
Elementi di valutazione dell’impatto socio-economico;
Elementi conoscitivi e di valutazione sul management;
Elementi di valutazione della congruità e competenza
delle risorse umane;
Elementi conoscitivi e di valutazione sulla mobilità e le
collaborazioni internazionali;
Elementi conoscitivi e di valutazione sulle dotazioni
strumentali e dei servizi;
Elementi di valutazione sulla capacità di attrarre/
accedere /impegnare risorse finanziarie finalizzate alle
attività di ricerca;
Principali punti di forza e di debolezza, raccomandazioni
e conclusioni.
(1) elementi di valutazione dell’attività scientifica
Descrizione della metodologia di selezione dei
prodotti, adottata dalla Struttura
Ragioni dell’eventuale assenza o carenza di prodotti
selezionati in specifiche Aree, assumendo a riferimento
i prodotti selezionati trasmessi al CIVR
(2) elementi di valutazione sull’impatto socioeconomico delle attività di ricerca (A)
Analisi delle attività di trasferimento di
conoscenze con l’esterno (brevetti, spin off,
partnership, accordi di confidenzialità, etc), sulla base di
un commento critico dei dati (brevetti depositati,
brevetti attivi, entrate e costi della gestione dei brevetti) e
informazioni (sintesi descrittiva e finanziaria sulle altre
attività di trasferimento di conoscenze) trasmessi
contestualmente al CIVR
DATI & INFORMAZIONI sui risultati di valorizzazione
applicativa
dato 9 Brevetti depositati nel triennio e brevetti attivi al 31 /12 /
2003 (distinti per tipologia di deposito: nazionale, estera)
dato
10
Ricavi e costi derivanti dalla vendita di brevetti e di loro
licenze e dai costi di deposito e di gestione
Sintesi descrittiva e finanziaria sulle altre attività
dato
11
di trasferimento di conoscenze (anche in termini di ricavi,
risorse investite e impatto occupazionale), nonché delle
modalità di rafforzamento delle attività di valorizzazione
applicativa della ricerca
Distribuzione dei giudizi sul totale
dei brevetti
44%
310 brevetti
29%
18%
9%
Eccellente
Buono
Accettabile
Limitato
Distribuzione dei giudizi sul totale
dei prodotti
46%
17.329 prodotti
30%
19%
5%
Eccellente
Buono
Accettabile
Limitato
analisi degli aspetti di valorizzazione e
trasferimento di risultati e competenze (1)
• Brevetti: dati e gli indicatori richiesti sui brevetti depositati in Italia e
all'estero, sul portafoglio brevetti, ed eventuali ulteriori informazioni
• Contratti e progetti sviluppati in collaborazioni con le
imprese: opportunità di sviluppo prodotte (brevetti, prototipi, copubblicazioni ...); impatto occupazionale generato dall'interazione
pubblico-privato
• Strutture di ricerca e sviluppo in collaborazione con
imprese: iniziative congiunte per la creazione di strutture permanenti
di ricerca
• Strutture di trasferimento tecnologico, create dalle università,
ritorno economico e collegamento con le realtà locali
• Spin off: caratteristiche e valore economico delle nuove imprese
avviate, derivanti da ricerche e competenze della struttura
analisi degli aspetti di valorizzazione e
trasferimento di risultati e competenze (2)
• Consulenza e servizi a carattere socio economico:
attività di servizio, consulenza e formazione, commissionate da enti
territoriali o da imprese operanti nel territorio. Sono incluse le
partecipazioni a progetti POR-PON, e in genere tutti i trasferimenti di
know-how, anche svolti all'interno di Consorzi, Fondazioni e
organismi privati
• Partnership di ricerca: accordi di collaborazione strategica con
localizzazione di attività di ricerca presso la struttura, con entrate
complessive nel triennio di almeno 500.000 euro
• Altre attività: azioni svolte per il mercato culturale e per la
diffusione della cultura scientifica, attraverso attività formative ed
espositive
(2) elementi di valutazione sull’impatto socioeconomico delle attività di ricerca (B)
Analisi dell’attività formativa post-lauream e
post-dottorato, finalizzata al settore della
ricerca (evidenziando le collaborazioni con strutture
esterne e la mobilità internazionale degli allievi), sulla
base di un commento critico dei dati (dottorandi,
assegnisti) trasmessi contestualmente al CIVR
(assumere a riferimento anche le relazioni annuali dei NUV
sullo stato dei Dottorati di Ricerca)
(3) elementi conoscitivi e di valutazione sul
management della struttura
Obiettivi principali realizzati nel triennio (limitatamente alla
ricerca)
Eventuali obiettivi da realizzare a breve-medio termine
(limitatamente alla ricerca), relative azioni strategiche e
presumibili fonti di finanziamento
Modalità di collegamento tra valutazione della ricerca e
processi decisionali interni
DATI sulle risorse finanziarie complessive
Entrate totali della Struttura (valori di
competenza)
- (di cui) da trasferimenti correnti dallo Stato
dato 6 - (di cui) da trasferimenti per investimenti dallo Stato
- (di cui) da alienazione di beni patrimoniali
- (di cui) da prestiti
- (di cui) partite di giro, contabilità speciali e gestioni
speciali
(4) elementi di valutazione della congruità e
competenza delle risorse umane
Analisi degli equilibri esistenti tra i diversi settori del
personale (personale complessivo / ricercatori; personale tecnico /
ricercatori; pers. tecnico / pers. amm.vo; distribuzione dei ricercatori
tra le varie Aree), sulla base di un commento critico dei dati
(ricercatori, personale tecnico e amm.vo) trasmessi
contestualmente al CIVR
Descrizione delle iniziative generali per formazione e
aggiornamento (assumendo a riferimento le Relazioni annuali dei
responsabili delle Strutture, unitamente ai pareri resi contestualmente
dai NUV)
(5) elementi conoscitivi e di valutazione sulla
mobilità e le collaborazioni internazionali
Analisi del grado di internazionalizzazione
della Struttura (mobilità verso l’estero e dall’estero,
limitatamente ai soggiorni >3 mesi) sulla base di
un commento critico dei dati (ricercatori della
Struttura in mobilità all’estero, ricercatori stranieri a
trasmessi
contestualmente al CIVR
contratto nella Struttura)
(6) elementi conoscitivi e di valutazione sulle dotazioni
strumentali e dei servizi
Adeguatezza delle dotazioni strumentali e dei
servizi, finalizzati alle attività di ricerca, con
specifico riferimento all’uso di tecnologie avanzate
ed evidenziando le acquisizioni di importanti (>500
000 €) strumentazioni o software di esclusivo
interesse scientifico-culturale, sulla base di un
commento critico dei dati (investimenti della Struttura
finalizzati all’acquisto di apparecchiature tecnico-scientifiche e
informatiche)
trasmessi constestualmente al CIVR
(7) elementi di valutazione sulla capacità di attrarre/
accedere /impegnare risorse finanziarie finalizzate alle
attività di ricerca
Capacità di accedere a finanziamenti per progetti di ricerca,
banditi a livello nazionale e internazionale, sulla base di un
commento critico dei dati (entrate dei Dipartimenti provenienti da soggetti
esterni e destinate a progetti di ricerca) trasmessi contestualmente al CIVR
Capacità di attrarre risorse finanziarie (e/o strumentali) destinate
alla ricerca, attraverso donazioni, convenzioni, contratti e
partnership con enti pubblici, fondazioni e imprese, sulla base di
un commento critico dei dati (trasferimenti correnti alla Struttura da soggetti
esterni) trasmessi contestualmente al CIVR
Capacità di impegnare risorse finanziarie proprie per progetti
di ricerca, sulla base di un commento critico dei dati (entrate dei
Dipartimenti provenienti dalla Struttura e destinate a progetti di ricerca)
trasmessi contestualmente al CIVR
(8) principali punti di forza e di debolezza,
raccomandazioni e conclusioni
Focalizzazione degli aspetti più significativi, tra
quelli trattati ai punti 1-7, suggerendo possibili
interventi correttivi
Hanno partecipato
• Gruppo di lavoro del CIVR: Sebastiano Miscia, Riccardo
Palumbo, Emanuela
Sargiacomo.
Reale,
Paolo
Sacchetta, Massimo
• Allievi
del Dottorato in Valutazione della ricerca
dell’Università “G. d’Annunzio” di Chieti – Pescara: Anna
Barbara, Antonio Costantini, Marco Costantini, Milena
Impicciatore, Luisella Romano, Marco Seeber.
• CINECA: Gianna Fabiani, Barbara Frabboni, Natascia
Kapoustina, Marco Lanzarini