VTR 2001- 2003
CIVR
Comitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI - 11 aprile 2006, ore 14.45
Panel 15e
Scienze e tecnologie per lo sviluppo e la governance
sostenibili: aspetti economici, sociali, energetici ed ambientali
Paolo Clemente
Ordine del giorno
• analisi della procedura di selezione
prodotti scientifici presentati
dei
• analisi della procedura di “calibrazione” dei
giudizi degli esperti
• analisi delle ricadute dei risultati CIVR sulle
strutture di ricerca dell’ateneo
• suggerimenti per una più efficace attività di
valutazione
Scopi e specificità del VTR
• Suggerire regole e procedure di riferimento per
la valutazione del Sistema Nazionale della
Ricerca.
• Migliorare il collegamento istituzionale tra risultati
della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare trasparenza al processo.
Il processo
Governo
Strutture di ricerca
Comunità scientifica
• Dati & informazioni
• Relazione NUV/CIV
CIVR
Giudizi
Panel di Area
Prodotti
Strutture di ricerca
Strutture partecipanti
Area 15e
Atenei
20
Enti pubblici di Ricerca
2
Istituzioni private di Ricerca
1
Aree
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Scienze matematiche e informatiche
Scienze fisiche
Scienze chimiche
Scienze della terra
Scienze biologiche
Scienze mediche
Scienze agrarie e veterinarie
Ingegneria civile ed architettura
Ingegneria industriale e dell’informazione
Scienze dell’antichità, filologico-letterarie e storico-artistiche
Scienze storiche, filosofiche, psicologiche e pedagogiche
Scienze giuridiche
Scienze economiche e statistiche
Scienze politiche e sociali
15 a
15 b
15 c
15 d
15 e
15 f
Scienze e tecnologie per una società dell'informazione e della comunicazione
Scienze e tecnologie per la qualità e la sicurezza degli alimenti
Scienze e tecnologie dei nano/microsistemi
Scienze e tecnologie aerospaziali
Scienze e tecnologie per lo sviluppo e la governance sostenibili
Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
Prodotti selezionabili
•
•
•
•
•
•
•
Libri
Capitoli di libri
Articoli su riviste
Brevetti e risultati di valorizzazione applicativa
Progetti, composizioni, disegni e design
Performance, mostre ed esposizioni
Manufatti e opere d'arte
Prodotti non selezionabili
•
•
•
•
•
Attività puramente editoriali
Testi o software di esclusivo interesse didattico
Abstract di conferenze
Prove e analisi di routine
Rapporti tecnici interni
Selezione dei prodotti (1)
• Le strutture hanno selezionato in autonomia i prodotti da
trasmettere ai Panel
• Il numero complessivo di prodotti selezionati è stato
fissato nel 50% del numero medio annuo dei ricercatori
della Struttura (calcolato sul triennio), espressi in ETP
• Non era obbligatorio presentare prodotti in ogni area o
settore disciplinare della stessa
• Le aree prive di prodotti sono state giudicate inattive.
• L’area selezionata dipendeva dalla collocazione del
prodotto e non da quella degli autori
• Per ciascun prodotto è stata trasmessa una scheda
illustrativa, con l’allegato in pdf della pubblicazione
• In assenza di allegato, è stata richiesta alle Strutture
copia cartacea
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun
prodotto selezionato in una sola Area
• Strutture diverse potevano selezionare prodotti
identici e presentarli anche in Aree diverse
• Ciascun prodotto selezionato, anche se
presentato in Aree diverse, è stato sottoposto
ad un unico iter valutativo, che ha coinvolto tutti i
Panel interessati
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due
esperti esterni, per i seguenti criteri:
–
–
–
–
–
qualità
rilevanza
originalità/innovazione
internazionalizzazione
impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato
un giudizio di merito descrittivo
Criteri (1)
• Qualità: posizionamento del prodotto rispetto
all’eccellenza scientifica nella scala di valore condivisa
dalla comunità scientifica internazionale. Il giudizio di
merito è affidato ad esperti esterni indipendenti, che
operano nel settore o in settori affini a quello di
appartenenza del prodotto (peer review)
• Rilevanza: valore aggiunto per l’avanzamento della
conoscenza nel settore e per la scienza in generale,
nonché per i benefici sociali derivati, anche in termini di
appropriatezza, efficacia, tempestività e durata delle
ricadute. Integra il giudizio di qualità
• Originalità/innovazione:
contributo
a
nuove
acquisizioni o all’avanzamento di conoscenze, nel
settore di riferimento. Integra il giudizio di qualità
Criteri (2)
• Internazionalizzazione: posizionamento nello scenario
internazionale, in termini di rilevanza, competitività,
diffusione editoriale e apprezzamento della comunità
scientifica, inclusa la collaborazione esplicita con
ricercatori e gruppi di ricerca di altre nazioni. Integra il
giudizio di qualità
• Impatto economico-occupazionale: effetti sociali,
economici e culturali, diretti e indiretti del prodotto.
Esperti esterni
• Nel processo di valutazione, i Panel si sono
avvalsi di esperti esterni, anche stranieri, scelti
collegialmente dai Panel stessi
• agli esperti esterni è stato affidato il compito di
esprimere giudizi di merito sui prodotti
selezionati dalle Strutture
• agli esperti è stato garantito l’anonimato dei
giudizi
Livelli di merito dei prodotti (1)
• Ciascun esperto ha espresso su ogni prodotto
un giudizio unico e complessivo, con
attribuzione a quattro livelli di merito (in
coerenza con il giudizio descrittivo):
– Eccellente
– Buono
– Accettabile
– Limitato
Livelli di merito dei prodotti (2)
• Eccellente: la qualità del prodotto si colloca nel
20% superiore della scala di valore condivisa
dalla comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 6080%.
• Accettabile: il prodotto si colloca nel segmento
40-60%.
• Limitato: il prodotto si colloca nel 40% inferiore.
Grado di proprietà dei prodotti
• È espresso dal rapporto tra:
N. autori affiliati alla Struttura / N. complessivo
autori
• Sono state considerate anche le affiliazioni
multiple.
• È stato determinato sia sul numero totale dei
prodotti presentati dalla Struttura, sia sui soli
prodotti giudicati eccellenti.
Componenti del Panel 15e
• CLEMENTE Paolo
(Presidente)
• CONVERSI Alessandra
• D'ARGENIO Bruno
• DEHEZ Pierre
• KING Russell
• PERLINI Alice
• STEDUTO Pasquale
Sottogruppi del Panel 15e
• Un unico sottogruppo, coincidente con
l’intero Panel.
Prodotti valutati nell’area
Area 15e
Prodotti presentati dalle Strutture
229
di cui:
6 presentati da 2 Strutture
Prodotti valutati dal Panel
-3
226
Prodotti valutati nell’area
category
N.
category
N.
1 Agricultural Chemistry
3
18 Engineering Management/General
1
2 Agriculture/Agronomy
2
19 Environment/Ecology
45
3 Animal Sciences
1
20 Environmental Engineering & Energy
34
4 Applied Physics/ … /Materials Science
1
21 Environ. Medicine & Public Health
1
5 Aquatic Sciences
4
22 Environ. Studies, Geogr. & Develop.
25
6 Art & Architecture
9
23 Instrumentation & Measurement
1
7 Biochemistry & Biophysics
2
24 Law
2
8 Biotechnology & Applied Microbiology
1
25 Materials Science & Engineering
1
9 Chemical Engineering
7
26 Mathematics
2
10 Chemistry
5
27 Mechanical Engineering
4
11 Chemistry & Analysis
3
28 Nuclear Engineering
1
12 Civil Engineering
9
29 Philosophy
1
13 Communication
2
30 Physics
2
14 Computer Science & Engineering
1
31 Plant Sciences
1
15 Earth Sciences
18
32 Political Science & Public Admnistr.
2
16 Economics
28
33 Sociology & Anthropology
5
17 Electrical & Electronics Engineering
2
total
226
Esperti esterni coinvolti
Area 15e
Nazionalità
Provenienza
Italiana
Accademica
Italiana
Straniera
Num. esperti Num. valutazioni
134
312
Non-accademica
14
25
Mista
32
115
180
452
Totali
Prodotti valutati (1)
Prodotti valutati (2)
Distribuzione per tipologia nelle diverse Aree
10. Sc Filol Lett - Stor Art
12. Sc Giuridiche
14. Sc Politiche - Sociali
11. Sc Stor Filos Psic Ped
15f. Beni C ulturali
8. Ing C ivile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. IC T
15d. Sc Aerospaziali
9. Ing Industriale - Inform
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano - Micro Tec
4. Geologia
15b. Qualità Alimenti
3. C himica
1. Matematica
5. Biologia
6. Medicina
0%
10%
20%
articoli
30%
40%
50%
libri e capitolo di libro
60%
70%
brevetti
80%
90%
altro
100%
Tipologia dei prodotti (1)
Area 15e
Tipologia
Numero
Articolo su rivista
%
129
57.08
3
1.33
Capitolo di libro
26
11.50
Libro
36
15.93
Manufatto ed opera d'arte
3
1.33
Performance, mostra ed esposizione
3
1.33
Progetto, composizione, disegno e design
3
1.33
23
10.18
226
100
Brevetto
Risultato di valorizzazione applicativa
Totale
Tipologia dei prodotti (2)
Area 15e
Tipologia prodotto
numero
valutati eccellente
ISI
114
18 (15.8%)
Altri (non-ISI, libri, etc.)
112
10 (8.9%)
226
28 (12.4%)
Totale
Riviste ricorrenti
Rivista
Area 15e Scienze e tecnologie per lo sviluppo e
la governance sostenibili: aspetti economici,
sociali, energetici ed ambientali
ENVIRONMENTAL SCIENCE & TECHNOLOGY
WATER RESOURCES RESEARCH
ATMOSPHERIC ENVIRONMENT
ANNALI DI CHIMICA
JOURNAL OF ENVIRONMENTAL QUALITY
WATER RESEARCH
WATER AIR AND SOIL POLLUTION
TOPICS IN CATALYSIS
SCIENCE OF THE TOTAL ENVIRONMENT
MOLECULAR ECOLOGY
JOURNAL OF SEA RESEARCH
JOURNAL OF HYDROLOGY
JOURNAL OF GEOPHYSICAL RESEARCH
0
1
2
3
4
numero
5
6
7
Tipologia e qualità dei prodotti
Area 15e Scienze e tecnologie per lo sviluppo e la governance
sostenibili: aspetti economici, sociali, energetici ed ambientali
Eccellente
Buono
0%
Articolo su rivista (129)
Brevetto (3)
Capitolo di libro (26)
Libro (36)
Manufatto ed opera d'arte (3)
Performance, mostra ed esposizione (3)
Progetto, composizione, disegno e design (3)
Risultato di valorizzazione applicativa (23)
Accettabile
25%
Limitato
50%
75%
100%
Distribuzione per Lingua
Tutte le Aree
Distribuzione per Lingua
Nelle diverse Aree
12. Sc Giuridiche
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
14. Sc Politiche - Sociali
15f. Beni Culturali
8. Ing Civile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. ICT
15d. Sc Aerospaziali
9. Ing Industriale - Inform
4. Geologia
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano e Micro Tec
15b. Qualità alimenti
5. Biologia
6. Medicina
3. Chimica
1. Matematica
0%
10%
20%
30%
ITALIANO
40%
INGLESE
50%
60%
ALTRO
70%
80%
90%
100%
Grado medio di Proprietà
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie 8. Ing Civile - Arch
9. Ing Industriale 10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic
12. Sc Giuridiche
13. Economia 14. Sc Politiche - Sociali
15a ICT
15b. Qualità Alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo
15f. Beni Culturali
Totale
Prodotti eccellenti
1
Grado di proprietà dei prodotti
Media ( ♦ ) e intervallo di variazione (
)
Distribuzione dei giudizi (1)
52%
46%
39%
17.329 prodotti di tutte le Aree
30%
19%
8%
5%
1%
Eccellente
Buono
Accettabile
Prodotti presentati da: Una sola struttura
Più strutture
Lim itato
Distribuzione dei giudizi (2)
Andamento complessivo per area
0%
10%
20%
30%
40%
50%
60%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. Ing Civile - Arch
9. Ing Industriale - Inform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. ICT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente
Buono
Accettabile
Limitato
70%
80%
90%
100%
Distribuzione dei giudizi (3)
54%
Area 15e - 226 prodotti
24%
12%
Eccellente
9%
Buono
Accettabile
Limitato
Distribuzione dei giudizi (4)
Brevetti Area 15e
Eccellente
Buono
Accettabile
Limitato
Totale
-
1
1
1
3
Analisi divergenze giudizi
Impact Factor dei prodotti
Media ( ♦ ) e intervallo di variazione (
)
Impact Factor dei prodotti (2)
La Valutazione delle Aree (1)
Peso dei giudizi
Giudizio
Significato
Peso
Eccellente
Il prodotto si colloca nel 20% superiore della
scala di valore condivisa dalla comunità
scientifica internazionale
1
Buono
Il prodotto si colloca nel segmento 60%-80%
0.8
Accettabile
Il prodotto si colloca nel segmento 40%-60%
0.6
Limitato
Il prodotto si colloca nel 40% inferiore
0.2
La Valutazione delle Aree (2)
RATING
Esprime il giudizio medio sui prodotti presentati da
ogni singola Struttura nelle diverse Aree.
Si ottiene dividendo la somma dei giudizi pesati
attribuiti ai singoli prodotti (prodotti pesati) per il numero
totale di prodotti presentati.
1.0  NE  0.8  NB  0.6  NA  0.2  NL
Rating 
NE  NB  NA  NL
La Valutazione delle Aree (3)
Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:
La Valutazione delle Aree (4)
La Valutazione delle Aree (4)
La Valutazione delle Aree (4)
La Valutazione delle Aree (4)
Rating
La Valutazione delle Aree (5)
Aquatic sciences
3 paper su rivista e un libro sono i prodotti di questa
categoria, tutti giudicati di buon livello, con contributi
originali e un’ottima collocazione editoriale.
La Valutazione delle Aree (5)
Art & Architecture
I prodotti di questa categoria sono quasi tutti libri o capitoli
di libri scritti in italiano.
La qualità è complessivamente accettabile.
Alcuni prodotti si sono distinti per rilevanza delle tematiche
affrontate e per il buon grado di diffusione, peraltro limitato
dalla lingua.
La Valutazione delle Aree (5)
Chemical engineering
La maggior parte dei prodotti di ingegneria chimica sono
articoli su rivista, tutti in inglese.
La qualità è generalmente buona.
Le tematiche affrontate sono di interesse internazionale e i
risultati
contribuiscono
in
maniera
rilevante
all’avanzamento delle conoscenze nel campo.
Buono il grado di originalità e innovazione.
La Valutazione delle Aree (5)
Chemistry
I prodotti di questa categoria sono tutti articoli di buona
qualità, con punte di eccellenza, pubblicati su riviste
internazionali.
I temi trattati sono di interesse e l’internazionalizzazione è
elevata.
La Valutazione delle Aree (5)
Civil engineering
Gli articoli di ingegneria civile, tutti in inglese e pubblicati
su accreditate riviste internazionali, sono tutti di ottima
qualità, con rare eccezioni, e trattano di importanti temi di
ricerca.
La presenza di autorevoli collaborazioni internazionali
rappresenta un ulteriore aspetto che testimonia l’elevato
valore scientifico dei prodotti
La Valutazione delle Aree (5)
Earth sciences
Molti dei prodotti della categoria scienze della terra sono
paper pubblicati su riviste internazionali con impact factor
medio elevato, di buona qualità, anche se non tutti di
elevata diffusione internazionale.
I temi trattati sono di grande rilevanza e i risultati di
interesse
La Valutazione delle Aree (5)
Economics
La maggior parte dei prodotti di economia ha ottenuto un
buon giudizio.
Non ci sono prodotti con giudizio eccellente, ma diversi
sono stati giudicati limitati.
Questi sono spesso report che, pur utili per chi si avvicina
alle tematiche trattate, non sono dei veri prodotti di ricerca
La Valutazione delle Aree (5)
Environment/ecology
Gran parte dei prodotti di questa categoria è costituita da
articoli pubblicati su riviste con diffusione internazionale.
La qualità dei prodotti è risultata in media accettabile ma
una percentuale non trascurabile è stata giudicata di
valore limitato.
Infatti, a volte i risultati ottenuti non sono soddisfacenti
La Valutazione delle Aree (5)
Environmental engineering & energy
Gran parte dei prodotti di questa categoria è costituita
articoli pubblicati su riviste di ampia diffusione.
I temi, di interesse, sono trattati con rigore scientifico.
I lavori forniscono un significativo contributo allo sviluppo
delle conoscenze nel campo, con ampia rilevanza
internazionale
La Valutazione delle Aree (5)
Environmental studies, geography & development
La maggior parte dei prodotti è concentrata nei due livelli intermedi (B
e A).
Molti lavori rappresentano un’importante esempio di ricerca applicata
interdisciplinare; in alcuni casi, però, l’importanza del lavoro è
compromessa da un carattere locale, con scarsi riferimenti alla
letteratura internazionale.
Pur contenendo aspetti originali ed innovativi, i prodotti denotano una
ricerca convenzionale, caratterizzata da metodologie descrittive e
spesso focalizzata su una regione specifica.
Molti prodotti, scritti in italiano e pubblicati da case editrici nazionali
non hanno una diffusione internazionale; soltanto pochi prodotti hanno
un interesse internazionale, mentre altri, potenzialmente di interesse
internazionale, sono limitati dalla diffusione soltanto locale. È
auspicabile, al riguardo, una migliore pubblicazione e diffusione dei
prodotti.
La Valutazione delle Aree (5)
Brevetti
Sono stati presentati 3 brevetti
Dei 3 brevetti, 2 sono in mechanical engineering e 1 in
environmental engineering & energy: per i primi due,
giudicati B e A rispettivamente, gli esperti prevedono
buone possibilità di ricadute industriali, anche se non
immediate; il terzo è stato giudicato L.
Va osservato che il campione non può essere considerato
rappresentativo per un giudizio complessivo. l’unico
commento è proprio che nel panel sono stati presentati
pochi brevetti
La Valutazione delle Aree (5)
Prodotti di Valorizzazione Applicativa
Sono stati presentati 23 prodotti di valorizzazione
applicativa.
I 23 prodotti di valorizzazione applicativa si inseriscono
nella fascia medio-alta della scala dei valori, con rare
punte di eccellenza e limitatezza. Quasi tutti sono
presentati da enti di ricerca. Si tratta spesso di software di
un certo interesse per le pubbliche amministrazioni locali e
nazionali deputate alla salvaguardia dell’ambiente e della
salute dell’uomo