VTR 2001- 2003
CIVR
Comitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI del giorno 11 aprile 2006, ore 11.00
Panel 08 Ingegneria civile ed architettura
Prof. Aurelio Amodeo
Scopi e specificità del VTR
• Suggerire regole e procedure di riferimento per
la valutazione del Sistema Nazionale della
Ricerca.
• Migliorare il collegamento istituzionale tra risultati
della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare trasparenza al processo.
Il processo
Governo
Strutture di ricerca
Comunità scientifica
• Dati & informazioni
• Relazione NUV/CIV
CIVR
Giudizi
Panel di Area
Prodotti
Strutture di ricerca
Aree
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
Scienze matematiche e informatiche
Scienze fisiche
Scienze chimiche
Scienze della terra
Scienze biologiche
Scienze mediche
Scienze agrarie e veterinarie
15 a
15 b
15 c
15 d
15 e
15 f
Scienze e tecnologie per una società dell'informazione e della comunicazione
Scienze e tecnologie per la qualità e la sicurezza degli alimenti
Scienze e tecnologie dei nano/microsistemi
Scienze e tecnologie aerospaziali
Scienze e tecnologie per lo sviluppo e la governance sostenibili
Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
Ingegneria civile ed architettura
Ingegneria industriale e dell’informazione
Scienze dell’antichità, filologico-letterarie e storico-artistiche
Scienze storiche, filosofiche, psicologiche e pedagogiche
Scienze giuridiche
Scienze economiche e statistiche
Scienze politiche e sociali
Strutture partecipanti
Area 08
Atenei
40
Enti pubblici di Ricerca
2
Istituzioni private di Ricerca
-
Prodotti selezionabili
•
•
•
•
•
•
•
Libri
Capitoli di libri
Articoli su riviste
Brevetti e risultati di valorizzazione applicativa
Progetti, composizioni, disegni e design
Performance, mostre ed esposizioni
Manufatti e opere d'arte
Prodotti non selezionabili
•
•
•
•
•
Attività puramente editoriali
Testi o software di esclusivo interesse didattico
Abstract di conferenze
Prove e analisi di routine
Rapporti tecnici interni
Selezione dei prodotti (1)
• Le strutture hanno selezionato in autonomia i prodotti da
trasmettere ai Panel.
• Il numero complessivo di prodotti selezionati è stato
fissato nel 50% del numero medio annuo dei ricercatori
della Struttura (calcolato sul triennio), espressi in ETP.
• Non era obbligatorio presentare prodotti in ogni area o
settore disciplinare della stessa.
• Le aree prive di prodotti sono state giudicate inattive.
• L’area selezionata dipendeva dalla collocazione del
prodotto e non da quella degli autori.
• Per ciascun prodotto è stata trasmessa una scheda
illustrativa, con l’allegato in pdf della pubblicazione.
• In assenza di allegato, è stata richiesta alle Strutture
copia cartacea.
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun
prodotto selezionato in una sola Area;
• Strutture diverse potevano selezionare prodotti
identici e presentarli anche in Aree diverse;
• Ciascun prodotto selezionato, anche se
presentato in Aree diverse, è stato sottoposto
ad un unico iter valutativo, che ha coinvolto tutti i
Panel interessati.
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due
esperti esterni, per i seguenti criteri:
–
–
–
–
–
qualità
rilevanza
originalità/innovazione
internazionalizzazione
impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato
un giudizio di merito descrittivo.
Criteri (1)
• Qualità: posizionamento del prodotto rispetto
all’eccellenza scientifica nella scala di valore condivisa
dalla comunità scientifica internazionale. Il giudizio di
merito è affidato ad esperti esterni indipendenti, che
operano nel settore o in settori affini a quello di
appartenenza del prodotto (peer review).
• Rilevanza: valore aggiunto per l’avanzamento della
conoscenza nel settore e per la scienza in generale,
nonché per i benefici sociali derivati, anche in termini di
appropriatezza, efficacia, tempestività e durata delle
ricadute. Integra il giudizio di qualità.
• Originalità/Innovazione:
contributo
a
nuove
acquisizioni o all’avanzamento di conoscenze, nel
settore di riferimento. Integra il giudizio di qualità.
Criteri (2)
• Internazionalizzazione: posizionamento nello scenario
internazionale, in termini di rilevanza, competitività,
diffusione editoriale e apprezzamento della comunità
scientifica, inclusa la collaborazione esplicita con
ricercatori e gruppi di ricerca di altre nazioni. Integra il
giudizio di qualità.
• Impatto economico-occupazionale: effetti sociali,
economici e culturali, diretti e indiretti del prodotto.
Esperti esterni
• Nel processo di valutazione, i Panel si sono
avvalsi di esperti esterni, anche stranieri, scelti
collegialmente dai Panel stessi;
• agli esperti esterni è stato affidato il compito di
esprimere giudizi di merito sui prodotti
selezionati dalle Strutture;
• agli esperti è stato garantito l’anonimato dei
giudizi.
Livelli di merito dei prodotti (1)
• Ciascun esperto ha espresso su ogni prodotto
un giudizio unico e complessivo, con
attribuzione a quattro livelli di merito (in
coerenza con il giudizio descrittivo):
– Eccellente
– Buono
– Accettabile
– Limitato
Livelli di merito dei prodotti (2)
• Eccellente: la qualità del prodotto si colloca nel
20% superiore della scala di valore condivisa
dalla comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 6080%.
• Accettabile: il prodotto si colloca nel segmento
40-60%.
• Limitato: il prodotto si colloca nel 40% inferiore.
Grado di proprietà dei prodotti
• È espresso dal rapporto tra:
N. autori affiliati alla Struttura / N. complessivo
autori
• Sono state considerate anche le affiliazioni
multiple.
• È stato determinato sia sul numero totale dei
prodotti presentati dalla Struttura, sia sui soli
prodotti giudicati eccellenti.
Componenti del Panel 08
• AMODEO Aurelio (Presidente)
• CLEMENTE Paolo
• DAGAN Gedeon
• DIERNA Salvatore
• DIOTALLEVI Pierpaolo
• GAMBARDELLA Alfonso
• MANISCALCO Paolino Attilio
• PORTAS Nuno
Sottogruppi del Panel 08
• Tenendo conto dei giudizi degli esperti, il
Panel ha espresso il suo giudizio finale
CONSENSUS GROUP N.1:
AMODEO Aurelio
CLEMENTE Paolo
DAGAN Gedeon
DIOTALLEVI Pierpaolo
MANISCALCO Paolino Attilio
CONSENSUS GROUP N.2:
DIERNA Salvatore
GAMBARDELLA Alfonso
PORTAS Nuno
Prodotti valutati nell’area
Area 08
Prodotti presentati dalle Strutture
769
di cui:
22 presentati da 2 Strutture
-11
Prodotti valutati dai Panel
758
150318
Art & Architecture
310
150704
Civil Engineering
448
Esperti esterni coinvolti
Area 08
Nazionalità
Provenienza
Italiana
Accademica
Italiana
Straniera
Num. esperti Num. valutazioni
269 (77%)
1.116
Non-accademica
24 (7%)
97
Mista
57 (16%)
310
350
1.523
Totali
Prodotti valutati (1)
Prodotti valutati (2)
Distribuzione per tipologia nelle diverse Aree
10. Sc Filol Lett - Stor Art
12. Sc Giuridiche
14. Sc Politiche - Sociali
11. Sc Stor Filos Psic Ped
15f. Beni C ulturali
8. Ing C ivile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. IC T
15d. Sc Aerospaziali
9. Ing Industriale - Inform
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano - Micro Tec
4. Geologia
15b. Qualità Alimenti
3. C himica
1. Matematica
5. Biologia
6. Medicina
0%
10%
20%
articoli
30%
40%
50%
libri e capitolo di libro
60%
70%
brevetti
80%
90%
altro
100%
Tipologia dei prodotti (1)
Area 08
Tipologia
Numero
Articolo su rivista
%
401
52.90
2
0.26
93
12.27
209
27.57
Manufatto ed opera d'arte
10
1.32
Performance, mostra ed esposizione
15
1.98
Progetto, composizione, disegno e design
21
2.77
7
0.92
758
100
Brevetto
Capitolo di libro
Libro
Risultato di valorizzazione applicativa
Totale
Tipologia dei prodotti (2)
Area 08
Tipologia prodotto
numero
valutati eccellente
ISI
344
81 (23.5%)
Altri (non-ISI, libri, etc.)
414
85 (20.5%)
Totale
758 166 (21.9%)
Riviste ricorrenti
Area 08
WATER RESOURCES RESEARCH
INTERNATIONAL JOURNAL OF SOLIDS AND
STRUCTURES
COMPUTER MET IN APPLIED MECHANICS AND ENG
INTERNAT JOURNAL FOR NUMERICAL METHODS IN ENG
Rivista
EARTHQUAKE ENGINEERING & STRUCTURAL DYNAMICS
JOURNAL OF HYDRAULIC ENGINEERING-ASCE
JOURNAL OF FLUID MECHANICS
JOURNAL OF STRUCTURAL ENGINEERING-ASCE
JOURNAL OF EARTHQUAKE ENGINEERING
ENGINEERING STRUCTURES
WATER SCIENCE AND TECHNOLOGY
JOURNAL OF THE MECHANICS AND PHYSICS OF SOLIDS
JOURNAL OF ENGINEERING MECHANICS
0
5
10
15
numero
20
25
Tipologia e qualità dei prodotti
Area 08 Ingegneria civile ed architettura
Eccellente
Buono
Accettabile
0%
Articolo su rivista (401)
Brevetto (2)
Capitolo di libro (93)
Libro (209)
Manufatto ed opera d'arte (10)
Performance, mostra ed esposizione (15)
Progetto, composizione, disegno e design (21)
Risultato di valorizzazione applicativa (7)
25%
Limitato
50%
75%
100%
Distribuzione per Lingua
Tutte le Aree
Distribuzione per Lingua
Nelle diverse Aree
12. Sc Giuridiche
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
14. Sc Politiche - Sociali
15f. Beni Culturali
8. Ing Civile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. ICT
15d. Sc Aerospaziali
9. Ing Industriale - Inform
4. Geologia
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano e Micro Tec
15b. Qualità alimenti
5. Biologia
6. Medicina
3. Chimica
1. Matematica
0%
10%
20%
30%
ITALIANO
40%
INGLESE
50%
60%
ALTRO
70%
80%
90%
100%
Grado medio di Proprietà
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie 8. Ing Civile - Arch
9. Ing Industriale 10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic
12. Sc Giuridiche
13. Economia 14. Sc Politiche - Sociali
15a ICT
15b. Qualità Alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo
15f. Beni Culturali
Totale
Prodotti eccellenti
1
Grado di proprietà dei prodotti
Media ( ♦ ) e intervallo di variazione (
)
Distribuzione dei giudizi (1)
52%
46%
39%
17.329 prodotti di tutte le Aree
30%
19%
8%
5%
1%
Eccellente
Buono
Accettabile
Prodotti presentati da: Una sola struttura
Più strutture
Lim itato
Distribuzione dei giudizi (2)
Andamento complessivo per area
0%
10%
20%
30%
40%
50%
60%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. Ing Civile - Arch
9. Ing Industriale - Inform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. ICT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente
Buono
Accettabile
Limitato
70%
80%
90%
100%
Distribuzione dei giudizi (3)
Area 08 - 758 prodotti
43%
29%
22%
6%
Eccellente
Buono
Accettabile
Limitato
Distribuzione dei giudizi (4)
Brevetti Area 08
Eccellente
Buono
Accettabile
Limitato
Totale
-
1
1
-
2
Analisi divergenze giudizi
Impact Factor dei prodotti (1)
Media ( ♦ ) e intervallo di variazione (
)
Impact Factor dei prodotti (2)
La Valutazione delle Aree (1)
Peso dei giudizi
Giudizio
Significato
Peso
Eccellente
Il prodotto si colloca nel 20% superiore della
scala di valore condivisa dalla comunità
scientifica internazionale
1
Buono
Il prodotto si colloca nel segmento 60%-80%
0.8
Accettabile Il prodotto si colloca nel segmento 40%-60%
0.6
Limitato
0.2
Il prodotto si colloca nel 40% inferiore
La Valutazione delle Aree (2)
RATING
Esprime il giudizio medio sui prodotti presentati da
ogni singola Struttura nelle diverse Aree.
Si ottiene dividendo la somma dei giudizi pesati
attribuiti ai singoli prodotti (prodotti pesati) per il numero
totale di prodotti presentati.
1.0  E  0.8  B  0.6  A  0.2  L
Rating 
 E  B  A  L 
La Valutazione delle Aree (3)
Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:
La Valutazione delle Aree (5)
Ranking list grandi strutture (25-74 prodotti)
La Valutazione delle Aree (5)
Ranking list medie strutture (10-24 prodotti)
La Valutazione delle Aree (5)
Ranking list piccole strutture (1-9 prodotti)
La Valutazione delle Aree (5)
Rating grandi strutture
La Valutazione delle Aree (5)
Rating medie strutture
La Valutazione delle Aree (5)
Rating piccole strutture
La Valutazione delle Aree (5)
Prodotti
%
E
%
B
%
A
%
L
%
Rating
Grado di
proprietà
Grandi
strutture
58.1
22.7
45.7
26.0
5.6
0.76
0.86
Medie
strutture
29.3
23.6
40.4
30.7
5.3
0.76
0.80
Piccole
strutture
12.6
17.5
38.1
35.1
9.3
0.71
0.81
La Valutazione delle Aree (5)
N°
Prodotti
Rating
medio
Scarto Scarto Media degli
max (+) max (-) scarti dalla
media
Grandi
strutture
9
446
0.76
0.07
0.09
0.037
Medie
strutture
15
225
0.76
0.19
0.11
0.067
Piccole
strutture
18
97
0.71
0.29
0.11
0.075