VTR 2001- 2003
CIVR
Comitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI del 12 aprile 2006, ore 15
Panel 11 Scienze storiche, filosofiche, pedagogiche e
psicologiche
Prof. Evandro Agazzi
Scopi e specificità del VTR
• Suggerire regole e procedure di riferimento per la
valutazione del Sistema Nazionale della Ricerca.
• Migliorare il collegamento istituzionale tra risultati
della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.
• Favorire la diffusione dei risultati della ricerca.
• Assicurare trasparenza al processo.
Il processo
Governo
Strutture di ricerca
Comunità scientifica
• Dati & informazioni
• Relazione NUV/CIV
CIVR
Giudizi
Panel di Area
Prodotti
Strutture di ricerca
Strutture partecipanti
Area 11
Atenei
61
Enti pubblici di Ricerca
1
Istituzioni private di Ricerca
2
Aree
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15 a
15 b
15 c
15 d
15 e
15 f
Scienze matematiche e informatiche
Scienze fisiche
Scienze chimiche
Scienze della terra
Scienze biologiche
Scienze mediche
Scienze agrarie e veterinarie
Ingegneria civile ed architettura
Ingegneria industriale e dell’informazione
Scienze dell’antichità, filologico-letterarie e storico-artistiche
Scienze storiche, filosofiche, psicologiche e pedagogiche
Scienze giuridiche
Scienze economiche e statistiche
Scienze politiche e sociali
Scienze e tecnologie per una società dell'informazione e della comunicazione
Scienze e tecnologie per la qualità e la sicurezza degli alimenti
Scienze e tecnologie dei nano/microsistemi
Scienze e tecnologie aerospaziali
Scienze e tecnologie per lo sviluppo e la governance sostenibili
Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
Prodotti selezionabili
•
•
•
•
•
•
•
Libri
Capitoli di libri
Articoli su riviste
Brevetti e risultati di valorizzazione applicativa
Progetti, composizioni, disegni e design
Performance, mostre ed esposizioni
Manufatti e opere d'arte
Prodotti non selezionabili
•
•
•
•
•
Attività puramente editoriali
Testi o software di esclusivo interesse didattico
Abstract di conferenze
Prove e analisi di routine
Rapporti tecnici interni
Selezione dei prodotti (1)
• Le strutture hanno selezionato in autonomia i prodotti da
trasmettere ai Panel.
• Il numero complessivo di prodotti selezionati è stato fissato
nel 50% del numero medio annuo dei ricercatori della
Struttura (calcolato sul triennio), espressi in ETP.
• Non era obbligatorio presentare prodotti in ogni area o
settore disciplinare della stessa.
• Le aree prive di prodotti sono state giudicate inattive.
• L’area selezionata dipendeva dalla collocazione del prodotto
e non da quella degli autori.
• Per ciascun prodotto è stata trasmessa una scheda
illustrativa, con l’allegato in pdf della pubblicazione.
• In assenza di allegato, è stata richiesta alle Strutture copia
cartacea.
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun
prodotto selezionato in una sola Area;
• Strutture diverse potevano selezionare prodotti
identici e presentarli anche in Aree diverse;
• ciascun prodotto selezionato, anche se presentato
in Aree diverse, è stato sottoposto ad un unico iter
valutativo, che ha coinvolto tutti i Panel interessati.
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due
esperti esterni, per i seguenti criteri:
–
–
–
–
–
qualità
rilevanza
originalità/innovazione
internazionalizzazione
impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato
un giudizio di merito descrittivo.
Criteri (1)
• Qualità: posizionamento del prodotto rispetto
all’eccellenza scientifica nella scala di valore condivisa
dalla comunità scientifica internazionale. Il giudizio di
merito è affidato ad esperti esterni indipendenti, che
operano nel settore o in settori affini a quello di
appartenenza del prodotto (peer review).
• Rilevanza: valore aggiunto per l’avanzamento della
conoscenza nel settore e per la scienza in generale,
nonché per i benefici sociali derivati, anche in termini di
appropriatezza, efficacia, tempestività e durata delle
ricadute. Integra il giudizio di qualità.
• Originalità/innovazione: contributo a nuove acquisizioni o
all’avanzamento di conoscenze, nel settore di riferimento.
Integra il giudizio di qualità.
Criteri (2)
• Internazionalizzazione: posizionamento nello scenario
internazionale, in termini di rilevanza, competitività,
diffusione editoriale e apprezzamento della comunità
scientifica, inclusa la collaborazione esplicita con
ricercatori e gruppi di ricerca di altre nazioni.
Integra il giudizio di qualità.
• Impatto: effetti sociali, economici e culturali, diretti e
indiretti del prodotto.
Esperti esterni
• Nel processo di valutazione, i Panel si sono
avvalsi di esperti esterni, anche stranieri, scelti
collegialmente dai Panel stessi;
• agli esperti esterni è stato affidato il compito di
esprimere giudizi di merito sui prodotti selezionati
dalle Strutture;
• agli esperti è stato garantito l’anonimato dei
giudizi.
Livelli di merito dei prodotti (1)
• Ciascun esperto ha espresso su ogni prodotto
un giudizio unico e complessivo, con
attribuzione a quattro livelli di merito (in
coerenza con il giudizio descrittivo):
– eccellente
– buono
– accettabile
– limitato
Livelli di merito dei prodotti (2)
• Eccellente: la qualità del prodotto si colloca nel 20%
superiore della scala di valore condivisa dalla
comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 60-80%.
• Accettabile: il prodotto si colloca nel segmento
40-60%.
• Limitato: il prodotto si colloca nel 40% inferiore.
Grado di proprietà dei prodotti
• È espresso dal rapporto tra:
N. autori affiliati alla Struttura/N. complessivo autori
• Sono state considerate anche le affiliazioni multiple.
• È stato determinato sia sul numero totale dei
prodotti presentati dalla Struttura, sia sui soli
prodotti giudicati eccellenti.
Componenti del Panel 11
• AGAZZI EVANDRO (Presidente)
• BEDESCHI GIUSEPPE
• BERTI ENRICO
• BUTERA FABRIZIO
• CARAMAZZA ALFONSO
• CARDINI FRANCO
• CHIOSSO GIORGIO
• DAZZI NINO
• KING RUSSELL
• PARLATO GIUSEPPE
• SCABINI EUGENIA
Sottogruppi del Panel 11
• CONSENSUS GROUP N.1:
AGAZZI EVANDRO
BEDESCHI GIUSEPPE
BERTI ENRICO
• CONSENSUS GROUP N.2:
BUTERA FABRIZIO
CARAMAZZA ALFONSO
DAZZI NINO
SCABINI EUGENIA
• CONSENSUS GROUP N.3:
CARDINI FRANCO
CHIOSSO GIORGIO
KING RUSSELL
PARLATO GIUSEPPE
Prodotti valutati nell’area
Area 11
Prodotti presentati dalle Strutture
1.183
di cui:
12 presentati da 2 Strutture
Prodotti valutati dal Panel
-6
1.177
Esperti esterni coinvolti
Area 11
Nazionalità
Provenienza
Italiana
Accademica
Italiana
Straniera
Num. esperti Num. valutazioni
388
2.032
Non-accademica
37
163
Mista
45
161
470
2.356
Totali
Prodotti valutati (1)
Prodotti valutati (2)
Distribuzione per tipologia nelle diverse Aree
10. Sc Filol Lett - Stor Art
12. Sc Giuridiche
14. Sc Politiche - Sociali
11. Sc Stor Filos Psic Ped
15f. Beni C ulturali
8. Ing C ivile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. IC T
15d. Sc Aerospaziali
9. Ing Industriale - Inform
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano - Micro Tec
4. Geologia
15b. Qualità Alimenti
3. C himica
1. Matematica
5. Biologia
6. Medicina
0%
10%
20%
articoli
30%
40%
50%
libri e capitolo di libro
60%
70%
brevetti
80%
90%
altro
100%
Tipologia dei prodotti (1)
Area 11
Tipologia
Numero
%
Articolo su rivista
256
21.75
Capitolo di libro
205
17.42
Libro
702
59.64
Performance, mostra ed esposizione
5
0.42
Progetto, composizione, disegno e design
5
0.42
Risultato di valorizzazione applicativa
4
0.34
1.177
100
Totale
Tipologia dei prodotti (2)
Area 11
Tipologia prodotto
ISI
numero
173
Altri (non-ISI, libri, etc.)
Totale
valutati eccellente
79 (45.7%)
1.004 253 (25.2%)
1.177
332 (28.2%)
Riviste ricorrenti
Area 11 Scienze storiche, filosofiche,
pedagogiche e psicologiche
NEUROPSYCHOLOGIA
JOURNAL OF PERSONALITY AND SOCIAL PSYCHOLOGY
BRAIN
Rivista
J OF COMMUNITY & APPLIED SOCIAL PSYCHOLOGY
CEREBRAL CORTEX
BRAIN AND LANGUAGE
STUDI STORICI
SLEEP
NATURE NEUROSCIENCE
NATURE
JOURNAL OF COGNITIVE NEUROSCIENCE
COGNITIVE BRAIN RESEARCH
CHILD DEVELOPMENT
0
2
4
6
numero
8
10
Tipologia e qualità dei prodotti
Area 11 Scienze storiche, filosofiche, pedagogiche e
psicologiche
Eccellente
Buono
0%
Articolo su rivista (256)
Capitolo di libro (205)
Libro (702)
Performance, mostra ed esposizione (5)
Progetto, composizione, disegno e design (5)
Risultato di valorizzazione applicativa (4)
Accettabile
25%
Limitato
50%
75%
100%
Distribuzione per Lingua
Tutte le Aree
Distribuzione per Lingua
Nelle diverse Aree
12. Sc Giuridiche
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
14. Sc Politiche - Sociali
15f. Beni Culturali
8. Ing Civile - Arch
15e. Sviluppo Sostenibile
13. Economia - Statistica
15a. ICT
15d. Sc Aerospaziali
9. Ing Industriale - Inform
4. Geologia
2. Fisica
7. Sc Agrarie - Veterinarie
15c. Nano e Micro Tec
15b. Qualità alimenti
5. Biologia
6. Medicina
3. Chimica
1. Matematica
0%
10%
20%
30%
ITALIANO
40%
INGLESE
50%
60%
ALTRO
70%
80%
90%
100%
Grado medio di Proprietà
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie 8. Ing Civile - Arch
9. Ing Industriale 10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic
12. Sc Giuridiche
13. Economia 14. Sc Politiche - Sociali
15a ICT
15b. Qualità Alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo
15f. Beni Culturali
Totale
Prodotti eccellenti
1
Grado di proprietà dei prodotti
Media ( ♦ ) e intervallo di variazione (
)
Distribuzione dei giudizi (1)
52%
46%
39%
17.329 prodotti di tutte le Aree
30%
19%
8%
5%
1%
Eccellente
Buono
Accettabile
Prodotti presentati da: Una sola struttura
Più strutture
Lim itato
Distribuzione dei giudizi (2)
Andamento complessivo per area
0%
10%
20%
30%
40%
50%
60%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. Ing Civile - Arch
9. Ing Industriale - Inform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. ICT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente
Buono
Accettabile
Limitato
70%
80%
90%
100%
Distribuzione dei giudizi (3)
47%
Area 11 - 1177 prodotti
28%
21%
4%
Eccellente
Buono
Accettabile
Limitato
Analisi divergenze giudizi
Impact Factor dei prodotti
Media ( ♦ ) e intervallo di variazione (
)
Impact Factor dei prodotti (2)
La Valutazione delle Aree (1)
Peso dei giudizi
Giudizio
Significato
Peso
Eccellente
Il prodotto si colloca nel 20% superiore della scala di
valore condivisa dalla comunità scientifica
internazionale
Buono
Il prodotto si colloca nel segmento 60%-80%
0.8
Accettabile
Il prodotto si colloca nel segmento 40%-60%
0.6
Limitato
Il prodotto si colloca nel 40% inferiore
0.2
1
La Valutazione delle Aree (2)
Il rating
Esprime il giudizio medio sui prodotti
presentati da ogni singola Struttura nelle
diverse Aree.
Si ottiene dividendo la somma dei giudizi
pesati attribuiti ai singoli prodotti (prodotti
pesati) per il numero totale di prodotti
presentati.
La Valutazione delle Aree (3)
Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:
La Valutazione delle Aree (4)
La Valutazione delle Aree (5)