Ministero dell'Istruzione,
dell'Università e della Ricerca
SEMINARIO
La valutazione dei lavori scientifici:
metodologie, modulazioni e complessità nei diversi ambiti disciplinari
L'approccio del CUN alla valutazione dei lavori scientifici e della ricerca
Andrea Stella
Università degli Studi di Padova
Consiglio Universitario Nazionale
Università Politecnica delle Marche
Aula Magna di Ateneo
via Brecce Bianche
Ancona, 28 maggio 2009
La valutazione nel sistema universitario
E’ una esigenza posta:





dal processo di autonomia in atto
dal confronto in l’Europa
dagli impegni assunti in sede europea
dal processo di internazionalizzazione
dalla necessità di mutuo riconoscimento
Ancona, 28 maggio 2009
2
La cultura della valutazione come processo irreversibile
La strada della valutazione è ormai obbligata, indipendentemente
dalle vicende politiche e dai governi che si succederanno, perché
facciamo parte di un sistema europeo che va in quella direzione
Non a caso la valutazione, e in particolare quella dei lavori scientifici, sta
assumendo crescente rilevanza nel sistema universitario italiano ed avrà
un impatto sempre più esteso e pervasivo su molti aspetti, quali ad
esempio:






ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario (FFO)
reclutamento
progressione di carriera
composizione delle commissioni di concorso
sostenibilità dei corsi di studio
finanziamento di programmi di ricerca
- ministeriali (PRIN, FIRB …. )
- regionali
- interni agli Atenei
Ancona, 28 maggio 2009
3
Valutazione e Assicurazione della Qualità
Nel 2003, al convegno di Berlino l'Italia, allora presidente di
turno dell'Unione Europea, ha assunto l’impegno di istituire
un sistema di Assicurazione della Qualità (Quality Assurance)
(I Ministri) concordano che per il 2005 i sistemi nazionali per
l’Assicurazione della Qualità devono includere:




una definizione delle responsabilità delle strutture e delle istituzioni
coinvolte
la valutazione dei corsi di studio o istituzioni, che includa una valutazione
interna, una revisione esterna, la partecipazione degli studenti e la
pubblicazione dei risultati
un sistema di accreditamento, certificazione o procedure analoghe
partecipazione internazionale, cooperazione e appartenenza a reti
L’impegno, riaffermato nel 2005 alla conferenza di Bergen, è stato per
lungo tempo completamente disatteso dall’Italia
Ancona, 28 maggio 2009
4
L’Agenzia Nazionale per la Valutazione dell’Università e della
Ricerca - Quali prospettive?
Il provvedimento che istituisce l'Agenzia Nazionale per la Valutazione
dell’Università e della Ricerca (ANVUR), previsto dalla Legge Finanziaria
2007 (riassume anche le funzioni di CIVR e CNVSU), è divenuto definitivo con
la pubblicazione del relativo Regolamento (DPR 21 febbraio 2008, n. 64)
Ma il Ministro Gelmini ha definito l’ANVUR “una costosissima struttura ad
alto tasso di burocrazia e rigidità: non è ciò di cui abbiamo bisogno”
Tuttavia in tempi recenti sembra esserci un ripensamento tanto che:
 l’acronimo ANVUR compare ora in bozze di provvedimenti legislativi
 Il Ministro ha annunciato la presentazione di un nuovo regolamento
dell’ANVUR ad un prossimo Consiglio dei ministri
Peraltro, a giudicare dalle bozze disponibili del regolamento, non sembra
sufficientemente garantita la “terzietà” dell’ANVUR:
Ancona, 28 maggio 2009
5
Atti normativi recenti riguardanti la valutazione
Legge 1/2009 (conversione in legge del D.L. 180/08)
Quota non inferiore al 7% del Fondo di Finanziamento Ordinario (FFO)
da ripartire fra gli atenei in considerazione della qualità dell’offerta formativa e i
risultati dei processi formativi nonché della qualità della ricerca scientifica
(Art. 2, comma 1)
Inoltre



entità degli scatti biennali dei professori legati al merito (Art. 3- ter,
commi 1-3)
partecipazione alle commissioni di concorso subordinata all’attività
scientifica (Art. 3- ter, comma 4)
nuovi criteri per le valutazioni comparative dei ricercatori universitari (Art.
1, comma 5)
Disegno di legge in itinere su Governance e Reclutamento



Idoneità nazionale fondata sulla valutazione della produzione scientifica
Avanzamento di carriera (scatti biennali) legati al merito
Riduzione dei Settori Scientifico Disciplinari
Ancona, 28 maggio 2009
6
La posizione del CUN sulla valutazione
Il CUN ha ribadito in molti suoi documenti l’esigenza di sottoporre a
valutazione il sistema universitario in tutte e sue articolazioni (ricerca,
didattica, gestione…..)
Documento su Linee Guida del Governo per l’Università del 12 febbraio
2009
……. le questioni dell’Università, della Ricerca e del loro legame con il
contesto socioeconomico devono essere affrontate con un approccio
complessivo, sulla base di un disegno strategico e coerente e di media lunga durata, che consenta la costruzione e la gestione di un processo di
riforma organica, nel quale la valutazione sia strumento oggettivo di
promozione e sviluppo di cui tutti riconosciamo la necessità ed
urgenza, ma che non può essere affrontato attraverso provvedimenti slegati
ed estemporanei all’esterno di un quadro di riferimento complessivo.
Ancona, 28 maggio 2009
7
Proposta del CUN su FFO e valutazione
Mozione del 24 febbraio 2009 su FFO 2009
Proposta di incrementare al 10% FFO la quota premiale, ripartite per il
2/3 sulla ricerca e 1/3 sulla didattica.
Con riferimento alla distribuzione dei fondi 2009 fra atenei il CUN propone
che la quota di cui all’art. 2, comma 1 del D.L. 180/08 convertito in L. 1/2009,
da ripartire fra gli atenei in considerazione della qualità dell’offerta formativa
e i risultati dei processi formativi nonché della qualità della ricerca
scientifica, sia fissata per il 2009 al 10% del FFO + Fondo straordinario, e
venga suddivisa rispettivamente nella misura di 1/3 e 2/3 e distribuito
secondo modalità realmente rappresentative della qualità rapportata al
potenziale dei diversi atenei
Ancona, 28 maggio 2009
8
Lettera del Ministro Mussi al CUN - 30 marzo 2007
Richiesta di aggregazione dei SSD
Ancona, 28 maggio 2009
9
Motivazioni della richiesta
Richiesta di riordino dei Settori (SSD) in vista di:


emanazione nuova disciplina per il reclutamento dei ricercatori
bando finanziamento dei Progetti di Rilevante Interesse Nazionale
(PRIN)
Ancona, 28 maggio 2009
10
Obiettivo della richiesta
Riaggregazione dei Settori Scientifico Disciplinari:


in coerenza con altri paesi Europei
raggruppandoli in un numero compreso tra 80 e 90
Ancona, 28 maggio 2009
11
La risposta del CUN alla lettera del Ministro
Il CUN è consapevole che alla base della richiesta di aggregazione
c’è la considerazione che Settori Scientifico Disciplinari ampi:
 garantiscono lo sviluppo della competitività
 riducono l’autoreferenzialità
 fanno crescere la qualità in generale
Tuttavia, pur impegnandosi ad affrontare nuovamente il nodo dei
settori in modo più approfondito, data l’urgenza di dar seguito alla
richiesta del Ministro, il CUN:
 si è limitato a proporre macro-settori come aggregazioni di SSD
esistenti nell’ambito delle 14 Aree
 ha esplicitamente delimitato il campo di applicabilità al
reclutamento dei ricercatori universitari secondo la modalità
prevista dal nuovo Regolamento
 ha garantito il suo impegno a riaffrontare il problema
Ancona, 28 maggio 2009
12
Richiesta del Ministro Gemini - 5 settembre 2008
Ancona, 28 maggio 2009
13
Motivazioni della richiesta
Individuare indicatori di qualità relativi all’attività scientifica e di
ricerca, utilizzabili:
 in relazione ai diversi livelli concorsuali e alle peculiarità delle
diverse aree scientifiche, in vista dell’adozione di nuovi
provvedimenti normativi per il reclutamento della docenza
universitaria
 per determinare il grado di qualificazione dei proponenti dei
Progetti di ricerca
Ancona, 28 maggio 2009
14
Ulteriore richiesta
Riforma dei Settori Scientifico Disciplinari
Motivazioni

Attuare, in raccordo con la comunità accademica, la riforma
dell’impianto degli attuali Settori Scientifico Disciplinari, in modo da
ridurne la frammentazione nel rispetto delle diverse discipline

Armonizzare il quadro con i più accreditati modelli internazionali e in
particolare con quelli vigenti nell’Unione europea
Ancona, 28 maggio 2009
15
Indicatori della qualità dell’attività scientifica e di ricerca
Documento di lavoro del Consiglio Nazionale Universtario
Premesse al parere del CUN e quadro di riferimento

La promozione della qualità del sistema universitario non può
prescindere da un’autonomia responsabile degli Atenei nella
valorizzazione del merito ad ogni livello

Necessità di criteri condivisi e trasparenti di valutazione dell’attività
scientifica dei candidati ai diversi livelli concorsuali come elemento
per promuovere i migliori talenti e la qualità delle Università

Importanza di definire di indicatori per la valutazione della qualità
dell’attività scientifica e di ricerca ai fini della valorizzazione del
merito

Importanza dei criteri da utilizzare:
- quali punti di riferimento qualificanti per le commissioni giudicatrici
- per l’autovalutazione dei candidati
Ancona, 28 maggio 2009
16
Indicatori della qualità dell’attività scientifica e di ricerca
Limiti nell’impiego degli indicatori e relative soglie

Gli indicatori e i relativi valori minimi, elaborati dal CUN dopo
consultazione delle Comunità Scientifiche di riferimento, sono da
utilizzare esclusivamente per l’accesso ai diversi livelli concorsuali

Gli indicatori proposti sono intesi al fine di determinare livelli
minimi normalmente accettabili

Gli indicatori proposti nulla debbono togliere all’autonomia degli
Atenei nella libertà di strutturare i bandi di concorso secondo
proprie esigenze
Ancona, 28 maggio 2009
17
Indicatori della qualità dell’attività scientifica e di ricerca
Indicazioni per le commissioni di concorso

I valori minimi proposti per gli indicatori ai fini dell’accesso alle fasce
di docenza sono elementi di riferimento per le commissioni e per
l’autovalutazione dei candidati

Gli indicatori forniscono una rappresentazione sommaria
dell’attività scientifica dei candidati e la responsabilità di stabilire la
graduatoria finale compete esclusivamente alle commissioni
giudicatrici

I livelli minimi non possono essere utilizzati per determinare in
modo automatico l’esclusione o l’ammissione di un candidato

In caso di non osservanza di tali valori minimi le commissioni
debbono motivarne le ragioni
Ancona, 28 maggio 2009
18
Indicatori della qualità dell’attività scientifica e di ricerca
Casi di dichiarata non utilizzabilità

Gli indicatori scientifici per l’accesso alle valutazioni concorsuali
e gli indicatori di qualità per la valutazione dei proponenti dei
PRIN, benché collegati, non sono coincidenti

I valori proposti per gli indicatori, in quanto minimi, non possono
considerarsi sufficienti ai fini del reclutamento per “chiamata
diretta”
Ancona, 28 maggio 2009
19
Indicatori della qualità dell’attività scientifica e di ricerca
Caratteristiche degli indicatori

Non è possibile utilizzare gli stessi indicatori per tutte le Aree e in
qualche caso neppure per tutti i SSD in esse compresi

Gli indicatori debbono essere aggiornati periodicamente dal CUN

Gli indicatori devono essere semplici, trasparenti, facilmente
applicabili e congrui per le diverse Aree o gruppi di SSD
Ancona, 28 maggio 2009
20
Indicatori di attività scientifica e di ricerca – Aree 1-7
Ancona, 28 maggio 2009
21
Indicatori di attività scientifica e di ricerca – Aree 8-14
Ancona, 28 maggio 2009
22
Considerazioni generali sul lavoro svolto dal CUN

Il CUN ha prodotto un documento importante, frutto di numerose discussioni
avvenute all’interno delle varie aree

Il fatto importante è che per la prima volta si parla esplicitamente di livelli
minimi per ciascun Settore Scientifico Disciplinare

I criteri presentati in tabella permettono di apprezzare in modo comparativo le
differenze

La differenziazione dei criteri tra le varie aree non è necessariamente un fatto
negativo, in quanto rispecchia modalità di produzione e diffusione dei risultati
scientifici che sono diverse tra area ed area

Molti criteri sono comunque condivisi da Aree diverse

Il valore del dottorato di ricerca risulta molto differente all’interno di diverse
aree e settori

Il discorso può essere approfondito realizzando verifiche ex-post applicando i
criteri del CUN ai concorsi svolti negli ultimi anni
Ancona, 28 maggio 2009
23
Confronto tra i criteri adottati dalle aree
Criteri
Impact Factor (IF)
Indice h di Hirsch (o simile)
Uso indicatori alle commissioni
Numero citazi oni
Riviste ISI
Riviste non ISI con revisori
Riviste non ISI
Altre riviste da lista CUN
Atti congresso internaz. con revisori
Monografie
Saggi su libri ISSN o ISBM
Saggi
Brevetti
Posizione autori
Continuitˆtemporale
Dottorato di Ric erca
Criteri non uniformi nellÕarea
Settori valutati con criteri altra area
(1) solo per ordinari
1
2
(1)
(3)
(2)
x
(2)
3
4
5
6
AREE
8
7
9
10
11
12
14
13
(2)
(2)
x
x
x
(2) solo per ricercatori
Ancona, 28 maggio 2009
x
(3) solo per associati e ordinari
24
Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione
Si è inizialmente tentato di utilizzare le categorie ISI (Institute for
Scientific Information) e l’Impact Factor (IF), nel modo seguente:
Per valutare la produzione scientifica relativa a ciascun SSD

Individuare le “categorie ISI di interesse” del SSD

Suddividere le riviste di ogni categoria in quattro quartili

Normalizzare l’IF attribuendo alle riviste i pesi 0.25, 0.5, 0.75 e 1
in base al quartile di appartenenza

Aggiungere, se necessario, anche ”riviste non–ISI con
revisori”, attribuendo loro analoghi pesi
Ancona, 28 maggio 2009
25
Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione

Ridurre i pesi con un “criterio di proprietà” per tenere conto della
numerosità degli autori, utilizzando un coefficiente moltiplicativo
(analogo a quello adottato presso l’Università di Bologna)
ka = e – (n – 1)/12

Introdurre un “criterio di continuità” della produzione scientifica,
limitando l’uso delle pubblicazioni più vecchie

Calcolare il numero di “pubblicazioni equivalenti“ come somma
dei pesi relativi alle pubblicazioni

Stabilire la “soglia minima” in termini di pubblicazioni equivalenti
Ancona, 28 maggio 2009
26
Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione
Si è optato infine per criteri molto meno sofisticati per:

Rendere il criterio di facile e omogenea applicazione per tutti i settori
dell’Area

Non dovere introdurre nuove classificazioni e relativi pesi di
collocazioni editoriali non-ISI

Poter includere anche i lavori pubblicati in atti di congressi (molto
importanti all’inizio di carriera)

Non penalizzare le attività sperimentali (pubblicazioni tipicamente a
molti autori)

Non introdurre criteri troppo disomogenei rispetto alle altre Aree CUN

Evitare di dare l’impressione che un approccio molto articolato sia in
grado di produrre una valutazione comparativa automatica
Ancona, 28 maggio 2009
27
Il lavoro svolto nell’Area 9 – Criterio per i Ricercatori
Esempio per i concorsi a ricercatore universitario:
Un numero di pubblicazioni a diffusione internazionale con revisori
internazionali, non inferiore a 6, di cui:
 non più di 4 con data di pubblicazione anteriore a 5 anni prima
della chiusura del bando,
 non più di 2 con data di pubblicazione anteriore a 10 anni
prima della chiusura del bando.
Ancona, 28 maggio 2009
28
I concorsi per i ricercatori dopo il 30 novembre 2008
La legge 1/2009 (conversione in legge del DL 180/08)
Art. 1, comma 7.
Nelle procedure di valutazione comparativa per il reclutamento dei
ricercatori bandite successivamente alla data di entrata in vigore del
presente decreto, la valutazione comparativa è effettuata sulla base
dei titoli, illustrati e discussi davanti alla commissione, e delle
pubblicazioni dei candidati, ivi compresa la tesi di dottorato, utilizzando
parametri, riconosciuti anche in ambito internazionale, individuati
con apposito decreto del Ministro dell'istruzione, dell'università e della
ricerca, avente natura non regolamentare, da adottare entro 30 giorni
dalla data di entrata in vigore della legge di conversione del presente
decreto, sentito il Consiglio universitario nazionale.
Ancona, 28 maggio 2009
29
I nuovi concorsi per ricercatori dopo la Legge 1/2009
Parere del CUN 12 marzo 2009
La commissione dovrà tenere conto in ogni caso della produzione scientifica
complessiva del candidato, inclusa la tesi di dottorato, facendo ricorso, ove
possibile, a parametri riconosciuti in ambito scientifico internazionale dalle
singole comunità, quali:










numero delle opere monografiche; numero totale di saggi su rivista o su
volumi collettanei;
numero totale delle pubblicazioni o saggi su rivista;
numero delle pubblicazioni o saggi per anno di attività;
numero totale delle citazioni;
numero medio di citazioni per pubblicazione;
“impact factor” totale;
“impact factor” medio per pubblicazione;
numero dei prodotti scientifici peculiari delle singole Aree o SSD;
numero dei brevetti;
combinazioni dei precedenti parametri atte a valorizzare l’impatto della
produzione scientifica del candidato (indice di Hirsch, o simili).
Ancona, 28 maggio 2009
30
La bozza di decreto
Art. 3
(Valutazione delle pubblicazioni scientifiche)
Comma 3
…….. Nell’ambito dei settori scientifico-disciplinare in cui ne è riconosciuto
l’uso a livello internazionale le Commissioni si attengono anche ai seguenti
indici:
1)
2)
3)
4)
5)
numero totale delle citazioni
numero medio di citazioni per pubblicazione
"impact factor" totale
"impact factor" medio per pubblicazione
combinazioni dei precedenti parametri atte a valorizzare l'impatto
della produzione scientifica del candidato (indice di Hirsch o simili).
Ancona, 28 maggio 2009
31
Il significato della revisione dei Settori (SSD)
Tutte le richieste di revisione sono finalizzate ad una più
rigorosa valutazione della produzione scientifica che deve
essere considerata in tutte le aree ai fini di:

reclutamento

progressione di carriera

finanziamento dei programmi di ricerca (PRIN, FIRB …. )

ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario
(FFO)

…….
Ancona, 28 maggio 2009
32
Riforma dei Settori Scientifico Disciplinari
I “Settori Scientifico disciplinari” in EUROPA
FRANCIA:
Composition du Conseil national des Universités
http://www.enseignementsup-recherche.gouv.fr/cid22839/composition-conseilnational-des-universites.html
REGNO UNITO:
Research Assessment Exercise (RAE) 2008: Panels
http://www.rae.ac.uk/panels/
SPAGNA:
Áreas de conocimiento en la universidad española de 2000
http://www.filosofia.org/ave/001/a121.htm
UNIONE EUROPEA:
European research Council peer review evaluation panels (ERC panels)
http://www.uniud.it/ricerca/finanziamenti/nazionali/FIRB%20-%20Giovani/settorierc-starting-grants-2009.pdf
Ancona, 28 maggio 2009
33
Conclusioni
La cultura della valutazione sta penetrando in maniera pervasiva in tutte le
dimensioni della formazione superiore e della ricerca
La valutazione della ricerca in particolare è il nodo principale
L’esperienza CUN è di fondamentale importanza, perché costituisce un
primo tentativo organico di individuare:


indicatori rappresentativi della qualità scientifica
soglie di ammissibilità
Si sta facendo strada l’idea che in tutte le aree sia possibile “misurare” l’attività
scientifica e stabilire dei “livelli minimi”
Un ricercatore esiste nella misura in cui si confronta con i suoi “pari” attraverso le
pubblicazioni
Secondo tale ottica è stato realizzato il sito
Pubblico Ergo Sum
http://www.pubblicoergosum.org/
Ancona, 28 maggio 2009
34