BILANCIO SOCIALE
2009
La valutazione della ricerca: criticità e
prospettive
Angela Maria D’Uggento
Direzione Analisi Statistica-Area Studi, ricerche e programmazione
Dipartimento amministrativo per il coordinamento dell’azione
amministrativa con le funzioni di governo
BILANCIO SOCIALE
2009
La valutazione della ricerca
• Esperienze precedenti
• Prospettive future
• Alcune esperienze internazionali
BILANCIO SOCIALE
2009
Esperienze precedenti
i.
Modello CNVSU per riparto FFO dal 1997
ii. VTR 2001-2003 CIVR (dati utilizzati nel riparto del
7% dell’FFO 2009)
iii. Programmazione triennale 2007-2009
BILANCIO SOCIALE
2009
i. Modello CNVSU per riparto FFO - Ricerca
La quota di riequilibrio dell’FFO per Ricerca (33%) viene ripartita
in funzione del potenziale di ricerca, inteso come il numero di
docenti, ricercatori e personale in formazione dedicato
alla ricerca presso l’ateneo, con pesi differenziati.
Il potenziale di ricerca è corretto con due coefficienti:
• correttivo F-PRIN ed F-CIVR normalizzato (media);
• capacità di attrarre risorse esterne per la ricerca (media
riscossioni
finanziamenti
20062007), rapportata al costo medio per ricercatore valutato in 50
kEuro;
BILANCIO SOCIALE
2009
i. Modello CNVSU per riparto FFO –
Osservazioni
• il potenziale di ricerca non rappresenta una misura della
qualità e della quantità della ricerca prodotta da un
ateneo;
• non si tiene conto della produzione scientifica;
• non vengono considerate altre ricerche oltre il PRIN.
BILANCIO SOCIALE
2009
ii. VTR 2001-2003 condotta dal Comitato di
Indirizzo per la Valutazione della Ricerca
BILANCIO SOCIALE
2009
ii. VTR 2001-2003
Il VTR ha stilato una graduatoria delle istituzioni partecipanti,
attribuendo a ciascuna un peso percentuale derivante da:
–
–
–
–
performance ponderata dei parametri;
incidenza di ciascun parametro;
peso dell’Area scientifica di riferimento;
indice sintetico di ateneo.
La valutazione dei prodotti è basata esclusivamente su giudizi
(peer review).
BILANCIO SOCIALE
2009
ii. VTR 2001-2003 – Università di Bari
BILANCIO SOCIALE
2009
ii. VTR 2001-2003: alcuni dati
BILANCIO SOCIALE
2009
ii. VTR 2001-2003 – Osservazioni
• i dati sono stati rilevati per uno scopo diverso da quello
per il quale sono stati usati successivamente e sono
campionari;
• tiene conto solo di una parte (selezionata in modo
eterogeneo) della produzione scientifica;
• i dati necessitano di aggiornamenti tempestivi.
BILANCIO SOCIALE
2009
iii. Programmazione triennale 2007-2009 Indicatori
Per la prima volta, l’assegnazione dei fondi
Programmazione triennale avviene con un
quantitativo, sulla base di indicatori ponderati.
per la
criterio
Si misurano le performance di un ateneo come variazione
degli indicatori tra due periodi di tempo.
Tra le 5 linee di indirizzo è presente B - Programma di
sviluppo della ricerca scientifica
BILANCIO SOCIALE
2009
iii. Programmazione triennale 2007-2009 – Indicatori
previsti dal Programma di sviluppo della ricerca
B1-Proporzione di personale attivamente impegnato nella ricerca
(attività riferita ai PRIN);
B2- Numero medio di borse per corso di dottorato di ricerca;
B3-Proporzione di borse di studio di dottorato di ricerca finanziate
dall'esterno nei tre cicli di dottorato del triennio di riferimento ;
B4-Disponibilità economica media per la ricerca scientifica per
professore di ruolo e ricercatore (uscite di bilancio per la ricerca)
B5-Proporzione di entrate per la ricerca scientifica provenienti da
enti esterni (rispetto alle entrate complessive per la ricerca)
BILANCIO SOCIALE
2009
Esperienze precedenti – Criticità
• non misurano la produzione scientifica;
• non tengono conto della qualità della formazione erogata ai
dottori di ricerca ed assegnisti, né della loro “valorizzazione”;
• non rilevano il grado di internazionalizzazione della ricerca;
• il riferimento ai fondi esterni non è dettagliato (es. tipologia di
ricerca, ente finanziatore);
• nessun indicatore misura le ricadute sul territorio in termini di
trasferimento delle conoscenze e benefici sociali;
………… ma
utilizzano i dati più facilmente acquisibili
da banche dati esistenti !
BILANCIO SOCIALE
2009
PROSPETTIVE FUTURE
i. VQR 2004-2008
ii. Agenzia Nazionale per la Valutazione
del Sistema Universitario e della
Ricerca (ANVUR)
iii. Anagrafe nazionale dei professori
ordinari e associati e dei ricercatori
(L.1/2009) in via di definizione
BILANCIO SOCIALE
2009
i. VQR 2004-2008
(D.M. 19 marzo 2010)
La Valutazione Quinquennale della Ricerca riguarda:
Soggetti coinvolti
• Università statali;
• Enti di ricerca vigilati dal MIUR;
• Altri soggetti pubblici e privati, che svolgano attività di
ricerca (su richiesta).
Aree di valutazione
14 Aree disciplinari CUN, per ognuna delle quali viene
costituito un Comitato (Panel) i cui componenti sono nominati
dal Ministro su indicazione del CIVR.
BILANCIO SOCIALE
2009
i. VQR 2004-2008
Modalità di valutazione dei prodotti
La scelta tra Peer review e/o Analisi delle citazioni (IF)
compete ai Panel, con motivazione;
Destinatari della valutazione
Strutture (institutions), in particolare
• Dipartimenti o organizzazioni equivalenti
• singoli ricercatori (in ETP)
BILANCIO SOCIALE
2009
i. VQR 2004-2008 – Ricercatori 2009 per Area
Tratto da F. Cuccurullo, VQR 2004-2008
BILANCIO SOCIALE
2009
i. VQR 2004-2008 – alcuni dati
BILANCIO SOCIALE
2009
i. VQR 2004-2008 - Adempimenti delle strutture
Dati e informazioni
 Ricercatori (a tempo determinato, indeterminato e in
formazione - dottorandi, assegnisti, borsisti post-doc e
specializzandi);
 Personale tecnico e amministrativo (t.d. e indet.);
 Brevetti & spin-off;
 Mobilità internazionale;
 Entrate per finanziamenti di progetti di ricerca;
 Impegno di risorse proprie in progetti di ricerca.
BILANCIO SOCIALE
2009
i. VQR 2004-2008 - Adempimenti delle strutture
Pubblicazioni
• Articoli su riviste (solo se dotate di ISSN) ;
• Libri e loro capitoli, inclusi atti di congressi (solo se dotati di
ISBN) ;
• Brevetti depositati;
• Composizioni, disegni, design, performance, mostre ed
esposizioni organizzate, manufatti, prototipi e opere d'arte e
loro progetti, banche dati e software, esclusivamente se
corredati da pubblicazioni atte a consentirne la valutazione.
BILANCIO SOCIALE
2009
i. VQR 2004-2008 - Adempimenti delle strutture
Ogni ricercatore deve presentare almeno due pubblicazioni
di cui è autore o coautore riferite al quinquennio (altrimenti
sono considerati non attivi).
Rapporto del Nucleo di valutazione
Evidenzia metodologia di selezione pubblicazioni e
collegamento tra valutazione e criteri di allocazione risorse
interne.
BILANCIO SOCIALE
2009
i. VQR 2004-2008 - Adempimenti del Panel
Il giudizio di qualità della pubblicazione è fornito in base a:
a) rilevanza: valore aggiunto per l’avanzamento della conoscenza
nel settore e per la scienza in generale, nonché per i benefici sociali
derivati, anche in termini di congruità, efficacia, tempestività e
durata delle ricadute;
b) originalità/innovazione: contributo all’avanzamento di
conoscenze o a nuove acquisizioni nel settore di riferimento;
BILANCIO SOCIALE
2009
i. VQR 2004-2008 - Adempimenti del Panel
c) internazionalizzazione e/o potenziale competitivo
internazionale: posizionamento nello scenario internazionale, in
termini di rilevanza, competitività, diffusione editoriale e
apprezzamento della comunità scientifica, inclusa la collaborazione
esplicita con ricercatori e gruppi di ricerca di altre nazioni;
Relativamente ai brevetti, i giudizi devono contenere anche
riferimenti al trasferimento, allo sviluppo tecnologico e alle ricadute
socio-economiche (anche potenziali).
BILANCIO SOCIALE
2009
i. VQR 2004-2008 - Adempimenti del CIVR
Relazione finale del VQR (entro 18 mesi da pubblicazione del
bando), comprendente:
valutazione di ciascuna Struttura, in base ai rapporti dei
Panel e all’analisi dei dati e dei pesi di ogni Area;
valutazione della capacità di trasferimento tecnologico
(brevetti e spin-off);
valutazione di ciascun Dipartimento, evidenziando i
ricercatori attivi, parzialmente attivi e inattivi.
BILANCIO SOCIALE
2009
i. VQR 2004-2008 - Adempimenti del CIVR
Nella relazione finale dell’esercizio 2004-2008 del VQR il CIVR
produrrà:
• valutazione di merito del sistema nazionale della ricerca;
• valutazione di merito di ogni singola Struttura;
• valutazione della capacità di trasferimento tecnologico e di
valorizzazione applicativa della ricerca di ciascuna Struttura
• posizionamento internazionale delle pubblicazioni soggette
ad analisi delle citazioni (Top 1%, 5%, 10%)
• valutazione di merito di ciascun Dipartimento.
BILANCIO SOCIALE
2009
ii. ANVUR
Finalità: promuovere la cultura della qualità e del merito
operando in coerenza con le prassi di valutazione dei
risultati a livello internazionale.
Compiti:
• Sovraintende al sistema nazionale di valutazione della
qualità delle università e degli enti di ricerca;
• indirizza le attività di valutazione demandate ai nuclei di
valutazione interna degli atenei e degli enti di ricerca;
• valuta l’efficienza e l’efficacia dei programmi pubblici di
finanziamento e di incentivazione alle attività di ricerca e
di innovazione.
BILANCIO SOCIALE
2009
ii. ANVUR
Attività:
a) valuta la qualità dei processi, i risultati e i
prodotti delle attività di gestione, formazione,
ricerca, ivi compreso il trasferimento tecnologico
delle università e degli enti di ricerca;
b) definisce criteri e metodologie per la valutazione,
in base a parametri oggettivi e certificabili (anche
dei corsi di studio universitari, i dottorati di ricerca, i
master universitari e le scuole di specializzazione), ai
fini dell’accreditamento periodico;
BILANCIO SOCIALE
2009
ii. ANVUR
Attività:
c) esercita funzioni di indirizzo delle attività di valutazione
demandate ai nuclei di valutazione interna degli atenei e
degli enti di ricerca,
d) fissa i requisiti minimi cui le Università si attengono per le
procedure di valutazione dell’efficacia della didattica e
dell’efficienza dei servizi effettuate dagli studenti e ne cura
l’analisi e la pubblicazione soprattutto con modalità
informatiche;
BILANCIO SOCIALE
2009
ii. ANVUR
f) elabora, su richiesta del Ministro, i parametri di riferimento
per l’allocazione dei finanziamenti statali,
………………….
h) valuta l’efficienza e l’efficacia dei programmi pubblici di
finanziamento e di incentivazione delle attività didattiche, di
ricerca e di innovazione;
………………………………
BILANCIO SOCIALE
2009
iii. Anagrafe nazionale dei professori ordinari
e associati e dei ricercatori (L.1/2009)
A decorrere dall'anno 2009, con decreto MIUR si
individuano modalità e criteri per la costituzione Anagrafe
nazionale nominativa dei professori ordinari e associati e
dei ricercatori, contenente per ciascun soggetto l'elenco
delle pubblicazioni scientifiche prodotte.
L'Anagrafe e‘ aggiornata con periodicità annuale.
BILANCIO SOCIALE
2009
iii. Anagrafe nazionale dei professori ordinari
e associati e dei ricercatori
Valutazione dell'attività di ricerca
La mancata effettuazione di pubblicazioni scientifiche nel
biennio precedente comporta la diminuzione della metà
dello scatto biennale.
I professori di I e II fascia e i ricercatori che nel precedente
triennio non abbiano effettuato le pubblicazioni scientifiche
sono esclusi dalla partecipazione alle commissioni di
valutazione comparativa per il reclutamento di docenti
BILANCIO SOCIALE
2009
iii. Pubblicità delle attività di ricerca delle
università (Legge 1/2009)
In sede di approvazione del conto consuntivo relativo
all'esercizio precedente, il Rettore presenta al CdA e al SA una
Relazione sui risultati delle attività di ricerca, di
formazione e di trasferimento tecnologico nonché i
finanziamenti ottenuti da soggetti pubblici e privati.
La relazione e' pubblicata sul sito internet dell'Ateneo e
trasmessa al MIUR, a pena di valutazioni negative ai fini della
attribuzione delle risorse finanziarie.
BILANCIO SOCIALE
2009
Esperienze attuali e future – Osservazioni
• misurano la produzione scientifica;
• tengono conto, in parte, anche della qualità della formazione
erogata ai dottori di ricerca ed assegnisti;
• rilevano il grado di internazionalizzazione della ricerca (mobilità
dei docenti);
• il riferimento ai fondi esterni è più dettagliato;
• misura le ricadute sul territorio in termini di trasferimento delle
conoscenze e benefici sociali;
………… è necessario che gli atenei organizzino le proprie
banche dati in modo efficiente!
BILANCIO SOCIALE
2009
ALCUNE ESPERIENZE INTERNAZIONALI
• SCImago
• CHE Excellence ranking
• Shangai
BILANCIO SOCIALE
2009
Scimago Institutions Rankings (SIR)
Rapporto mondiale 2009
Scimago: gruppo di ricercatori spagnoli che, per il Progetto
SCImago Institutions Rankings (SIR) analizza, a livello
internazionale, gli output della ricerca delle università e di altre
istituzioni dedite alla ricerca.
Il Rapporto 2009 classifica le migliori istituzioni e organizzazioni di
ricerca (oltre 2000) che durante il 2007 hanno prodotto come
output della ricerca più di 100 pubblicazioni.
Le pubblicazioni prese in considerazione coprono il quinquennio
2003-2007.
BILANCIO SOCIALE
2009
Scimago Institutions Rankings (SIR) sulla ricerca
scientifica – Metodologia
Output: produttività scientifica in termini di lavori scientifici pubblicati
su riviste riconosciute dalla comunità.
Per i lavori in collaborazione l’attribuzione è fatta a ciascuna istituzione
di riferimento degli autori. Dipende dalle dimensioni dell’istituzione e dal
suo profilo (aree/ambiti d’interesse per la ricerca dell’istituzione).
Gli indicatori utilizzati per il ranking sono 5:
1. Output normalizzato: numero medio di pubblicazioni per docente
(output/ numero docenti al 31.12.2005 come valore medio nel periodo di
riferimento 2003-2007).
BILANCIO SOCIALE
2009
Scimago Institutions Rankings (SIR) sulla ricerca
scientifica – Indicatori
2. Cites per Documents (CxD): impatto scientifico medio di una
istituzione in termini di citazioni per lavoro scientifico.
I valori di questo parametro sono affetti dal profilo scientifico
dell’istituzione.
3. International Collaboration: frazione dell’output prodotto in
collaborazioni scientifiche con istituzioni straniere.
BILANCIO SOCIALE
2009
Scimago Institutions Rankings (SIR) sulla ricerca
scientifica – Indicatori
4. Normalized Scimago Journal Rank: importanza media delle riviste
in cui sono pubblicati i lavori scientifici dell’istituzione. Valore > di 1 indica
che in media i lavori scientifici dell’istituzione sono riportati su una rivista
la cui importanza è al di sopra della media nel suo campo d’interesse
scientifico.
5. Field Normalized Citation Index: rapporto fra l’impatto scientifico
medio di un’istituzione e l’impatto medio mondiale delle pubblicazioni
nello stesso periodo di tempo e area scientifica d’interesse. Calcolato
utilizzando la metodologia dell’Istituto Karolinska in Svezia.
BILANCIO SOCIALE
2009
Scimago Institutions Rankings (SIR) sulla ricerca
scientifica – Metodologia
Sommando gli ultimi quattro indicatori normalizzati alla variazione
complessiva si calcola l’indicatore complessivo 1, relativo alla
qualità della ricerca prodotta
Aggiungendo l’indicatore normalizzato per l’output si ottiene l’indicatore
complessivo 2, relativo alla qualità e quantità della ricerca prodotta.
http://www.scimagoir.com/
BILANCIO SOCIALE
2009
CHE Excellence ranking
Il CHE è un’istituto di ricerca tedesco che redige annualmente il
CHE ExcellenceRanking ed il CHE UniversityRanking, utilizzando i
seguenti indicatori:
1) Number of publications in the web of science (the
“size" indicator)
2) Citations - normalized to the
standard (the "reception" indicator)
international
3) Outstanding researchers (the "lighthouse" indicator )
4) Number of projects in the Marie Curie programme
(the "European dimension" indicator )
BILANCIO SOCIALE
2009
CHE Excellence ranking - Indicatori
5) Student mobility (the European mobility dimension )
6) Teaching staff mobility (the European mobility and teaching
dimension)
7) Erasmus-Mundus-Master
8) Book citations
http://www.che-ranking.de/cms/