Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
H-Index:
definizione e calcolo
Carla Barbieri
Elena Bernardini
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
La valutazione della Ricerca
La valutazione della produzione scientifica si impone
sempre più come processo necessario all’interno delle
comunità scientifiche sia a livello nazionale che
internazionale ed è motivato da:
• minore disponibilità di risorse finanziarie
• aumento dei costi della ricerca
Fornisce indicazioni per:
• valutare il curriculum di un ricercatore e
l’attività scientifica delle strutture di ricerca
• ripartire quote di finanziamenti
• approvare progetti di ricerca
• migliorare l’attività di ricerca in prospettiva
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
La valutazione del sistema
Universitario. L’ ANVUR
L. 24 novembre 2006, n. 286:
viene costituita l’ Agenzia Nazionale di Valutazione
del Sistema Universitario e della Ricerca, che
sostituisce il CIVR e il CNVSU http://www.anvur.org/.
D.P.R. 1 Febbraio 2010, n. 76:
viene pubblicato il Regolamento concernente la
struttura ed il funzionamento dell'ANVUR.
Tale Agenzia diventa operativa con l’insediamento, il 2 maggio
2011, del proprio Consiglio direttivo.
7 novembre 2011
viene pubblicato il bando VQR 2004-2010
Valutazione della qualità della ricerca
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Altri riferimenti normativi
Decreto Ministeriale 28 luglio 2009 n. 89
Valutazione dei titoli e delle pubblicazioni scientifiche
stabilisce i parametri per la valutazione dei titoli e delle
pubblicazioni dei candidati nelle procedure di valutazione
comparativa per il reclutamento dei ricercatori
D.M. 25 maggio 2011, n. 243/2011
Criteri e parametri riconosciuti, anche in ambito
internazionale, per la valutazione preliminare dei candidati
destinatari dei contratti di cui all'articolo 24, della legge
n.240/2010
Decreto Ministeriale 4 agosto 2011 n. 344
Criteri per la disciplina, da parte degli Atenei, della
valutazione dei ricercatori a tempo determinato, in possesso
dell’abilitazione scientifica nazionale, ai fini della chiamata nel
ruolo di professore associato
La valutazione della ricerca:
metodologie
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Valutazione qualitativa
•
•
•
•
•
peer review, expert panel evaluation
frutto di competenze specifiche
processo lungo e costoso
interna alla comunità scientifica
ancora poco diffusa nelle scienze umane
Valutazione quantitativa
• basata sugli indicatori bibliometrici
• utilizza come punto di partenza le
pubblicazioni scientifiche e le relative citazioni
• esterna alla comunità scientifica
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Impact Factor (IF)
Indice sintetico commerciale che misura il
numero medio di citazioni ricevute in un
particolare anno da articoli pubblicati in una
rivista scientifica nei due anni precedenti.
E’ stato elaborato nel 1955 da Eugene
Garfield, un chimico americano, è
attualmente di proprietà di Thomson Reuters
ed è pubblicato con cadenza annuale nel
Journal Citation Reports (JCR).
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Impact Factor: uso e abuso
E’ nato con lo scopo di stabilire il valore delle riviste
scientifiche ed è stato utilizzato dai bibliotecari per
scegliere quali riviste acquistare.
Si è affermato poi per quantificare la qualità delle
singole pubblicazioni, soprattutto in area biomedica e
scientifica in generale.
L’IF è legato ad una rivista e non ad un singolo
articolo
Resta comunque fondamentale per definire standard
disciplinari: le differenze, spesso notevoli, nei valori
dell’IF dipendono infatti dal differente
comportamento citazionale tra le discipline.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Valutare gli autori attraverso le
citazioni
Formulare un giudizio di merito sulla qualità della
ricerca svolta è un esercizio complesso, sia dal punto
di vista pratico che dal punto di vista etico.
Non esistono criteri di giudizio assoluti per classificare
l’importanza dei risultati scientifici.
Gli indici bibliometrici, cioè dell’impatto, costruiti
con modelli matematico-statistici a partire dalle
citazioni bibliografiche, sono il tentativo per una
valutazione il più possibile oggettiva.
Recentemente l’ indice H ha ricevuto attenzione da
parte della comunità scientifica per la presunta
facilità di calcolo e l'equilibrio tra quantità di
pubblicazioni e il loro impatto.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
L’indice H / indice di Hirsch
Nel 2005 viene proposto dal fisico Jorge E. Hirsch,
dapprima sul repository disciplinare ArXiv e poi su
PNAS (2005) vol. 102 no. 46 16569–16572:
An index to quantify an individual’s scientific research
output
“I propose the index h, defined as the number of
papers with citation number ≥ h, as a useful index
to characterize the scientific output of a
researcher.”
“A scientist has index h if h of his or her Np papers
have at least h citations each and the other (Np-h)
papers have fewer than h citations each”
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
In parole più semplici …
Uno scienziato ha un n indice H se n. degli articoli di
cui è autore (o co-autore) hanno ricevuto almeno n.
citazioni ciascuno e gli altri articoli hanno ricevuto
non più di n. citazioni.
Es. H-Index = 20
Un autore ha pubblicato 20 articoli che hanno
ricevuto ciascuno almeno 20 citazioni.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Cos’è l’H-Index?
È un parametro che tenta di misurare sia la
produttività scientifica che l’impatto
scientifico di un ricercatore.
Da solo fornisce due tipi di informazioni
immediatamente comprensibili: quante
pubblicazioni hanno ricevuto un certo
numero di citazioni.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
L’impatto di Hirsch (!)
Il giorno 17/11/2011 l’articolo di Hirsch J.E.
risulta così citato:
WoS 904 volte + 33 volte (errata o incompleta
citazione)
Google Scholar 1940 volte
Scopus 980 volte + 15 volte (errata o
incompleta citazione)
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
H index: vantaggi
E’ riferito al singolo ricercatore
Combina la quantità con la qualità
Dimostra la correlazione tra indice e giudizio
dei pari
Corregge l’impatto negativo di articoli non
citati e quello positivo di articoli molto citati
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
H index: punti critici (1)
Alcune aree disciplinari di nicchia hanno bassi valori
di H-index, così come riviste molto specializzate
hanno bassi valori di IF
Non tiene conto del numero totale di citazioni di
ciascun lavoro
Non considera il contesto delle citazioni (rivista su
cui è pubblicato l’articolo; citazioni negative)
Non esclude le autocitazioni
Non considera il numero di coautori e quindi il peso
del singolo per quello specifico lavoro
È influenzato dall’accuratezza con cui vengono
contate le citazioni, e quindi dal database consultato
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
H index: punti critici (2)
Penalizza i giovani ricercatori e le ricerche
innovative
Spinge il ricercatore ad investire le proprie energie
nella ricerca in maniera conservativa (mainstream)
Può solo accrescere: le citazioni ricevute possono
infatti aumentare anche se il ricercatore ha smesso
di essere produttivo
La produzione scientifica di scienziati con lo stesso
H index non è spesso comparabile (Pensate a due
scienziati con indice 10, ma uno autore di 10 articoli
ciascuno con 10 citazioni e l’altro con 90 articoli, 10
citati 10 volte, 80 citati 9 volte)
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
H-index: applicabilità
L’analisi delle citazioni è applicabile
principalmente nei settori disciplinari che
pubblicano in lingua inglese.
Per l’area umanistica / storico sociale e per
l’area geografico-linguistica, non
anglocentriche, non esistono per ora strumenti
bibliometrici adeguati.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
I nuovi indici
Una serie di varianti dell'h-index è stata
proposta allo scopo di correggere e superare
gli evidenti difetti di tale indice.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Esempi di nuovi indici
g index: attribuisce peso ad articoli molto
citati
a index: calcola la media del n. di citazioni
ricevute da articoli facenti parte di h core
h index normalizzato: riduce gli effetti del
coautoraggio
h-b index: si basa sulle ricerche di uno
specifico argomento o composto
j-index: rimuove gli svantaggi di h index
attraverso la comparazione di 18 indici diversi
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
G-index
Indice creato dal matematico Leo Egghe:
Egghe, L. 2006 Theory and practise of the g-index.
Scientometrics 69(1): 131-152.
[Given a set of articles] ranked in decreasing order
of the number of citations that they received, the gindex is the (unique) largest number such that the
top g articles received (together) at least g2
citations.
Ha lo scopo di migliorare l’h-index dando maggior
peso agli articoli molto citati oltre il valore
dell’indice h di uno scienziato.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
A-index
Jin Bihui ha elaborato un ulteriore indicatore, detto
"a-index“, che è definito come la media del numero di
citazioni ricevute dagli articoli facenti parte dell’ “hcore”(set di articoli con le maggiori citazioni).
Jin B.H.(2006) H-Index: An evaluation indicator
proposed by scientist. Science Focus, 1 1 (2006), pp.
8–9. (In Chinese).
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Utilizzo dell’H-index
Per quanto criticato sotto vari aspetti, l’H-index sta
raccogliendo un certo gradimento da più parti del
mondo accademico e della ricerca.
Insieme ai nuovi indici viene sempre più utilizzato
per valutare l’andamento della ricerca all’interno di
dipartimenti e enti di ricerca.
Viene richiesto per la partecipazione ai concorsi
universitari.
Viene richiesto per valutare l’assegnazione di fondi
di ricerca.
D.M. 28 luglio 2009 n. 89
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Valutazione dei titoli e delle pubblicazioni scientifiche
Prende in considerazione sia pubblicazioni cartacee
che elettroniche (art. 3, comma 1)
Rafforza il ruolo degli indicatori bibliometrici (art. 3,
comma 4)
“Nell'ambito dei settori scientifico-disciplinari in cui ne è
riconosciuto l'uso a livello internazionale le Commissioni nel
valutare le pubblicazioni si avvalgono anche dei seguenti indici:
– numero totale delle citazioni;
– numero medio di citazioni per pubblicazione;
– "impact factor" totale;
– "impact factor" medio per pubblicazione;
– combinazioni dei precedenti parametri atte a valorizzare
l'impatto della produzione scientifica del candidato (indice
di Hirsch o simili) “
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Bando di concorso per:
Programma per la ricerca Sanitaria 2009: Attività di
Ricerca finalizzata
(Allegato del bando di concorso)
http://www.salute.gov.it/bandi/dettaglio.jsp?id=63
…
Fino a 5 dei più recenti lavori scientifici del richiedente,
indicando impact factor della rivista su cui è stato pubblicato il
lavoro nell’anno di pubblicazione, il numero di citazioni
dall’anno di pubblicazione fino all’anno di richiesta del
finanziamento e l’indice h.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Aspetti critici delle normative e dei
bandi di concorso
Mancano indicazioni chiare e trasparenti:
H-index oppure quale?
quali banche dati e/o strumenti
citazionali utilizzare per il calcolo?
l’impact factor è un indice calcolato
sulle citazioni dell’anno precedente:
es. una pubblicazione del 2011 non ha
ancora un IF 2011.
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
Dove trovare le citazioni
WoS (ricerca tradizionale): dal 1985
WoS (Cited ref search): per primo autore anche
prima del 1900
Scopus: dal 1996
Embase: dati presi da Scopus (link diretto con
Scopus)
Scifinder: si trovano citazioni degli anni ’70, ma
non è completo come WOS
Google scholar: dati recenti, non nota la
completezza
Psychinfo: contiene citazioni anche di articoli
datati, ma Il DB è molto specifico per l’area
disciplinare
Siti degli editori
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
L’evoluzione degli indicatori
bibliometrici
Gli indicatori bibliometrici, sempre più numerosi e
variegati, si basano sul presupposto teorico che il
numero di citazioni ricevute da una pubblicazione sia
indice di qualità.
In realtà la valutazione è un processo complesso,
condizionato anche da altre variabili ed è attorno a
queste che si sta sviluppando un fitto dibattito sia
teorico che empirico.
In particolare nel contesto Open Access, si stanno
integrando le metriche tradizionali con il numero dei
downloads, i commenti e le note della comunità
scientifica (social network analysis).
Biblioteca di Farmacologia e Medicina Sperimentale
Biblioteca centrale di Farmacia
PLoS: Article Level Metrics