Uso ed abuso delle banche dati
nella valutazione delle riviste e della qualità
scientifica: un problema di potere
Alessandro Figà Talamanca
Università degli Studi di Roma “La Sapienza”
Dipartimento di Matematica
Ci sono due possibili punti di vista quando si affronta lo
studio di un sistema sociale. Si può, secondo un metodo prevalentemente adottato negli studi di antropologia, considerare la
comunità oggetto dello studio come una comunità chiusa in se
stessa con le sue regole, i suoi valori, i suoi conflitti e i suoi
strumenti per risolverli, oppure, seguendo il metodo più
proprio della scienza politica, si può far convergere l’attenzione sull’interazione ed i conflitti tra la comunità che si studia e il
mondo ad essa esterno. Il primo punto di vista, meno attento
alla dinamica sociale e politica globale, è quello forse più vicino
all’esigenza di ‘obiettività’ scientifica. Il secondo spesso non
può fare a meno di un giudizio morale o politico sugli avvenimenti e le strutture sociali descritte, e rischia di mescolare la
realtà osservata con i pregiudizi e le valutazioni politiche
dell’osservatore. Nello studio della comunità scientifica il
primo punto di vista mi sembra quello adottato da Robert K.
Merton e Derek De Solla Price. Il secondo punto di vista è
invece quello adottato dagli ‘autori vari’ che negli anni Settan-
27
ta sotto la guida di Marcello Cini pubblicarono il volume L’ape
e l’architetto. È probabile che tutti e due i punti di vista siano
necessari, ma dirò subito che non essendo uno ‘scienziato
sociale’, e potendomi permettere quindi una maggiore licenza
metodologica, mi trovo più vicino al punto di vista di L’ape e
l’architetto, un’opera che a suo tempo trovai interessantissima,
pur non condividendone quasi mai le conclusioni politiche.
E infatti il problema che vorrei analizzare, in relazione
all’uso e all’abuso di banche dati sulla comunicazione scientifica, per valutare la qualità delle riviste e della ricerca che vi
viene pubblicata, è prima di tutto un problema di ‘potere’.
L’esercizio del potere non può sottrarsi ad un giudizio basato
su valori morali. Alla fine quindi arriverò a mettere in questione non già e non solo la affidabilità ‘statistica’ delle banche dati,
ma piuttosto gli aspetti etici connessi al loro uso.
Il fenomeno delle banche dati sulla comunicazione scientifica si inserisce all’interno di un fenomeno più vasto e complesso che è quello dell’editoria scientifica, come si è sviluppata
negli ultimi quaranta o cinquanta anni. In questo contesto salta
prima di tutto agli occhi la grande debolezza della comunità
scientifica rispetto ad influenze ad essa estranee. Non parlo
della debolezza rispetto ai governi o ai rappresentanti dei
poteri pubblici, che, dopo tutto, finanziano la ricerca ed hanno
il diritto di indirizzarla. Parlo invece della debolezza della
comunità scientifica rispetto agli interessi delle grandi imprese
editoriali che pubblicano le riviste scientifiche.
Si assiste infatti ad una situazione del tutto paradossale. La
comunità scientifica è il solo produttore ed il solo consumatore
di letteratura scientifica. Eppure un intermediario che si è interposto tra il produttore ed il consumatore sta facendo schizzare
i prezzi del prodotto a livelli incompatibili con i finanziamenti
destinati alle biblioteche scientifiche. Il risultato di questo
aumento dei prezzi, per ora, non è quello di far diminuire gli
acquisti dei prodotti più costosi, che sono quelli sponsorizzati
dall’intermediario, ma quello di far risparmiare su altri prodotti. Quando parlo di intermediario mi riferisco, naturalmente,
agli editori commerciali di letteratura scientifica. Infatti
l’aumento dei prezzi si giustifica solo con l’aumento dei costi di
intermediazione (distribuzione e ‘marketing’) dal momento
che gli autori (i veri produttori) non ricevono alcun compenso
e il progresso tecnologico ha quasi azzerato i costi di composizione tipografica.
Non era così negli anni Sessanta. Allora l’editoria scientifica
era dominata da riviste controllate da società scientifiche,
accademie, università, consorzi di università, ed altre simili
istituzioni. Queste riviste si giovavano del lavoro volontario di
docenti universitari e pubblicavano a basso costo. Uno dei
mezzi più comuni e meno costosi di diffusione delle riviste era
lo ‘scambio’ di riviste tra istituzioni scientifiche diverse. Questo
sistema di scambi era particolarmente importante per le istituzioni scientifiche dei Paesi dell’Europa orientale, e dei Paesi in
via di sviluppo, che potevano così ricevere riviste occidentali
senza sborsare valuta pregiata.
Negli ultimi decenni, invece, il mercato è stato conquistato
dagli editori commerciali che sono riusciti a spingere fuori del
mercato quasi tutte le riviste legate a istituzioni scientifiche.
Anche qui siamo di fronte ad un paradosso: se una rivista (o un
libro) non ha un prezzo sufficientemente elevato, esso non
fornisce un adeguato ritorno al distributore e quindi non avrà
alcuna possibilità di raggiungere gli utenti istituzionali, che
sono, in massima parte, le biblioteche.
Il ruolo degli indicatori bibliometrici come l’impact factor in
questa conquista del mercato da parte di operatori mossi da
interessi commerciali è stato molto importante. La tesi propagandata dai proprietari della banca dati dell’Institute of Scientific Information (ISI) era che non valesse la pena di acquistare
riviste che non comparivano nella loro banca dati o che, pur
comparendo, non avevano un alto impact factor. Da questo
28
29
punto di vista gli indicatori bibliometrici hanno funzionato più
come uno strumento di ‘marketing’ che come oggettivi indicatori di variabili rilevanti nell’analisi della produzione scientifica.
Ma c’è un’altra conseguenza della debolezza della comunità scientifica nei confronti degli interessi delle grandi imprese
editoriali. Gli editori commerciali, attraverso le riviste ‘di
prestigio’, hanno espropriato la comunità scientifica della
capacità di esprimere autonomamente giudizi di merito sulle
ricerche svolte dai membri stessi della comunità. L’esplosione,
anche a livello individuale, del numero delle pubblicazioni, e la
relativa difficoltà di esprimere veri giudizi di valore, al di fuori
di un ambito specialistico molto ristretto, ha fatto sì che valutazioni di merito sui risultati della ricerca scientifica vengano
comunemente sostituite con affrettate e arbitrarie classifiche
dei lavori scientifici sulla base del ‘prestigio’ delle riviste che li
pubblicano. È vero che ogni rivista ha un board of editors
(comitato di redazione) che è responsabile della scelta degli
articoli e che, in teoria, dovrebbe controllarne il merito. Ma è
anche vero che dietro i gusti e gli interessi scientifici degli
esperti che selezionano i lavori per le riviste, c’è anche l’interesse dell’editore a mantenere alto il ‘prestigio’ della rivista. Ed
è a questo punto che interviene l’indicatore di ‘prestigio’ che va
per la maggiore: il cosiddetto impact factor di una rivista.
Diviene allora naturale che siano privilegiati dalle riviste gli
articoli che possono contribuire meglio a mantenere elevato o
aumentare l’impact factor della stessa rivista. Al giudizio di
qualità sul lavoro scientifico presentato per la pubblicazione, si
sostituisce un giudizio sulla convenienza per l’editore a pubblicare il lavoro stesso. A questo proposito il comportamento più
clamorosamente immorale, ma certamente diffuso, è quello di
privilegiare gli articoli che citano altri articoli della stessa
rivista. Le citazioni hanno un effetto diretto sull’impact factor.
Ma altrettanto perversa, in linea di principio, è la tendenza a
privilegiare articoli ben inseriti in una rete di citazioni recipro-
che. Insomma la delega che la comunità scientifica ha concesso
alle riviste ed al loro comitato di redazione per i giudizi di
merito scientifico non è priva di costi, anche in termini di
integrità scientifica e morale.
Da questo punto di vista non mi appassionano le analisi
statistiche che discutono l’affidabilità come indici di qualità
degli indicatori bibliometrici desunti dalle banche dati correnti1. La questione della loro affidabilità è in qualche modo secondaria. Il problema che io vedo è l’introduzione di criteri e poteri
estranei al mondo scientifico, e potenzialmente inquinanti,
nella valutazione del merito scientifico.
Eppure non si può nemmeno ignorare il fatto che la banca
dati dell’ISI è veramente inaffidabile nella attribuzione dei
lavori agli autori, alle istituzioni cui sono affiliati e ai Paesi che
le ospitano. Manca qualsiasi tentativo di identificare gli autori
e controllare le omonimie anche solo parziali. Anche l’identificazione dei lavori scientifici è molto approssimativa e non tiene
conto di banali errori e di varianti nell’identificazione della
rivista o del titolo del lavoro. La banca dati è stata evidentemente progettata senza prevedere l’incredibile espansione dei
suoi contenuti e la sua struttura non è mai stata adattata alle
funzioni che le si chiedono. È certamente singolare che seri
scienziati abituati ad osservazioni precise attribuiscano un
valore obiettivo ad indicatori che sono prodotti da dati così
poco affidabili.
Ma torniamo ora alla questione politica. Quali rimedi
possiamo proporre alla debolezza della comunità scientifica?
Ben pochi in verità. La debolezza ‘politica’ della comunità
scientifica è forse implicita nella natura stessa di una comunità
che è, giustamente, priva di strumenti di organizzazione
interna e di difesa nei confronti di poteri ad essa esterni. Tra
l’altro, questa debolezza, così chiaramente evidenziata dalla
perdita di autonomia rispetto al mondo dell’editoria scientifica,
è una conseguenza negativa di uno sviluppo in gran parte
30
31
positivo: l’internazionalizzazione, dovrei dire la globalizzazione, della scienza. In effetti, la relativa forza delle comunità scientifiche nell’Ottocento e nella prima metà del Novecento era
dovuta ad una stretta identificazione di ogni comunità scientifica con uno Stato sovrano che la proteggeva e la finanziava. La
globalizzazione degli ultimi cinquanta anni è invece un ritorno
alle condizioni di comunità internazionale della scienza che
prevalevano fino a tutto il Settecento, quando la lingua della
comunicazione scientifica era ancora, in molti casi, il latino. Non
per nulla la scienza contemporanea ha ritrovato una lingua
comune, che è una variante della lingua inglese, utilizzata nella
comunicazione scientifica che, al contrario della variante principale, è povera nei vocaboli, elementare nella sintassi, resa piatta
dall’esigenza di precisione, e totalmente priva di valore letterario. Nell’Ottocento e nella prima metà del Novecento sorsero
invece comunità scientifiche nazionali, promosse dai governi
con lo sviluppo delle università statali nell’Europa continentale.
La forza di queste comunità era la forza dei governi che le
proteggevano, una forza per la quale si pagava un prezzo. Basta
rileggere i discorsi degli scienziati italiani durante il fascismo,
pieni di ‘italianità’ e ahimè, dopo il 1938, di ‘arianità’, per
convincersi di quanto fosse alto il prezzo di questa protezione.
Ma non era solo il fascismo a promuovere assurde divisioni nel
mondo scientifico. Possiamo ricordare che nel 1928 furono i
matematici francesi, che dominavano l’Unione Matematica
Internazionale, ad opporsi con forza alla partecipazione al
Congresso Internazionale di Bologna dei matematici tedeschi,
colpevoli solo di essere cittadini di un Paese che aveva combattuto la Francia nella Prima guerra mondiale. Salvatore Pincherle, che organizzava il Congresso, dovette ricorrere allo stratagemma di fare invitare i tedeschi dal Rettore di Bologna, faticando poi non poco per convincere i tedeschi a venire a Bologna,
nonostante lo sgarbo del mancato invito ufficiale.
Al giorno d’oggi, e specialmente dopo il crollo del blocco
sovietico, non ha più senso parlare ad esempio di matematica
italiana o fisica italiana. Le stesse cordate concorsuali, che
infestano il nostro sistema di promozioni, hanno quasi sempre,
almeno nella matematica, un collegamento internazionale, ed
infatti funzionano come cordate a livello internazionale, intervenendo (con autorevoli lettere di presentazione) in tutti i processi
di promozione, anche fuori d’Italia. Queste cordate internazionali sono legate da interessi subdisciplinari, e spesso si dedicano
alla pratica di citazioni incrociate. In molti casi dispongono
addirittura di una rivista internazionale di riferimento, naturalmente ben collocata nella banca dati dell’ISI. Un tempo, nelle
grandi occasioni di conferimento di premi importanti, come la
medaglia Fields in matematica, ed il premio Nobel nelle altre
discipline, c’erano le comunità nazionali che ‘facevano il tifo’ o
si muovevano con un’azione di lobbying a favore del loro candidato. Oggi l’azione di lobbying è esercitata da cordate internazionali legate da comuni interessi di ricerca, che si tramutano facilmente in comuni interessi di promozione e di carriera.
Gli editori commerciali hanno avuto l’abilità di inserirsi in
questo mondo scientifico globale, che è diviso tuttavia da
interessi disciplinari e di settore, che si traducono in interessi di
carriera. Non possiamo pensare di difenderci dallo strapotere
degli editori con un ritorno al passato, restituendo il controllo
delle pubblicazioni scientifiche alle ‘comunità scientifiche
nazionali’ e alle istituzioni che le rappresentavano. Possiamo
però mantenere viva la nostra capacità critica evitando di
tramutarci in ignari propagandisti di un sistema all’interno del
quale si intrecciano interessi estranei alla scienza, e dove sono
possibili serie mancanze ai doveri di integrità scientifica,
mancanze che, anziché punite, vengono spesso incentivate dal
sistema. È perciò importante che in tutte le occasioni in cui
siamo chiamati a valutare la ricerca scientifica dei colleghi
tentiamo almeno di superare la tirannia dei numeri e degli
indicatori e andiamo alla ricerca della sostanza, tenendoci
32
33
lontani da indici manipolabili come quello del numero delle
citazioni. Persino la banca dati dell’ISI può aiutare in una
valutazione seria dei lavori scientifici. Ad esempio può essere
utile per cercare citazioni significative, da parte di esperti, che
indichino il ruolo dei risultati citati nello sviluppo della disciplina. Citazioni di questo tipo sono molto rare e l’esplosione del
numero delle citazioni ha reso più difficile trovarle. In qualche
modo l’abuso della banca dati dell’ISI e la corsa, più o meno
consapevole, a manipolarne gli indicatori, hanno reso impossibile utilizzarla per gli scopi, anche in termini di valutazione, per
i quali era stata originariamente creata. Eppure non c’è dubbio
che solo il contenuto delle citazioni, e naturalmente l’autorevolezza di chi cita, possono ragionevolmente fornire un’indicazione dell’impatto di un lavoro scientifico. Qualsiasi altro uso di
indicatori e numeri di citazioni è altamente sospetto.
Che sia possibile una valutazione seria della ricerca scientifica, nonostante l’esplosione del numero delle pubblicazioni,
delle riviste e delle citazioni è dimostrato dal caso dei Research
Assessment Exercises che si svolgono in Inghilterra. Non è qui il
luogo per descriverli compiutamente. Basta dire che il risultato
di queste valutazioni ha conseguenze importanti, a volte
devastanti, sulla sorte delle istituzioni universitarie britanniche
e sui singoli individui. Esse si basano sull’esame di un numero
limitato di prodotti della ricerca (quattro in cinque anni) di un
numero abbastanza esiguo di individui, e sono affidate a
commissioni nazionali a tutti note che si assumono la responsabilità delle decisioni. Siamo quindi ben lontano dal famigerato sistema degli anonymous referees utilizzato in Italia nelle
valutazioni dei progetti. Certamente anche i membri di queste
commissioni saranno influenzati dai luoghi di pubblicazione
degli articoli che esaminano. Ma sono loro stessi responsabili
per il loro giudizio e non possono celarsi dietro arcane elaborazioni di numeri provenienti da banche dati di cui nessuno è in
grado di garantire l’affidabilità.
34
Note
1 Un’analisi statistica interessante si trova, ad esempio in Per O.
Seglen, Why the Impact Factor of Journals should not be used for evaluating
Research, in “British Medical Journal”, n. 314, 1997, pp. 498-502.
35
Chi ha paura della bibliometria?
Daniele Archibugi
Consiglio Nazionale delle Ricerche, Roma
London School of Economics and Political Science
Uno dei compiti principali degli scienziati è misurare i
fenomeni. Il progresso scientifico è andato avanti di pari passo
con la possibilità di raccogliere informazioni quantitative sulla
realtà. Nel corso dei secoli, queste informazioni sono vertiginosamente aumentate, sia in termini quantitativi (si raccolgono
dati su più problemi) che in termini qualitativi (i dati raccolti
diventano più affidabili e dettagliati). La metrica è stata uno dei
fattori più rilevanti del progresso scientifico, e la capacità
immaginativa degli scienziati è stata usata per misurare l’immisurabile. Gli studiosi non hanno solo inventato metodi per
pesare le patate, ma in tempi recenti la metrica si è estesa anche
a campi del tutto immateriali. Lo stress, il grado di democraticità di uno Stato, il quoziente intellettuale di un individuo,
perfino il sex appeal sono oggi oggetto di misurazione, eseguite
molto spesso da membri della comunità scientifica.
Gli studiosi giustificano la loro funzione sociale, e il fatto di
richiedere alla società di provvedere al proprio mantenimento,
anche perché svolgono il ruolo di misuratori. Pensiamo, ad
esempio, ai dati meteorologici: non sempre questi dati sono
collegati a modelli teorici, ma sono raccolti periodicamente per
37
ragioni descrittive. Spesso ci sono anche delle ragioni strumentali: gli accademici hanno, infatti, appreso che è più facile
ottenere un finanziamento se ci si propone di creare una nuova
banca dati piuttosto che per verificare qualche propria intuizione non compresa dal committente.
La mole di dati che hanno prodotto gli scienziati nel corso
degli ultimi due secoli è impressionante, così notevole che i
contribuenti hanno accettato di buon grado di mantenerli. I
dati, infatti, sono spesso di pubblico dominio, e anche quando
uno studioso li accumula e li utilizza per fini insoddisfacenti o
del tutto sbagliati, possono poi rivelarsi utilissimi per indagini
scientifiche di altra natura.
Difficile districarsi nell’universo dell’informazione statistica
disponibile. Molti di questi dati non sono di interesse generale,
ma possono essere vitali per specifiche categorie. Ad esempio,
suppongo che le agenzie di viaggi consultino con supremo
interesse i dati della Banca Mondiale sui flussi di turisti (World
Bank, World Development Indicators, Washington, D.C., 2003,
tab. 6.14), il nostro Ministro della Pubblica istruzione farebbe
bene a leggere con attenzione i dati relativi all’alfabetizzazione
pubblicati dalle Nazioni Unite (UNDP, Annual Report 2002,
Oxford, 2002, tab. 10), le femministe e i ministri per le Pari
opportunità dovrebbero trovare istruttivi i dati sulle differenze
esistenti nella speranza di vita alla nascita pubblicati dalle
Nazioni Unite (UNDP, cit., tab. 22).
L’utilizzazione dei dati spesso prescinde dalle ragioni per
cui essi sono stati raccolti e pubblicati. Ad esempio, i dati sul
numero di ascensori sono raccolti dalle imprese produttrici per
ragioni industriali. Eppure, queste informazioni statistiche si
dimostrarono molto utili per i programmi demografici delle
Nazioni Unite. Poiché due fattori determinanti della crescita
demografica sono il reddito e la concentrazione urbana, e
poiché gli ascensori sono positivamente correlati ad entrambi i
fattori, il numero degli ascensori si dimostrò utile per fare
proiezioni demografiche (più elevato è il numero di ascensori
in un’area e più è contenuto il suo tasso di sviluppo demografico). Il caso suscitò salutare ilarità: per risolvere il problema
demografico della Cina o dell’India – disse qualcuno – basta
dunque costruire molti ascensori nel mezzo delle campagne
più popolate?
Dietro la domanda c’era la solita incomprensione tra il
metro e il fenomeno: tutti noi, da bambini, abbiamo sperato di
farci passare la febbre rompendo il termometro o immergendo
la colonnina del mercurio nell’acqua gelata. Con la maturità,
che spesso non si raggiunge neppure frequentando un dottorato di ricerca, molti – ma non tutti – hanno appreso che la causalità è leggermente diversa.
Trovo sorprendente che la comunità scientifica, gruppo di
persone che giustifica la propria funzione sociale perché genera
dati, sia così spesso ostile alla raccolta di dati che riguardano se
stessa. Questa ostilità non è totale. Non mi è mai capitato di
incontrare ostilità perché si raccolgono dati sull’età media dei
docenti universitari, sulla loro suddivisione in uomini e donne,
sulla fascia retributiva. E sono sicuro che non ci sarebbero
contestazioni neppure se qualcuno volesse raccogliere informazioni sul numero di docenti che portano gli occhiali o che
vanno all’università in bicicletta.
Ma quando si tratta di produrre dati relativi alla produzione scientifica o didattica dei docenti, si scatena un fuoco di fila.
Un rappresentante degli studenti, raccolte le lagnanze dei suoi
colleghi sulle difficoltà a trovare un docente disposto a seguirli
per le tesi di laurea, propose durante un Consiglio di Facoltà di
affiggere in bacheca il numero di laureandi di ciascun docente:
provocò una cagnara tale che il Preside fu costretto a sospendere la seduta.
Ancora più forte è l’opposizione nei confronti degli indicatori bibliometrici. In questo caso, non si tratta di un indicatore
dell’attività didattica, ma dell’attività di ricerca scientifica. Il
38
39
nervo scoperto degli accademici è così sensibile che si arriva a
vere e proprie posizioni oscurantiste, quasi che la raccolta stessa
dei dati, prima ancora che la loro utilizzazione, sia un’offesa alla
comunità scientifica e all’onore personale degli studiosi.
Come si spiega questa reazione? Gli indicatori bibliometrici
hanno infiniti usi. Tra l’altro, possono essere utilizzati per
misurare:
1) la capacità scientifica dei Paesi (quante pubblicazioni ha
prodotto in un anno l’Italia e quante la Francia?);
2) la specializzazione scientifica di un Paese (qual è la quota
delle pubblicazioni italiane nel campo della matematica e
quale nel campo della fisica?);
3) le attività scientifiche svolte nelle varie regioni (quante
pubblicazioni scientifiche vengono generate in Sicilia e
quante in Sardegna?);
4) le attività scientifiche di una università, di una facoltà o di
un dipartimento, e metterle a confronto con altre istituzioni comparabili (quante sono le pubblicazioni dell’Università di Roma e quante quelle dell’Università di Madrid? E
qual è il rapporto tra i dipartimenti di economia di Roma e
Madrid?);
5) le interazioni tra i vari settori disciplinari (quanti sono gli
articoli di matematica citati negli articoli di fisica e viceversa?);
6) le dinamiche demografiche della comunità scientifica
(come è distribuita la produzione di articoli per fasce
d’età?);
7) le differenze per fasce di età tra le varie discipline (è vero
che i fisici danno contributi rilevanti molto più precocemente degli storici?);
8) le differenze per sesso (a quanto ammonta la produzione
femminile sul totale delle pubblicazioni, e quanto sta
aumentando in Svezia e in Turchia?);
9) le collaborazioni scientifiche internazionali (quante sono le
pubblicazioni in collaborazione tra italiani e tedeschi e tra
italiani e francesi?);
10) la produttività scientifica, qualitativa e quantitativa, di
ciascuno studioso (quanti articoli hanno pubblicato Tizio e
Caio? E quante volte sono stati citati dai loro colleghi?).
40
41
La lista è, ovviamente, del tutto insoddisfacente, e basterebbe prendere le annate delle riviste che si occupano di ‘scienza
della scienza’ (tra le quali “Research Policy”, “Scientometrics”,
“Science and Public Policy”, “Technological Forecasting and
Social Change”, “Science”, “Technology and Human Values”) o
anche riviste generaliste quali “Science” e “Nature” per rendersi conto che i dati bibliometrici possono essere usati per molti
altri scopi.
Tra tutti questi usi, l’ostilità della comunità scientifica è in
genere riservata ad un solo uso, il decimo. La ragione è assai
semplice: a nessuno, neppure agli accademici, piace essere
valutato. Il problema è tutt’altro che nuovo. Quando nel nostro
Paese le banche e gli uffici postali hanno tentato di contabilizzare il numero di operazioni svolte da ciascun impiegato
addetto allo sportello, i lavoratori si sono opposti. Gli impiegati hanno fatto presente che occorreva prendere in considerazione tanti fattori diversi, e che il solo conteggio delle operazioni,
ignorando il livello di istruzione dei clienti (all’analfabeta
bisogna scrivere il modulo, al commercialista no), non consentiva di considerare affidabile l’indicatore ‘numero di operazioni svolte’. Non credo che avessero torto: è probabile che in
alcune aree, dove il livello di istruzione dei clienti è più alto, ci
sia meno lavoro per gli impiegati e viceversa, così come è
probabile che fornire un estratto conto richieda meno tempo di
dare un libretto degli assegni.
Eppure, la mente allenata di un accademico (specie quando
si trova in fila per eseguire un’operazione in banca o alla posta)
ribatte subito a queste legittime obiezioni del sindacato bancario e dei postini facendo notare che si può ponderare per il
diverso grado di istruzione dei clienti, e anche per la macchinosità delle varie operazioni di sportello. Perché la stessa cosa
non dovrebbe essere valida per quanto riguarda i dati bibliometrici?
È sempre utile guardare alle fonti statistiche con il necessario senso critico. Prima di tutto, perché i dati possono sempre
essere migliorati, e resi più precisi e dettagliati. E poi, perché i
dati, come tutto ciò che è prodotto dagli esseri umani, possono
sempre essere manipolati. Ma nei confronti di questi problemi,
l’atteggiamento può essere duplice: da una parte c’è chi intende
buttare via il bambino con l’acqua sporca, dall’altra chi vuole
migliorare e magari controllare la qualità delle informazioni
fornite.
Recentemente, ad esempio, i dati sul tasso d’inflazione (uno
degli indicatori economici più rilevanti, e che ci dice qualcosa
di molto rilevante sull’andamento del nostro tenore di vita)
sono stati criticati da più parti. Non c’è stato nessuno che ha
sostenuto che bisognava smettere di raccogliere i dati sull’andamento dei prezzi, né che bisognava smettere di usare
quell’indicatore. Ma tutti hanno richiesto verifiche indipendenti ed una maggiore precisione nella raccolta dei dati.
Mi permetto allora di fare qualche osservazione rispetto a
quanto affermato da Alessandro Figà Talamanca nella sua nota
su Uso e abuso delle banche dati nella valutazione delle riviste e della
qualità scientifica: un problema di potere.
1) È certo che le informazioni bibliometriche sono un’indicazione di potere. Non ci avvertiva già Francesco Bacone che
il sapere è potere? Lo stesso vale per le statistiche sulla
produzione, sull’inflazione, sulla criminalità, sulle interruzioni volontarie di gravidanza, sui divorzi e sugli incidenti
stradali. Di fronte a questo potere – che può essere usato e
abusato – è necessario che la comunità scientifica mantenga
la propria autonomia, che si assuma determinate responsabilità etiche e che ci sia anche un controllo democratico,
esercitato dai vari portatori d’interesse. Ma in nessun caso è
tollerabile che una fonte di informazione, solo perché fonte
di potere, debba essere ignorata o accantonata.
2) Se la comunità scientifica si è fatta soffiare il mercato delle
riviste da case editrici profit, deve solamente rimproverare
se stessa. Alcune delle riviste più diffuse sono quelle delle
società accademiche non-profit; la diffusione della rivista ai
soci membri consente di conseguire elevate tirature a
prezzi unitari modici. Queste riviste sono spesso le più
trasparenti, quelle con l’impact factor più elevato e con la
maggiore selettività. In molti casi, queste riviste hanno
conti in attivo, fino al punto che possono finanziare borse
di studio o rendere alla comunità scientifica di riferimento
servizi ausiliari. Le preoccupazioni di Figà Talamanca sono
dunque condivisibili, ma dovrebbero portare la comunità
scientifica a riprendere un maggiore controllo sui frutti del
proprio lavoro. Gestire una rivista è un compito oneroso,
che spesso implica togliere lavoro allo studio, alla ricerca e
al tempo libero. Probabilmente, le case editrici commerciali sono diventate così potenti semplicemente perché la
comunità scientifica è stata troppo pigra. Prendiamocela
allora con la nostra pigrizia, piuttosto che con l’avidità
delle case editrici.
3) L’Institute of Scientific Information ha grandi meriti, che
generano anche molti rischi. Il merito è stato di aver
aggiunto una fonte d’informazione che, se ben adoperata,
è utilissima. Il rischio è che l’Istituto ha concentrato un
potere monopolistico (già Joseph Schumpeter faceva
presente che spesso gli innovatori che creano un nuovo
prodotto si ritrovano a gestire un monopolio). Ciò significa che l’accesso è troppo oneroso e che ci possono essere
discriminazioni dovute a ragioni commerciali. Come si
42
43
risponde ad una sfida proveniente da un monopolista, per
quanto abbia avuto il merito di essere un pioniere? Tramite
la creazione di fonti alternative. La rivoluzione informatica
ha reso molto più basso il costo e molto più facile l’accesso
alle fonti. In molti settori disciplinari esistono delle banche
dati che forniscono informazioni più ricche, accurate e
dettagliate di quelle fornite dall’ISI. È facile prevedere che
le fonti disponibili, anche grazie agli avanzamenti nelle
tecnologie dell’informazione e della comunicazione,
aumenteranno.
4) Non riesco a capire in che misura l’editore (commerciale) di
una rivista possa incidere sulle scelte editoriali. Sono
membro del comitato di redazione di sei riviste con editori
commerciali, e non ho mai subito pressioni. Se il fenomeno
si manifesta (e non si può escludere) credo che sia opportuno denunciarlo pubblicamente, con nomi e cognomi.
Sarebbe sufficiente a screditare la rivista in questione.
5) Nella sua requisitoria contro l’impact factor, Figà Talamanca
sovrappone la disponibilità dei dati con la loro eventuale
utilizzazione. L’osservazione secondo la quale una rivista
privilegia l’autocitazione è giusta (non fu già Woody Allen a
mettere in guardia dal pericolo di citarsi addosso?). Singoli
studiosi, studiosi appartenenti alla stessa scuola o addirittura allo stesso Paese, così come gruppi che appartengono allo
stesso collegio invisibile, hanno la brutta, ma altrettanto
inevitabile, tendenza a citarsi tra loro. Non sempre ciò
dipende da malafede: citiamo quel che leggiamo, e spesso
leggiamo le opere delle persone a noi più vicine fisicamente. Ma per quanto riguarda l’impact factor, è da molto tempo
che chi lavora con gli indicatori bibliometrici ha affrontato il
problema: è prassi abbastanza diffusa considerare l’impact
factor includendo e escludendo le autocitazioni (ciò vale sia per
i singoli studiosi che per le riviste). Se c’è una vistosa differenza tra i due impact factor (con e senza le autocitazioni),
l’autore o la rivista viene definito auto-referenziale. In italiano si potrebbe dire che l’autore, o la rivista, se la canta e se
la suona. Non è proprio un complimento. Il punto che
voglio sottolineare è che c’è sempre la possibilità, con
banalissimi accorgimenti statistici, di superare gli ostacoli,
qualora non ci sia una volontà preconcetta di sbarazzarsi
della bibliometria. Figà Talamanca sostiene che «la questione della affidabilità [degli indicatori bibliometrici] è in
qualche modo secondaria»; si sentirebbe di sostenere la
stessa cosa per le statistiche sul tasso d’inflazione o su quelle
epidemiologiche?
Ma veniamo al nocciolo del problema, quello che scatena i
sospetti di tanti, incluso Figà Talamanca: gli indicatori bibliometrici sono utili per la valutazione della ricerca?
Ad una domanda così generale non si può dare una risposta
secca. Una risposta esauriente sarebbe necessariamente più
lunga ed articolata di quanto possa essere qui formulata. Direi
che ovviamente dipende dagli obiettivi che si prefigge la
valutazione, dal metodo applicato, dall’area disciplinare e da
tanti altri elementi. Ma provo lo stesso ad indicare alcuni
capisaldi.
Qualsiasi valutazione è meglio di nessuna valutazione. Valutare
la ricerca scientifica, come valutare qualsiasi altra attività
umana, richiede elevata responsabilità. Si ha a che fare con la
vita di esseri umani, e la cautela è d’obbligo. Ma i refrattari alla
valutazione spesso ignorano che l’assenza di valutazione è essa
stessa un tipo di valutazione, e che tra tutte è quella peggiore. I
finanziamenti pubblici per l’università e la ricerca sono comunque allocati, si fanno i concorsi e nuovi studiosi entrano nel
mondo accademico (mentre altri ne rimangono fuori) e quelli
esistenti sono promossi (mentre altri non sono promossi). Tutte
queste scelte comportano una valutazione. La valutazione può
essere casuale (le assunzioni o le promozioni si fanno tramite
44
45
sorteggio), può basarsi su criteri extra-scientifici (è assunto o
promosso il più fedele, il più bello, il figlio dell’amico o l’amica
del collega) o su criteri scientifici (è assunto il più promettente e
promosso il più bravo). Non credo che ci sia qualcuno che è oggi
soddisfatto dei criteri di valutazione esistenti nel mondo
accademico italiano. S’impone quindi la domanda: può l’attuale valutazione, essenzialmente composta dai giudizi dei più
anziani e al di fuori di qualsiasi controllo esterno, essere migliorata? La mia riposta è che, per evitare il già evidente declino
della scienza italiana, essa debba e possa essere migliorata.
La valutazione non si fa automaticamente. In nessun Paese del
mondo, neppure nel mondo anglosassone (dove pure se ne fa
largo abuso), gli indicatori bibliometrici e il temutissimo impact
factor vengono utilizzati in modo automatico. Nessuno pensa,
per fortuna, che una banca dati bibliometrica possa o debba
sostituire la capacità critica dei colleghi. Solamente in un Paese
a rapida trasformazione come la Spagna sono stati introdotti
criteri più rigidi, ma sempre subordinati ad un giudizio individuale. La polemica di Figà Talamanca mi sembra dunque fuori
bersaglio: rivela timori atavici più di quanto sia una critica nei
confronti di pratiche valutative esistenti in Italia o in qualsiasi
altra parte del mondo.
Le banche dati bibliometriche forniscono informazioni estremamente valide. Sarebbe però insensato ignorare le informazioni
provenienti dagli indicatori bibliometrici. In molti casi, queste
informazioni aiutano a compiere scelte più consapevoli. Nel
caso in cui una Facoltà debba chiamare un nuovo docente, e la
materia del docente non è quella nella quale siamo competenti, perché dobbiamo rimetterci esclusivamente al parere di un
collega? Non è più sensato verificare se le informazioni che ci
sono fornite dal collega (che in genere è colui che lo propone)
trovano anche un riscontro nella letteratura accademica? Lo
stesso vale per i concorsi accademici. Non è opportuno
valutare congiuntamente le pubblicazioni presentate ad un
concorso e il riscontro che hanno avuto nelle riviste internazionali?
La miglior valutazione si deve basare su criteri multipli. Sappiamo bene che tutti i criteri di valutazione sono soggetti a
manipolazione. Anche senza che ci sia una malafede, i ‘valutandi’ si aggiustano ai criteri di valutazione. Se tra i criteri di
valutazione di un sistema accademico si dà un peso privilegiato agli articoli pubblicati in collaborazione con studiosi di altri
Paesi, è naturale che i valutandi inizieranno a ricercare collaboratori al di fuori delle frontiere. Per questo, è importante che i
criteri di valutazione non siano solamente degli indicatori, ma
anche degli obiettivi. La valutazione esclusivamente quantitativa genera una proliferazione di pubblicazioni che diventa difficile leggere. I Research Councils britannici hanno opportunamente limitato il numero delle pubblicazioni che ciascun
studioso può sottoporre alla valutazione periodica. L’effetto è
stato quello di premiare la qualità, piuttosto che la quantità.
Una valutazione efficace si deve basare su vari criteri. Le
lettere di referenza (lì dove sono previste), le pubblicazioni, la
capacità di dirigere progetti di ricerca, la capacità didattica,
l’abilità nel formare nuovi ricercatori, l’impatto ottenuto con il
proprio lavoro sono tutti criteri che dovrebbero essere tenuti in
considerazione. Poiché il gruppo dei valutati si adegua facilmente («fatta la legge, trovato l’imbroglio», direbbero i più
scettici), non è insensato cambiare frequentemente i criteri della
valutazione.
46
47
Purtroppo, la strada che deve compiere l’accademia italiana
prima di giungere ad una valutazione consapevole e comparabile a quella esistente in altri Paesi è ancora molta. Il cammino
è arduo, e credo che le energie disponibili debbano essere
utilizzate per denunciare l’assenza di una cultura della valutazione, piuttosto che per screditare fonti statistiche che, per
quanto imperfette, sono strumenti utili.
Nota di commento di Alessandro Figà Talamanca
L’intervento di Daniele Archibugi è in gran parte condivisibile, anche quando polemizza con posizioni che mi attribuisce, e
che non mi sembra di sostenere.
C’è spazio però per alcuni commenti alle sue argomentazioni.
Non c’è dubbio che il progresso scientifico sia andato di pari
passo con la possibilità di raccogliere informazioni quantitative
sulla realtà. Ma solo a patto che le variabili misurate siano
rilevanti e, possibilmente, si inseriscano in un modello capace di
spiegare la realtà osservata. La classificazione del mondo animale
di Linneo sorprende ancora per la sua aderenza a dati, in ultima
analisi quantitativi (sul genoma), che egli non poteva misurare.
Ma se, preso dall’ansia di misurare, Linneo avesse basato la sua
classificazione sul peso degli animali non avrebbe certo potuto
riconoscere nel gatto un parente stretto del leone. Magari il gatto
sarebbe stato classificato assieme al coniglio ed il leone assieme al
bue. Un secolo fa una delle discipline più importanti e ‘moderne’
era senza dubbio l’‘antropometria’, basata sulle misurazioni dei
crani, e degli arti degli esseri umani. Eppure, nonostante l’accuratezza delle misure, e l’ingegno degli scienziati che la coltivavano, l’antropometria non ha portato ad alcun progresso nella
conoscenza dell’umanità. Giustamente questa disciplina scientifica è caduta nel dimenticatoio. Tutti speriamo che questo non
accada alla scientometria, ma ne siamo proprio sicuri?
Ha proprio ragione Daniele Archibugi quando dice che è
necessario guardare alle fonti statistiche con il necessario senso
critico, ma che non bisogna buttare via il bambino con l’acqua
sporca. Tuttavia per me il ‘bambino’ è una banca dati accurata e
affidabile come quella dell’American Mathematical Society
(AMS) che si riferisce a tutta la produzione matematica mondiale, e l’acqua sporca è la banca dati dell’Institute for Scientific
Information. La differenza è, in massima parte, dovuta agli scopi
che si propongono le organizzazioni che curano la raccolta dei
dati. L’ISI si propone, come ogni azienda privata, di arricchire i
suoi azionisti, e l’AMS di essere utile allo sviluppo delle scienze
matematiche. Sono d’accordissimo sulla necessità di creare fonti
alternative all’ISI. Quando i dati servono per valutazioni effettuate da un soggetto pubblico è indispensabile che siano completi e
affidabili. Per questo è importante creare una banca dati ufficiale
ed affidabile della produzione scientifica pubblica in Italia che ci
consenta finalmente di buttar via l’acqua sporca e mettere alla
porta i suoi zelanti venditori.
Osservo anche che denunce, con nomi e cognomi, di direttori
di riviste che hanno sollecitato dagli autori citazioni di articoli
della stessa rivista hanno, per ora, prodotto solo difese d’ufficio
da parte dell’ex proprietario dell’ISI (E. Garfield, lettera pubblicata dal “British Medical Journal”, 1997; 314:1756, 14 june, dal titolo
Editors are justified in asking authors to cite equivalent references from
the same journal). Basta comunque poco per mettere in riga gli
autori sempre desiderosi di compiacere i direttori delle riviste. Un
buon sistema di estorsione non ha bisogno di atti dimostrativi.
Sono completamente d’accordo con Archibugi quando
auspica che i criteri di valutazione non siano solo degli indicatori, ma anche degli obiettivi. Proprio per questo egli dovrebbe
essere d’accordo con me quando dico che un indicatore di qualità
dovrebbe essere giudicato principalmente sulla base dei comportamenti cui dà luogo. Se gli obiettivi che ci si propone fossero
quelli di moltiplicare il numero delle pubblicazioni scientifiche,
moltiplicare il numero delle riviste scientifiche ‘di grande prestigio internazionale’, moltiplicare il numero delle citazioni, senza
riguardo al loro contenuto, e comunque, arricchire gli azionisti
dell’ISI, anche l’impact factor risulterebbe un buon indice per
misurare qualcosa che si potrebbe anche convenzionalmente
definire ‘qualità’. Dopotutto un nome è un nome e, come dice
Giulietta: «That which we call a rose by any other name would
smell as sweet» (W. Shakespeare, Romeo and Juliet, Act II, Scene II).
48
49