Paola Galimberti
Archivi istituzionali e valutazione
della ricerca: la qualità dei dati
Roma 20 ottobre 2010
La crescente importanza della valutazione
• Anche in Italia la valutazione della ricerca ha assunto
un ruolo sempre più importante nella governance degli
atenei e da esercizio confinato ai percorsi di carriera è
stata estesa ai gruppi, alle strutture di ricerca e alle
istituzioni ed include, almeno potenzialmente,
l’attesa dell’impatto dei risultati di ricerca sul
contesto sociale ed economico
Le fonti dei dati: un monopolio pericoloso e
la mancanza di controllo
• Raccogliere dati ai fini della valutazione è un processo
lungo e costoso che necessita di validazione sia
rispetto alla forma che rispetto al contenuto
• Le istituzioni di ricerca hanno da tempo affidato
questo compito a operatori commerciali che hanno
costruito un monopolio e che rivendono a caro prezzo
dati sulla cui elaborazione le istituzioni non hanno
alcun controllo.
Le fonti dei dati: limiti
• Database come ISI o Scopus forniscono solo una analisi
parziale della produzione scientifica delle istituzioni
di ricerca: sia per quanto riguarda le tipologie che per
quanto riguarda le discipline coinvolte. Inoltre ci sono
problemi di deduplicazione e di affiliazione
• Altri strumenti attualmente in uso (Google Scholar, un
altro monopolio) forniscono dati troppo “sporchi” e
dunque inutilizzabili
Le fonti dei dati: in Italia
• A livello centrale il sito docente del MIUR non è una
fonte attendibile perché i dati sono caricati dai
docenti esclusivamente per la richiesta di
finanziamenti o per la conferma dei collegi dei
dottorati
• Manca una anagrafe centrale che contenga i dati delle
produzioni scientifiche delle istituzioni relativamente
alle tipologie rilevanti per la valutazione: articoli,
saggi, monografie, atti, brevetti.
Le fonti dei dati: a livello di istituzione
• I dati sulla ricerca sono frammentari, dispersi in
database diversi, archiviati in formati che non
colloquiano fra di loro.
I dati per la valutazione
• Acquistati dagli operatori commerciali
• Senza garanzie sulla loro validazione e qualità
• Si spende molto per avere dati parziali che sono poi
difficili da comparare (soprattutto per quanto riguarda
le aree delle scienze umane e sociali)
• C’è la necessità di adottare degli standard nella
raccolta dei dati
• Tale raccolta spetta in primo luogo alle istituzioni
Archivi istituzionali e loro funzione: qual era
e come cambia
•
•
•
•
•
Strumenti per la disseminazione dei lavori di ricerca
Open source
Interoperabili
Già in gran parte in rete (DRIVER)
Punto di raccolta di informazioni da diverse banche
dati dell’istituzione
• Punto di raccolta di dati strutturati sulla ricerca
potenzialmente utilizzabili per la valutazione
Approccio e strumenti Open Access…
• Forniscono dati e informazioni strutturati utili alla
valutazione “tradizionale”
• Per poter essere usati in maniera sistematica
necessitano di “validazione” (rispetto alla scelta,
correttezza, completezza)
• Aprono terreni nuovi per un uso semplificato della
valutazione
• Ad oggi non rappresentano però un nuovo paradigma a
se stante e non possono rappresentare una alternativa
Le raccomandazioni della CRUI
• Le raccomandazioni della CRUI per la creazione di una
rete di archivi istituzionali liberamente accessibili, che
colloqui con le anagrafi della ricerca locali e con quella
centrale secondo standard che rendano i dati
confrontabili a livello nazionale e internazionale si
inseriscono male nella frammentata realtà italiana,
perché non rispondono con soluzioni chiare alle esigenze
di validazione e utilizzo dei dati
Ma…
• Delineano ipotesi di percorsi possibili.
• Tra questi:
– Interventi sugli oggetti utilizzabili per l’analisi in termini di
universo coperto, elaborazioni sui contenuti testuali,
aggiornamento e tracciabilità
– Maggior confrontabilità tra aree scientifiche e sperimentazione
di nuovi indicatori
– Esplorazione più sistematica dei contesti web-based
– Definizione nel tempo e nello spazio delle relazioni a rete
– Riaggregabilità rispetto a nuove esigenze
Alcune esperienze in ambito italiano
• Due Atenei hanno attualmente collegato i dati tratti
dagli archivi istituzionali alla valutazione della ricerca,
le esperienze in atto permettono di tracciare un primo
possibile percorso:
1) Completezza ed esaustività dei dati che devono essere
validati da personale esperto anche se inseriti dai
ricercatori
2) Utilizzo dei dati ai fini della valutazione sperimentando
(e condividendo) nuove procedure soprattutto per
quanto riguarda le discipline “problematiche”
3) Aumento delle competenze e della consapevolezza di
valutatori e committenti
• L’utilizzo dell’archivio istituzionale come anagrafe della
ricerca ma anche come database bibliometrico
minimizza le differenze tra le diverse aree e le diverse
tipologie di lavori di ricerca, consentendo elaborazioni
non possibili in altri casi e con gli strumenti tradizionali.
Conclusioni (1/2)
• La presenza di dati “buoni” variamente aggregabili a
seconda delle diverse esigenze valutative neutralizza
parte dei comportamenti opportunistici legati all’uso di
alcuni indici bibliometrici
Conclusioni (2/2)
• Siamo solo agli inizi, tuttavia una maggiore attenzione
da parte degli atenei verso un uso generalizzato degli
archivi (come del resto già viene fatto in altri paesi
europei) e una armonizzazione nelle modalità e nella
forma della raccolta dei dati potrebbe rappresentare in
prospettiva una reale alternativa al monopolio degli
operatori commerciali, riportando il controllo sui dati
della ricerca nelle mani di chi la produce e permettendo
un confronto in ambito nazionale e internazionale anche
per quelle aree per cui attualmente la comparabilità non
è garantita