Stelline 2008
Sala Volta, venerdì 7 marzo 2008
1
Seminario:
"La biblioteca digitale tra accesso
e produzione di conoscenza:
un percorso tra le statistiche d'uso
e citazionali"
A cura del
Consorzio interuniversitario per le
Applicazioni del
Supercalcolo Per Università e
Ricerca,
Settore Automazione Biblioteche
Utilizzo di risorse elettroniche e produzione scientifica
in un ente di ricerca: esiste una relazione?
Paola De Castro – Franco Toni, Istituto Superiore di Sanità - Roma
2
Relazione tra quantità di risorse a
disposizione e produzione scientifica
• La grande disponibilità di documentazione elettronica ha portato ad
un incremento della produzione scientifica dell’ente?
• E’ migliorata la qualità scientifica degli articoli prodotti?
• La risposta al primo quesito comporta un’analisi quantitativa, al
secondo una qualitativa
Carlo Maria Serio - [email protected]
3
Analisi quantitativa
• Occorre mettere in relazione il numero di risorse a disposizione e
l’uso che ne viene fatto e il numero di articoli o documenti prodotti.
• Sostanzialmente quindi significa analizzare la relazione tra quantità
di riviste, basi dati, repositories accessibili dai ricercatori, numero
degli articoli scaricati e quantità della produzione scientifica
numero degli articoli scaricati
numero degli articoli pubblicati
• Sembrerebbe un’operazione relativamente semplice ma in realtà
comporta la soluzione di una serie di problemi di grande portata sia
relativamente al versante esterno, dell’utilizzo delle risorse, che a
quello interno, della produzione
Carlo Maria Serio - [email protected]
4
Analisi quantitativa [2]
– Problemi relativi all’utilizzo delle risorse:
• Compatibilità dei dati
utilizzo di COUNTER
• COUNTER: non tutti i publisher adottano questo standard de facto
• Importanza dell’attivazione di SUSHI per la raccolta automatizzata e
normalizzata dei dati forniti dagli editori
• Per la grande maggioranza delle pubblicazioni OA non esistono dati
statistici sul numero di accessi e scarichi (solo BioMed Central
fornisce statistiche).
• La quantità di utilizzo di archivi OA (periodici, repositories) può
essere determinata solo attraverso l’attivazione di una ricognizione
TLA (Transaction Log Analysis), con tutte le difficoltà che questo
comporta
– Problemi legati alla produzione scientifica
• Tipologia delle pubblicazioni che devono essere prese in
considerazione (anche proceedings, posters, rapporti, ecc.?)
• Gap temporale (anche di anni) tra il momento del download della
risorsa e la pubblicazione dell’articolo porta a una distorsione del
dato statistico
Carlo Maria Serio - [email protected]
5
Usage Factor
• Studio di Peter T. Shepherd commissionato dall’UKSG (United
Kingdom Serials Group) – Maggio 2007
• Nasce come possibile alternativa/affiancamento dell’IF
• UF =
Total usage (COUNTER JR1 Data for a specified period)
Total number of articles published online (during a specified
period)
• Analisi condotta analizzando risposte a questionari fornite da editori,
autori e bibliotecari
Carlo Maria Serio - [email protected]
6
Usage Factor [2]
•
Principali risultati:
–
Vantaggi:
•
•
•
•
•
–
UF può costituire un valido strumento di valutazione dei giornali per deciderne l’acquisto o la
cancellazione
UF può coprire un campo molto più vasto rispetto agli 8.000 titoli coperti dall’IF e quindi
riflettere il valore di un giornale in modo più ampio rispetto alle citazioni
UF può mettere in rilievo all’interno delle raccolte di un istituto l’importanza di giornali che
sono “sottovalutati” dall’IF
UF può costituire un’alternativa credibile e valida all’IF per misurare il valore di un giornale:
due parametri di valutazione sono meglio di uno!
UF può porsi come importante bilanciamento all’IF
Possibili elementi negativi:
•
•
•
•
Le statistiche d’uso possono essere “gonfiate” dalle interfacce degli editori
COUNTER non ha ancora una diffusione sufficiente per assicurare una copertura globale
La difficoltà nel determinare il range temporale da considerare nell’analisi: è stato suggerito un
periodo di 2 anni (ma anche fino a 5) per tener conto dei due picchi legati alla consultazione, il
primo relativo al momento della pubblicazione dell’articolo, il secondo a quando inizia ad
essere citato
Il ranking dei giornali: mentre gli autori sono favorevoli, gli editori lo sono molto meno
Carlo Maria Serio - [email protected]
7
Usage Factor [3]
• L’UF può essere utilizzato per fornire valori ai fini della valutazione
dell’attività di ricerca e della produzione scientifica di un istituto?
• Certamente risulta molto utile per la valutazione dell’utilizzo delle
risorse ma non per l’analisi quantitativa della produzione scientifica
• Essendo un fattore complementare all’IF si dimostra invece un
elemento importante per il bibliotecario nel momento in cui deve
decidere l’acquisto o la dismissione di un giornale, per l’autore nel
momento in cui deve scegliere dove pubblicare e per gli editori che
acquisiscono un ulteriore elemento per valutare validità e
posizionamento dei loro prodotti nel panorama generale del mercato
Carlo Maria Serio - [email protected]
8
Analisi qualitativa
• 1° aspetto:
– Il beneficio che può derivare alla ricerca dalla qualità e tipologia
della documentazione messa a disposizione del ricercatore ai
fini della produzione dei suoi lavori.
Un’analisi di questo tipo può essere condotta ad esempio
attraverso la verifica di quanto di quello che viene citato nelle
pubblicazioni dei ricercatori è stato recuperato attraverso le
collezioni messe a disposizione dalla biblioteca
– La difficoltà risiede nel fatto che non è un’indagine che può
essere fatta utilizzando un trattamento automatico dei dati e che
spesso il ricercatore non segnala nel riferimento bibliografico se
la fonte è di natura digitale
– Può essere utile tuttavia tentare una ricognizione non
sistematica ma a campione su un numero limitato di unità
selezionate per natura disciplinare, in modo da verificare se c’è
una disparità di risultati nei diversi settori scientifici
Carlo Maria Serio - [email protected]
9
Analisi qualitativa [2]
• 2° aspetto:
– Impatto citazionale, ovvero verificare se col migliorare dell’offerta
aumenta la quantità di articoli pubblicati su riviste impattate, se
aumenta il numero di citazioni per gli autori, se aumenta l’HIndex dei singoli autori
– In questo caso le problematiche che possono insorgere sono
quelle tipiche legate all’uso dell’IF: necessità di separare con
precisione gli ambiti disciplinari per avere valori attendibili e non
astratti, presenza delle autocitazioni, distinzione tra citazioni
positive e negative, ecc.
– Anche per questa ricognizione conviene partire, per ottenere
risultati attendibili e di maggiore precisione soprattutto nell’analisi
specifica delle citazioni, da una ricerca condotta su campioni
selezionati e per ambito disciplinare
Carlo Maria Serio - [email protected]
10
Produzione di letteratura scientifica
del personale ISS: anni 2001-2007
dati dell’archivio bibliografico ISS
CONTESTO
- 1800 unità
- 800 ricercatori
Assestamento
dei dati negli anni
Maggiore abitudine
alla registrazione
Carlo Maria Serio - [email protected]
11
Tipologia delle pubblicazioni ISS
Comunicazioni a congressi
nazionali
internazionali
Articoli di periodici
nazionali
internazionali
Monografie
nazionali
internazionali
Letteratura grigia
22 %
10
12
57 %
18
39
9%
2
7
12 %
100 %
numericamente
21/12/2015Incontro con il CASPUR – 5 febbraio 2008
Circa 1800
Edita ISS: 20%
12
21/12/2015Incontro con il CASPUR – 5 febbraio 2008
Carlo Maria Serio - [email protected]
13
21/12/2015Incontro con il CASPUR – 5 febbraio 2008
Carlo Maria Serio - [email protected]
14
Numero di pubblicazioni ISS 2006
suddivise per struttura (aree tematiche)
160
148
indicizzate
non indicizzate
140
128
120
114
100
77
80
75
74
70
69
56
60
46
46
49
46
41
37
40
32
22
19
20
15
11
5
4
2
1 1
0
MIPI
BCN
FARM
TES
CNE
AMPP
EOMM
SAAN
CNAIDS
CNRA
SBGSA
CNT
5
0
SIDBAE
0
URE
La percentuale fra pubblicazioni indicizzate e non indicizzate è uguale al 50%
15
Pubblicazioni ISS 2006
con IF e IF normalizzato per struttura
450
433
440
400
Indicizzate con:
IF
IF normalizzato
350
329 329
292
300
287
250
240
249
200
188 183
192
184
168
156
150
152 147
128
91
100
77
75
69
46
50
84
74
41
46
22
34 37
15
19 18
5
1 4 4
0
MIPI
BCN
FARM
CNE
EOMM
TES
SAAN
AMPP
CNAIDS
CNRA
SBGSA
CNT
IF normalizzato secondo la Circolare del Ministero della Salute del 30 maggio 2002
16
IF totale delle pubblicazioni dei
ricercatori dell’ISS dal 2000 al 2006
2006
2.127
2005
2.331
2004
2.196
2003
2.127
2002
2.146
2001
2.140
2000
2.027
0
500
1000
1500
2000
2500
Come determinare l’influenza
dell’accesso a risorse elettroniche
sull’output scientifico?
CONSIDERANDO CHE
• Produzione
(1800)
• Impact Factor (>2)
pressoché costanti 2001-2007
E CHE
>Circolazione di risorse online = > citazioni
> possibilità di contatti con l’autore (e-mail)
> collaborazioni (finanziamenti)
> maggiore scambio tra settori
> produttività disciplinari
ALCUNE IPOTESI DI RICERCA
17
18
Ipotesi di ricerca
1) Analisi delle bibliografie
Analisi delle bibliografie citate nei lavori
per verificare i link a risorse elettroniche
Difficoltà
• ricerca manuale
• forte bias dovuto alla pigrizia dell’autore
• presenza di autocitazoni
ANALISI FATICOSA E DI ESITO INCERTO
19
Ipotesi di ricerca
2. Analisi delle lingue
L’analisi delle lingue maggiormente “lette” (citate)
potrebbe tradursi nell’analisi dell’accesso alle risorse online
a livello nazionale o internazionale.
Sembrerebbe evidente la prevalenza di consultazione
di risorse in lingua inglese,
che poi risultano tra le fonti più citate nelle bibliografie
dei lavori e nella stessa produzione scientifica dell’ente.
Produzione ISS in inglese = 58,3% versus 41,7 (in italiano)
21/12/2015Incontro con il CASPUR – 5 febbraio 2008
Carlo Maria Serio - [email protected]
20
Ipotesi di ricerca
3. Analisi delle caratteristiche formali
delle risorse online: i titoli dei lavori
IL TITOLO (chiarezza e lunghezza)
influenza la scelta da parte del lettore
di utilizzare o meno una risorsa online.
Nell’abbondanza dell’offerta di risorse,
il lettore per naturale pigrizia tenda a leggere
con maggiore interesse un titolo breve e a scartare un titolo lungo
che richiederebbe una maggiore concentrazione
a meno che la sua ricerca non sia finalizzata
proprio sul quel testo avente il titolo lungo!
Hartley J, Betts L. The Effects of Spacing and Titles on Judgements of the effectiveness of Structured Abstracts.
Journal of the American Society for Information Science and Technology 2007;58(14):2335-2340
21
Ipotesi di ricerca
4. Analisi delle caratteristiche formali delle risorse
online: tipologia di abstract
La tipologia e qualità dell’abstract e l’impaginazione
influenzano la lettura del testo corrispondente
Un abstract “ben fatto” induce alla lettura, un abstract “mal fatto”….
Si riferisce una generale preferenza di abstract strutturati perché:
• contengono più informazioni rispetto all’abstract non strutturato
• sono più facili da leggere e sono preferiti anche dai referee.
Anche le spaziature (corretta visualizzazione di testi e immagini) influenzano la
lettura. E’ necessario dare in giusto respiro (spazio) per facilitare la
comprensione dei concetti.
Perché preferire PDF all’HTML?
22
Ipotesi di ricerca
5. Valutazione della qualità
delle fonti online
Data l’enorme disponibilità delle fonti online sarebbe utile
indagare come l’utente valuta/percepiscela qualità delle fonti
IPOTESI:
La qualità dell’offerta informativa online
non è sempre attentamente valutata
Parametri tipici per la valutazione: prestigio della rivista, IF, indicizzazione, ecc.
TUTTAVIA spesso le risorse in rete sono recuperate “per caso”
e allora sarebbe utile che porsi alcune domande sulla fonte del documento online
(chi lo ha prodotto, quali comitati editoriali, ecc.)
La disponibilità immediata online di queste informazioni potrebbe facilitare la scelta
da parte del ricercatore verso un certo tipo di produzione.
MA esiste questa attitudine?
Questionario
23
Ipotesi di ricerca
6. Valutazione del plagio
In ultimo, ma da non sottovalutare,
data la facilità di effettuare il “Copia incolla” si riscontra
un aumentato tasso di plagio nei lavori scientifici in rapporto alla
maggiore disponibilità delle risorse online
e ai sistemi di individuazione dei lavori “copiati”
È perché oggi è più facile individuare il plagio,
o perché la pratica è “facilitata”?
(Research policy 36, 2007: 905-911
Martin B. R. Keeping plagiarism at bay - A salutary tale. Science Direct 2007;36(7):905-91
24
http://www.sasi.group.shef.ac.uk/worldmapper/index.html
25
Bibliografia
•
•
•
•
•
•
•
•
Roswitha Poll, Impact/Outcome Measures for Libraries, Liber Quarterly, 2003, 13,
p.329-342
Roswitha Poll, Measuring the impact of new library services, 71th IFLA General
Conference and Council, Oslo, 2005, http://www.ifla.org/IV/ifla71/papers/081ePoll.pdf
Tim Brody, Stevan Harnad, Leslie Carr, Earlier Web Usage Statistics as Predictors of
Later Citation Impact. Journal of the American Association for Information Science
and Technology (JASIST), 2006, 57, 8, p. 1060-1072, http://www3.interscience.wiley.
com/cgi-bin/fulltext/112593522/HTMLSTART?CRETRY=1&SRETRY=0
Deborah D. Blecic, Joan B. Fiscella, Stephen E. Wiberley Jr., Measurement of use of
electronic resources: advances in use statistics and innovations in resource
functionality, College & Research Libraries, 2007, 68, 1, p. 26-44,
http://www.ala.org/ala/acrl/acrlpubs/crljournal/backissues2007a/crljanuary07/blecic07.
pdf
Domenico Dellisanti, ICOLC 2006: SUSHI un nuovo strumento per la misurazione
delle risorse elettroniche, Bollettino del CILEA, 2007, 105, p. 17-20
Antonella De Robbio, Analisi citazionale e indicatori bibliometrici nel modello Open
Access, Bollettino AIB, 2007, 47, 3, p. 257-289
Diane Harley, Jonathan Henke, Toward an effective understanding of website users,
D-Lib Magazine, 2007, 13, 3/4, http://www.dlib.org/dlib/march07/harley/03harley.html
Peter T. Shepherd, Final Report on the investigation into the feasibility of developing
and implementing journal usage factor, May 2007, http://www.uksg.org/usagefactors
Carlo Maria Serio - [email protected]