Osservatorio per la Ricerca Rapporto – Pe
esi tonali Rev. 04 20.10.2012
RAPPORTTO SULL'ATT
TRIBUZIONE DI PESI TON
NALI AI PROD
DOTTI DELLA
A RICERCA La propostta di pesi tonali
t
preseentata in quuesto docum
mento è un
n prodotto intermedio del lavoroo
svolto dall’Osservatoorio della Ricerca
R
nell periodo Gennaio-Ma
G
aggio 20122. Presentiaamo questaa
prima, e anncora incom
mpleta, versione con l’aauspicio che il futuro Osservatorio
O
o e i collegh
hi coinvoltii
nella gestioone della riccerca nei vaari dipartimeenti possano
o beneficiarrne.
Qui di segguito illustrriamo breveemente la sstruttura dell file pesi tonali
t
e i crriteri seguitti nella suaa
costruzionee.
Struttura fi
file
Si è decisoo di lavorarre con le Aree
A
CUN 11-14, invecee che con due
d sole maacro aggreg
gazioni, perr
permetteree che a proodotti similii, ma sostaanzialmente differenti per importtanza nelle varie aree,,
VQR.
vengano asssociati pesii differenti. Questa deccisione è coerente con l’approccio
l
Sulla base di un’analiisi approfon
ndita di tuttii i prodotti della ricercca realizzatii nelle variee aree, l’OR
R
ha sviluppaato un nuovvo catalogo dei prodottti con nuove tipologie che meglioo si adattano
o all’attivitàà
di ricerca ddell’Universsità di Torin
no e che al contempo si
s integrano con quelle di recente adottate
a
dall
Ministero.
Il nuovo caatalogo è sttato costruitto in manierra molto inclusiva: preevede tutte lle tipologiee di prodottii
censite sinora, in moddo da consen
ntire – una volta concllusa questa ristrutturazi
r
ione – l’inserimento dii
ciascun proodotto in unna tipologia coerente e corretta.1
Si è decisoo di ricorrerre a un uso estensivo
e
deei pesi per identificare
i
i prodotti pprincipali deella ricerca,,
ai quali vieene attribuitto un valoree più signifficativo e peer i quali no
on è previstto alcun callmiere (nonn
sono posti limiti, cioèè, al numerro di prodottti che posssono esseree inseriti neel catalogo). Ma il filee
d prodotti che, essend
do marginaali per la ri
ricerca, non
n ottengonoo
include annche una luunga lista di
valutazionee (peso 0). Il
I censimen
nto di questii prodotti è comunque utile in funz
nzione di un
na eventualee
futura valuutazione dell’attività di disseminazzione svoltaa dai ricercatori dell’Ate
teneo.
Criteri perr la determinnazione deii pesi tonalii
ma di pesi tonali offre uno schem
ma di lavoro che, a parttire da pesi identificatii per le duee
1. Il sistem
tipologie pprincipali dii prodotti deella ricerca (monograffie e articolii su rivista)), classifica in manieraa
relazionalee tutti gli alltri prodottii. In questoo modo il siistema perm
mette una vvalutazione coerente dii
tutti i prodotti.
Ciò compoorta che unna modificaa del peso dei due prrodotti principali si riffletta in un
n pressochéé
automaticoo adeguameento dei pesii di tutti i prrodotti prev
visti dal Cattalogo (abbiiamo manteenuto alcunii
pesi, comee quelli basssi e minimi, in linea conn quelli preesistenti – 0.3
0 e 0.1).
La strutturra proposta permette una
u facile m
modifica deei pesi e deei calmieri pper meglio adattare laa
valutazionee alle esigeenze delle varie
v
aree e per permeettere alla CRSA
C
di m
modificare, in
i momentii
successivi alla sua implementa
i
azione, alcuuni dei paarametri, magari in fuunzione di specifichee
necessità ddi incentivazzione.
1
Uno dei prroblemi risconntrati nell’ulttima valutazioone è stata laa classificazio
one non correetta dei prodo
otti. L’OR haa
pertanto svilluppato, in coollaborazione con il Sistem
ma Bibliotecarrio di Ateneo,, un sistema ddi validazionee dei prodottii
della ricerca (approvato dal
d Senato) di prossima impplementazionee. Prerequisito
o della validaazione è creare un catalogoo
molto dettaggliato e condiiviso, in mod
do da limitaree la possibilittà di errore nell’inserimen
n
nto dei prodottti. Da ciò laa
necessità di iidentificare unn numero assaai elevato di prrodotti. 1
1 Osservatorio per la Ricerca Rapporto – Pe
esi tonali Rev. 04 20.10.2012
2. I valorri iniziali dei
d pesi deei due proddotti princiipali sono stati identitificati a paartire dellaa
valutazionee esistente (pesi
(
articolli scienze duure, rapportto 3 a 1 per le aree dellle scienze um
mane, dovee
esistono solo pochissime rivistte ISI), ancche tenend
do conto dei criteri ddefiniti dall CUN perr
l’abilitazioone nazionale. Abbiamo consultatoo i vari pan
nel d’area (ccreati durannte gli ultim
mi mesi) perr
avere dellee opinioni suu tali pesi. Tali
T pesi sonno però solo
o esemplificcativi.
d prodotti ddella ricercaa, si è decisso creare unn nuovo callmiere per i
3. Dato il nnumero moolto ampio di
prodotti m
minori (che si aggiungee a quello ggià esistentee per prodottti in Altre ttipologie), in
i modo daa
evitare il rrischio che un aumento dei prodootti potesse generare un’inflazion
u
ne nella valu
utazione (ill
calmiere è meglio descritto qui dii seguito).
dotti princip
ipali della ri
ricerca (esseenzialmentee
4. Dopo avver infatti inndividuato, come si è ddetto, i prod
articoli e m
monografie, con alcun
ne specificittà in certe aree, per essempio edizzione di scavo per glii
archeologi), si è definnita una serie di prodottti assimilabili ai prodottti principalli. Essi iden
ntificano ciòò
che si ritieene essere il miglior prodotto ddella ricercaa in ciascun
na area: coome tali essi vengonoo
incentivati con una vaalutazione autonoma
a
nnon calmieraata. Praticam
mente, il sisstema così costruito faa
sì che per una maggioor produzio
one di tali pprodotti il docente
d
riceeva un puntteggio magg
giore senzaa
limite supeeriore.
5. È stataa identificatta poi unaa serie di pprodotti minori
m
dellaa ricerca. T
Tali prodottti sono daa
considerarssi effettivam
mente come un validoo risultato della
d
ricercca accademiica, ma non
n di punta::
pertanto si è proposto di calmieraarli introduccendo un ma
assimo di 6 punti, che rriguarda tuttti i prodottii
q
presenti in “Altree tipologie””, calmieratii a 2.7 (vedii subito sottto).
secondari, distinti da quelli
mierata comee in preceddenza a un massimo
m
dii
6. È stata mantenuta la categoriaa Altre tipoologie calm
2.7, definitto in relazioone ai 3 pun
nti necessarii per essere considerato
o ricercatoree attivo.
i
alcuni calmiieri per speecifici prod
dotti; per essempio, nell caso dellee
7. Sono sttati inoltre introdotti
collettaneee, è fissato un
u tetto se sii presenta ppiù di un sag
ggio nella sttessa colletttanea.
Nell’ambitto del nuovoo schema di pesi tonalli, l’OR ha iniziato
i
a laavorare su aalcuni strum
menti volti a
consentire una miglioor valutazion
ne della qu
ualità dei prrodotti all’in
nterno di unna data cateegoria. Talii
strumenti, illustrati quui di seguitto, costituisscono però solo un priimo passo iin questa diirezione. Sii
ppare un sisstema misto
o 40/60 più centrato suulla qualità, mediante ill
ricorda chee l’OR intenndeva svilup
ricorso a inndicatori cittazionali e procedure
p
ddi peer revieew.
8. Si è iniiziato a sviiluppare un sistema dii rating dellle riviste nelle
n
aree ddelle scienzze umane e
sociali, coonsiderandoo la bassa copertura ISI. Talee sistema è in corsoo di realizzzazione inn
collaboraziione con i tre grandi atenei naziionali (BO, MI, PD). La
L prima ffase, di iden
ntificazionee
delle rivistte NON scieentifiche, è terminata e l’auspicio è che la seconda fase di valutazio
one parta all
più presto.
9. Si è inizziato a discutere lo sviiluppo di unn sistema di
d rating perr le monoggrafie basato
o sulle sedii
editoriali, integrato da
d peer revview per coorreggere la valutazio
one automat
atica nel caaso l’autoree
ritenga chee il peso attrribuito alla sede editorriale non riffletta il valo
ore della suaa opera (la peer
p
review
w
potrebbe nnaturalmentee condurre sia ad un auumento sia a una diminuzione dell punteggio
o). L’OR haa
avuto pocoo tempo peer discutere tale sistem
ma: il progeetto era di identificare
i
una fascia ristretta dii
2
2 Osservatorio per la Ricerca Rapporto – Pe
esi tonali Rev. 04 20.10.2012
editori inteernazionali di rilievo globale
g
(perr esempio Cambridge
C
o MIT presss), una fasccia centralee
inclusiva, uuna coda e le
l tipografiee locali.
10. Si è inniziato a svviluppare un
u sistema di pesi perr prodotti con
c autori multipli ch
he tenga inn
considerazzione la posizione degli autori (priimo/second
do/ultimo) per le aree inn cui tale posizione haa
un significcato importaante e che pesi
p in maniiera ponderrata (si vedaa la Relazioone della Co
ommissionee
"co-authorrship") un articolo con più auutori in ord
dine alfabeetico (probblema partiicolarmentee
importantee in aree in cui ci sia una
u chiara ddifferenza nel numero di
d autori traa lavori teorrici e lavorii
sperimentaali). Tale sisstema può essere
e
appliccato nelle varie aree co
on alcune diffferenze speecifiche.
11. Si inteendeva prooporre che i docenti aall’atto delll’inserimentto del proddotto della ricerca nell
catalogo potessero inddicare che il prodotto venisse claassificato in
n area CUN
N differentte da quellaa
gli econom
misti dell’areea 7 o deg
gli storici ecconomici/d
del pensieroo
del docentte (come nel caso deg
dell’area 113); tale opzzione è in linea
l
con laa strategia VQR
V
e perm
metterebbe pertanto un
na miglioree
valutazionee dei prodootti. Per evitare compoortamenti strategici,
s
ogni volta cche un prod
dotto vengaa
classificatoo in un’areaa CUN diversa da queella del doccente, un vaalidatore ricceverà un segnale
s
chee
permetteràà una verificca almeno a campione.
Altri imporrtanti argom
menti rileva
anti per la ddefinizione dei
d pesi
L’OR ritieene estremam
mente impo
ortante che venga svilu
uppato un siistema di poonderazione che tengaa
conto dei ccongedi di maternità. Ha ufficiaalmente chieesto alla CR
RSA di attiv
ivarsi per id
dentificare i
dati necesssari e la proccedura da seguire per ggenerare i dati
d necessarri.
L’OR ritieene poi neecessario un
u meccaniismo di co
ompensazio
one per i ricercatorri giovani..
Sicuramennte la perforrmance dei ricercatori
r
nneoassunti deve
d
essere ponderata pper la loro potenzialità
p
à
di fare riceerca; per eseempio, se un
n ricercatorre viene assu
unto due an
nni dopo aveer finito il dottorato,
d
sii
devono conntabilizzaree come perio
odo attivo ddi ricerca so
olo i due ann
ni di post dooc.
onali
Commenti di accompaagnamento alla matricee dei pesi to
Qui di segguito alcunee osservazio
oni che sonno state dibaattute in OR
R ma non ddefinite nellla propostaa
presentata alla CRSA::
1) Si ritienne che anchee per i conttributi in voolume (Areee umanistich
he) bisogneerebbe differenziare traa
"nazionale" e "internazionale", finché
f
non si sia in grado
g
di farr riferimentto al rating
g delle sedii
editoriali uusato per le monografiee.
2) Lo stessso per i capitoli in manuale
m
unniversitario (nelle areee umanisticche). Ci son
no manualii
universitarri, come glli Oxford e Cambriddge Compaanions to..., che sonoo lavori sccientifici dii
importanzaa spesso nottevole.
3) Finché non verràà realizzato un rankinng sufficien
ntemente afffidabile deelle sedi ed
ditoriali, laa
definizionee dei pesi per
p le mono
ografie richhiede ancorra approfon
ndita discusssione. Le due
d opzionii
consideratee sono le seeguenti (parttendo dal prresupposto che l’articolo su rivistaa sia valutatto 1-3):
3
3 Osservatorio per la Ricerca Rapporto – Pe
esi tonali Rev. 04 20.10.2012
pesi 2 - 6 ((cioè 2, 4, 6),
6 oppure 2 – 9 (cioè 22, 5, 7, 9)
4) Le attivvità di gestioone della ricerca dovreebbero esseere monitoraate ma non all'interno del sistemaa
di pesi per i prodotti della
d
ricercaa.
4
4