La valutazione della ricerca
scientifica: lezioni europee?
Alberto Silvani
Università degli Studi di Milano
Unimitt, Centro per l’Innovazione e il Trasferimento Tecnologico
([email protected])
A.Silvani - UniMITT- 16.10.06
L’intervento di oggi
• Incrociare tre testimonianze:
– Il libro bianco, come riflessione critica sullo stato
dell’arte, focalizzandosi sulle (presunte ?) lezioni
europee
– L’attualità e l’interesse al tema, testimoniato dagli esiti
dell’assessment del CIVR e dal Decreto Legge della
Finanziaria (art. 36)
– La valutazione della ricerca nel contesto valutativo
italiano: una riflessione sui dieci anni della RIV e lo
special issue (n. 34)
A.Silvani - UniMITT- 16.10.06
Una problematica ed un caso
La valutazione della ricerca: alcune caratteristiche
specifiche:
– I rischi e i limiti nell’ex-ante, dovuti alla pluralità delle opzioni, che
ostacolano le analisi di efficacia nell’ex-post;
– La debolezza concettuale ed empirica di ogni rapporto diretto di
causalità, che esclude sia l’analisi controfattuale (es. impatto) sia
la misurazione di addizionalità ed efficienza (diretti contributi
attribuibili esplicitamente all’oggetto specifico della valutazione);
– Peculiarità, e limiti, della peer review, (pro: utilizzo di un ‘collegio
invisibile’, contro: difficile integrazione di elementi di valutazione
non basati sulla qualità scientifica dei proponenti (piuttosto che
della proposta), visione conservativa, difficoltà a parametrare le
qualità in forma comparativa)
A.Silvani - UniMITT- 16.10.06
La valutazione in Commissione
Europea (1/2)
• Aspetti regolamentari
• Aspetti istituzionali, organizzativi e
procedurali
• Aspetti finanziari e contabili
• Aspetti contenutistici
A.Silvani - UniMITT- 16.10.06
La valutazione in Commissione
Europea (2/2)
Nuovi elementi:
- la dimensione ex-ante
- l’estensione a tutte le attività (non solo “la spesa”)
- il legame con la programmazione ed il
management
- l’analisi di impatto ex-ante
- la ricerca di coerenza tra i diversi interventi
- un investimento sulla formazione
- la logica degli standard minimi
- imparare concretamente dalle esperienze
A.Silvani - UniMITT- 16.10.06
La ricerca nella dimensione
europea
•
•
•
•
•
Lisbona e la sua implementazione
Lo spazio comune di ricerca
I parametri quantitativi
Lo strumento del programma Quadro
La sua progettazione, gestione e
monitoraggio
• Il contributo della ricerca alle altre politiche
• La revisione di strategia
A.Silvani - UniMITT- 16.10.06
La valutazione della ricerca nella
dimensione europea
• A livello di politiche e programmi
– Valutazione ed impatto ex-ante
(recentemente introdotte)
– Monitoraggio periodico
– Valutazione ex-post periodica
• A livello di progetti
– Selezione ex-ante con procedure codificate
– Giudizio di congruità finale
A.Silvani - UniMITT- 16.10.06
L’esperienza del FYA
•
•
•
•
•
•
•
•
Disciplinata da una decisione dieci anni fa
Prescritta dal testo del PQ
Tre esperienze maturate nel decennio
Basata su panel di esperti
Modificata sulla base delle esperienze
Definita sulla base di un mandato
Flessibile nell’esecuzione
Proceduralmente incardinata nella proposta di
nuovo PQ
A.Silvani - UniMITT- 16.10.06
Problemi di valutazione del PQ…
• Complessità e vastità dell’oggetto
• Sovrapposizione nel tempo di obiettivi,
attività e strumenti
• Limiti di risorse (asimmetria conoscitiva,
tempi, risorse economiche)
• Difficoltà ad entrare nel merito
• Nessi di causalità
• Scarsa capacità di analisi d’impatto
A.Silvani - UniMITT- 16.10.06
Il FYA 1999-2003 (1/2)
Un’esperienza positiva:
– In coerenza (anticipazione) con il disegno di
riforma
– Per i risultati ottenuti (rapporto finale)
– Per lo spostamento verso una valutazione più
finalizzata e sistematica
– Per l’utilizzo degli studi come supporto
informativo e per l’introduzione di expertise
valutativo
A.Silvani - UniMITT- 16.10.06
Il FYA 1999-2003 (2/2)
E qualche ombra….
• Scarsa “fasatura” delle attività
• Insufficiente utilizzo delle capacità di
monitoraggio “amministrativo” dei processi
esaminati
• Ritualità nelle risposte alle raccomandazioni
• Effetti diversificati sui diversi stakeholder
• Debolezza della strumentazione e delle
metodiche utilizzate
A.Silvani - UniMITT- 16.10.06
Quali lezioni per l’esperienza
italiana….
• Intrecciare politiche e programmi (senza
confonderne ambiti e ruoli…)
• Bilanciare selezione e monitoraggio
• Dotarsi di una batteria di strumenti
• Metodiche e non solo metodi…
• Comprendere in un unico schema competenze
tematiche e competenze valutative
• La valutazione vive non solo durante gli esercizi
valutativi….
A.Silvani - UniMITT- 16.10.06
Il recente Decreto Legge
• Istituzione Anvur
– Obiettivi:
• Razionalizzare il sistema della valutazione
• Aumentare efficienza ed efficacia dei programmi
– Attività:
• Valutazione esterna della qualità delle attività
• Indirizzo, coordinamento e vigilanza della
valutazione
• Valutazione efficienza ed efficacia dei programmi
A.Silvani - UniMITT- 16.10.06
Anvur perché…
• I risultati dell’attività di valutazione
divengono criterio di riferimento per
l’allocazione dei finanziamenti =
incardinare strutturalmente la valutazione
nel processo decisionale
• Superare la parzialità degli organismi
esistenti (Civr, Cnvsu, …)
A.Silvani - UniMITT- 16.10.06
Il rapporto CIVR
• Positività dell’esperienza
• Conferma della percezione comune
• Qualche perplessità su:
– Il ruolo dell’autoselezione dei prodotti da valutare
– La ri-valutazione per peer review di prodotti già
valutati
– La non considerazione delle risorse tra gli input
– La non considerazione della varietà di obiettivi delle
diverse istituzioni esaminate
– La pesatura del rating interno rispetto alla
performance complessiva
A.Silvani - UniMITT- 16.10.06
Lo special issue
• Contributi da una ventina di autori
• Toccati aspetti quali:
– I settori: i fondi strutturali, ma non solo, la
valutazione economica, le politiche pubbliche,
l’università, lo sviluppo locale, i patti
territoriali, i servizi pubblici, ….
– I metodi, l’analisi controfattuale, la formazione
– Il processo valutativo dentro le istituzioni, le
fasi, gli approdi istituzionali
A.Silvani - UniMITT- 16.10.06
Tra i temi “trasversali” emersi…
• Il rapporto tra strumenti (e pratiche) e riforma
della P.A.
• Valutazione “istituzionale” e adempimenti
valutativi (“insourcing”, learning vs
accountability, ecc.)
• Ex ante, ex post e monitoraggio valutativo
• Indicatori e standard
• Professionalità, formazione ed etica dei
valutatori
• “Stato di salute” e prospettive future della
valutazione in Italia
A.Silvani - UniMITT- 16.10.06
La valutazione universitaria
• Difficoltà a considerare l’università nel suo
insieme
• Chi sono gli interlocutori?
• L’eccellenza è l’unico parametro?
• Debolezza sui metodi d’analisi
• Quale unità di rilevazione?
• Perché si valuta?
A.Silvani - UniMITT- 16.10.06