Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
La valutazione nella politica
regionale unitaria 2007-13
Tito Bianchi
UVAL
Torino, 10/07/2007
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
III SEZIONE
INDIVIDUAZIONE, GESTIONE E UTILIZZO
DELLE ATTIVITÀ VALUTATIVE
INDICE
1. Dai temi alle domande
2. Dalle domande al metodo/disegno
3. Dal metodo all’organizzazione della valutazione
4. Monitoraggio, diffusione, utilizzo dei risultati
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Nuovo orientamento 2007-2013:
Attribuire incarichi di valutazione a partire da
domande di valutazione di interesse pubblico,
Richiede un processo per la selezione di
domande attraverso l’ascolto di esigenze
conoscitive espresse da diversi soggetti,
interni ed esterni alla PA
Selezione guidata (oltre che dalla scarsità di
risorse e tempo) da……
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Proprietà di una buona
Domanda di Valutazione
• Utilità-rilevanza (risponde ad esigenze di
decisione del committente o delle politiche)
• Valutabilità (esistono metodi che consentono di
dare ad essa una risposta persuasiva)
• Condivisione (corrisponde ad esigenze
conoscitive diffuse nel sistema)
• Dettaglio (consente più chiaro controllo di qualità
sull’operato del valutatore)
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Come i temi di dibattito possono divenire
domande di valutazione:
Primo step: prendere un tema e trasformarlo in
una frase che termina con un punto interrogativo
ESEMPIO : Politiche per la Ricerca
Tema di dibattito:
“L’efficacia delle politiche per la ricerca”
“I progetti finanziati nel periodo di
programmazione XY sono stati efficaci?”
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Secondo step: Il dibattito che c’è dietro.
Passare ad un maggior livello di specificità sulla
base della diagnosi del problema, o delle teorie
interpretative prevalenti.
• La spesa privata per ricerca in Italia è troppo bassa nel
confronto internazionale
• In particolare le imprese di piccola dimensione sottoinvestono in ricerca rispetto a quanto sarebbe
desiderabile a livello di sistema
• I rapporti fra PMI e università sono difficili per una
differenza culturale
Utilizzare i termini di questo dibattito per specificare il
concetto di “efficacia”, e quindi la sua valutazione
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Domanda di valutazione revisionata:
“le politiche per la ricerca attuate nel periodo
2007-2013, sono in grado di attivare capitali
privati, in particolare di PMI?”
STEP 3
A questo punto, l’ulteriore effettiva specificazione della
domanda di valutazione, dipende:
• Dalle finalità che si perseguono nel caso specifico;
• Dal grado di conoscenza già diffusa nel sistema sul
problema e su ciò che funziona per risolverlo;
• Dai principali beneficiari dei risultati della valutazione
(stakeholders nell’interesse dei quali è stata intrapresa)
infatti…..
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Esistono diverse classificazioni possibili fra
domande valutative:
Fase della policy oggetto
d’indagine
• Le strategie
• I processi
• I risultati (oggetti-soggetti)
Tipo di risposta attesa
• SI-NO
• Numerica (percentuale)
• Articolata e discorsiva
• Funziona o no?
• Per chi e in che
condizioni/circostanze
funziona?
Finalità
• di trasparenza
• di rendicontazione
• di indirizzo di scelte
• di apprendimento
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Nel caso delle politiche per la ricerca:
Domanda del tipo:
funziona o no?
Tipo di risposta attesa Fase di
Numerica (percentuale) interesse:
risultati (soggetti)
“Quante delle imprese destinatarie di finanziamenti per
la ricerca hanno richiesto brevetti all’Ufficio Europeo?”
Fase: processi
Finalità: di
indirizzo di scelte interni
di policy
Tipo di risposta
attesa: Articolata e
discorsiva
“Da cosa dipende la difficoltà delle politiche di
incentivazione della ricerca privata delle imprese, a
raggiungere le PMI?”
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
2. Dalle domande ai metodi
Più un’ipotesi di ricerca è chiara e dettagliata, più
la domanda può specificarsi a livello tale da poter
essere ridotta ad un’indagine quantitativa:
Ad esempio:
Ipotesi: progetti di ricerca di grandi dimensioni hanno
maggior probabilità di produrre innovazioni di impatto elevato
Domanda: Esiste una correlazione fra la dimensione dei
progetti di ricerca finanziati (da qualunque fonte) nel periodo
di programmazione X, ed il valore complessivo dei brevetti
registrati dai destinatari dei finanziamenti?
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Contro-esempio:
Ipotesi: i tentativi di offrire attività di ricerca
collettivamente a gruppi di PMI attraverso
laboratori e centri di ricerca consortili, non
funzionano per via delle difficoltà nel garantire
l’appropriabilità delle eventuali innovazioni a
ciascuna impresa a titolo individuale
Domanda: Quali circostanze consentono alle
PMI di fare ricerca in forma associata o
consortile?
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
A seconda di come è posta la domanda di
valutazione, i metodi usati possono
guardare a:
• Una variabile esplicativa
(gli incentivi per le imprese sono più efficaci quanto più
elevato il livello di istruzione del titolare?)
• Un numero chiuso di variabili esplicative:
(La dimensione di partenza, il livello di istruzione del
titolare, e la vicinanza alle reti di trasporto, influenzano
l’efficacia degli incentivi sulle imprese)
• Un insieme aperto di variabili:
(Quali caratteristiche delle imprese aumentano la
probabilità che l’incentivo che esse ricevono raggiunga gli
obiettivi che si prefigge? …segue.. elenco dei “sospetti”
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Dalle domande ai metodi: un criterio semplice
per valutare l’appropriatezza di un metodo:
il numero di casi presi in esame
• Un metodo che prevede un numero basso di casi
studiati consente di affrontare domande “aperte”, che
non predefiniscono le variabili esplicative
• Un numero elevato di casi studiati, per via di una
tendenza verso la rappresentatività, ha il vantaggio di
dire qualcosa di più provato riguardo alle variabili
esplicative preventivamente individuate
• Un metodo che prevede un numero basso di casi
studiati, in casi particolari, consente di rivedere i concetti
di guida alla valutazione come quello di efficacia, o le
modalità previste di misurazione dei risultati
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
3. Dai metodi all’organizzazione della singola
valutazione
Il Piano di Valutazione non può regolare tutti i problemi di
governo dei mandati di valutazione.
In quanto non tutte le indagini valutative, e per la verità
solo una sparuta minoranza di esse, saranno già previste
nella versione iniziale del piano.
L’organizzazione della gestione degli incarichi di
valutazione va spesso decisa caso per caso, sulla
base della natura della domanda
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Tra le decisioni più importanti da prendere
in materia:
1. Tempi previsti per la ricerca, per la consegna
dei risultati
2. Affidamento a società di mercato o
svolgimento all’interno dell’amministrazione
3. Meccanismi a garanzia della qualità
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Tempi previsti per la ricerca, per la
consegna dei risultati; criteri
• Valutazioni che hanno la funzione di indirizzare
specifiche scelte, sono condizionate, nella consegna,
dalla tempistica di queste ultime
• Le valutazioni ex-post, volte a stimare i risultati o gli
impatti raggiunti, richiedono di aspettare che questi si
manifestino completamente
• Il piano di valutazione dovrebbe (almeno) predeterminare le date future in cui le decisioni sui
mandati saranno prese
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Affidamento a società di mercato o svolgimento
all’interno dell’amministrazione; criteri
• Il Nucleo di Valutazione ha un vantaggio comparato nello
svolgimento di valutazioni che presuppongono una
conoscenza elevata dei meccanismi dell’amministrazione
• Ci sono modalità intermedie, in cui la valutazione è diretta
da personale interno, ma si avvale, a titolo individuale, di
esperti, che curano le fasi dell’indagine e producono
materiali intermedi.
• L’affidamento a società esterna NON richiede inferiori
competenze all’amministrazione, che rimane interamente
responsabile per l’interfaccia tecnica: individuazione di
una chiara domanda, gestione tecnica, garanzia qualità
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Meccanismi per la garanzia della qualità
Dietro i diversi meccanismi, un sola ratio:
Il responsabile della valutazione non possiede in genere
il tempo o le competenze per stabilire se il prodotto
rispetta standard scientifici. Possono venire in aiuto:
 il nucleo di valutazione
 Uno steering group della specifica valutazione
 Un expertise esterna richiesta
In tutti i casi si richiede indipendenza fra valutatore e
soggetto incaricato di questa meta-valutazione
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Valutazione e Monitoraggio
• I dati di monitoraggio da soli non consegnano alcun risultato
valutativo. Sono una fonte che la valutazione deve
organizzare ed interpretare nell’interazione con altri dati e
conoscenze
• Il monitoraggio non dovrebbe contenere indicatori di impatto e
risultato, che attengono alla sfera della valutazione, ma solo di
realizzazione (finanziaria, fisica, ed occupazionale)
• La valutazione unificata si gioverebbe dell’unificazione delle
basi dati di monitoraggio, come nel 2007-2013 avviene a liv.
Nazionale
• Più in generale, un investimento nella qualità e tempestività
dei dati di monitoraggio è di interesse della valutazione che li
userà.
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Diffusione dei risultati della valutazione
• Non è sufficiente prevedere, come molti hanno fatto nei
piani “sarà data la massima diffusione…”
• E’ possibile, invece, prevedere che un grado di diffusione
differenziata: pubblica per alcune valutazioni, interna per
altre, più delicate, a tutela dell’indipendenza;
• Stabilire in anticipo all’interno del piano, per la
maggioranza delle valutazioni, tempi e modalità di
diffusione, ad es. Seminario, conferenza stampa con date
previste. Ciò crea gli spazi per la diffusione effettiva
• In altri casi, sarebbe consigliabile esprimersi nel senso di
un diritto per il pubblico di accedervi: “sono pubbliche”
Seminario: “Il piano di valutazione nella politica regionale unitaria” Torino 10/07/2007
Utilizzo dei risultati della valutazione
• L’utilizzo non può essere garantito
• Un rapporto le cui indicazioni non sono state utilizzate
dal committente, non è uno spreco di risorse
• Gli stessi committenti della valutazione attribuiscono
troppo valore alle raccomandazioni: il contributo di
conoscenza dei rapporti di valutazione non solo in
quella sezione
• I momenti decisionali su cui le valutazioni possono
influire, sono imprevedibilio ex-ante