Giancarlo Vecchi
MISURARE COSA E PERCHE’.
Valutazione delle politiche come
strategia (conscia) di coordinamento
Quinta Giornata degli Innovatori
11 maggio 2005
Forum P.A. Fiera di Roma
1. Misurare per monitorare e valutare
Misurare nel senso di monitorare,
valutare ( e cioè apprendere dal
passato o da altri per progettare il
futuro)
significa attivare tentativi consci di
coordinamento, il che implica avere
l’obiettivo di modificare (o di tenere
“condizionato”) il comportamento di
attori coinvolti in una arena decisionale
(intervento).
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
•
Progettare misurazioni implica il
tenere presente due aspetti:
a) Un aspetto tecnico: come si fa a
misurare (a monitorare, a valutare)
b) Un aspetto di processo: chi devo
condizionare e quindi cosa devo
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• ASPETTI TECNICI:
- IN CHE FASE MI TROVO:
a) (ri)-progettazione di interventi: mi serve
valutazione ex post per sapere quali fattori critici
devo mantenere e quali evitare nei prossimi
interventi
b) pianificazione: mi serve sia ex post sia
valutazione ex ante per selezionare tra
alternative
c) attuazione: mi serve monitoraggio e
valutazione on going per sapere che probabilità
ho di raggiungere gli obiettivi
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
- QUALI SONO LE DIMENSIONI DI
ANALISI, IN PARTICOLARE LA
QUESTIONE DEGLI OUTCOME E
DEGLI IMPATTI (Cfr.Figura)
- COSTRUZIONE SISTEMA
INFORMATIVO (PERIODICITA’ DELLE
RILEVAZIONI, VALIDAZIONE DATI,…)
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
•
IL CICLO LOGICO DEL MONITORAGGIO E DELLA VALUTAZIONE
utilità, sostenibilità
VALUTAZIONE
PROBLEMI
COLLETTIVI =
CONDIZIONI
INDESIDERATE
Obiettivi
Variabili
intervenienti
Impatti
(impact)
Risultati
(outcome)
Input
Attuazione
Prodotti
(output)
efficienza, qualità
Rilevanza
Efficacia interna
MONITORAGGIO
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• ASPETTI DI PROCESSO/2
- Quali sono i soggetti il cui comportamento
devo condizionare attraverso la
misurazione (monitoraggio/valutazione)?
- COSA DEVO MISURARE A QUESTO
FINE?
- (e poi:come strutturare la diffusione delle
analisi a fini di coordinamento,…)
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
2. Cosa misurare per chi:
la “misurazione” tra performance di
servizi/settori e risultati di strategie
(politiche)
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
•
DUE PUNTI DI RIFERIMENTO PER
QUESTA RIFLESSIONE:
A) L’ARTICOLAZIONE ORGANIZZATIVA
INTERNA ALLE AMMINISTRAZIONI:
- Vertice politico
- Alta amministrazione
- Articolazioni settoriali
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
B) GOVERNANCE CONTEMPORANEA:
gli interventi pubblici si caratterizzano per
essere multilivello, per coinvolgere più
attori: vari livelli politico-amministrativi, i
privati, il terzo settore;
per migliorare un problema della mia collettività
non mi basta fare “il mio” pezzo, ma devo
vedere in che modo il mio ruolo contribuisce a
determinare mutamenti sociali adeguati
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• ESEMPIO – UNIVERSITA’
a) l’andamento di un singolo corso di laurea
è valutato sulla base di: n. ingressi (nuovi
studenti), n. crediti acquisiti ogni anno,
soddisfazione studenti, laureati,laureandi,
ecc.; per un singolo preside di Facoltà il
problema in questo senso è definito in
termini di sostenibilità del Corso
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• Ma se il vertice di una università pensa
che un modo per migliorare la
competitività di un Ateneo sia la capacità
di attrarre studenti stranieri perché le
imprese locali hanno bisogno di certe
figure e per strutturare relazioni con i
Paesi di origine (internazionalizzazione),
viene ridefinito il problema di una serie
complessiva di articolazioni organizzative
e delle relazioni con altri soggetti:
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• Offrire corsi in inglese (condizionare i docenti)
• Offrire corsi che siano comprensibili per un
mercato internazionale (idem come sopra)
• Semplificare le procedure di accesso (relazioni
con Ministero interno e Min. lavoro, oltre che
Miur)
• Relazioni con Università straniere
• Tutoraggio per inserimenti (costruire nuove
figure)
• Alloggi, ecc. (relazioni con contesto territoriale)
• Comunicazione esterna, ecc.
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• Qui il parametro di riferimento non è più solo la
sostenibilità del singolo corso e non basta sapere il
numero di studenti stranieri in ogni corso;
ma è essenziale sapere quanti ex studenti stranieri
lavorano nelle imprese (dopo un certo periodo), quanto
contatti si sono sviluppati con i paesi di origine (contratti
delle imprese, ricerche tra Uni, ecc.).
E su questo parametro, l’università è ovviamente
corresponsabile, sia per la propria parte di funzioni
(cordinamento interno verso l’obiettivo) sia per la sua
capacità di “indurre a comportamenti virtuosi” gli altri
soggetti (coordinamento dell’arena complessiva)
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• IN ALTRE PAROLE:
AL MUTARE DELLA DEFINIZIONE DEL
PROBLEMA ALLA BASE DI UN
INTERVENTO, MUTANO ( O SI DEVONO
RIARTICOLARE) LE MISURE DI CUI HO
BISOGNO PER FAVORIRE IL
CORDINAMENTO VERSO UN
OBIETTIVO DI MUTAMENTO SOCIALE
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• ES. questionario VIC: Valutazione
integrata del cambiamento
- Analisi non settoriale ma su obiettivi
“programmatici” riguardanti l’orientamento
di una organizzazione (Enti locali) ai
principi di modernizzazione amministrativa
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
ES. DOMANDA VIC
• Retribuzione di risultato del personale
dirigenziale (posizioni organizzative negli
enti senza dirigenti), importi effettivamente
erogati:
• Considerando in senso decrescente l’elenco
degli importi erogati alle varie posizioni
dirigenziali, indicare la differenza percentuale
tra l’importo maggiore effettivamente erogato
e l’importo minore effettivamente erogato
• 1. meno del 10%2. tra il 10% e il 20%3. tra il
21% e il 40%4. più del 40%|__||__||__||__|
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
Continua esempio VIC
Differenza % tra totale delle somme
fissate a preventivo per retribuzione di
performance e somme effettivamente
erogate
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
3. CONSEGUENZE
1.
2.
LE ESPERIENZE DI MISURAZIONE IN QUESTI ANNI
HANNO SVILUPPATO IN PARTICOLARE L’ANALISI
SETTORIALE E DEI SERVIZI
SI TRATTA DI ESPERIENZE IMPORTANTI, PERCHE’
HANNO PERMESSO DI MOSTRARE AGLI
OPERATORI CHE ANCHE L’AZIONE PUBBLICA
PUO’ ESSERE MISURATA (SIA I SERVIZI
ALL’ESTERNO SIA I SERVIZI INTERNI: ES: IL
PERSONALE, I SERVIZI FINANZIARI, ECC.)
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
3. I fattori dell’economicità e della qualità sono entrati a far
parte del modo di pensare dei dirigenti, spesso anche
quelli di risultato e impatto.
4. Minori esperienze si sono invece sviluppate con riguardo
alla costruzione di sistemi di valutazione di “politiche”
(termine che utilizziamo qui non in senso
metodologico,ma per fare riferimento ad obiettivi di
cambiamento sociale di rilievo strategico e comunque
propri del livello politico e dell’alta amministrazione; è
sinonimo di “programma”)
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• C’è sicuramente un problema tecnico:
valutare e misurare è una attività professionale;
ai vari livelli politico-amministrativi è necessario
ripetere le sperimentazioni fatte per i servizi, e
cioè sviluppare proposte di definizioni e di fattori
da misurare in relazione a “problemi di livello
strategico”.
E’ necessario progettare in modo concreto quali
professionalità coinvolgere,e come
istituzionalizzare questa funzione
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• E’ necessario evitare l’idea che tutti i sistemi
informativi debbano essere correlati e integrati
tra di loro: e cioè che il sistema informativo
settoriale è anche quello da cui si prendono tutti
i dati per le analisi del livello superiori (delle
politiche / dei programmi).
• Ogni livello deve elaborare le proprie analisi e le
proprie dimensioni di valutazione: le
informazioni, infatti, cambiano al mutare della
definizione di qual è il problema che dobbiamo
risolvere con uno o più interventi pubblici.
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
• In ogni caso, al livello di
politica/programma, diventa rilevante
misurare e analizzare :
- Come muta il problema collettivo alla base
degli interventi
- Come si stano comportando gli attori del
sistema (arena decisionale) in relazione
agli obiettivi che intendiamo perseguire,
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
Es. Turismo
Livello Settoriale:
• Settore a) n. stanze costruite con contributi per
agriturismi
• Settore b) n. diplomati ai corsi per servizi
agrituristici
Livello di Programma:
• N. giornate di presenza di turisti (provenienti da
Paese X
• N. gg presenza in Località con offerta analoga
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it
Es.: Cultura
- Teatro comunale: n.rappresentazioni, n.
spettatori, economicità
- Sistema della cultura di una città: qualità
dell’offerta complessiva, pubblica e privata: mix
tra tipi di ambiti, equilibrio
tradizione/avanguardia, equilibrio tra categorie di
spettatori, locali/da fuori provincia-nazione, ecc.
Forum P.A. - Roma, 11 maggio 2005
Programma Cantieri – V Giornata degli Innovatori
www.cantieripa.it