Corso di formazione sul monitoraggio
e la valutazione dei Piani di zona
avviati in Provincia di Torino
Secondo Modulo:
La valutazione del livello di implementazione
del Piano di Zona
12 giugno 2006
Katja Avanzini ([email protected])
Carla Dessi ([email protected])
Diletta Cicoletti ([email protected])
1
Il programma di oggi:

Illustrazione dei risultati della seconda esercitazione
(similitudini e differenze tra i lavori dei tre gruppi sul
monitoraggio delle azioni del piano)

Ripresa di alcuni concetti chiave trattati nelle puntate
precedenti:
–
–
La valutazione “frattale”
La differenza tra monitoraggio e valutazione

Primo lavoro di gruppo per confrontarsi sui risultati emersi
dalla seconda esercitazione e approfondimento sulle
informazioni di valutazione (in itinere e finale) necessarie per
avere un quadro completo dei singoli progetti/servizi;

In plenaria: illustrazione dei lavori dei singoli gruppi
2
Il programma di oggi: (2)

Input teorico sul passaggio dalla valutazione del singolo
progetto/servizio alla valutazione per area/priorità
d’intervento (macro-obiettivo) attraverso i risultati della
prima esercitazione del 29.06.06 con:
– Approfondimento su che cos’è un indicatore
– Presentazione di un caso di valutazione delle azioni di un piano
di zona;



3
Secondo lavoro di gruppo: di quali informazioni ho bisogno
per valutare il livello di macro-obiettivo
In plenaria: illustrazione dei lavori dei singoli gruppi
Come proseguire nel percorso del secondo modulo…
presentazione degli obiettivi della giornata allargata (26 e
28 giugno) e presentazione degli obiettivi dell’ultima
giornata del 12 luglio
L’unità di analisi: l’implementazione
del sistema dei servizi del pdz
Piano di zona
Area …
Area anziani
Ob: potenziare
la domiciliarità
SAD
Ricoveri
di sollievo
4
Assegni di servizio
Area disabili
Area minori e
famiglia
Ob.:Tutela
del bambino
Una valutazione “frattale”
Valutazione del
singolo intervento
Valutazione zonale
della politica di uno
specifico settore
(anziani)
Valutazione del
piano di zona
Valutazione degli
interventi provinciali
di coordinamento e
sostegno
Valutazione della
politica regionale
1.
2.
3.
4.
5.
5
Il monitoraggio
Il monitoraggio è un processo di
raccolta di dati e informazioni sulle
modalità di attuazione di un intervento
o di una politica
Il monitoraggio serve per:
 Lo stato di avanzamento dei
programmi, delle politiche, degli
interventi;
 Le piste di approfondimento per
mettere in luce criticità e i fattori di
successo nello sviluppo di un singolo
intervento, di un distretto, di un’area
tematica;
 Le informazioni basilari per
procedere a una valutazione in
itinere degli interventi e delle
politiche (è un sensore)
Il monitoraggio:
 Fornisce l’informazione
 Viene
6 fatto con rilevazioni regolari
 Misura il raggiungimento di standard
la valutazione
La valutazione intende rispondere alla
domanda: ciò che si fa è fatto bene?
Risponde, e in quale misura, alle
strategie di Piano? Come si può
migliorare?
La valutazione serve per


dare informazioni sulla qualità
degli interventi e delle politiche
dare informazioni sugli esiti, sui
risultati ottenuti per l’utente finale,
cioè sulla efficacia degli interventi e
delle politiche
Una valutazione fatta bene aiuta a:
 capire meglio il problema;
 capire meglio le scelte fatte e le
loro implicazioni;
 capire meglio cosa funziona e cosa
no nella politica;
 scoprire cose nuove, inaspettate.
Il monitoraggio
la valutazione
ELEMENTI DI MONITORAGGIO:
qualche esempio
ELEMENTI DI VALUTAZIONE:
qualche esempio
Lo stato di implementazione
degli interventi
Livello di integrazione/
collaborazione raggiunto tra gli
attori del territorio
Il livello di raggiungimento dei
destinatari
Le risorse umane impiegate
Le risorse finanziarie impiegate
Principali ostacoli/ criticità ed
elementi di facilitazione incontrati
Risultati raggiunti
“Lezioni apprese”
7
1. LAVORO DI GRUPPO
Confrontarsi sui risultati emersi dalla
seconda esercitazione negli altri gruppi
e approfondimento sulle informazioni di
valutazione (in itinere e finale)
necessarie per avere un quadro
completo dei singoli progetti/servizi
 GRUPPI: per area tematica
 TEMPO: 1 ora

8
Il passaggio dalla valutazione del
singolo progetto/servizio alla
valutazione della priorità
d’intervento
9
Una prima complessità… passare dal
servizio alla politica
“SERVIZIO”
“POLITICA”




10
erogazione di
prestazioni per
soddisfare in
maniera continuativa
bisogni ricorrenti e
ben definiti (Martini)
Obiettivo: produrre
un servizio
Focus della
valutazione: attività
intese come
produzione di output
per utenti


realizzare attività per
produrre un
cambiamento, per
trattare o risolvere
un problema
Obiettivo: produrre
un cambiamento
Focus della
valutazione: la
relazione fra il
problema e il
progetto
Esempio

Politica per l’area
anziani:
– Sostegno alla
domiciliarità

Servizi per anziani
che rispondono alla
priorità politica
individuata:
–
–
–
–
11
SAD
ADI
assegni di cura
formazione delle
assistenti familiari
Ad oggi cosa sappiano?

Attraverso la bozza di scheda di
monitoraggio e valutazione abbiamo
informazioni inerenti:
– Il prodotto… cosa è stato fatto
(informazioni di monitoraggio)
– Come è stato fatto… (informazioni di
valutazione)
– Quali cambiamenti e apprendimenti di
sono verificati (informazioni di
valutazione)
12
Ma come possiamo dire qualcosa
sulla politica attuata per l’area…
… mettendo in relazione il problema
e il progetto/i attuato/i
Questo dovrà essere il focus della secondo step
della nostra valutazione
13
Alcune indicazioni
1.
2.
3.
14
Valutare la politica non significa solo
sommare la valutazione dei singoli
interventi
Valutare la politica significa saper dire
non solo ciò che è stato fatto ma anche
come è stato fatto e se è servito…
È quindi utile definire quali dimensioni,
criteri, indicatori possono aiutare a
“avere chiavi di lettura”
Unità
d’analisi
Dimensioni
Coerenza
Sostegno
alla
domiciliarità
Integrazione
Territorialità
15
Criteri
Indicatori
Connessione tra
domanda e offerta
Destinatari raggiunti/
destinatari potenziali
N. Soggetti in lista
d’attesa
Coerenza tra bisogni
e allocazione risorse
Variazione spesa
Consuntivo/preventivo
Costo unitario per utente/
prestazione
Integrazione socio
sanitaria
L'Asl garantisce risorse
economiche definite?
Vi è presenza di progetti
socio sanitari integrati?
Integrazione con le
risorse del territorio
Grado di collaborazione
del territorio (per
tipologia di soggetti) alla
realizzazione della politica
Garanzia di livelli
omogenei di accesso
ai servizi
Vi è presenza o previsione
di iniziative informative,
di visibilità \
comunicazione sociale,
legate ai servizi?
OUTPUT






16
Misurazione dei prodotti
Domanda: “E’ stato fatto?”
Finalità: verificare, rendere conto,
rendicontare
Ambito di attenzione: interno al
servizio/progetto
Focus della misurazione: capacità di
rispettare gli impegni programmati
Tecniche e strumenti: monitoraggio
OUTCOME
Misurazione del successo e dei risultati
prodotti
 Domanda: “E’ stato raggiunto l’obiettivo?”
 Obiettivi: esprimere giudizi sull’operato, sul
successo, sulla performance realizzata
 Ambito di attenzione: interno ed esterno al
servizio/progetto
 Focus della valutazione: capacità di trattare
un problema o soddisfare una aspettativa
(effetti “lordi”), qualità ed efficienza con cui
lo si fa
 Tecniche e strumenti: analisi di
17 performance

IMPATTO






18
Misurazione degli effetti netti prodotti, gli
“esiti”
Domanda: “E’ servito?”
Obiettivi: valutazione della capacità del
progetto/servizio di produrre effetti in
termini di trattamento di un dato
problema
Ambito di attenzione: esterno
Focus della valutazione: effetti “netti”
prodotti
Tecniche e strumenti: analisi di impatto
IL PERCORSO DI COSTRUZIONE DEL DISEGNO DI
VALUTAZIONE DEL PIANO DI ZONA:
I 10 PASSAGGI PRINCIPALI
1.
2.
3.
4.
5.
6.
Individuazione della finalità della valutazione
Identificazione dello scopo (la mission) dell'evaluando
Identificazione delle dimensioni da valutare
Identificazione dei criteri di valutazione
Identificazione degli indicatori
Identificazione degli Strumenti e delle Fonti
informative.
7. Rilevazione sul campo.
8. Valutazione vera e propria (espressione di un giudizio)
9. Individuazione delle strategie di miglioramento.
10. Restituzione dei risultati della valutazione agli
stakeholders
19
Identificazione degli indicatori
In che modo possiamo rilevare informazioni
sulla dimensione da valutare?



20
Quali sono gli aspetti concreti, osservabili, che possono
aiutarmi a rispondere alle domande di valutazione e
analizzare le mie dimensioni al fine di consentire
l’espressione di giudizio? Quali elementi devo tenere
sotto controllo per rispondere alle domande?
Tra le molte informazioni che posso ricavare quali
sono quelle “strategiche”, quelle che è utile
raccogliere?
Fra queste, quali sono quelle che già possiedo, o
quelle che posso ricavare facilmente?
Ricordiamo che …
Nella scelta degli indicatori si tende a circoscrivere l’ambito
della rilevazione a ciò che è misurabile ( o enumerabile), con
una spesso netta propensione per la dimensione quantitativa
rispetto a quella qualitativa
“Un indicatore è qualcosa che dà informazioni su qualcos’altro”
( Marradi 1994)
“Per indicatore si intende una misura sintetica quantitativa, in
grado di fornire la rappresentazione di un fenomeno o di
riassumerne l’andamento” (Vecchi 2003)
21
Gli esiti dell’esercitazione del 26 aprile 2006
- DIMENSIONE: 2. SVILUPPO DEI SERVIZI
CRITERI: ADEGUATEZZA DELLA RISPOSTA/ CONTINUITA’
DELL’INTERVENTO
Indicatori:
 N° protocolli operativi attivati a partire dal Piano di Zona
 N° gruppi di lavoro sovracomunali a valenza di ambito formalizzati
 Esistenza e mantenimento di un glossario condiviso
 Ruolo dei soggetti partecipanti all’interno della propria organizzazione
CRITERIO: MIGLIORAMENTO E COORDINAMENTO DEI LIVELLI
DI INFORMAZIONE
Indicatori:
 Grado di diffusione dell’informazione integrata
 Riduzione di richieste improprie
22  Grado di soddisfazione dei cittadini
Gli esiti dell’esercitazione del 26 aprile 2006
- DIMENSIONE: 2. SVILUPPO DEI SERVIZI
CRITERIO: CONGRUENZA TRA BISOGNI E ALLOCAZIONE DELLE
RISORSE
Indicatori:
 Rapporto risorse definite e assegnate (ante e post Piano di Zona)
 Variazione spesa intervento: Consuntivo/preventivo
 Costo unitario per utente/ prestazione
 Percezione dei tavoli sui bisogni evidenziati e bisogni affrontati nel Piano di
Zona (ante)

Percezione tavoli su bisogni affrontati e azioni realizzate (post)
CRITERIO: MIGLIORAMENTO DELLA RAZIONALIZZAZIONE
DELLE RISORSE ESISTENTI: COSTRUZIONE DI PERCORSI
INTEGRATI
23 Rapporto tra il costo della diffusione dell’informazione ed il N° di persone
fruitrici
Gli esiti dell’esercitazione del 26 aprile 2006
- DIMENSIONE: 2. SVILUPPO DEI SERVIZI
CRITERIO: ACCESSIBILITA’/ TEMPESTIVITA’
Indicatori:
 Esistenza della carta dei servizi
 Esistenza della segnaletica/ informazione cartacea, web, banca dati
condivisa
 Esistenza di barriere architettoniche
 Incremento dei beneficiari
 Abbattimento liste di attesa
 Customer satisfaction su Piani di zona e servizi
 N° prese in carico condivise e integrate
24
Gli esiti dell’esercitazione del 26 aprile 2006
- DIMENSIONE: 2. SVILUPPO DEI SERVIZI
CRITERIO: MIGLIORARE LA QUALITA’ DI VITA DELLE
FAMIGLIE
Indicatori:
 Grado di soddisfazione dei cittadini
 Riduzione dell’istituzionalizzazione
 Riduzione dei tempi di attesa per l’accesso ai servizi
 Riduzione del numero di reati commessi da minori
 Riduzione delle separazioni altamente conflittuali
25
Ricordando le caratteristiche degli indicatori…
Gli indicatori, per essere adeguatamente
utilizzabili nel processo valutativo, debbono
possedere le seguenti caratteristiche ( Zajczyk
1997):
1)
2)
3)
4)
5)
6)
26
Validità
Attendibilità
Sensibilità
Adeguatezza
Comparabilità
Tempestività
Le caratteristiche degli indicatori
1) Validità, ovvero la capacità di rappresentare
effettivamente il concetto/ criterio indicato in modo
accettabile
Non esiste alcun criterio “oggettivo” per misurarla a
priori, al fine di soddisfare questo requisito ci si
avvale della conoscenza del contesto in cui si opera.
E’ infatti, ad esempio, proprio la conoscenza del
contesto che ha permesso di identificare in termini di
PARTECIPAZIONE l’indicatore: N° di soggetti
27
individuati (istituzionali e non)/ N° di soggetti
presenti sul territorio
Le caratteristiche degli indicatori
2) Attendibilità, ovvero è in grado di cogliere
effettivamente quegli aspetti che ci si era proposti
di rilevare
In che termini ad esempio “Gli interventi dei
partecipanti durante gli incontri” consentono di
ricostruire la dimensione PARTECIPAZIONE?
28
Le caratteristiche degli indicatori
3) Sensibilità, ovvero la capacità di discriminare
tra le diverse forme che può assumere un
fenomeno
E’ la sensibilità ad intervenire nell’individuazione di un
indicatore piuttosto che un altro, si pensi ad
esempio alla scelta di monitorare “I tempi di attesa
nell’accesso ai servizi” in termini di miglioramento
della qualità della vita delle famiglie
29
Le caratteristiche degli indicatori
4) Adeguatezza, ovvero rispondere ai bisogni
conoscitivi del valutatore
In termini ad esempio di Congruenza tra bisogni ed
allocazione delle risorse si è ritenuto adeguato
rilevare ex post la “Percezione dei tavoli
relativamente ai bisogni affrontati e alle azioni
realizzate”
30
Le caratteristiche degli indicatori
5) Comparabilità, ovvero la possibilità di
confrontare lo stesso fenomeno in aree
territoriali diverse o lo stesso fenomeno nella
stessa area ma in tempi diversi
6) Tempestività, ovvero possono essere utilizzati
in tempi adeguati per modificare un
programma o un intervento grazie al giudizio
che hanno permesso di formulare
31
Un esempio di
valutazione
32
Monitoraggio e valutazione del Piano
di Zona del Rhodense
Obiettivo: rilevare il cambiamento in
termini di
– sviluppo del sistema di pianificazione
dei servizi
– integrazione tra i soggetti della
governance
33
Il percorso
1.
2.
3.
4.
34
Costruzione del gruppo di valutazione (ufficio
di piano e dirigenti dei settori servizi sociali
dei Comuni)
Condivisione delle finalità della valutazione
Individuazione delle unità di analisi (indirizzi
di politica o “macroprogetti”)
Elaborazione dello strumento (scheda di
monitoraggio e valutazione) per valutare il
livello di realizzazione dei macroprogetti e
degli interventi sul territorio, e di garantire la
realizzazione di confronti e comparazioni
Il percorso
5.
6.
7.
35
Analisi dei risultati
Restituzione ai membri dell’ufficio di piano
dei primi esiti e raccolta di valutazioni
ulteriori, in particolare sugli aspetti
organizzativi
Individuazione delle linee di miglioramento e
di piste di approfondimento in vista della
futura programmazione
Le unità di analisi
Area e macroprogetto
Intervento/progetto
Area minori e famiglia:
protezione del minore e
sostegno della famiglia
Affido
Area anziani e disabili:
potenziamento interventi a
favore della domiciliarità
Buono trasporti
Spazio neutro
Potenziamento SAD attraverso
voucher sociali
Assegno di cura
Area esclusione sociale:
promozione “rete” di risposte al
disagio
Sportello immigrazione
Area di sistema: supporto
all’avvio del piano di zona
Studio di fattibilità per la
gestione associata
36
Tutoring casa
Criteri per la selezione dei progetti
La selezione dei progetti da valutare è
avvenuta secondo due criteri
1.
2.
37
I progetti dovevano essere
INNOVATIVI nei contenuti o nella
metodologia
I progetti dovevano essere gestiti
in modo ASSOCIATO tra i Comuni
dell’ambito
Azioni successive


38
Per ciascun intervento del disegno di
valutazione si sono raccolti dati,
informazioni e opinioni attraverso una
scheda composta da una prima parte di
monitoraggio e da una seconda parte di
valutazione del singolo intervento.
Questo ha consentito di tracciare una
fotografia ed un’analisi critica del livello
di attuazione del piano anche in termini
gestionali.
Le informazioni e i dati raccolti






39
Stato di avvio e di realizzazione degli
interventi monitorati
Destinatari raggiunti
Risorse impegnate
Attività di coordinamento, formazione
ricerca e valutazione realizzate
Livello di integrazione inter e intra
istituzionale
I fattori ostacolanti e facilitanti
l’attuazione
Sintesi dell’esito del percorso per
l’area anziani/disabili
FINALITA’
o OBIETTIVO STRATEGICO
“sostenere la rete parentale per il
mantenimento dei soggetti fragili al
proprio domicilio”
FENOMENI RILEVATI: invecchiamento della popolazione,
prolungamento della vita media, aumento delle famiglie
monoparentali di anziani, aumento di anziani in condizione
di totale non autosufficienza, possibilità di miglioramento
nel supporto alle famiglie di persone con disabilità.
40
Sintesi dell’esito del percorso per
l’area anziani/disabili
STRATEGIE PER FAR FRONTE AI
PROBLEMI RILEVATI
BUONO TRASPORTO
 ASSEGNO DI CURA
 POTENZIAMENTO DELL’ASSISTENZA
DOMICILIARE ATTRAVERSO IL VOUCHER
SOCIALE

41
Sintesi dell’esito del percorso per
l’area anziani/disabili
ELEMENTI DI INNOVAZIONE DEI
PROGETTI
PER I BUONI TRASPORTO: definizione dei criteri di
erogazione condivisi e definiti a livello territoriale
PER ASSEGNO DI CURA: monitoraggio dell’esperienza
PER VOUCHER SOCIALI: definizione dei criteri di
accreditamento e delle regole di erogazione dell’intervento
condivise con il III settore e con le amministrazioni
pubbliche
42
Riflessioni valutative al termine del
primo triennio

Target:
Netta prevalenza nell’erogazione dell’assegno di cura ai soggetti
anziani rispetto ai disabili in relazione alle regole di accesso
formulate: in futuro si dovrà provvedere ad una distinzione dei
fondi
 Integrazione:
Diffusione della conoscenza e della collaborazione interna fra gli
operatori degli enti coinvolti nel processo. Si è stabilita una
rete di collaborazione fra operatori di diversi comuni e privato
sociale nella fase di costruzione del processo del voucher,
favorendo la condivisione di letture omogenee del problema.

Metodologia:
Il macroprogetto ha consentito di costruire una iniziale ma
effettiva omogeneizzazione delle regole di accesso e
funzionamento di servizi e interventi previsti nella macroarea.
43
Destinatari
TIPOLOGIA
POTENZIALI
RAGGIUNTI
100
41
17
Cittadini stran. e ital.
1000
600
500
Minori/ nuclei familiari
16
14
1
105
105
35
35
Previsti 290
per assegno
di cura
171
Utenti servizi
Adulti (fam. Affido)
Minori (affido)
Anziani
Disabili
Oncologici
Minori
51
12
1
Amministratori
18
Altro
10
44
DI CUI
DISABILI
1
DI CUI
STRANIERI
Un confronto fra target raggiunti
area sistema
18
18
area
emarginazione
641
area anziani e
disabili*
1100
raggiunto
previsto
245
area minori e
famiglia
155
156
0
200
400
600
800
1000 1200
*Per l’area anziani non c’è una previsione di destinatari e
non è disponibile il dato del potenziamento SAD
45
Velocità di attuazione
Più velocemente del
previsto
Serv. Affido (incremento richieste)
Lo studio di fattibilità per gestione
associata
Come previsto
Assegno di cura
Potenziamento SAD (tranne fermo
tavolo politico)
Migramondo
Spazio neutro
Più lentamente del
previsto
46
Buono trasporto (poche richieste)
2. Lavoro di gruppo

Confrontarsi, sia rispetto ai risultati emersi
dalla prima esercitazione del 29.05 che a
quelli dell’esercitazione precedente, per
individuare:
–
–
–
–


Le unità d’analisi dell’area XXX
Dimensioni
Criteri
Indicatori
GRUPPI: per area tematica
TEMPO: 1 ora
47