LA STATISTICA E IL PROCESSO DECISIONALE
Il riconoscimento del ruolo della statistica nei processi
decisionali, in particolare per l’attività pubblica, richiede:
• Volontà nella RICERCA STATISTICA di confrontarsi con
realtà caratterizzate da comportamenti, logiche di
azione e condizioni ambientali particolari e spesso
sconosciute
• Volontà nell’ATTIVITA’ CONCRETA di accogliere il
contributo di una disciplina considerata da sempre
troppo astratta
Valutare e decidere
1/4
La valutazione è un processo intellettuale di analisi e
sintesi, le cui finalità fondamentali sono:
• imparare sistematicamente dall’esperienza;
• utilizzare quanto appreso per migliorare le attività
correnti
e
promuovere
lo
sviluppo
della
programmazione attraverso un’accurata selezione di
alternative per l’azione futura
Valutare e decidere
La valutazione è uno strumento orientato
all’assunzione di decisioni
Contesto tecnico-statistico
Contesto politico
Nelle attività di Valutazione le operazioni statistiche fornendo
le basi per la decisione acquistano valore politico
Contesto tecnico-statistico
Contesto politico
Nelle attività di Valutazione le decisioni politiche senza un
apporto tecnico-statistico non sono in grado di rispondere a
bisogni informativi
2/4
Valutare e decidere
3/4
La necessità di valutare può derivare da una molteplicità di
bisogni:
1) la carenza di informazioni, necessarie all’attività
programmatoria, relative alla conoscenza dei bisogni e
alla determinazione degli obiettivi;
2) la mancanza di sufficienti conoscenze utili alla gestione
di un sistema operativo già esecutivo;
3) la necessità di monitoraggio in medio tempore sullo
stato di avanzamento e di realizzazione delle attività
intraprese;
4) l’esigenza di verifiche al termine delle attività
Valutare e decidere
Schema di processo
valutativo
Dei soggetti
decisori
Variabili in gioco
4/4
Sistema
decisionale
Quesiti
conoscitivi
Sui fenomeni
del sistema
operativo
Modello di
sistema operativo
Relazioni
tra le variabili
Indicatori
Sistema
informativo
La decisione come processo
Ogni
decisione,
personale
sia
essa
o istituzionale,
individuale
quale
o
1/14
collettiva,
espressione
di
un
impegno ed intervenire nella realtà, è il prodotto ultimo di
un insieme di attività di analisi, elaborazione e confronto
PROCESSO DECISIONALE
MODELLO
La decisione come processo
2/14
MODELLO
Modello semplificato del processo decisionale mirato a trattare
il contributo della STATISTICA
1. Tre fasi sequenziali facenti capo a corrispondenti attività e
richiedenti informazioni più o meno ampie (identificazione
del problema, formulazione di soluzioni, adozione di
una decisione)
Assunzioni per la
formulazione del
modello
2. Componenti relative al contesto e agli attori (risorse,
vincoli ambientali, sistema di valori e attese dei
soggetti, personali conoscenze ed esperienze in
riferimento al problema, livello di sensibilità tecnicoscientifica)
3. Direzione del processo secondo una logica incrementale
(riduzione dell’incertezza e delle alternative)
La decisione come processo: l’identificazione del problema 3/14
Attese di un soggetto
responsabile del processo
decisionale
Sue percezioni relative al livello
di realizzazione di queste nella
realtà
GAP
Problema
Dimensione del problema
Nella fase di identificazione del problema, molto spesso il decisore non
utilizza strumenti tecnici idonei a misurare la realtà, e si limita a valutazioni
di carattere personale o di convenienza politica
• Indicare più obiettivamente le aree su cui intervenire
• Porre obiettivi concreti al decisore
Contributo della
ricerca statistica
• Suggerire interventi meno dipendenti dalla sensibilità
del decisore e dagli aspetti soggettivi e più rispondenti
alle necessità oggettive
• Fornire un supporto all’imparzialità dell’attività
successivamente svolta (es. Pubblica Amministrazione)
La decisione come processo: la formulazione delle soluzioni 4/14
Due attività principali:
Nella letteratura
politologica:
• Raccolta di informazioni
• Preparazione di proposte di soluzioni
Analisi (ricerca di alternative mediante elaborazione dal
semplice al complesso, per individuare le implicazioni
possibili, gli effetti di un intervento piuttosto di un’altro e le
eventuali conseguenze dovute all’inazione)
Selezione (riduzione delle diverse opzioni proponibili a
poche scelte, operata sulla base di valutazioni di merito o
di opportunità, di fattibilità, di cogenza normativa, ecc…)
La decisione come processo: la formulazione delle soluzioni 5/14
Nel modello semplificato:
• dimensioni e peculiarità
del problema
• conoscenze tecnico-scientifiche
disponibili
• disponibilità di risorse
• caratteristiche ambientali
• ristrettezza dei vincoli
• “stile decisionale” del decisore (modus
procedendi caratterizzato da
sistematicità e da consapevolezza)
Attività di ricerca preparatoria alla decisione
(raccolta di informazioni e proposta di soluzioni)
Minima
Ampia
(previsione di un’unica soluzione)
(previsione di più soluzioni)
La decisione come processo: l’adozione di una decisione 6/14
In tale fase: • vengono prese in esame le soluzioni possibili,
precedentemente elaborate;
• vengono messe a confronto tali soluzioni, con lo scopo
di identificare la più soddisfacente;
• viene infine operata la scelta.
In un processo decisionale:
Sistema di valori e di priorità del
decisore (efficienza economica,
efficacia sociale, convenienza politica,
in termini di risultati, in termini di
impatto, ecc…)
Sostenuto da:
Ricerca e utilizzo di informazioni
nelle fasi precedenti (con l’ausilio di
tecniche statistiche)
Scelta e adozione di una
decisione
La decisione come processo:
le informazioni e il processo decisionale
VARIABILI DIPENDENTI DAL DECISORE:
- La fiducia nella metodologia statistica
e negli strumenti informativi
7/14
Schema delle variabili
che influenzano l’utilizzo
di dati statistici
- Il sistema dei valori e delle attese
- Lo stile decisionale
VARIABILI DIPENDENTI DAL PROBLEMA:
-La natura
-La complessità
VARIABILI DIPENDENTI DALL’AMBIENTE:
- Le risorse disponibili
- I vincoli esistenti
UTILIZZO DI
DATI
STATISTICI
NEL PROCESSO
DECISIONALE
La decisione come processo:
le informazioni e il processo decisionale
VARIABILI DIPENDENTI DAL DECISORE:
- La fiducia nella metodologia statistica
e negli strumenti informativi
- Il sistema dei valori e delle attese
- Lo stile decisionale
8/14
Sovrintende l’intero
processo decisionale:
• attraverso le attese, influisce sulla
fase di identificazione del problema;
• determina i contenuti informativi
rilevanti;
• orienta la scelta del sottoinsieme di
soluzioni possibili;
• su quali possibili conseguenze delle
soluzioni proposte focalizzare
l’attenzione e quali elementi
trascurare;
• indirizza la valutazione delle
alternative e decreta la più
soddisfacente;
• stabilisce quali siano gli aspetti
della realtà da considerare in vista
di nuove decisioni.
La decisione come processo:
le informazioni e il processo decisionale
VARIABILI DIPENDENTI DAL DECISORE:
- La fiducia nella metodologia statistica
e negli strumenti informativi
- Il sistema dei valori e delle attese
- Lo stile decisionale
Es. Instabilità dei sistemi di valori e
attese
propri
della
Pubblica
Amministrazione, per complessità
dei meccanismi che sovrintendono al
reale con cui confrontarsi, e per
continue modifiche degli equilibri
necessari all’assunzione di una
decisione, alla cui formazione
concorrono numerose parti.
9/14
Riconoscimento difficile dei criteri
e delle logiche sottostanti:
• componenti di natura soggettiva;
• presenza di aree grigie nel processo
decisionale, con scelta di non
confrontarsi apertamente per
evitare possibili scontri;
• utilizzo di criteri non legittimi e
utilizzo di informazioni con intento
strumentale;
• resistenza ad esporsi con valori ed
attese troppo rigorosi per il timore
di valutazione critica e di controllo
interno ed esterno sul proprio
operato;
La decisione come processo: Misconoscimento e riconoscimento della
funzione informativa della statistica nella Pubblica Amministrazione 10/14
Due estremi di connubio tra metodi statistici e processi decisionali:
Misconoscimento della validità della
funzione informativa della statistica
Prevalere dell’approccio burocratico nella
formazione della decisione, caratterizzata da:
• rigidità delle forme e delle procedure;
• pretta applicazione delle norme;
• inalterabilità delle routine;
• limitatezza degli strumenti informativi;
• attribuzione della funzione di formazione
e analisi dei dati a personale
amministrativo non qualificato.
Produzione di decisioni come atti amministrativi
formali, meri esecuzioni della legge
La decisione come processo: Misconoscimento e riconoscimento della
funzione informativa della statistica nella Pubblica Amministrazione 11/14
Riconoscimento del contributo della statistica al soddisfacimento del
fabbisogno informativo e della sua rilevanza nell’attività decisionale
Attività pubblica maggiormente svincolata dai formalismi e più
marcatamente caratterizzata da un approccio tecnico
• verifica sistematica della rilevanza dei contenuti
conoscitivi in vista della decisione;
• attenzione alla qualità e alle potenzialità dell’apparato
informativo;
Produzione di decisioni come atti di
pianificazione dell’attività amministrativa
La decisione come processo: Misconoscimento e riconoscimento della
funzione informativa della statistica nella Pubblica Amministrazione 12/14
Statistici
Decisori
Mansioni concettuali e esecutive di
preparazione dell’informazione
opportuna alla decisione
Operare le decisioni mediante
l’esercizio dell’attività di scelta tra
soluzioni possibili
Abilità nel “discriminare tra strumenti”
Abilità nel “discriminare tra politiche”
Ricerca del compromesso tra la diversa natura di valori e di
attese, di abilità e di sensibilità, in modo che si realizzi una
proficua collaborazione e che i risultati finali rappresentino un
equilibrio tra i rispettivi modi di operare
La decisione come processo: Le cause della resistenza del soggetto
13/14
Pubblica Amministrazione all’utilizzo dell’informazione statistica
Difficoltà per l’informazione statistica ad entrare nei processi decisionali della
Pubblica Amministrazione per cause:
tecniche
politiche
frazionamento su più livelli dell’attività pubblica e della
responsabilità del pubblico servizio che ostacola la costruzione
di sistemi informativi omogenei;
ambientali
“formalismo giuridico”, ovvero attitudine del soggetto pubblico
a incentrare la propria azione sul dettato letterale della norma; il
principio di legalità ha assoluta priorità su qualunque altro
criterio ispiratore (buon andamento, efficacia, efficienza,
economicità, ecc..);
carenza di stuff dedicato all’attività di raccolta, produzione e
gestione delle informazioni, interno all’Amministrazione o
esterno, ma ad essa legato da un vincolo di collaborazione
stabile e duraturo.
La decisione come processo: La cultura statistica
14/14
Quale diffusione della cultura statistica? Quale diffusione della valutazione?
Uso controverso del termine e scarsa applicazione corretta anche
nella Pubblica Amministrazione per generale carenza di cultura
quantitativa
Applicazione solo parziale di interventi del legislatore a sostegno dei
sistemi informativi nella Pubblica Amministrazione
Ambiente non ancora propenso al riconoscimento del contributo
degli strumenti conoscitivi nel processo decisionale
Per i tecnici che si occupano di
valutazione, o comunque di
produzione di dati e statistiche di
sostegno alla pubblica azione,
saper:
attuare una “politica attiva”, da
realizzare attraverso un inserimento più
fattivo ed articolato, con valenze
operative sempre più accentuate
muoversi con disinvoltura in condizioni
non ideali di applicazione del metodo
mostrare un atteggiamento disposto al
dialogo e un approccio elastico
LA VALUTAZIONE: Introduzione
1/7
Funzione della Valutazione
Momento qualificante delle attività di Programmazione di azioni e interventi
che intende raggiungere delle finalità o obiettivi (benessere sociale od
economico di una popolazione o comunità), attraverso interventi specifici,
mirati, i quali vengono perseguiti e condotti sempre con risorse limitate
(umane, economiche, culturali, professionali)
La Valutazione (V) è un momento importante che deve caratterizzare ogni
passo della programmazione, per questo più che parlare della V ad es.
dei servizi, ha senso parlare di V come una condizione che caratterizza
ogni passo del processo programmatorio.
Valutazione
Sviluppo della Qualità (Quality Improvement)
Processo di natura tecnico-organizzativa mirato a
garantire livelli di qualità sempre più elevati nei
risultati finali di un sistema produttivo attraverso
cambiamenti continui e progressivi in variabili di
struttura e di processo che caratterizzano la
specifica produzione.
LA VALUTAZIONE: Introduzione
2/7
Primi percezioni della necessità di V sin dagli anni '30 negli USA.
L'espressione del "bisogno" non è più percepita come sufficiente
perché un intervento (qualunque) sia ritenuto giusto, opportuno,
utile.
Da cui la necessità di individuare i motivi, le ragioni dell’intervento e
misurare i risultati ottenuti a preventivo e a consuntivo.
La nascita della cultura della V viene collocata negli anni ‘60, nello
scenario dei programmi sociali delle amministrazioni democratiche
americane. Si pone sempre più forte la necessità di dimostrare la
produttività, l’efficienza, i benefici (sia economici che sociali) delle
politiche economiche e sociali nelle quali viene speso il denaro dei
“cittadini-contribuenti”.
Solo dagli anni '90 con in concetto di "qualità" si comincia a parlare
di V, ma ancora in modo limitato e non sistematico.
LA VALUTAZIONE: Introduzione
3/7
Nel 1981, l’Organizzazione Mondiale della Sanità si esprime così sulla
Valutazione:
“Un modo sistematico di imparare dall’esperienza e di utilizzare
quanto appreso per migliorare le attività correnti e promuovere lo
sviluppo della programmazione attraverso un’accurata selezione
di alternative per l’azione futura”.
approccio empirico, ragionato, mirato, di osservare
il servizio e le attività connesse
accento sul fabbisogno di informazioni, sulla
raccolta sistematica di dati e sulla loro
trasformazione in informazioni
LA VALUTAZIONE: Introduzione
4/7
Una successiva e importante definizione di V è fornita da Patton:
"La pratica della Valutazione riguarda la raccolta sistematica di
informazioni circa le attività, le caratteristiche e i risultati di
programmi, personale e strutture destinata a persone interessate a
giudicare come specifici aspetti di quei programmi, di quel
personale, di quelle strutture abbiano operato e abbiano influito sul
sistema.”
raccolta sistematica e organizzata di informazioni
relativamente ad un insieme vasto e complesso di elementi
del Sistema
ruolo centrale alla Statistica come metodo e insieme di
tecniche atte alla produzione di informazioni da dati empirici
qualitativi e quantitativi
vincolo di assegnare a tali informazioni il compito di
esprimere giudizi da parte di specifici soggetti
il termine V in generale destinato a : a) programmi, b)
personale, c) politiche, d) strutture; e) altri processi
valutativi
LA VALUTAZIONE: Introduzione
5/7
Il Congresso dell’Associazione Italiana di Valutazione del 1997 precisava:
"La Valutazione risulta senz’altro di grande aiuto quando si vuole
individuare il modo migliore per perseguire gli obiettivi, soprattutto
in una situazione come quella italiana, caratterizzata dall’attenzione
alle procedure piuttosto che al perseguimento dei risultati, oltre che
da un certo fatalismo sulle difficoltà di riforma delle istituzioni
pubbliche.”
“Valutare significa confrontare i risultati ottenuti da politiche e
interventi pubblici con gli obiettivi individuati e con i problemi che
essi intendevano affrontare: la Valutazione è, quindi, uno strumento
chiave per valorizzare le scelte.”
“La V è un processo attraverso il quale si intende esprimere un
giudizio in merito ad una decisione da prendere o ad una politica
che si è realizzata” (Bertin, l995).
LA VALUTAZIONE: Introduzione
6/7
La valutazione deve essere svolta da esperti o quanto meno da
persone competenti. È specialistica e interdisciplinare (Stame, 1997).
Alcune discipline hanno sviluppato al loro interno saperi e
competenze valutative, dando così origine a degli esperti di
valutazione
Ogni ricerca valutativa oltre ad attingere a uno o più dei saperi
fondanti, dovrà entrare in contatto con le discipline che si
occupano delle attività o delle questioni da valutare
Sono necessarie competenze tecniche
proprio dell’ambito metodologico,
quantitativo e quindi anche della
Statistica
Bisogna entrare nell’ambito sostantivo,
conoscere la sostanza del problema
La V è il risultato di un gruppo di lavoro, di una équipe di “esperti” che
interagiscono nelle singole componenti, sul problema sostantivo. Non un
lavoro di élite di “esperti” che forniscono il loro contributo anche altamente
specialistico ma distinto dagli altri, in termini anche astratti e non collegati al
contesto sostantivo
LA VALUTAZIONE: Introduzione
7/7
È essenziale concepire la V come uno strumento orientato alla
assunzione di decisioni, e di collegare strettamente il processo
valutativo con quello decisionale, sia a livello operativo che politico e
di governo.
Il processo attraverso cui si effettua una V deve essere considerato
altrettanto importante delle conclusioni a cui si perviene, dato che il
coinvolgimento nello stesso processo spesso induce a migliorare la
comprensione delle attività oggetto di valutazione e un più
costruttivo approccio alla loro gestione e all’azione futura.
LA VALUTAZIONE: I bisogni della V
1/1
I bisogni di valutazione sono molteplici e possono essere classificati in
tre grandi categorie:
necessità di alimentare la conoscenza utile per gestire un particolare
segmento di piano già reso esecutivo dagli organi di governo: a questo
aspetto della valutazione è interessata la struttura operativa dei servizi,
in quanto responsabile dell’uso corrente delle risorse ai fini del
perseguimento degli obiettivi di piano e titolare della decisioni
necessarie a far funzionare il sistema adattandolo in via continuativa alle
circostanze concrete
bisogni valutativi collegati con il governo di un segmento temporale di
piano: si tratta di effettuare verifiche periodiche sullo stato di attuazione
del piano e sulla sua idoneità a perseguire gli obiettivi previsti, verifiche
finalizzate a rendere disponibili conoscenze utili per l’aggiornamento
periodico del piano
bisogni valutativi collegati con il governo del processo programmatorio
visto nella sua continuità storica di medio periodo
LA VALUTAZIONE: Il quando della V
1/3
La V può intervenire su diversi livelli e in diversi momenti del
progetto, dell’azione o della politica considerata:
valutazione ex-ante: interviene prima dell’esecuzione del
progetto, al livello dell’iniziale definizione di obiettivi e
strategie. Si analizzano le possibili alternative di un progetto,
individuando la/le soluzione/i migliore/i per attuarlo e
prevedendo i possibili esiti. Aiuta il decisore a ridurre
l’incertezza nelle scelte. È finalizzata “per decidere” e “per
selezionare”.
LA VALUTAZIONE: Il quando della V
2/3
valutazione in itinere: si applica nel corso della
realizzazione del progetto con l’obiettivo di evidenziarne gli
effetti, di valutarne l’impatto e di rilevare le insorgenze di
conseguenze non previste. Consente di verificare se la
realizzazione del progetto si sta dirigendo verso gli obiettivi
prefissati. È ancora poco presente nei servizi pubblici italiani.
Il monitoraggio, che consiste in una attività di rilevazione
sistematica e continuativa per verificare lo stato di
avanzamento dei progetti, è lo strumento che permette di
effettuare la valutazione in itinere.
LA VALUTAZIONE: Il quando della V
3/3
valutazione ex-post: interviene quando il progetto è
completo e concluso, per cercare di tener conto degli effetti
realmente prodotti dal progetto e per verificare se gli obiettivi
iniziali siano stati raggiunti. Essa riveste un interesse
fondamentale, perché consente di trarre degli insegnamenti
per eventuali progetti futuri e al contempo permette di
correggere, qualora sia possibile, parti del progetto
originario.
Questo tipo di valutazione viene utilizzata solo in pochissimi
casi e principalmente, quando è imposta dalla legge.
LA VALUTAZIONE:
Glossario dei principali termini utilizzati negli ambiti della valutazione
e gestione basata sui risultati (documento Ocse/Dac – 2002)
Il Gruppo di lavoro sulla valutazione del Comitato aiuto allo sviluppo (Dac) è un
forum internazionale, nel quale gli esperti di valutazione in servizio presso agenzie
di sviluppo bilaterali o multilaterali si riuniscono periodicamente per condividere le
proprie esperienze, con l’obiettivo di migliorare la pratica della valutazione e
rafforzarne l’impiego come strumento per le politiche di cooperazione
GLOSSARIO (www..org/dac/evaluation).
Valutazione: L’apprezzamento sistematico e oggettivo su formulazione, realizzazione ed esiti
di un progetto, programma o politica di sviluppo che si effettua in corso d’opera o dopo il
completamento delle attività previste. Essa si propone di esprimere un giudizio sulla rilevanza
e il raggiungimento degli obiettivi, su efficienza, efficacia, impatto e sostenibilità. Una
valutazione dovrebbe fornire informazioni credibili e utili e consentire ai beneficiari e ai
donatori l’integrazione degli insegnamenti appresi nei loro processi decisionali. Per
valutazione si intende anche il processo di determinazione del valore e dell’importanza dei
possibili effetti indotti da un’attività, politica o programma. Trattasi della formulazione di un
giudizio, nel modo più sistematico e oggettivo possibile, su un intervento di sviluppo
pianificato, in fase di realizzazione o già completato. Nota: in alcuni casi, la valutazione
comporta la definizione di standard appropriati, un esame delle prestazioni rese in rapporto a
detti standard, un giudizio sui risultati ottenuti rispetto a quelli originariamente attesi e
l’identificazione degli insegnamenti più rilevanti scaturiti dall’esperienza. Termine correlato:
riesame.
GLOSSARIO (www..org/dac/evaluation).
Valutazione a grappoli: Valutazione di un insieme di attività, progetti e/o programmi tra loro
correlati.
Valutazione congiunta: Valutazione alla quale partecipano diversi organismi donatori e/o
partner.
Nota: esistono vari gradi di “associazione” a seconda della misura in cui i singoli partner
cooperano nel processo di valutazione, mettono in comune le loro risorse e concorrono
all’elaborazione dei documenti di valutazione. Le valutazioni congiunte possono contribuire al
superamento dei problemi di attribuzione nello stabilire l’efficacia dei programmi e delle
strategie, la complementarità degli sforzi sostenuti dai diversi partner, la qualità del
coordinamento, ecc.
Valutazione di processo: Valutazione delle dinamiche interne degli enti esecutori, degli
strumenti a loro disposizione per le politiche di sviluppo, dei loro meccanismi di
funzionamento, delle loro modalità di gestione e dei collegamenti esistenti tra questi elementi.
Termine correlato: valutazione formativa.
Valutazione di progetto: Valutazione di un singolo intervento di sviluppo ideato per
raggiungere determinati obiettivi, con risorse e tempi di realizzazione definiti, spesso nel
contesto di un programma più vasto.
Nota: l’analisi costi-benefici costituisce uno dei principali strumenti di valutazione per i progetti
che presentano benefici quantificabili. Quando i benefici non possono essere quantificati, il
metodo di indagine appropriato è l’analisi costo-efficacia.
Valutazione di programma: Valutazione di un insieme di interventi combinati e destinati al
raggiungimento di specifici obiettivi di sviluppo a livello globale, di area, di paese, o al
raggiungimento di obiettivi di sviluppo settoriale.
Nota: un programma di sviluppo è un intervento temporalmente vincolato, comprendente
molteplici attività che possono interessare in modo trasversale diversi settori, temi e/o aree
geografiche. Termine correlato: valutazione di programma-paese.
GLOSSARIO (www..org/dac/evaluation).
Valutazione di programma-paese: Valutazione del portafoglio degli interventi di sviluppo di
uno o più donatori o agenzie, e della relativa strategia di assistenza, in un paese partner.
Valutazione di programma settoriale: Valutazione di un insieme di interventi di sviluppo
settoriali, in uno o più paesi, che contribuiscono al conseguimento di un obiettivo di sviluppo
specifico. Nota: un settore include le attività di sviluppo comunemente raggruppate secondo le
competenze della pubblica amministrazione come la salute, l’educazione, l’agricoltura, i
trasporti, ecc.
Valutazione esterna: Valutazione di un intervento di sviluppo condotta da enti e/o individui al
di fuori degli organismi finanziatori o esecutori.
Valutazione ex ante: Valutazione di un intervento di sviluppo eseguita prima della sua
realizzazione. Termine correlato: valutazione preliminare, controllo preliminare di qualità.
Valutazione ex post: Valutazione di un intervento di sviluppo eseguita dopo il suo
completamento.
Nota: essa può essere effettuata subito dopo o molto tempo dopo la conclusione
dell’intervento con l’intento di identificare i fattori di successo o insuccesso, di valutare la
sostenibilità dei risultati e l’impatto, e di trarre conclusioni che possano influenzare altri
interventi.
Valutazione formativa: Valutazione volta a migliorare le prestazioni rese che viene
generalmente effettuata durante la fase di realizzazione di progetti o programmi.
Nota: le valutazioni formative possono essere effettuate per altre ragioni quali la verifica di
conformità, esigenze di tipo legale o come componenti di valutazioni più ampie.
GLOSSARIO (www..org/dac/evaluation).
Valutazione indipendente: Valutazione realizzata da enti o persone non soggetti a controllo
da parte dei responsabili della formulazione e della realizzazione di un intervento di sviluppo.
Nota: la credibilità di una valutazione dipende in parte dal grado di indipendenza con la quale
è stata effettuata. L’indipendenza implica la libertà da influenze politiche e da pressioni degli
enti interessati e si caratterizza per un libero accesso alle informazioni e per un’autonomia
totale nell’investigazione e nella presentazione dei risultati.
Valutazione intermedia: Valutazione condotta circa alla metà della fase di realizzazione
dell’intervento. Termine correlato: valutazione formativa.
Valutazione interna: Valutazione di un intervento di sviluppo eseguita da un’unità e/o da
persone che dipendono dall’ente finanziatore, dal partner locale o dall’ente esecutore.
Termine correlato: autovalutazione.
Valutazione partecipativa: Metodo di valutazione nel quale i rappresentanti di agenzie e di
altre parti interessate (inclusi i beneficiari) collaborano alla definizione, realizzazione e
interpretazione dei risultati di una valutazione.
Valutazione preliminare: Un giudizio complessivo sulla rilevanza, fattibilità e impatto
potenziale di un intervento di sviluppo effettuato prima della decisione in merito al
finanziamento dell’intervento stesso.
Nota: presso le banche e le agenzie di sviluppo, la valutazione preliminare abilita gli organi
deliberanti a decidere se la proposta di finanziamento all’esame costituisce un investimento
appropriato per le loro risorse. Termine correlato: valutazione ex ante.
Valutazione riepilogativa: Studio condotto alla fine di un intervento (o di una sua fase) per
determinare in che misura sono stati raggiunti i risultati attesi. La valutazione riepilogativa è
volta a fornire informazioni sul valore di un programma. Termine correlato: valutazione di
impatto.
Valutazione tematica: Valutazione di un gruppo selezionato di interventi, tutti indirizzati verso
una specifica priorità di sviluppo, che interessa trasversalmente più paesi, aree e settori.
LA VALUTAZIONE: DAC Evaluation Quality Standards
Il seguente contributo offre uno schema di riferimento delle fasi e componenti il
processo di Valutazione così come proposto da un gruppo di studio DAC in
collaborazione con l’OECD (www.oecd.org/dac/evaluationnetwork).
Standard di Qualità per la valutazione stabiliti dal DAC
(Comitato di Aiuto allo Sviluppo /
Development Assistance Committee)
(per l’applicazione di una fase sperimentale)
Introduzione
Gli standard di qualità della valutazione stabiliti dal DAC identificano i punti chiave
necessari (identify the key pillars needed) per il processo e per la realizzazione
(product) di una valutazione di qualità. Sono stati preparati dai membri del DAC allo
scopo di definire le aspettative dei paesi membri relativamente ai processi e alle
realizzazioni (product) di valutazione.
Gli standard non sono vincolanti per i paesi membri ma sono una guida per una
“good practice” con l’obiettivo di migliorare la qualità delle valutazioni di intervento
allo sviluppo. Intendono contribuire ad un approccio armonizzato alla valutazione in
linea con i principi della Dichiarazione di Parigi sull’Efficacia dell’aiuto1
Gli standard hanno lo scopo di:
a) fornire gli standard per il processo (conduct) e per le realizzazioni/prodotti (outputs) delle valutazioni;
b) facilitare il confronto delle valutazioni attraverso i paesi (metavalutazione);
c) facilitare le associazioni e la collaborazione sulla valutazione congiunta (joint-evaluation);
d) permettere ai paesi membri di utilizzare reciprocamente i risultati e i rapporti sulle valutazioni
(compreso good practice e insegnamenti appresi dalla valutazione); e
e)semplificare gli sforzi di valutazione.
Gli Standard supportano le valutazioni che aderiscono ai principi di valutazione che troviamo nei “Principles for
the Evaluation of Development Assistance” (Principi per la Valutazione di assistenza allo Sviluppo),
includendo imparzialità e indipendenza, credibilità e utilità2, gli standard dovrebbero essere letti in accordo
con quei principi.
I Principi si concentrano sulla gestione e sulla organizzazione istituzionale dei sistemi di valutazione all’interno
delle agenzie di sviluppo e rimangono il riferimento (benchmark) rispetto al quale sono valutati i membri
OECD attraverso il meccanismo delle DAC Peer Reviews3. Al contrario gli Standard forniscono
indicazioni sul processo (conduct) delle valutazioni e sulle relative rendicontazioni.
Sebbene gli standard non siano vincolanti per ogni valutazione, dovrebbero comunque essere applicati il più
largamente possibile e laddove non fosse possibile, dovrebbe essere fornita una breve spiegazione.
Il termine “intervento di sviluppo” (‘development intervention’) è usato negli standard come un termine
generale, per riferirsi all’oggetto della valutazione e può riferirsi ad una attività, ad un progetto, ad un
programma, ad una strategia, ad una politica, ad un tema, ad un settore, ad una zona operativa, alle
prestazioni istituzionali, etc.
Gli standard riconoscono che la realizzazione di una valutazione può avvenire in una varietà di forme, incluse le
relazioni orali o scritte, esposizioni e gruppi di lavoro. Il termine “rapporto/relazione di valutazione
(evaluation report)” è usato per tutte le forme che può assumere la realizzazione di una valutazione.
1. Spiegazione razionale, scopo e obiettivi di una valutazione.
1.1 Spiegazione razionale della valutazione.
Descrive perchè e per chi la valutazione è intrapresa e perchè viene
intrapresa in un particolare momento temporale.
1.2 Lo scopo della valutazione.
Lo scopo della valutazione è in linea con la funzione di apprendimento e
rendicontabilità della valutazione.
Per esempio lo scopo della valutazione potrebbe essere di:
- Contribuire a migliorare una politica, procedura o tecnica di assistenza,
- Considerare la continuazione o l’interruzione di un progetto;
- Rendere conto, alle persone interessate (stakeholder) e ai contribuenti,
delle spese per l’assistenza.DAC Evaluation Quality Standards
1.3 Gli obiettivi di una valutazione .
Gli obiettivi della valutazione specificano cosa la valutazione mira a realizzare.
Per esempio:
- accertare risultati (prodotti (output), effetti a medio termine (outcome), impatto
(impact)) e valutare l'efficacia, l'efficienza e l'attinenza di un intervento specifico
di sviluppo;
- fornire risultati (findings), conclusioni e raccomandazioni riguardo ad uno specifico
programma o ad una specifica politica.
DAC Evaluation Quality Standards
2. Portata della valutazione .
2.1 Portata della valutazione.
La portata della valutazione è chiaramente definita specificando i temi (issues)
trattati, i fondi realmente spesi, il periodo di tempo, i tipi di intervento, la copertura
geografica, i gruppi target, così come altri elementi di intervento allo sviluppo
interessati alla valutazione.
2.2 Logica e risultati di intervento.
Il rapporto di valutazione descrive e valuta brevemente la logica di intervento e
distingue i risultati a livelli differenti: input, attività, effetti a medio termine (outcome) e
impatti. Il rapporto fornisce inoltre una breve valutazione globale della logica di
intervento.
2.3 Criteri di valutazione.
Il rapporto di valutazione applica i cinque criteri stabiliti dal DAC per la valutazione
dell’assistenza allo sviluppo: pertinenza, efficienza, efficacia, impatto e sostenibilità. I
criteri applicati per la valutazione data, sono definiti in termini non ambigui, qualora
non venga applicato un particolare criterio, questo deve essere spiegato nella
relazione di valutazione, così come nel caso in cui siano applicati criteri aggiuntivi.
2.4 Quesiti relativi alla valutazione.
I quesiti sollevati, così come ogni revisione ai quesiti originali sono documentati nel
rapporto affinché i lettori siano in grado di accertare se la squadra di valutazione li ha
sufficientemente valutati.
DAC Evaluation Quality Standards
3. Contesto.
3.1 Il contesto relativo allo sviluppo e alla politica.
Il rapporto di valutazione fornisce una descrizione del contesto politico relativo
all’intervento di sviluppo, alla documentazione della politica dell’agenzia di sviluppo e
dei partner, agli obiettivi ed alle strategie.
Il contesto di sviluppo può riferirsi all’economia nazionale e regionale e ai livelli di
sviluppo. Il contesto politico può riferirsi alle strategie di riduzione della povertà, alla
parità dei sessi, alla protezione dell’ambiente e ai diritti umani.
3.2 Il contesto istituzionale.
Il rapporto di valutazione fornisce una descrizione dell’ambiente istituzionale e delle
persone interessate (stakeholder) relativamente all’intervento di sviluppo, in modo
che la loro influenza possa essere identificata e valutata.
3.3 Il contesto socio-politico.
Il rapporto di valutazione descrive il contesto socio-politico entro cui l’intervento
avviene e la relativa influenza sui risultati e sull’effetto a medio termine (outcome) e
sull’impatto dell’intervento di sviluppo.
3.4 Misure per l’implementazione /esecuzione.
Il rapporto di valutazione descrive le misure organizzative stabilite per
l’implementazione/esecuzione dell’intervento di sviluppo, incluso i ruoli dei donatori e
dei partner.
DAC Evaluation Quality Standards
4. Metodologia di valutazione.
4.1 Spiegazione della metodologia usata.
Il rapporto di valutazione descrive e spiega il metodo e il processo di valutazione e
ne discute la validità e l’attendibilità. Riconosce tutti i vincoli incontrati e il loro
impatto sulla valutazione compreso l’impatto sulla indipendenza della valutazione.
Descrive in modo dettagliato i metodi e le tecniche usate per la raccolta e la
elaborazione dei dati e delle informazioni.
Vengono giustificate le scelte e vengono spiegati limiti e imperfezioni.
4.2 Valutazione dei risultati.
I metodi per la valutazione dei risultati sono specificati. I fattori di attribuzione e i
fattori di successo o di disturbo/insuccesso dovrebbero essere identificati
(addressed). Se gli indicatori vengono usati come base per la valutazione dei
risultati, questo dovrebbe avvenire seguendo i criteri detti SMART (specifico,
misurabile, raggiungibile, rilevante e vincolato a un termine).
DAC Evaluation Quality Standards
4.3 Parti interessate (stakeholder) consultate.
Le parti interessate vengono coinvolte nel processo di valutazione per
l’identificazione delle problematiche e forniscono input per la valutazione. Vengono
consultati sia i donatori che i partner. Il rapporto di valutazione indica le parti
interessate (stakeholders) consultate, i criteri per la loro selezione e descrive la
partecipazione delle parti interessate.
Viene inoltre indicato se non tutte le parti interessate sono state consultate, e
vengono inoltre descritti i metodi e le motivazioni per la selezione di particolari parti
interessate (stakeholders)
4.4 Campionamento
Il rapporto di valutazione spiega la selezione di ogni campione. Devono essere
identificati i limiti riguardanti la rappresentatività dei campioni di valutazione.
4.5 Squadra di valutazione.
La composizione delle squadre di valutazione dovrebbe possedere un misto di abilità
valutative e di conoscenza tematica, dovrebbe essere equilibrata nel genere, e
includere professionisti provenienti dai paesi o regioni interessate.
.
DAC Evaluation Quality Standards
5. Fonti di informazione.
5.1 Trasparenza delle fonti di informazioni .
Il rapporto di valutazione descrive le fonti di informazioni utilizzate (documentazione,
dichiaranti, letteratura etc. ) sufficientemente dettagliate di modo che possa essere
accertata l’adeguatezza delle informazioni. Vengono incluse le liste complete degli
intervistati e i documenti consultati, fino al punto in cui ciò non entri in conflitto con la
segretezza e la riservatezza dei partecipanti .
5.2 Affidabilità ed esattezza delle fonti di informazione.
La valutazione crossvalidates e valuta criticamente le fonti di informazioni usate e la
validità dei dati usando una varietà di metodi e fonti di informazioni.
•
6. Indipendenza.
•
6.1 Indipendenza dei valutatori nei confronti delle parti interessate
(stakeholders).
•
Il rapporto di valutazione indica il grado di indipendenza dei valutatori dalla
funzione politica, dalla funzione operativa e di gestione dell’agente
commissionante, dagli esecutori, e dai beneficiari. Eventuali conflitti di
interessi devono essere apertamente e onestamente evidenziati.
•
6.2 Processo di valutazione aperto e libero.
•
La squadra di valutazione deve essere in grado di lavorare liberamente e
senza interferenze. Deve esserle assicurata collaborazione e accesso a
tutte le informazioni. Il rapporto di valutazione indica tutti gli impedimenti
che potrebbero avere avuto effetto sul processo di valutazione.
•
7. Etica di valutazione.
•
7.1 Valutazione condotta in modo professionale e etico.
•
Il processo di valutazione mostra sensibilità al genere, alle
credenze, agli usi e ai costumi di tutte le parti interessate e viene svolto con
integrità e onestà. Devono essere protetti i diritti e il welfare di coloro che
partecipano alla valutazione. L’anonimato e la riservatezza degli informatori
individuali dovrebbero essere protetti se richiesti e/o secondo quanto
previsto dalla legge.
•
7.2 Riconoscimento dei disaccordi nella squadra di valutazione.
•
I membri della squadra di valutazione dovrebbero avere l’opportunità di
dissociarsi da particolari giudizi e raccomandazioni. Qualunque divergenza
di opinioni irrisolte all’interno della squadra dovrebbe essere inserita nel
rapporto.
•
8. Garanzia della qualità.
•
8.1 Inserimento delle osservazioni delle parti interessate (stakeholder).
•
Alle parti interessate viene data l’opportunità di esprimere commenti sui
risultati, sulle conclusioni, sulle raccomandazioni e sugli insegnamenti
appresi dalla valutazione. Il rapporto di valutazione riflette queste
osservazioni e riconosce tutti i disaccordi sostanziali. Nelle dispute sui fatti
che possono essersi verificati, i valutatori dovrebbero indagare e cambiare
la stesura preliminare del rapporto se necessario. Nel caso di opinione o
interpretazione, le osservazioni delle parti interessate dovrebbero essere
riprodotte alla lettera, in un allegato per esempio fino al punto in cui queste
non entrino in conflitto con i diritti e il welfare dei partecipanti.
•
8.2 Controllo di qualità.
•
Il controllo di qualità è esercitato lungo tutto il processo di valutazione.
Dipende dalla portata e dalla complessità della valutazione, il controllo di
qualità è eseguito sia internamente che attraverso un’autorità esterna, peer
review, o un gruppo di riferimento. I controlli di qualità aderiscono al
principio di indipendenza dei valutatori.
•
9. Rilevanza dei risultati di valutazione.
•
•
9.1 Formulazione dei risultati della valutazione.
I risultati della valutazione sono relativi all’oggetto e allo scopo della valutazione. I
risultati dovrebbero chiaramente scaturire dai quesiti posti dalla valutazione e
dall’analisi dei dati, mostrando una linea netta di prova a sostegno delle conclusioni
(??). Qualsiasi discrepanza tra implementazione attesa e reale dell’oggetto di
valutazione deve essere spiegata.
9.2 Valutazioni effettuate entro il termine e il budget assegnati.
La realizzazione della valutazione e la messa a disposizione dei risultati sono
correlate in termini di tempo allo scopo della valutazione. Eventuali cambiamenti nella
programmazione o nel budget devono essere spiegati nel rapporto. Deve essere
spiegata qualsiasi discrepanza tra implementazione e prodotto della valutazione
attesi e reali.
9.3 Raccomandazioni e insegnamenti appresi dalla valutazione.
Raccomandazioni e insegnamenti appressi dalla valutazione sono destinati agli utenti
futuri e sono perseguibili entro le responsabilità degli utenti. Le raccomandazioni
sono proposte perseguibili e gli insegnamenti appresi (dalla valutazione) sono
generalizzazioni di conclusioni applicabili in un uso più ampio.
9.4 Utilizzo della valutazione.
La valutazione richiede un riconoscimento e una risposta espliciti
dall’amministrazione per quanto riguarda l’aggiornamento futuro dei risultati della
valutazione.
L’amministrazione assicurerà la diffusione, il deposito e la gestione sistematica dei
prodotti della valutazione per assicurare un facile accesso e per massimizzare i
benefici dei risultati della valutazione.
•
•
•
•
•
•
•
•
•
10. Completezza.
•
•
10.1 Le conclusioni rispondono alle domande di valutazione.
Il rapporto di valutazione risponde a tutte le domande e ai bisogni di informazione
elencati nell’ambito di valutazione. Dove non è possibile, devono essere fornite
motivazioni e spiegazioni.
10.2 Chiarezza dell’analisi.
L’analisi è strutturata con un flusso logico. Le informazioni e i dati sono presentati e
interpretati in modo sistematico. I risultati e le conclusioni sono chiaramente
identificati e scaturiscono logicamente dall’analisi dei dati e delle informazioni. I
presupposti di fondo sono resi espliciti e tenuti in considerazione.
10.3 Distinzione tra conclusioni, raccomandazioni e insegnamenti appresi
I rapporti di valutazione devono distinguere chiaramente i risultati, dalle conclusioni e
dalle raccomandazioni. La valutazione presenta conclusioni, raccomandazioni e
insegnamenti appresi separatamente e con una distinzione del tutto logica tra esse.
Le conclusioni sono convalidate dai risultati e dalle analisi. Raccomandazioni e
insegnamenti appresi vengono logicamente dopo le conclusioni.
10.4 Chiarezza e rappresentatività del sommario.
Il rapporto di valutazione contiene un sommario esecutivo. Il sommario fornisce una
descrizione/visione d’insieme del rapporto, evidenziando le principali conclusioni,
raccomandazioni e insegnamenti appresi.
•
•
•
•
•
•
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 1/12
1. Utilità
• dare risposta coerente a quesiti e problemi rilevanti e specifici
• offrire soluzioni spendibili rispetto alle esigenze della Valutazione
• portare benefici chiari all’intero progetto e al sistema
• preventivare un investimento di risorse per svolgere la Valutazione al
meglio
2. Fattibilità
Considerare il livello di realizzo del progetto tenendo conto di:
• Possibili resistenze in particolare negli interventi di innovazione
• Realtà spesso contraddittorie e complesse (es. personale con varie
funzioni)
• Inerzie che rendono difficile valutare l’impatto del processo
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 2/12
3. Forte vincolo alla pertinenza e appropriatezza rispetto alle
finalità
• corrispondenza piena fra attività di analisi e bisogno valutativo
desiderato
• nel collegamento fra Sistema informativo e Sistema sostantivo,
individuazione degli aspetti veramente affini con il problema in studio
e realmente influenti sul risultato finale
4. Accuratezza metodologica
Competenza accurata nella metodologia della ricerca e nelle tecniche di
analisi statistica
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 3/12
Nella visione più ampia di valutazione la quale può riguardare aspetti sia della
programmazione, della pianificazione che della gestione di progetti o interventi,
gli obiettivi della valutazione possono così essere descritti (Bertin):
• determinazione del livello di raggiungimento degli obiettivi del programma:
individuare diversi livelli di possibile raggiungimento degli obiettivi del
programma e una volta individuato il livello, ipotizzare delle conseguenze
nella fase successiva del programma
• accertamento degli aspetti forti e gli aspetti deboli degli elementi considerati
nel prendere decisioni e nel costruire il programma: qui emerge la
competenza del valutatore il quale entra nella sostanza del problema; in un
processo, in un programma, ci sono degli anelli forti e degli anelli deboli di
congiunzione, questo sempre perché ogni intervento è fatto con le risorse e
queste sono limitate. Le situazioni più problematiche che si incontrano nei
Sistemi complessi vengono risolte spesso in condizioni di incertezza,
l’informazione disponibile non sempre è sufficiente per chiarire i dubbi,
questa consapevolezza contribuisce a procedere adeguatamente
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 4/12
• determinazione del livello di generalizzabilità ed estensione di un programma
ad altri gruppi di popolazione: obiettivo importantissimo in un intervento è
quello di vedere se, in termini quasi sperimentali, si può estendere al resto
della popolazione o prevedere le possibili conseguenze in altre tipologie di
popolazione o anche in altri paesi
• produzione di nuove conoscenze sul programma, sui suoi effetti o sui
problemi che si possono incontrare nella sua implementazione: è
nell’osservazione sistematica delle varie fasi del programma che si
acquisiscono nuove conoscenze necessarie a conoscere meglio la realtà, a
capire come il sistema reagisce e a mettere in luce degli aspetti fino ad allora
sconosciuti
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 5/12
• confronto di strategie o programmi alternativi rispetto all’efficacia o ai
costi/efficienza: per vedere qual è il miglior programma alternativo che a
parità di condizioni, di fattori, realizza meglio gli obiettivi previsti
• identificazione delle ipotesi per studi ed approfondimenti futuri: in ogni
attività di ricerca ci sono dei problemi aperti che possono identificare e
stimolare altre ipotesi di studio. Occorre chiedersi, anche a seguito di un
intervento, quali sono i problemi aperti che si prospettano, che possono
coincidere con le ipotesi di partenza ma che possono anche divergere,
comportando l’emergere di problemi nuovi, di ipotesi di studio nuove.
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 6/12
È possibile capire cosa vogliamo valutare attraverso i livelli di
applicazione, che possono essere distinti nelle seguenti categorie:
• FRONT END ANALYSIS: questo tipo di valutazione precede l’applicazione del
programma e fornisce una guida nell’attuazione, nella costruzione ed
implementazione del programma. Questo è molto importante perché serve a
prevedere i potenziali problemi che si incontrano. L’analisi verte sulla
misurazione dell’opportunità di implementare un programma operato in un
preciso contesto spazio-temporale e sulla fattibilità dell’intervento
• EVALUABILITY ASSESSMENT:
ha una funzione più incentrata alla
valutazione in senso tecnico, si tratta di capire quali sono i problemi tecnici,
quali limiti si possono incontrare applicando diverse strategie
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 7/12
• FORMATIVE EVALUATION: questo tipo di valutazione ha proprio il compito di
valutare i progetti di informazione, le attività che vedono un coinvolgimento
diretto di elementi che sono risorse umane. E’ tra i più complessi perché qui
la centralità è la risorsa umana. Si possono avere informazioni per la
gestione e lo sviluppo del programma in merito alle caratteristiche delle
risorse umane. Fra le varie risorse, l’economica, quella delle strutture dei
servizi, ecc., è quella umana la più difficile da gestire e quindi anche da
valutare
• IMPACT OR SUMMATIVE EVALUATIONS: è una componente della valutazione
che mira a quantificare, dimensionare gli sforzi che si stanno facendo per
applicare il programma. Mette in evidenza l’aspetto dell’impegno devoluto
per il programma, per l’investimento. Quando si attiva un programma nuovo,
un’iniziativa nuova, possono emergere le inerzie del sistema, a volte difficili
da valutare a priori (es. operatori che dovranno lavorare con procedure
nuove e sperimentali nei confronti dell’utenza, possono reagire in maniera
imprevista e corporativa)
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 8/12
Rispetto alla complessità dei livelli degli obiettivi c’è una risposta sufficientemente
soddisfacente e organica prodotta con l’approccio metodologico chiamato della
Valutazione Differenziale, che poggia su pochi, semplici ma ordinati principi:
1. l’opportunità di segmentare ogni progetto, programma, piano di intervento
in fasi logicamente e temporalmente consequenziali, ciascuna delle quali va
assoggettata ad una specifica valutazione interna. Una prima fase può
essere rappresentata ad esempio dalla rilevanza del problema. Quando si
decide di attivare un programma, un intervento, è per rispondere ad un
problema emergente, rilevante; allora la prima fase è quella della evidenza
della rilevanza di un problema. Un’altra fase può essere ad esempio la
valutazione delle risorse disponibili, ecc. Il principio della valutazione
differenziale serve proprio per questo: si valutano le varie fasi logiche e
temporali internamente, per vedere i punti di errore e quali sono i punti
critici in ogni aspetto
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 9/12
2. la necessità di selezionare alcune categorie cruciali di valutazione da
applicare con atteggiamento specifico a ciascuna delle fasi
precedentemente definite. Ad esempio si può considerare la categoria
dell’impatto sulla popolazione in termini di aspettative, in termini di
immagine, di investimento in strategie di attuazione di programmi diversi
3. l’accortezza di adottare strumenti di osservazione e misura del divenire dei
processi in ragione della fase e della categoria di analisi; nelle singole fasi
occorre utilizzare strumenti di osservazione diversi
4. l’affermazione del principio della retroazione: nei casi in cui la valutazione
dimostri il mancato raggiungimento degli obiettivi intermedi ad essa
specifici, si considerano i livelli di raggiungimento degli obiettivi precedenti.
Nella logica del processo la sequenzialità temporale o di esecuzione logica
temporale è tale per cui se un passaggio è saltato o è insoddisfacente la
ragione è da ricercare anche nelle fasi precedenti. L’analisi del diverso
livello di raggiungimento, di soddisfazione, di realizzo dei vari passaggi
permette di poter avanzare ipotesi sul perché del mancato raggiungimento
dell’obiettivo
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 10/12
Va ricordato che delle quattro ragioni fondative dell’approccio
differenziale, mentre hanno ottenuto pieno riconoscimento e
adeguata applicazione le prime tre, divenute condizione di
sensibilità concorde tra gli operatori, la quarta non pare ancora
penetrata nei modi di gestire le attività programmatiche, valendo
piuttosto il costume (o la credenza) che, una volta decollati con un
nuovo progetto, esso debba essere portato necessariamente a
conclusione, qualsiasi siano state le condizioni esecutive incontrate
durante il processo realizzativo: viene a cadere così l’essenza
stessa della logica differenziale, che presuppone abilità di
aggiustamento e coraggio autoriflessivo, pena la caduta della
qualità stessa dell’attività avviata
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 11/12
Va anche ricordato che la valutazione differenziale mantiene un
ragionevole rispetto per i caratteri dell’altro approccio assai
diffuso in letteratura e nella pratica, fondato su forti paradigmi
scientifici ma adatto a situazioni segnate da semplicità di
contesto e facilità di applicazione (l’approccio cosiddetto della
valutazione sperimentale): quest’ultimo opera infatti nella
intenzione di misurare l’effetto netto di un unico trattamento fatto
intervenire, sotto stretto controllo delle condizioni di disturbo, da
parte del ricercatore.
Anche il modello differenziale ha alla sua base la ratio della
confrontabilità tra i gruppi, dell’analisi prima-dopo l’azione
compiuta, dell’isolamento dei fattori, ma esso si scontra con la
complessità della situazione, l’ampiezza anche temporale dei
processi, la pluralità degli attori e delle funzioni
GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 12/12
Formulazione politica
FASI DI FORMULAZIONE DEL PROGRAMMA
rilevanza
e
adeguatezza nella formulazione
e
conguenza
e
coerenza interna
e
sforzo accettabile
NO
SI
progettazione operativa
coerenza interna
e
coerenza con fase precedente
e
adeguatezza nella formulazione
e
sforzo accettabile
NO
SI
avvio (acquisizione risorse)
avanzamento accettabile
e
sforzo accettabile
NO
SI
FASI DI IMPLEMENTAZIONE
Flusso di
programmazione e
valutazione
realizzazione
avanzamento accettabile
e
efficacia
e
efficienza
e
impatto non negativo
e
rilevanza
NO
SI
Le dimensioni e le variabili della Valutazione 1/6
Il sistema dei servizi è un sistema produttivo: a fronte di bisogni ad esempio di
salute presenti nella comunità, il sistema dispone di risorse umane e materiali
che, attraverso processi trasforma in prodotti (es. prestazioni di cura), ai quali
corrispondono risultati in salute (es. guarigione da stati morbosi acuti)
Pertinenza
Misura il
rapporto
tra
RISULTATI/OBIETTIVI
e BISOGNI REALI DI
SALUTE
Efficacia
"
RISULTATI
e OBIETTIVI PRODOTTI
(iniziali)
Efficienza
"
PRESTAZIONI
PRODOTTE
come è stato eseguito
(es. n. di analisi
compiute per ogni
operatore, n. di
telefonate a cui è stata
data risposta, ecc.)
e RISORSE IMPIEGATE
Rendimento
"
RISULTATI
e RISORSE
Avanzamento
Grado di realizzazione di un progetto
Impatto
Effetti sul sistema sociale complessivo
Le dimensioni e le variabili della Valutazione 2/6
La Joint Commission on Accreditation of Helthcare Organization che opera in
USA, indica anche le seguenti dimensioni da misurare per una completa
Valutazione del Servizio sanitario:
Accessibilità
Facilità per l’utente di accedere alle prestazioni in caso di bisogno.
Un servizio, in caso di bisogno, è accessibile o no?
Tempestività
Disponibilità delle prestazioni in termini utili rispetto allo stato di
bisogno
Es.: se un soggetto chiede di fare una analisi medica, la tempestività
incide in termini di salute, perché ci sono esami che non si possono
rimandare.
Correttezza
Corrispondenza delle prestazioni ottenute agli standard in base allo
stato dell’arte. Ciò che viene fatto deve essere congruo, coerente, vicino
all’istanza.
Efficacia
Grado di potenziale soddisfacimento del bisogno tramite la prestazioni
ricevuta.
Pertinenza
Corrispondenza tra prestazione ottenuta e bisogno presentato
dall’utente.
Rendimento
Ottenimento dei risultati attesi al minimo costo.
Continuità
Coordinamento e integrazione tra prestazioni necessarie al soggetto.
Si può pensare al paziente che, appena uscito dall’ospedale, sia seguito
da altre strutture grazie ad un coordinamento fra servizi.
Le dimensioni e le variabili della Valutazione 3/6
Riservatezza
Garanzia di non diffusione ad estranei di informazioni concernenti se
stessi e il proprio stato di salute.
Partecipazione
Coinvolgimento del paziente e dei familiari nelle decisioni relative
alla prestazione.
Garanzia
Livello di sicurezza rispetto alle possibilità di ottenere prestazioni in
caso di bisogno.
Le dimensioni e le variabili della Valutazione 4/6
Alcune caratteristiche dei processi di controllo attuati attraverso la VERIFICA e la
VALUTAZIONE:
QUANDO
PERCHE’
COSA CONTROLLARE
VERIFICA
Durante
l’esecuzione del
progetto
Per gestire al
meglio il progetto
-Risultati che via via si
vanno perseguendo
-Avanzamento
-Uso risorse
VALUTAZIONE
Alla fine
Per imparare per il
futuro: riprogettare
-Risultati finali rispetto a:
 obiettivi fissati
 bisogni reali
-Cause di ottimi o cattivi
risultati
-Livelli di efficienza
FUNZIONI DI
CONTROLLO
IN SEDE DI
PROGETTAZIONE
-DURANTE
L’ESECUZIONE
-A CONSUNTIVO
Si stabiliscono i criteri da seguire
-cosa controllare
-come controllare
-chi controllare
-si raccolgono e si elaborano i dati
-si esprimono i giudizi
-in relazione ai giudizi,
eventualmente
Le dimensioni e le variabili della Valutazione 5/6
Le variabili che entrano in gioco nella valutazione sono di tre tipi:
• VARIABILI FINALI: queste non stanno ad significare “il risultato” del
processo ma significano “tutto ciò che emerge alla fine di ogni singola fase
della valutazione”. Possiamo avere “variabili intermedie” e “variabili finali”.
Per “variabili finali” si intende fenomeni che esprimono i “fini” per i quali il
micro-sistema produce. Si intendono quindi quelle variabili che, a vario titolo,
sono il risultato del processo attivato. Es.: numero di prestazioni erogate, di
diagnosi, di prestazioni effettuate per operatore. Quando si parla di “variabili
finali” si possono intendere quelle riferite alla fine di tutto il processo (cosa
salta fuori alla fine) ma non solo
• VARIABILI STRUMENTALI: ossia variabili sulle quali operare per ottenere
certi risultati. Sono espressione di fenomeni del micro-sistema produttivo
(risorse, processi, prodotti) sui quali si può intervenire attraverso l’azione di
sviluppo di qualità, al fine di determinare variazioni positive nelle variabili
finali. Sono variabili che definiscono il sistema, che compongono il sistema.
Ad esempio senza risorse umane non si può avere il “sistema ospedaliero”,
ecc.
Le dimensioni e le variabili della Valutazione 6/6
• VARIABILI CONCOMITANTI: sono quelle variabili sulle quali non si può
intervenire ma bisogna subirle. Variabili concomitanti sono: la distribuzione
per sesso degli operatori (tanti maschi, tante femmine); se l'unità che
dobbiamo valutare si trova ad esempio in un contesto urbano oppure rurale;
sono elementi che non si possono modificare. Ad esempio se si vuole
valutare il livello di difficoltà che si ha nello studio della statistica, una
variabile concomitante è il diploma di maturità posseduto da ogni studente;
un fattore inevitabile, immutabile ma che ovviamente deve essere
considerato nel momento in cui si procede alla valutazione. Le variabili
concomitanti svolgono il loro ruolo sia sul versante degli investimenti, sia sul
versante degli effetti finali.
Gli indicatori 1/2
L’Organizzazione Mondiale della Sanità definisce “indicatore”
un’informazione selezionata in modo opportuno, che aiuta a
misurare i cambiamenti in relazione a criteri prioritari e permette di
monitorare aspetti specifici dell’“attività” sanitaria, o fattori
permanenti alla determinazione della stessa.
Gli indicatori possono soddisfare diverse finalità: comparative
(quantificando il fenomeno di interesse), valutative (cogliendo la
posizione assunta dal fenomeno quantificato, rispetto a standard di
riferimento) e programmatorie (suggerendo la possibilità di
miglioramento rispetto alla posizione ricoperta).
L’indicatore è lo strumento attraverso il quale si concretizza, si
operativizza una variabile o un suo aspetto particolare. In termini
generali può essere definito come indicatore l’espressione
empirica di una variabile. La variabile è un concetto, l’indicatore un
suo referente esperenziale.
Gli indicatori 2/2
Di seguito vengono descritti alcuni indicatori nell’area dell’assistenza sanitaria.
All’interno di ciascun livello di assistenza e/o area di domanda, nel D.Lgs. luglio 95,
sono enucleati una serie di indicatori, espressione delle principali classi di fenomeni:
1) INDICATORI SOCIO-ECONOMICI (riguardanti orientativamente i
fenomeni socio-economici, demografici e culturali, ecc.);
2) INDICATORI DI STATO DI SALUTE (per genere, età, ambiente di vita, ecc.
degli assistiti);
3) INDICATORI DI DOMANDA ESPRESSA E DI ACCESSIBILITÀ (sulla
disponibilità del servizio, in termini di strutture e/o di entità delle liste di
attesa, sulla numerosità degli utenti reali o potenziali, sulla dimensione
della domanda espressa dalla popolazione);
4) INDICATORI DI RISORSE (risorse finanziarie: spesa corrente pro-capite,
rapporto tra spesa corrente specifica per livello e/o area di domanda e
spesa corrente totale, costo medio per tipologia di operatori; risorse
umane);
5) INDICATORI DI ATTIVITA’ (relativa a servizi e prestazioni erogati in
rapporto al personale impiegato e agli utenti effettivi e potenziali);
6) INDICATORI DI EFFICACIA (per cogliere i risultati conseguiti, scindibili
in: indicatori di risultato complessivo, per valutare il conseguimento
degli obiettivi del PSN, e indicatori di risultato tecnico, per valutare la
qualità dell’assistenza erogata dai servizi sanitari).
Esempio
Tre laboratori di analisi biomediche della USL n.100 sono caratterizzati dai
seguenti parametri di funzionamento:
Parametri
Laboratorio
A
B
C
1. Ore settimanali
di attività (risorse)
24
30
20
Prestazioni (analisi)
960
1500
1200
Risultati (n. di casi
effettivamente
diagnosticati)
900
1200
720
a)
b)
c)
d)
Qual è il laboratorio più efficace?
Qual è il laboratorio più efficiente?
Qual è il laboratorio con rendimento più alto?
Quali dovrebbero essere i livelli di attività e di risultato di un quarto
laboratorio D, funzionamento di 26 ore, che intendesse
raggiungere i massimi valori degli indici di funzionamento dei tre
laboratori A, B e C?
Esempio
a)
EFFICACIA
b)
EFFICIENZA
c)
RENDIMENTO
A
B
C
900/24 = 37,5
1200/30 = 40
720/20 = 36
960/24 = 40
1500/30 = 50
1200/20 = 60
900/960 = 0,9375
1200/1500 = 0,8
720/1200 = 0,6
d) Poiché ho 26 ore e devo raggiungere i livelli massimi come si fa?
EFFICACIA = 40
RISULTATI / RISORSE = 40
26 × 40 = 1040
26 × 60 = 1560
EFFICIENZA = 60
PRESTAZIONI / RISORSE = 60
(1040 : 1560) × 100 = 66.7%
RENDIMENTO = 66.7%
RISULTATI / PRESTAZIONI = 66.7%
•
•
LABORATORIO INDIVIDUALE SU: VALUTAZIONE .
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
1. E’ una tecnica di analisi dei processi decisionali nei servizi
2. Una procedura di misurazione è rappresentata dall’analisi
della Qualità
3. La V ex ante si basa sui risultatati prodotti alla fine del processo
4. Si basa prevalentemente sulle aspettative dell’utenza
5. L’impatto di un intervento viene affrontato nella V ex ante
6. Si svolge in ogni unità di intervento una volta all’anno
7. E’ sempre associata alle norme di Classificazione della Qualità
8)Permette di misurare diversi aspetti del servizio
9)E’ imposta per legge a tutte le aziende erogatrici di servizi
10.Si configura come un metodo occasionale di osservare
l’esperienza
11.La rilevanza dell’intervento o progetto deve emergere
nella fase di V ex-post
12.La verifica dell’uso delle risorse è la fase centrale
nella Valutazione
13. Il rendimento di un Progetto o intervento è funzione delle
sole risorse impiegate
14. L’efficacia è una variabile concomitante nella valutazione
del Progetto
VERO
1
FALSO
2
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
1
2
1
2
1
2
1
2
1
2
•
•
•
•
•
•
•
•
LABORATORIO SU :INDICATORI DELLA VALUTAZIONE DEI SERVIZI.
Tre laboratori di analisi cliniche sono caratterizzati dai seguenti parametri di funzionamento
Parametri
Laboratori
X
Y
Z
1) Ore settimanali di attività
24
30
32
•
2) Prestazioni (n. di prelievi effettuati)
600
900
800
•
3) Risultati (n. di casi effettivamente
480
810
672
•
analizzzati)
•
•
•
•
Qual è l’ufficio più efficiente?
Qual è l’ufficio più efficace?
Qual è l’ufficio con rendimento più alto?
Quali dovrebbero essere i livelli di attività e di risultato di un quarto ufficio che lavora 36 ore, che
intendesse raggiungere i massimi valori degli indici di funzionamento dei laboratori X Y Z?