Mauro Martini
Direttore del Servizio di Medicina Legale
Azienda USL di Ferrara
Introduzione
Sistema di Valutazione – ASL Ferrara
Responsabile:
Mauro Martini
Area Strategia della
valutazione e della
performance
Area di valutazione
delle risorse umane
Dall’ermeneutica della valutazione …
… al valore ermeneutico della valutazione.
Sistema di
valutazione
Direzione
Azienda
Attori della valutazione e interazioni
STAKEHOLDERS
Implementazione
Management
Cultura della
valutazione
Sistema di
Valutazione
Fruizione
Beneficiari  cittadini
Decisione
Domanda di salute
Condizioni ambientali
e socio – economiche
Bisogni
EFFETTI
Valutazione: definizione
Attività di ricerca applicata, realizzata nell’ambito di
un processo decisionale, integrata con la programmazione, finalizzata all’analisi degli effetti diretti e
indiretti, voluti o non voluti, dell’azione.
[ C. Bezzi, I.I.V. ]
Evaluation is the systematic process of collecting and
analyzing data in order to make a decision.
[ Boulmetis & Dutwin ]
… e Dio vide che tutto
quel che aveva fatto era
davvero molto bello …
[ Genesi ]
La riforma della P.A.
Reinventing Government (USA)
teoria e pratica della P.A. in tutto il mondo
comportamento imprenditoriale della P.A.
Italia = riforme dal 1990
La riforma della P.A. in Italia
Legge n.142/1990 “Ordinamento delle autonomie locali”
Legge n.241/1990 “Nuove norme in materia di procedimento
amministrativo …”
D.Lgs n.502/92 “Riordino della disciplina in materia sanitaria”
e successive modifiche e integrazioni ( D.Lgs n.717/1993 e
D.Lgs n.229/1999)
D.Lgs n.29/1993 “Razionalizzazione della organizzazione delle
amministrazioni pubbliche …”
Legge n.20/1994 “… giurisdizione e controllo della Corte dei
Conti”
Legge n.59/1997 “Delega al Governo … per la riforma della
Pubblica Amministrazione”
Legge n.127/1997 “… snellimento dell’attività amministrativa
…”
D.Lgs n.80/1998 “… rapporti di lavoro nelle amministrazioni
pubbliche … giurisdizione nelle controversie di lavoro …”
D.Lgs n.286/1999 “… monitoraggio e valutazione dei costi,
dei rendimenti e dei risultati dell'attività svolta dalle
amministrazioni pubbliche”
D.Lgs n.517/1999 “… rapporti fra SSN e Università”
D.Lgs n.267/2000 “Testo unico delle leggi sull'ordinamento
degli enti locali”
DPCM 28.11.2000 “Codice di comportamento dei dipendenti
delle pubbliche amministrazioni”
Decreto Legislativo n. 286/1999
TIPOLOGIE DI CONTROLLO
OBIETTIVI
Controllo di regolarità
amministrativa e contabile
garantire legittimità, regolarità e
correttezza all'azione amministrativa
Controllo di gestione
verificare efficacia, efficienza ed
economicità dell'azione amministrativa al fine di ottimizzare il rapporto
tra costi e risultati
Valutazione della dirigenza
valutare le prestazioni del personale
con qualifica dirigenziale
Valutazione e controllo
strategico
valutare l'adeguatezza delle scelte
compiute in sede di attuazione dei
piani, programmi ed altri strumenti di
determinazione dell'indirizzo politico
Vantaggi della valutazione
Misurazione della performance in Sanità

< what is done and how well it is done ! >
all’interno dell’Azienda contribuisce ai processi di
miglioramento della qualità
all’esterno dell’Azienda promuove l’attendibilità per
gli utenti ed agli stakeholders interessati
assicura alla Direzione metodi di convalidazione
statistica e di gestione dei dati
consente una migliore comprensione dell’andamento
dell’Azienda e della qualità delle prestazioni erogate
consente di programmare azioni correttive di
eventuali criticità, ma anche di identificare aree di
eccellenza
consente un benchmarking con altre Aziende, nel
rispetto della confrontabilità dei dati
fornisce uno strumento per il “decision making” della
Direzione strategica, ma anche per decisioni politico
– sanitarie in genere
utilizzo nella ricerca scientifica (in particolare negli
studi randomizzati e controllati)
Difficoltà della valutazione
scarsa conoscenza dei processi di valutazione
timore di mettersi in discussione, indipendentemente
dal grado di autostima circa le proprie capacità
timore di giudizi negativi e delle conseguenze che ne
possono derivare
timore di discriminazioni e scarsa trasparenza
timore, della Direzione strategica, di destabilizzazione
del clima organizzativo
Metodologia
Modelli di valutazione
Modello
iniziale
Autoritario
Obiettivo
Dialogico
Il modello sensibile e dialogico
comporta:
a) il coinvolgimento di tutti i livelli di responsabilità
b) la conoscenza dei significati, della metodologie e
delle procedure
— circa il monitoraggio e la valutazione degli
obiettivi
— circa la valutazione del personale
Competenza e conoscenza
Conoscenza
del soggetto
valutato
Competenza dei valutatori
Scarsa
Media
Alta
Scarsa
Pregiudizio
Pregiudizio
Metodologia
dogmatica
Media
Valutazione
spontanea
Valutazione
competente
Valutazione
esperta
Alta
Specialismo
dogmatico
Valutazione
competente
Valutazione
esperta
Competenza e conoscenza
Conoscenza
del soggetto
valutato
Competenza dei valutatori
Scarsa
Media
Alta
Scarsa
Pregiudizio
Pregiudizio
Metodologia
dogmatica
Media
Valutazione
spontanea
Valutazione
competente
Valutazione
esperta
Alta
Specialismo
dogmatico
Valutazione
competente
Valutazione
esperta
Competenza e conoscenza
Conoscenza
del soggetto
valutato
Competenza dei valutatori
Scarsa
Media
Alta
Scarsa
Pregiudizio
Pregiudizio
Metodologia
dogmatica
Media
Valutazione
spontanea
Valutazione
competente
Valutazione
esperta
Alta
Specialismo
dogmatico
Valutazione
competente
Valutazione
esperta
Il principio della diretta
conoscenza
Il dirigente valutato deve essere conosciuto
dal valutatore che in prima istanza effettua
la proposta di valutazione su cui l’organismo
di verifica è chiamato a pronunciarsi.
[ cfr. art.32 del CCNL ]
Il principio di informazione
a) l’interessato deve essere a conoscenza che è
iniziata una valutazione che lo riguarda;
b) il soggetto valutato deve partecipare al
procedimento, eventualmente anche mediante
contraddittorio;
c) il risultato finale della valutazione deve
essere comunicato al dirigente dalla Direzione
dell’Azienda.
Il principio di trasparenza
Tutte le fasi della procedura, in relazione alle
modalità, ai tempi di attuazione e ai criteri
utilizzati, devono essere note ex – ante:
 alla Direzione strategica,
 a tutti i dirigenti,
 alle rappresentanze sindacali.
Aspetti positivi e negativi dei valutatori
Valutazione “one over one”
Alta dirigenza
Responsabile
Colleghi
Dirigente valutato
Sistema di
valutazione
Clienti interni
subalterni
Clienti esterni
Valutazione “a 360 gradi”
Alta dirigenza
Responsabile
Colleghi
Dirigente valutato
Sistema di
valutazione
Clienti interni
subalterni
Clienti esterni
Valutazione “multiple appraisal”
Alta dirigenza
Responsabile
Colleghi
Dirigente valutato
Sistema di
valutazione
Clienti interni
subalterni
Clienti esterni
Posizione e risultato
Oggetto della valutazione
Oggetto
Riferimento
Prestazione

Passato
Posizione

Presente
Potenziale

Futuro
Evoluzione moderna ?
Competenza

Passato, presente e futuro
Differenze tra potenziale, posizione e prestazione
Riferimento
Valore
strategico
Rilevanza
professionale
Target
Potenziale
Predittivo
Carriera
Solo alcuni Tecniche di
dipendenti assessment
Salario
Ordinario
Tutti i
dipendenti
Posizione
Attuale
Prestazione
Incentivazione Tutti i
Consuntivo
di produttività dipendenti
Valutazione
Metodi
quantitativi o
qualitativi
Indici e
indicatori /
benchmarking
Posizione
Obiettivi
di posizione
di risultato
Posizione
Obiettivi
di posizione
di risultato
La valutazione della posizione
Valutazione della posizione: corrispettivo della job
evaluation della letteratura anglo-sassone:
analisi circostanziata delle funzioni inerenti una
determinata attività nel contesto dell’organizzazione.
NB: ogni tipologia di struttura (semplice o complessa)
ha un peso specifico diverso nell’Organizzazione,
rispetto ad analoghe in altre Aziende Sanitarie !
La valutazione della posizione
Metodi quantitativi: metodo Hay e derivati
a) Descrizione analitica dell’attività
b) Aspetti del lavoro:




conoscenza (know how)
capacità di risolvere i problemi (problem solving)
responsabilità (accountability)
condizioni di lavoro (working conditions)
c) Confronto con standard predeterminati (descriptors) a
cui sono associati degli “scores”
La valutazione della posizione
Azienda USL di Ferrara – Parametri di riferimento
Complessità
dell’organizzazione
Responsabilità professionale
Complessità della struttura
Valenza strategica
Gestione delle risorse
Partecipazione ai processi
decisionali
Ampiezza del bacino
di utenza
Scale di
punteggio
dispari
scala settenaria
scala pentenaria
scala terziaria
scala esagenaria scala quaternaria
scala binaria
Scale di
punteggio
pari
Valutazione della “competence”
La competenza è una caratteristica intrinseca individuale che è
casualmente collegata ad una performance efficace o superiore
in una mansione o in una situazione e che è misurata sulla base
di un criterio prestabilito.
[ Spencer & Spencer ]
motivazioni (schemi mentali)
tratti (caratteristiche fisiche e disposizione a
comportamenti e reazioni)
immagine di sé (autostima)
conoscenza di discipline o argomenti specifici
skill (capacità di eseguire un determinato compito)
Posizione
Obiettivi
di posizione
di risultato
Classificazione obiettivi – Azienda USL di Ferrara
Classificazione Sottoclassificaz.
Obiettivi di
risultato
Obiettivi
gestionali
Obiettivi
economici
Caratteristiche
In concerto:
― Direzione Azienda
― Direzione macrostruttura
― Direzione U.O.
Obiettivi standard Legati alla posizione
funzionale
Obiettivi di
posizione
Obiettivi di
programmazione
Indicati nei contratti personali
dei dirigenti
Obiettivi mirati
In relazione alle criticità
La valutazione degli obiettivi di posizione standard
Azienda USL di Ferrara
[ Esempio: direttore medico di struttura complessa ]
Ha responsabilità e autonomia in ordine agli aspetti tecnico –
professionali delle attività e responsabilità organizzativo –
gestionale limitatamente alle risorse assegnate all’U.O.
Collabora alla definizione degli obiettivi di budget nel Comitato
di Dipartimento anche ai fini dell’assegnazione delle risorse.
Promuove e illustra gli obiettivi della struttura a tutti i
collaboratori, identificando in quale misura ogni componente
dell’Unità Operativa partecipa alla realizzazione di tali obiettivi.
Realizza gli obiettivi definiti in sede di discussione di budget.
Sviluppa gli indirizzi specialistici dell’U.O., in sintonia con le
linee strategiche aziendali e negli ambiti di competenza.
Gestisce le risorse sulla base di principi di efficienza, efficacia ed
economicità, nel rispetto del budget negoziato.
Utilizza correttamente gli strumenti del governo clinico, con
particolare riguardo per le linee – guida, la gestione del rischio,
l’informazione e il consenso degli utenti circa le procedure
diagnostiche e le cure.
Sviluppa modelli organizzativi volti ad assicurare, in ambito
specialistico, risposte idonee a soddisfare la domanda, in tempi di
attesa adeguati.
Ha la responsabilità del monitoraggio dei costi, rispetto al budget
assegnato, mediante il sistema di Controllo di Gestione interno.
Pone in essere, per quanto di competenza, le procedure necessarie
per il raggiungimento dell’accreditamento istituzionale.
Promuove linee – guida per un corretto utilizzo delle procedure
diagnostiche e dei farmaci, in sintonia con le evidenze
scientifiche, derivate da studi randomizzati e controllati.
Attiva ed implementa i progetti finalizzati a migliorare
l’appropriatezza nelle attività di ricovero ordinario, l’utilizzo del
Day Hospital, la formulazione dei piani terapeutici e la
prescrizione di indagini diagnostiche e di prodotti farmacologici.
Analizza problemi e criticità della struttura ed elabora piani di
risoluzione.
Motiva, guida e valuta i collaboratori, creando un clima
organizzativo favorevole alla produttività, anche mediante una
chiara ed esaustiva informazione.
Impartisce direttive chiare e circostanziate ai collaboratori in
relazione alle decisioni assunte e fa rispettare i programmi di
lavoro, elaborando validi correttivi in caso di eventuale ritardo.
Prevede il piano delle assenze programmabili del personale
assegnato, secondo le indicazioni della Direzione strategica.
Cura l’equa ripartizione dei carichi di lavoro tra i componenti
dell’équipe.
Verifica e valuta l’attività svolta dai dirigenti della struttura e la
realizzazione dei programmi e degli obiettivi assegnati, anche in
relazione ai percorsi di formazione e perfezionamento
professionale dei collaboratori.
Gestisce le risorse assicurando la necessaria collaborazione nel
contesto delle attività dipartimentali, soprattutto in relazione alla
efficienza, alla efficacia ed alla economicità delle azioni.
Favorisce l’integrazione fra i Presidi Ospedalieri e le attività
distrettuali, anche partecipando ai lavori dei gruppi misti
“Ospedale – Distretto”, e collabora con i medici di Medicina
Generale per l’implementazione di percorsi assistenziali adeguati.
Rispetta i tempi previsti per fornire dati corretti e precisi al
Sistema Informativo.
Assicura la realizzazione delle direttive della Carta dei Servizi.
Propone al Direttore di Dipartimento gli incarichi di struttura
semplice e di alta specializzazione, in relazione alle esigenze
organizzative dell’Unità Operative.
Gestisce e promuove le innovazioni tecnologiche e delle
procedure, anche inerenti i processi formativi.
Ha la responsabilità della verifica, della valutazione e della
ricostruzione dei processi.
La valutazione degli obiettivi di risultato
[ gestionali ed economici ]
Definizione di obiettivo / progetto
Verifica degli obiettivi, mediante
a) indicatori
b) benchmarking
Obiettivi e progetti
standardizzazione
qualità / valore aggiunto
Q2
obiettivo
Q1
ciclo di progetto
t
Caratteristiche degli obiettivi
utilità aziendale (concretezza e coerenza)
realizzabilità (ragionamento logico ex – ante)
comprensibilità (delle finalità da perseguire)
riproducibilità (dei processi da cui derivano gli output)
verificabilità (indicatori chiari ed espliciti)
Possibili criticità degli obiettivi
• contrattazione di progetti di scarso valore, finalizzati
a garantire il risultato
• impiego eccessivo di tempo e pericolo di “distrazione”
da problemi molto più urgenti
• eccesso di formalizzazione (esigenza di ancorare gli
obiettivi al budget)
• calo di “tensione” nella conduzione e nel monitoraggio
degli obiettivi, perché sono ritenuti o troppo facili, o
troppo difficili
Indicatori
Indicatori: definizione
Raccolta sistematica e analisi di informazioni,
utilizzate per la valutazione dell’efficacia di una
determinata prestazione.
NB: in Sanità, a meno che non siano controllabili tutte le variabili, non possiamo essere certi
delle veridicità degli indicatori.
[ Clark ]
Caratteristiche degli indicatori
appropriatezza
facilità di rilevazione
capacità discriminante
misurabilità
completezza
multidimensionalità
comprensibilità
obiettività
credibilità
pertinenza
economicità
riproducibilità
essenzialità
significatività
Rilevanza degli aspetti non monetizzabili
Opportunità di impiego di tecniche di valutazione
in funzione di obiettivi economici
Analisi
multicriteri
Analisi
costo /
efficacia
Analisi costo /
benefici
Dimensioni economiche del progetto
Il “benchmarking”
Benchmarking is the search for implementation
of best practices.
Benchmarking performance measurements are
useful means to identify organisations whose
performance is significantly better
and who, therefore, may have best
practices.
[ Robert C. Camp ]
Il percorso del “benchmarking”
1. individuazione delle aree di criticità
2. individuazione degli obiettivi prioritari
3. identificazione del /dei partner di benchmarking
4. identificazione della metodologia di confronto
5. valutazione della performance
6. valutazione degli scostamenti rispetto ai partner
7. valutazione delle cause degli scostamenti
8. implementazione dei nuovi processi di produzione
9. verifica dei risultati
Il futuro del “benchmarking”:
Benchmarking Network

Scambio anonimo di informazioni fra pari

Elaborazione dei dati

Informativa privata
Reporting
Il sistema di Reporting
Il sistema di reporting:
è una modalità di alimentazione del sistema
informativo – strategico;
strumento critico per il funzionamento dei sistemi
di programmazione e del controllo di gestione.
I report
rendono utilizzabili i dati e le informazioni;
implicano una responsabilizzazione dei dirigenti;
favoriscono l’integrazione tra programmazione e
attività di controllo.
Tipologie di report nell’Azienda Sanitaria
Dirigenti
(report operativi)
Controllo di
gestione



Sistema di
Valutazione
(report operativi)
(report direzionale)


Direzione ASL
 ARAN
(report istituzionali)

Sindaci, Regione, Ministero della Sanità
Caratteristiche del report
Specificazione
Trasparenza
assoluto rispetto delle procedure e delle
metodologie accordate, che devono essere
note a tutti … a prova di Magistrato
Tempestività
trade – off tra affidabilità e tempestività
Requisiti specifici
semplicità
chiarezza, comprensibilità, essenzialità
motivazione
capacità di attrarre l’attenzione
documento sintetico, accanto al
documento analitico
confrontabilità
possibilità di confronto con gli standard
rigorosità causale
rigorosa correlazione causale tra oggetto
della valutazione e giudizio finale
Documentazione allegata
specificità rispetto ai contenuti della
valutazione
La “meta-evaluation”
CRITICITA’
LIVELLI istituzionali
Assenza di un efficace filtro nella
fase di assegnazione degli obiettivi
incentivanti
Direzione strategica
Mancata diffusione della conoscenza Direzioni di struttura
degli obiettivi tra i collaboratori
complessa e semplice
della struttura di appartenenza
Scarsa capacità di monitorare
periodicamente gli indicatori di
realizzazione
Direzioni di struttura
complessa e semplice
Ipotesi per il futuro della Valutazione
Massima tempestività e precisione nella identificazione
tipologica degli obiettivi e del rapporto tra obiettivi e sistema
incentivante:
— obiettivi di posizione
— obiettivi di risultato
— progetti di eccellenza
Tempestiva e rigorosa verifica di adeguatezza del Nucleo di
Valutazione, in relazione alla validità dei contenuti e alla
scelta degli indicatori, antecedente la ratifica degli obiettivi
Identificazione di pochi obiettivi legati alla retribuzione
variabile, di massima rilevanza gestionale e/o strategica
< Conveniamo che nella maggior parte
delle organizzazioni non è facile mettere
in opera la valutazione …
… ma non intendiamo assolutamente
gettare la spugna >.
[ Mohrman e Coll. ]
Attività di
valutazione
Procedure di Risk
Management
Rebecca A. Maynard
Trustee Professor, University
of Pennsylvania