Audit Clinico
Dr. Ulrich Wienand
Azienda Ospedaliera Universitaria
“S. Anna” – Ferrara
Giugno 2007
Clinical Audit
“Iniziativa condotta da professionisti
che cerca di migliorare la qualità e gli
esiti dell’assistenza attraverso una
revisione tra pari, strutturata, per
mezzo della quale i professionisti
esaminano la propria attività e i
propri risultati a confronto con
standard concordati e la
…..modificano se necessario.“
Brit. Governm. 1996
Caratteristiche dell’audit
clinico
• carattere professionale dell’iniziativa
• competenza clinico-assistenziale dei
partecipanti
• Confidenzialità (riservatezza) dei risultati
• oggetto fortemente legato alla qualità
professionale
• necessita di accesso ad adeguata
documentazione clinica
• verifica buona pratica corrente rispetto a
standard noti
RC&AC2000 e BRI 1999
“Ciclo dell’audit”
2. Definire criteri
indicatori e
standard
5. Realizzare il
cambiamento
1. Identificare
l’ambito e lo
scopo
4. Confrontare i
risultati con
con criteri e standard
3.Osservare
la pratica e
raccogliere dati
dal lat. auditus -us
«ascolto»
L’audit clinico ci dà un
metodo per riflettere in
maniera sistematica sulla
nostra pratica
professionale e per
rivederla.
Hardman & Joughin 1998
Quale è la differenza fra
audit clinico e ricerca
scientifica ?
• L’audit clinico non è ricerca, ma fa uso
della metodologia scientifica per
esaminare la pratica professionale
• La ricerca mira definire la “best
practice”, l’audit mira a valutare quanto
distante è la pratica dalla “best practice”
• La ricerca è spesso “una tantum”, l’audit
è un processo continuo
Madden 1991, Firth-Cozens 1993, cit. da Hardman&Joughin
Concetto di Audit in “altri mondi”:
Economia Aziendale
• “Esame della contabilità o di altre
registrazioni attinenti al denaro o
alla proprietà, realizzato da
funzionari competenti .. al fine di
verificarne la correttezza”
• In senso più ampio: Funzioni
aziendali di verifica e controllo
Lexicon Webster Dictionary
CQI Info 1999
Concetto di Audit in “altri mondi”:
Certificazione ISO 9000
• “Audit della Qualità”: Esame sistematico e
indipendente mirato a stabilire se le attività
svolte per la qualità sono in accordo con
quanto stabilito…”
• “Audit di Sistema”: strumento per la
sorveglianza del Sistema Qualità… può
valutare
ISO 8402, 4.9
–
–
–
–
Conformità
Adeguatezza
Efficacia
Evolutività
modif. da Cinotti & Cartabellotta 2000
“Clinical Audit is a key and
essential component
of Clinical Governance”
A Practical Handbook for Clinical Audit - Clin. Gov. Support Team - March 2005
Gli strumenti del Governo
Clinico
• Indicatori di Performance e di
Outcome Clinico
• Audit Clinico: revisione tra pari per
migliorare la qualità clinicoprofessionale
• Linee Guida Cliniche basate sulle
evidenze scientifiche (EBM)
“Ciclo dell’audit”
2. Definire criteri
indicatori e
standard
5. Realizzare il
cambiamento
1. Identificare
l’ambito e lo
scopo
4. Confrontare i
risultati con
con criteri e standard
3.Osservare
la pratica e
raccogliere dati
1. Identificare l’ambito
e lo scopo
• Tema, ambito, area, oggetto,
argomento,“topic”, “subject”
• “Che cosa volete sapere sul servizio
che erogate ?”
1. Identificare l’ambito
e lo scopo: rilevanza
•
•
•
•
•
•
Alti volumi
Alti costi
Alta rischiosità
Alta variabilità
Alta complessità
Alto contenuto innovativo
Cinotti & Cartabellotta 2000
Struttura Processo Esito
Avedis Donabedian 1980
Struttura:
Disponibilità ed organizzazione delle risorse
e del personale
– caratteristiche stabili
– strumenti
– risorse: umane, fisiche, finanziarie
– metodi organizzativi (finanziamento, sistemi
retributivi)
Struttura Processo Esito
Avedis Donabedian 1980
Processo:
Attività intraprese con le risorse
•
•
•
•
•
azioni e decisioni dei professionisti
osservanza norme professionali
adeguatezza
tempestività
comportamento operatori
Struttura Processo Esito
Avedis Donabedian 1980
Esito: effetti delle attività sullo stato di
benessere degli utenti
• Cambiamento stato di salute
(individuale, collettiva)
• Qualità della vita
• Soddisfazione (paziente, operatore)
1. Identificare l’ambito e lo
scopo: consigli
• Scegliete un argomento che Vi interessa
• Scegliete un ambito che oltre all’interesse dei
professionisti colga anche quello dei Vostri
stakeholder
• Guadagnate il consenso di coloro che saranno
coinvolti nell’audit e negli eventuali cambiamenti
• Individuate un problema rilevante per la pratica
(ricorrente, conseguenze serie)
• Scegliete un ambito su cui potete intervenire
(“potential for change”)
1. Identificare l’ambito
e lo scopo
• Valutare la qualità del servizio (positiva
o negativa)
• Individuare aree di cambiamento
(riduzione rischi, costi …)
• Tenere sotto controllo la stabilità dei
risultati
“Ciclo dell’audit”
5. Realizzare il
cambiamento
2. Definire criteri
indicatori e standard
4. Confrontare i
risultati con
con criteri e standard
3.Osservare
la pratica e
raccogliere dati
2. Definire criteri e
standard:
Criterio
• “Un aspetto definibile e misurabile
dell’assistenza sanitaria che ne descrive la
qualità e può essere usato per valutarla.”
Irvine & Irvine 1991
• “Il criterio in un audit clinico è la
dichiarazione di ciò che dovrebbe
succedere”
• Es.: “Le pazienti fra 25 e 65 dovrebbero
avere fatto un pap test negli ultimi 5 anni”
Harris 2004
2. Definire criteri e standard:
Indicatore
• Informazione o variabile selezionata che
consente di descrivere fenomeni complessi e
misurare variazioni in relazione a criteri definiti,
allo scopo di orientare decisioni volte ad
ottenere o mantenere cambiamenti.
(OMS, modificato da Vernero et al. 2002)
• Misura che serve per descrivere un
fenomeno: percentuale, tasso, media
• Es.: n° donne 25-65 con pap test ultimi 5 anni
_____________________________________________________________________________________________________________________________ _____________________________________________________________________________________
n° totale di donne 25-65 in cura
IL BUON INDICATORE
•
•
•
•
•
•
Misurabile
Importante
Semplice
Utilizzabile
Realistico
Accettabile
2. Definire criteri e standard:
Standard
• Valore dell’indicatore che rappresenta il
limite superiore od inferiore perché la
qualità dell’assistenza sia giudicata
accettabile.
• Soglia di accettabilità
• Es.: almeno 80% sul totale delle
pazienti 25-65 dovrebbe avere fatto un
pap-test negli ultimi 5 anni
Javier Sotomayor (cubano)
Standard di riferimento:
•
•
•
•
Lo standard può essere:
determinato da letteratura;
determinato da indicazioni di società
scientifiche;
determinato da indicazioni di politica
sanitaria;
calcolato su rilevazioni effettuate in
periodi precedenti.
Concetto “Standard”
• Dal francese “estendart” = stendardo
• in inglese può assumere diversi significati
Concetto “Standard” -2• Livello soglia: sia di allarme che di
accettabilità
• Soglia accettabile: valore o frequenza
(espressa come frequenza assoluta,
percentuale o tasso) di un indicatore al di
sopra o al di sotto del quale la qualità non
è considerata accettabile
Beccastrini, Gardini, Tonelli 1994
Concetto “Standard” -3• Valore, modello, esempio di riferimento
• con il quale si confronta “l’oggetto” per
esprimere un giudizio comparativo: metro
standard di Parigi, laboratorio standard,
procedura standard
Beccastrini, Gardini, Tonelli 1994
Concetto “Standard” -4• Requisito: nei manuali di accreditamento,
ad esempio “in ogni ospedale deve
operare un comitato infezioni ospedaliere”
Beccastrini, Gardini, Tonelli 1994
2. Definire criteri e standard
Criterio
Specifica caratteristica di
qualità che si vuole valutare
Indicatore
Informazione selezionata per
la misurazione del criterio
Standard
Valore dell’indicatore che
definisce la soglia tra
accettabile ed inaccettabile
Valore osservato
Valore che assume
l’indicatore a seguito della
misurazione
Confrontarsi con il valore
di riferimento
• Per valutare la capacità di migliorare
• per valutare la capacità di raggiungere un
obiettivo
• per valutare la propria qualità in confronto
a quella di strutture omologhe
• per verificare il rispetto di un requisito di
accreditamento
Focarile 2001
2. Definire criteri e standard:
Standard
Consigli:
• Uno standard per ogni indicatore !
• Lo standard deve essere realistico e
raggiungibile
• Standard del 100% sono irrealistici
• Lo standard deriva da fonti “ragionevoli”
Mehay & Eisner 2003
2. Definire criteri e standard:
Standard
• Lo standard individuato come paragone
per la valutazione della pratica clinica
deve essere condiviso. Esso non può
infatti essere oggetto di rimaneggiamento
in corso di verifica, mentre deve essere
discusso a priori e, a posteriori, può
essere commentato e revisionato alla luce
di quanto emerso dall’audit stesso.
Cinotti e Cartabellotta 2000
“Ciclo dell’audit”
2. Definire criteri
indicatori e
standard
5. Realizzare il
cambiamento
3. Osservare la
pratica e
4. Confrontare i raccogliere dati
risultati con
con criteri e standard
3. Osservare la pratica e
raccogliere dati
•
•
•
•
•
•
•
Definire la popolazione di riferimento
Per quale arco di tempo ?
Quali le eccezioni ?
Definire eventualmente un campione
Da quale fonte si prendono i dati ?
Come trattare casi mancanti, perduti ecc.
Costruire un foglio raccolta dati
3. Osservare la pratica e
raccogliere dati
• Retrospettivo
– Dati vengono raccolti
esaminando la
pratica passata
– + veloce
– Fornisce una
baseline
– Qualità del dato non
è garantita
– Utenti non ne
traggono più
vantaggio
• Prospettico
– Dati vengono raccolti
da ora in poi
– Può essere dispendio
di tempo
– Non fornisce una
baseline
– Permette una
progettazione accurata
e favorisce dati di +
qualità
Foglio raccolta dati

La costruzione del foglio di raccolta dati è una
delle fasi più importanti dell’audit
 “In un mondo ideale per ogni importante
aspetto delle cure i dati vengono già raccolti
routinariamente e sono pronti all’accesso.”
Best
practice in Clinical Audit

Eccessiva semplificazione può andare a
scapito del risultato finale, ma si può anche
non raggiungere alcun risultato a causa delle
eccessive complicazioni.
Cinotti & Cartabellotta 2000
Documentazione clinica
 Cartella
clinica/infermieristica è la
principale fonte di dati per l’audit.
 Purtroppo non è sempre completa né
redatta correttamente.
 Altri dati sono spesso contenuti in
reparti diversi, su carta o in forma
elettronica, a volte in organizzazioni
diverse … o non ci sono proprio.
Concordanza fra
valutatori

Se non si tratta di una semplice ricopiatura di
dati dalla cartella al foglio raccolta dati, ma di
una vera estrazione di dati, può essere utile
che la stessa cartella venga esaminata da 2
valutatori indipendenti che poi si confrontano
sui dati da loro estratti.

In particolare per valutazioni di adeguatezza, gravità
clinica, appropriatezza ecc.
Svantaggio: dispendio tempo

Confidenzialità dei dati
Per ogni soggetto incluso nell’audit : un
numero di identificazione
 Privacy: tenere separati i dati e i nomi
 Non esportare dati o materiale scritto dai
luoghi in cui si raccolgono i dati
 Attenzione alla sicurezza dei dati ! (password,
back up dei dati)
 Anonimità dei professionisti (salvo accordi
diversi)
 Eventualmente presentare dati in “semicieco”

Campionamento
• Quanti pazienti devo includere nella raccolta dati ?
• Come posso ottenere un campione rappresentativo ?
• Le risposte dipendono anche da fattori come:
• grado di affidabilità statistica che si vuole
raggiungere
• risorse limitate: tempo, costi, accesso ai dati
• Campione di 40 – 50 casi viene i.g. considerato
accettabile
• Esistono tecniche molto sofisticate : chiedere aiuto
ad un esperto in statistica o usare Epi-Info
3. Osservare la pratica e
raccogliere dati
• Condurre sempre un piccolo studio pilota
• Discutere e cercare il consenso sugli
aspetti metodologici
• Delegare la raccolta dati se possibile, ma
addestrare gli addetti
• Documentare le decisioni prese
“Ciclo dell’audit”
2. Definire criteri
e standard
5. Realizzare il
cambiamento
4. Confrontare i
risultati con
criteri e standard
3.Osservare
la pratica e
raccogliere dati
4. Confrontare i dati con criteri e
standard
Generalmente si calcola:
• % casi che corrispondono ad ogni
criterio (incl. non applicabili)
• % casi non applicabili
• % casi applicabili che corrispondono
al criterio
4. Metodi di analisi dei dati
Non sono sempre necessarie delle
sofisticate procedure statistiche.
•
•
•
•
Statistica descrittiva
Test statistici
Carte di controllo
Analisi qualitative
Test statistici
• Es.: in audit relativi ad un “prima” e
“dopo”
• per verificare se cambiamenti sono
dovuti al caso o all’intervento di
miglioramento
Test statistici
• “Chi Quadro”
• test che si applica a tabelle di frequenza a
due dimensioni, per esempio 2 * 2
• serve a testare se c’è una differenza nelle
due proporzioni
Distretto A Distretto B
Vaccinati
200
425
Non vaccinati
50
75
250
500
Chi quadro = 3.00
Differenza debolmente significativa
625
125
750
Distretto A Distretto B
Vaccinati
200
450
Non vaccinati
50
50
250
500
Chi quadro = 14.42
Differenza fortemente significativa (p<0.001)
650
100
750
Distretto A Distretto B
Vaccinati
200
400
Non vaccinati
50
100
250
500
Chi quadro = 0
Differenza non significativa
600
150
750
Analisi qualitative
• Su domande “aperte”
• Analisi dei contenuti
• Codifica dei temi/concetti più
ricorrenti > calcolo delle
frequenze
“Ciclo dell’audit”
2. Definire criteri
e standard
5. Realizzare il
cambiamento
4. Confrontare i
risultati con
con criteri e standard
3.Osservare
la pratica e
raccogliere dati
• L’Audit Clinico non è uno studio
epidemiologico
• Ma fa parte di un ciclo i
miglioramento….
A) Se si è verificata una adesione
allo standard:
consolidare la buona pratica
• Standardizzazione della buona
pratica
–Documentazione (procedure,
protocolli)
–Estensione ad altre realtà vicine
–Formazione, disseminazione
B) Se si è verificato uno
scostamento dallo standard:
Pianificare azioni correttive
• Definire l’oggetto del miglioramento
• Le tappe con le relative azioni
• Tempi entro cui completare ogni
tappa
• Il responsabile
Problem Solving
• Lo scostamento dei valori osservati dallo
standard costituisce, nei termini del
Problem Solving la individuazione di un
problema
• in questa prima fase del percorso è
importante identificare e descrivere
esattamente il problema, non (ancora)
individuarne le cause
Diagramma “WV” di J.Shiba
Livello qualitativo - creativo
Ambito
Dati
Livello quantitativo
Cause
Soluzioni
Dati
Dati
Closing the loop
• Re-audit
• confrontare il PRIMA con il DOPO delle
azioni correttive
• verificare di non aver causato un problema
da altre parti
• esecuzione delle azioni correttive è stata
fedele ?
• Il miglioramento è accettabile ?
Verifica dei risultati
• Miglioramento
dimostrato
• standardizzazione
delle azioni correttive
• documentazione
(procedure)
• estensione ad altre
UU.OO.
• formazione
• Miglioramento non
dimostrato
• rivedere il percorso
fatto
• “ricomincia da
START”