Audit : uno strumento per il governo clinico Ausl Viterbo Franco Bifulco Q U A L E Audit and Evaluation Systems for Quality Risk Management Evidence-Based Accountability Practice and and Policy C O N T E S T O Technology Assessment Performance Clinical Governance Co-Ordinated Clinical Governance ? Managing Resources and Services Learning Culture Reliable Data Research and Development Scenario di riferimento : il governo clinico contesto tramite il quale il sistema sanitario si rende responsabile del miglioramento continuo della qualità dei propri servizi, assicurando elevati standard assistenziali grazie ad un ambiente adatto allo sviluppo dell’eccellenza dell’assistenza clinica NHS Audit di Processo Comportamento degli operatori singoli Comportamento della organizzazione nel complesso Volume delle prestazioni Accessibilità alle prestazioni Appropriatezza delle prestazioni Tempestività delle prestazioni Correttezza tecnica Aderenza alle best practice o procedure Audit di Esito: modifica delle condizioni di salute conseguenti agli interventi sanitari Riduzione della mortalità,prolungamento della vita Riduzione delle sofferenze Riduzione delle disabilità Miglioramento della qualità della vita Riduzione dell’incidenza di malattie(prevenzione) o delle complicanze Servono Indicatori • Variabili che consentono di descrivere fenomeni e prendere decisioni. • Misure (proporzioni,tassi,medie,etc;)che permettono una adeguata sintesi informativa e consentono un confronto , un giudizio Caratteristiche di un indicatore Pertinente : deve riferirsi effettivamente al fenomeno che si vuole prendere in considerazione Credibile : rilevante (secondo logica) per chi lo utilizza Accurato : misura in modo veritiero ciò che si intende misurare ed è correlato con altre misure indicatori Discriminante : capacità di discriminare condizioni che è importante considerare differenti Senso biologico : capacità di misurare i fenomeni così come ce li attendiamo,in base alle nostre conoscenze Servono misure per gli indicatori : scale di misura Es. scala di Braden (lesioni da decubito) Es. ESAS (Edmonton Symptom assessment Scale) per i pazienti oncologici ( parametri : dolore,attività,nausea,depressione,ansia ,sonnolenza,appetito,benessere, respiro ) VAS (scala soggettiva per il dolore) Scale analogiche per bambini , pazienti anziani (colori,espressioni facciali etc.)che esprimono il giudizio dell’intervistato Es. di indicatori di processo % di ricoveri inappropriati % di ricoveri non chirurgici in reparti di chirurgia % di reinterventi entro 6 ore % di interventi ricostruttivi concomitanti nel tumore del seno % di pazienti oncologici in follow up Intervallo di tempo tra presentazione al PS e primo contatto con medico in pazienti con trauma Es. di indicatori di processo % di traumi non diagnosticati all’ammissione % di pazienti che permangono in PS per T > di 4 ore % di pazienti sottoposti ad antibiotico profilassi perioperatoria(esclusi interventi puliti) % di pazienti con frattura di femore sottoposti ad intervento operatorio dopo 48 ore % di prescrizioni di farmaci a reazione allergica nota Indicatori processo Monitoraggio di un farmaco tossico % di ricoveri ordinari a probabile inappropriatezza Durata della degenza media(efficienza) Tasso di ospedalizzazione con DRG ch in DH(valutazione di sviluppo di nuovi servizi) % di parti cesarei su totale parti(appropriatezza ostetrica) Copertura vaccinale(efficacia organizzativa) Es. Indicatori esito • • • • • • • • Mortalità di pazienti con trauma Mortalità intra-operatoria Mortalità a 30 gg dall’intervento Embolia polmonare post-operatoria Riammissioni in ospedale non previste Ritorno non programmato in sala operatoria Incidenza di infezioni del sito chirurgico Qualità dell’assistenza percepita L’indicatore di processo come proxy • Es. % di pazienti con profilassi perioperatoria è una proxy delle infezioni ospedaliere del sito chirurgico • Vale a dire che il processo è fortemente correlato con l’esito • Meglio utilizzare gli indicatori di processo che quelli di esito ( casistiche differenti per tipologia di pazienti,gravità della patologia,comorbilità, variabili ignote che influenzano gli outcome di salute. Audit E’ uno dei principali strumenti per il monitoraggio/valutazione delle attività assistenziali Anche se parte spesso dagli esiti (evento avverso etc.)usa spesso indicatori di processo Audit Deriva dal latino “audio” Indica l’ascolto attivo Indica anche l’azione istruttoria e di interrogazione ,propria della Magistratura. Si tratta di una revisione tra pari “peer review” Non è una discussione su una procedura o su un caso clinico,ma un processo di revisione strutturata tra pari ed ha l’obiettivo di individuare le opportunità di miglioramento e introdurle nella pratica professionale Fasi dell’ Audit : programmazione Chi programma gli audit ? Direttore U.O. Direttore dipartimento E’ bene inserire gli audit nel Budget (es. gestione tetano,consumo farmaci,utilizzo farmaci generici etc.) Direzione sanitaria E’ importante avvisare per tempo gli interessati Scelta delle problematiche da sottoporre ad Audit E’ importante fissare bene l’obiettivo che deve rispondere ai seguenti requisiti : Specifico (correlato al risultato che si vuole ottenere) Misurabile (disponibilità di metodi quantiqualitativi) Achievable (raggiungibile-realistico) Rilevante (importante per la ASL e per l’assistenza) Temporizzato (è possibile un cronoprogramma attuativo) Efficace( a produrre il risultato che si attende) Research based (basato su risultati di ricerche o su opinioni di esperti) Criteri per identificare un’area di intervento Modalità diagnostiche o terapeutiche e procedure assistenziali oggetto di LL.GG. Elevata drammaticità : suicidio in H Contenzioso eccessivo fra operatori : elevati tempi di risposta (L.A. e RX) Reclami all’URP Prestazioni con alti volumi (p.cesareo,lesioni da decubito, coronarografia , infarto) Prestazioni con alti costi Prestazioni ad alto rischio (procedure di dimissione precoce in particolari categoria di pazienti Criteri per identificare un’area di intervento Prestazioni ad alta variabilità (uso degli antibiotici) Prestazioni ad alta complessità (politraumatizzati etc) Prestazioni ad alto contenuto di novità (nuove tecnologie, protesi etc; Percorsi assistenziali innovativi Eventi sentinella Preparazione dell’ Audit Individuare la questione da sottoporre ad audit Concordare con i vari responsabili la scelta della priorità Individuare le ragioni per realizzare l’audit e documentarle Valutare se esistono standard di riferimento Non devono essere presenti aspetti medico legali (civili e /o penali) in corso Chiarire bene l’obiettivo Valutare se esiste una concreta possibilità di miglioramento Condurre un audit –elementiCreare un gruppo di programmazione degli audit che può facilitare Il facilitatore (buona capacità di comunicazione e disponibilità ad organizzare la documentazione e la logistica dell’audit) L’esperto (in alcuni casi è necessario) Project leader e referente (figura autorevole del gruppo di audit) Identificazione del problema : non fare audit su argomenti potenzialmente di interesse della magistratura In questi casi si può ricorrere ad audit esterno (la pubblica amministrazione ricorre a valutatori esterni sui fatti accaduti) Condurre un audit-elementiPredisporre una sintesi della documentazione esaminata e riportarla su P.point Sede e data dell’incontro (verificare turni, ferie etc.) Fissare orario di inizio e fine seduta lettera di invito individuale Condurre un audit-elementiPresentazione in P.Point del facilitatore: Titolo dell’audit , data e luogo di incontro Elenco dei partecipanti e relativa qualifica Breve definizione di audit Motivi di scelta dell’argomento Standard di riferimento individuati Ricostruzione del percorso assistenziale (per step) o sintesi dei risultati della valutazione della documentazione Apertura/chiusura dell’incontro Mettere a proprio agio gli intervenuti Durante la presentazione raccogliere suggerimenti Ripresentare le slides Fare un primo giro di osservazione per evidenziare errori o i motivi di scostamento degli indicatori dagli standard Fare un secondo giro di interventi ( a giro invertito) per ascoltare e registrare le proposte di miglioramento Il facilitatore , ricevute tutte le informazioni , si impegna a fa pervenire a tutti il report conclusivo dell’audit Report finale Fasi di programmazione e preparazione dell’audit Data , luogo , elenco partecipanti Sintesi dell’esame della casistica Raccomandazioni da adottare In caso di singolo evento (fare riferimento generale alla problematica) senza specifici riferimenti al caso Rispettare la privacy del paziente e degli operatori Riservatezza rispetto a problemi aziendali e dell’equipe Il report riporta il nome del referente , data e modalità di eventuali verifiche su quanto attuato Deve essere condiviso (verifica preventiva prima dell’invio) Non fa parte della cartella clinica Non può essere utilizzato per altre attività Clinical Audit “Iniziativa condotta da professionisti che cerca di migliorare la qualità e gli esiti dell’assistenza attraverso una revisione tra pari, strutturata, per mezzo della quale i professionisti esaminano la propria attività e i propri risultati a confronto con standard concordati e la …..modificano se necessario.“ Brit. Governm. 1996 Caratteristiche dell’audit clinico carattere professionale dell’iniziativa competenza clinico-assistenziale dei partecipanti confidenzialità dei risultati oggetto fortemente legato alla qualità professionale necessita di accesso ad adeguata documentazione clinica verifica buona pratica corrente rispetto a standard noti RC&AC2000 e BRI 1999 L’AUDIT CLINICO NON E’.…. Acquistare computer Ricerca epidemiologica di basso livello Metodo per discutere singoli casi clinici Dominio esclusivo dei medici “Trovare le mele marce” Caccia alle streghe Riunioni inutili Strumento manageriale C. Shaw CEREF PD 2004; Scarborough Trust Audit e Governo Clinico … in altre parole: se la mission delle aziende sanitarie è quella di fornire assistenza di elevata qualità, sono i professionisti (medici, infermieri, tecnici) a divenire il riferimento assoluto per il governo dell’organizzazione” A. Cartabellotta, Novembre 2002 Esempi di audit effettuati Ortopedia Trieste “Giornata di carico in pazienti operati di endoprotesi cementata di femore” Scostamento da una indicazione internazionale ? Gillespie WJ, Hip fracture extracts from “Clinical Evidence” BMJ 2000,321, 968-75 Criterio: i pazienti dovrebbero caricare in 3.a giornata Esempi di audit effettuati Ortopedia Trieste Indicatore: Paz. con endoprotesi cementata che caricano in 3.a giornata / Tot. pazienti operati ICD 81.52 (escl: non deambulanti prima, gravi patologie neurologiche o psichiatriche, non collaboranti) Standard: non definito Raccolta dati: retrospettiva 12 mesi 81 pazienti: media 9.5 giorni Esempi di audit effettuati Ortopedia Trieste Criticità: tempo per la esecuzione e refertazione della Rx che condiziona la concessione del carico (4.75 giorni) Azione correttiva: impiego di apparecchio ampliscopico in sala operatoria subito dopo l’intervento 2.a raccolta dati: in corso “Ciclo dell’audit” 3.Osservare la pratica e raccogliere dati 2. Definire criteri e standard 1. Identificare l’ambito e lo scopo 4. Confrontare i risultati con con criteri e standard 5. Realizzare il cambiamento 1. Identificare l’ambito e lo scopo Tema, ambito, area, oggetto, argomento,“topic”, “subject” “Che cosa volete sapere sul servizio che erogate ?” 1. Identificare l’ambito e lo scopo: rilevanza Alti volumi Alti costi Alta rischiosità Alta variabilità Alta complessità Alto contenuto innovativo Cinotti & Cartabellotta 2000 Identificare l’ambito e lo scopo: consigli Scegliete un argomento che vi interessa Scegliete un ambito che oltre all’interesse dei professionisti colga anche quello dell’organizzazione Scegliete un ambito su cui potete intervenire (“potential for change”) Guadagnate il consenso di coloro che saranno coinvolti nell’audit e negli eventuali cambiamenti Formulate il titolo in forma di domanda 1. Identificare l’ambito e lo scopo Valutare la qualità del servizio (positiva o negativa) Individuare aree di cambiamento (riduzione rischi, costi …) Tenere sotto controllo la stabilità dei risultati “Ciclo dell’audit” 3.Osservare la pratica e raccogliere dati 2. Definire criteri e standard 4. Confrontare i risultati con con criteri e standard 5. Realizzare il cambiamento 2. Definire criteri e standard: Criterio “Un aspetto definibile e misurabile dell’assistenza sanitaria che ne descrive la qualità e può essere usato per valutarla.” Irvine & Irvine 1991 “Il criterio in un audit clinico è la dichiarazione di ciò che dovrebbe succedere” Harris 2004 Es.: “Tutte le pazienti fra 25 e 65 dovrebbero avere fatto un pap test negli ultimi 5 anni” 2. Definire criteri e standard: Indicatore •Informazione o variabile selezionata che consente di descrivere fenomeni complessi e misurare variazioni in relazione a criteri definiti, allo scopo di orientare decisioni volte ad ottenere o mantenere cambiamenti. (OMS, modificato da Vernero et al. 2002) • Misura che serve per descrivere un fenomeno: percentuale, tasso, media • Es.: n° donne 25-65 con pap test ultimi 5 anni __________________________________________________________________________________________________________________________________________________________________________________________________________________ n° totale di donne 25-65 in cura IL BUON INDICATORE • Misurabile • Importante • Semplice • Utilizzabile • Realistico • Accettabile 2. Definire criteri e standard: Standard • Valore dell’indicatore che rappresenta il limite superiore od inferiore perché la qualità dell’assistenza sia giudicata accettabile. • Soglia di accettabilità • Es.: almeno 80% sul totale delle pazienti 25-65 dovrebbe avere fatto un pap-test negli ultimi 5 anni 2. Definire criteri e standard Criterio Specifica caratteristica di qualità che si vuole valutare Indicatore Informazione selezionata per la misurazione del criterio Standard Valore dell’indicatore che definisce la soglia tra accettabile ed inaccettabile Valore osservato Valore che assume l’indicatore a seguito della misurazione Obiettivo - Indicatore - Standard Obiettivo: vincere la gara di salto Criterio: altezza superata Indicatore: distanza dell’asticella da terra espressa in cm, se superata entro il 3° tentativo Standard: 241 cm Standard di riferimento: Lo standard può essere: determinato da letteratura; determinato da indicazioni di società scientifiche; determinato da indicazioni di politica sanitaria; calcolato su rilevazioni effettuate in periodi precedenti. Infarto miocardico in P.S. : valori osservati e standard 60 50 Percentuale paz. trattati < 1 h 40 Standard 30 20 10 0 1 2 3 Raccolta dati 4 5 2. Definire criteri e standard: Standard Consigli: Uno standard per ogni criterio ! Lo standard deve essere realistico e raggiungibile Standard del 100% sono irrealistici Lo standard deriva da fonti “ragionevoli” Mehay & Eisner 2003 2. Definire criteri e standard: Standard Lo standard individuato come paragone per la valutazione della pratica clinica deve essere condiviso. Esso non può infatti essere oggetto di rimaneggiamento in corso di verifica, mentre deve essere discusso a priori e, a posteriori, può essere commentato e revisionato alla luce di quanto emerso dall’audit stesso. Cinotti e Cartabellotta 2000 “Ciclo dell’audit” 4. Confrontare i risultati con con criteri e standard 3. Osservare la pratica e raccogliere dati 5. Realizzare il cambiamento 3. Osservare la pratica e raccogliere dati Definire la popolazione di riferimento Per quale arco di tempo ? Quali le eccezioni ? Definire eventualmente un campione Da quale fonte si prendono i dati ? Come trattare casi mancanti, perduti ecc. Costruire un foglio raccolta dati 3. Osservare la pratica e raccogliere dati Retrospettivo – Dati vengono raccolti esaminando la pratica passata – + veloce – Fornisce una baseline – Qualità del dato non è garantita – Utenti non ne traggono più vantaggio Prospettico – Dati vengono raccolti da ora in poi – Può essere dispendio di tempo – Non fornisce una baseline – Permette una progettazione accurata e favorisce dati di + qualità Foglio raccolta dati La costruzione del foglio di raccolta dati è una delle fasi più importanti dell’audit “In un mondo ideale per ogni importante aspetto delle cure i dati vengono già raccolti routinariamente e sono pronti all’accesso.” Best practice in Clinical Audit Eccessiva semplificazione può andare a scapito del risultato finale, ma si può anche non raggiungere alcun risultato a causa delle eccessive complicazioni. Cinotti & Cartabellotta 2000 Documentazione clinica Cartella clinica/infermieristica è la principale fonte di dati per l’audit. Purtroppo non è sempre completa né redatta correttamente. Altri dati sono spesso contenuti in reparti diversi, su carta o in forma elettronica, a volte in organizzazioni diverse … o non ci sono proprio. Concordanza fra valutatori Se non si tratta di una semplice ricopiatura di dati dalla cartella al foglio raccolta dati, ma di una vera estrazione di dati, può essere utile che la stessa cartella venga esaminata da 2 valutatori indipendenti che poi si confrontano sui dati da loro estratti. In particolare per valutazioni di adeguatezza, gravità clinica, appropriatezza ecc. Svantaggio: dispendio tempo Confidenzialità dei dati Per ogni soggetto incluso nell’audit : un numero di identificazione Privacy: tenere separati i dati e i nomi Anonimità dei professionisti (salvo accordi diversi) Non esportare dati o materiale scritto dai luoghi in cui si raccolgono i dati Eventualmente presentare dati in “semi-cieco” Attenzione alla sicurezza dei dati ! (password, back up dei dati) Campionamento • Quanti pazienti devo includere nella raccolta dati ? • Come posso ottenere un campione rappresentativo ? • Le risposte dipendono anche da fattori come: • grado di affidabilità statistica che si vuole raggiungere • risorse limitate: tempo, costi, accesso ai dati • Campione di 40 – 50 casi viene i.g. considerato accettabile • Esistono tecniche molto sofisticate : chiedere aiuto ad un esperto in statistica o usare Epi-Info Tecniche di campionamento CAMPIONAMENTO CASUALE: • sarebbe da preferire in ogni caso • di più facile applicazione in raccolte dati retrospettive • generare numeri casuali (Excel) CAMPIONAMENTO AD INTERVALLI • utile in raccolte prospettiche • p.e. “tutti i ricoveri nel mese di Febbraio” CAMPIONAMENTO A DUE FASI • determinare prima un campione piccolo, se da questo non si traggono conclusioni univoche, determinarne uno maggiore 3. Osservare la pratica e raccogliere dati Condurre sempre un piccolo studio pilota Discutere e cercare il consenso sugli aspetti metodologici Delegare la raccolta dati se possibile, ma addestrare gli addetti Documentare le decisioni prese “Ciclo dell’audit” 4. Confrontare i risultati con criteri e standard 5. Realizzare il cambiamento 4. Confrontare i dati con criteri e standard Si vorrebbero trarre delle conclusioni su: Grado con cui la pratica reale corrisponde agli standard Casi nei quali può essere ritenuto accettabile uno scostamento dallo standard Andamento generale della attuale pratica professionale 4. Confrontare i dati con criteri e standard Generalmente si calcola: % casi che corrispondono ad ogni standard (incl. non applicabili) % casi non applicabili % casi applicabili che corrispondono allo standard 4. Metodi di analisi dei dati Non sono sempre necessarie delle sofisticate procedure statistiche. Statistica descrittiva Test statistici Carte di controllo Analisi qualitative Statistica descrittiva Frequenza di certi eventi (% o tassi) Media/mediana: il valore più “tipico” dei dati Range: fra valore minimo e massimo Deviazione standard: descrive la variabilità Presentazione dati:esempio Ambito: Cardiochirurgia dell’ospedale X Criterio: tutti i pazienti dovrebbero essere operati entro 7 giorni dal ricovero Indicatore: giorni trascorsi fra la data del ricovero e la data dell’intervento Raccolta dati: 70 pazienti fra Gennaio e Aprile Presentazione dati III II III IIIII IIIII IIIII III I II II IIIII IIIII IIIII IIIII IIIII IIIII IIII III 2 3 4 5 6 7 8 9 10 11 gg gg gg gg gg gg gg gg gg gg Presentazione dati 14 12 10 8 6 N Pazienti 4 2 0 2 3 4 5 6 7 8 9 10 11 Giorni intervento - ricovero Presentazione dati 28 casi (40%) sono al di sopra dei 7 giorni 42 casi (60%) sono entro i 7 giorni Standard: 95% Scostamento: 95-60 70 casi osservati range: da 2 (min.) a 11(max.) Media: 7.02 giorni Mediana: 7 giorni Deviazione standard: 2.17 Test statistici Es.: in audit relativi ad un “prima” e “dopo” per verificare se cambiamenti sono dovuti al caso o all’intervento di miglioramento Test statistici “Chi Quadro” test che si applica a tabelle di frequenza a due dimensioni, per esempio 2 * 2 serve a testare se c’è una differenza nelle due proporzioni Problem Solving Lo scostamento dei valori osservati dallo standard costituisce, nei termini del Problem Solving la individuazione di un problema. Problem Solving Individuare le cause è una delle parti più difficile del percorso Una volta descritto il problema si tende ad arrivare subito alle conclusioni Eliminare i falsi problemi Utilizzare tecniche qualitative e quantitative per elencare i fattori causali che determinano lo scostamento Verificare con osservazioni sul campo le cause principali Individuare le cause Brainstorming = “tempesta dei cervelli” è la fase della creazione di idee la ricchezza di idee e la capacità di comunicarle sono la forza motrice del cambiamento stimolare il gruppo a produrre in libertà il maggior numero di idee possibile Individuare le cause Brainstorming La dichiarazione delle regole del gioco tende a minimizzare le componenti relazionali ed emotive che incidono negativamente sulla creatività Tecnica dei post-it Individuare le cause Brainstorming Il conduttore spiega l’obiettivo concreto della riunione (individuare le cause dello scostamento) i membri presenti portano le proprie idee, esponendo una idea per volta l’idea portata da un membro può essere di suggerimento ad un altro non si accettano commenti alle idee esposte Individuare le cause Brainstorming Si continua la rotazione fino a quando tutti hanno esposto le proprie idee limitare il tempo a circa 10 - 15 minuti raggruppare i post - it per affinità sulla base di un consenso comune Individuare le cause Diagramma di Ishikawa Si scrive il problema nella parte destra della spina di pesce con il brainstorming si identificano le diverse cause del problema e man mano si classificano come spine principali nelle varie categorie è possibile aprire spine secondarie quando una causa ha delle sottocause Politiche Persone Scarsa puntualità dei medici Carenza di investimenti informatici Ridimensionamento attività ambulatoriale Mancanza di cultura di servizio nel personale della accettazione Liste di Attesa Mancanza di agende elettroniche Mancanza di un sistema di CUP interno Informatizzazione povera Procedure Mancanza di spazi fisici adeguati Erogazione Definire priorità: voto semplice Presentare gli argomenti (le cause) uno alla volta e assicurarsi che siano compresi ogni partecipante dà individualmente un “voto” ad ognuno degli argomenti (p.e. su una scala +, ++, +++ identificare gli argomenti che hanno ottenuto più voti Voto semplice Causa + 1 ++ +++ + + 11 Causa +++ +++ ++ + 2 +++ + + 14 Causa + 3 ++ +++ + 13 ++ + ++ +++ + Definire priorità: voto ponderato Frequenza Costo Potential for change Totale Ipotesi A + ++ + 4 Ipotesi B ++ +++ ++ 7 Ipotesi C + ++ +++ 6 “Ciclo dell’audit” 5. Realizzare il cambiamento Pianificare azioni correttive Brainstorming Prioritarizzazione Piano di miglioramento al committente Pianificare azioni correttive Oggetto del miglioramento responsabile le tappe con le relative azioni risultati attesi per ogni tappa tempi entro cui completare ogni tappa firma del responsabile del piano Diagramma di Gantt Azioni (cosa si fa) 1 2 3 4 5 giu lug ago set ott nov dic Attori (chi fa) Indicazione figure responsabili Indicazione figure responsabili Indicazione figure responsabili Indicazione figure responsabili Indicazione figure responsabili Cloosing the loop Re-audit confrontare il PRIMA con il DOPO delle azioni correttive verificare di non aver causato un problema da altre parti Il miglioramento è accettabile ? Verifica dei risultati Miglioramento dimostrato standardizzazione delle azioni correttive documentazione (procedure) estensione ad altre UU.OO. formazione Miglioramento non dimostrato rivedere il percorso fatto esecuzione delle azioni correttive è stata fedele ? “ripassa al VIA”