ValutaPASSI
Gruppo Tecnico PASSI Nazionale
Centro Nazionale di Epidemiologia, Sorveglianza e
Promozione della Salute (ISS)
Incontro Coordinamento Nazionale,
Roma 18 Dicembre 2009
Obiettivo 3 – Progetto Passi 2009 – 2011
• Per predisporre la versione definitiva del progetto è
prevista inoltre una valutazione partecipata, condivisa con i
gruppi tecnici regionali, per evidenziare le criticità
incontrate nella sperimentazione ed individuare i requisiti
indispensabili per rendere sostenibile la sorveglianza.
• Per favorire la gestione continuativa del sistema e l’utilizzo
efficace dei risultati in tutte le Regioni/ASL partecipanti, è
necessario fornire sostegno formativo ed organizzativo. Vi
sono altresì aspetti tecnici (sistema informativo, analisi dei
dati, comunicazione) da affinare per promuovere il
miglioramento della qualità e la valorizzazione dei risultati
prodotti dal sistema di sorveglianza.
Valutazione pratica
• Serve a far evolvere il sistema
– valorizzare il network (senso di padronanza)
– dar di conto a committenti e partecipanti (trasparenza)
• Consiste in una descrizione e un giudizio di valore
• Non affidata ad agenzie terze, ma condotta
dall’interno del sistema
• Include gli stakeholders
• Quantifica gli attributi del sistema (qualità dei dati,
costi ecc.)
Soggetti potenzialmente interessati
• Coordinamento nazionale
• Committenti e referenti istituzionali
• Partecipanti al funzionamento del sistema
• Altri soggetti potenzialmente interessati
2 Componenti
• Rendiconto
• Valutazione pratica (o interna)
Rendiconto
• Adeguatezza del disegno al contesto
• Funzionamento
• Risultati
Scadenza Gennaio 2010
Adeguatezza al Contesto
Quesiti
Esigenze istituzionali che hanno portato alla sperimentazione
Aspettative degli stakeholders istituzionali
Adeguatezza al contesto epidemiologico ed istituzionale
Come la sorveglianza si colloca nell’ambito dei sistemi informativi
sanitari, in particolare di quelli che forniscono dati su malattie
croniche e fattori di rischio
Funzionamento
Quesiti
Obiettivi del PASSI
Organizzazione del network
Funzionamento della rilevazione
Funzionamento della formazione
Principali attività
Principali indicatori statistici
Prodotti sul piano della comunicazione
Outcomes in advocacy e pianificazione
Funzionamento del software
Comunicazione interna ed esterna
Schema del legame tra obiettivi, attività, output ed outcome
Valutazione
•
•
•
•
•
•
•
•
•
•
•
Grado di rilevanza dei fenomeni sotto sorveglianza
Grado di pertinenza, rispetto agli obiettivi del sistema
Grado di accettabilità
Uso (e potenziale uso) dei risultati
Qualità dei dati
Tempestività
Flessibilità
Capacità di innovarsi
Rispetto di confidenzialità, riservatezza, etica e sicurezza
Efficienza
Efficacia: effetti della sorveglianza
Scadenza Giugno 2010
Rilevanza e Pertinenza
Quesiti
Grado di rilevanza dei fenomeni oggetto della sorveglianza
Frequenza dei fenomeni oggetto della sorveglianza
Gravità dei rischi
Efficacia delle misure di prevenzione
Grado di pertinenza (rispetto agli obiettivi del sistema)
Accettabilità
Quesiti
Grado di Soddisfazione dei committenti dei risultati (risultati)
Grado di Soddisfazione dei coordinatori regionali (risultati)
Grado di Soddisfazione degli assistenti addetti alle interviste
(esperienza di lavoro)
Tasso di risposta delle persone selezionate per essere
intervistate
Uso e Usabilità
Quesiti
Regioni /ASL che hanno inserito Passi nei Piani di Prevenzione o
Sanitari
Uso dei dati e report da pianificatori
Uso dai coordinatori per rispondere a quesiti
Uso per formare partnership
Promozione di decision making basato sui dati
Identificazione di trend, differenze territoriali per l’individuazione
obiettivi di salute
Stime dimensioni di rischi e problemi di salute
Stimolo per la ricerca epidemiologica, finalizzata alla prevenzione
delle malattie
Valutazione effetto di misure di controllo
Completezza , Rappresentatività , Sensibilità
Quesiti
Completezza partecipazione Regioni e ASL
Affidabilità dati anagrafe assistiti
Completezza della rilevazione
Meccanismi per monitorare gli errori
Proporzione di individui, che hanno la condizione riportati correttamente dal
sistema? (sensibilità 1)
Riconoscimento cambiamenti (tempo, spazio), rapporti tra le frequenze (cluster,
focolai o trend)
Rappresentatività
Under-reporting per sotto gruppi identificabili
Protocolli riguardo le principali procedure
Protocolli procedure informatiche
Sistemi di sicurezza informatici
Differenze significati tra dati storici e dati attuali
Percentuale di dati mancanti
Percentuale di rifiuti
Tempestività
(data disponibilità informazione) – (data osservazione evento)
(data comunicazione) – (data osservazione evento)
data caricamento interviste relative ai mesi precedenti (%
completamento; distribuzione per Regioni)
date di pubblicazione dei dataset e dei kit
pubblicazione dei rapporti regionali/aziendali o diffusione di
elaborazioni preliminari (es. fumo, alcol, MMG, ecc.)
Flessibilità, capacità di innovare e rinnovarsi
Quesiti
E’ in grado il sistema di rispondere a nuove malattie o condizioni
sanitarie?
Di adattarsi a variazioni delle definizioni?
E’ in grado di sperimentare un’innovazione (ad esempio modulo
per la comunicazione a uno specifico target) su una base limitata
di aziende?
Quante versioni nuove del questionario sono state prodotte?
Quanto complessa è l’implementazione?
Rispetto della privacy
Aderenza alla legislazione ed alle politiche in vigore
Garanzia privacy degli individui
Garanzia sicurezza informatica
Garanzia confidenzialità
Giustificazione sul piano etico
Costo - Risultati
Risorse consumate per produrre l’informazione
Relazione tra risorse consumate e prodotti di
comunicazione
Potenziali Usi ed Effetti
• Erogazione dei prodotti attesi
i. Dati con un dettaglio a livello di ASL
ii. Confronto tra le diverse ASL
iii.Quadro rappresentativo dell’ASL/Regione
iv. Integrazione con le basi dati esistenti
• Iniziative intraprese sulla base dei risultati acquisiti
i. Dati usati per supporto a iniziative intraprese
ii. Il sistema fornisce dati su attuazione del Piano di Prevenzione
iii.Permette di potenziare i Dipartimenti di Prevenzione favorendo un
impegno per la prevenzione
iv.È in grado di rafforzare una rete di Dipartimenti di Prevenzione
• Azioni di comunicazione dei risultati
i. Aumentata la consapevolezza della relazione fra fattori di rischio e
salute tra gli operatori, nella comunità o in gruppi
ii. Dati utilizzati da parte dei media