Il monitoraggio
del sistema
Pirous Fateh-Moghadam e Valentina Minardi
24 maggio 2007
Istituto Superiore di Sanità
1
Il monitoraggio – perché
• Controllo costante delle attività del
progetto al fine di:
– consentire tempestivi provvedimenti
correttivi
– permettere la valutazione in itinere del
progetto stesso
2
Il monitoraggio – per chi
• Operatori PASSI
─ Gruppo Tecnico
─ Coordinatore Regionale
─ Coordinatore Aziendale
─ Intervistatore
• Governo del sistema
• CCM
• Comitato Interregionale Prevenzione
3
Il monitoraggio – quando
• Periodicità:
─ Mensile
Dipende da:
─ Trimestrale
─ Annuale
• livello del sistema (regione, ASL)
• tipo indicatore
4
Il monitoraggio – come
Requisiti del monitoraggio
• Sono necessari indicatori validi che siano:
– Accurati e completi
• Evitare errori sistematici
• Riguardare tutti gli eventi oggetto di studio e solo
questi
–
–
–
–
Riproducibili
Tempestivi
Facile da rilevare e da calcolare
Economici
5
Il monitoraggio – come
Fonte dei dati e modalità
• Fonte dei dati:
– Dati del diario dell’intervistatore
– Dati dei questionari
• Con e-PASSI  monitoraggio automatico
– Due modalità:
• invio periodico (mensile) di e-mail con le informazioni
sull’andamento del sistema
• coordinatore si collega al sito PASSI e può accedere alle
informazioni in qualsiasi momento
Garantisce il rispetto dei requisiti di accuratezza,
completezza, riproducibilità, tempestività, facilità,
economicità
6
Il monitoraggio – come
Tipologia di indicatori
• Indicatori di input/stato
– Risorse strutturali del sistema
• Indicatori di processo
– Misurano l’andamento del sistema
• Indicatori di output e outcome/valutazione
– Output: criteri di efficienza in relazione con gli
indicatori di input
– Valutazione se e in che misura sono stati
raggiunti gli obiettivi
7
Il monitoraggio – come
Tipologia di indicatori
• Indicatori di input/stato
– Risorse strutturali del sistema
• Indicatori di processo
– Misurano l’andamento del sistema
• Indicatori di output e outcome/valutazione
– Output: criteri efficienza in relazione con gli
indicatori di input
– Valutazione se e in che misura sono stati
raggiunti gli obiettivi
8
Il monitoraggio – cosa
proposta di un piano di monitoraggio
9
Oggetti del monitoraggio
•
•
•
•
•
•
•
•
Spedizione delle lettere
Modalità di reperimento del telefono
Coinvolgimento dei medici
Numero mensile di interviste fatte (tempestività
inserimento dati)
Distribuzione temporale delle interviste (ora e
giorno)
Adesione/Cooperazione/Rifiuti/Contatti
Motivi delle sostituzioni (eleggibilità)
Impegno dell’intervistatore (combinazione di più
indicatori)
10
Spedizione delle lettere
• Indicatore:
% lettere ricevute
tot. rispondenti alla domanda 0.1
– Dom. 0.1: “Ha ricevuto per
posta la lettera dell’ASL che Le
preannunciava un’intervista
telefonica?”
11
Modalità di reperimento del
telefono
• Distribuzione percentuale delle diverse
modalità sul totale di numeri reperiti
–
–
–
–
–
–
Già presente (anagrafe sanitaria)
Pagine bianche
MMG
Anagrafe comunale
CUP
Parenti vicini, ecc.
12
Coinvolgimento dei medici
numero interviste con coinvolgimento del medico
(tot. titolari + sostituti reclutati)
13
Interviste mensili
• Numero intervistatori
(input)
• Numero interviste
(processo)
• Numero interviste (output)
intervistatore
14
Distribuzione temporale delle
interviste
Orario
n° interviste percentuale
9-13
80
40
13-15
57
28
15-19
41
20
19-20
14
7
festivo
3
1,5
prefestivo
5
2,5
Risultati studio PASSI 2005, APSS Trento
15
Adesione
• Percentuale di adesione (grezza):
Interviste fatte
x 100
(n° titolari – non eleggibili)
• Tasso di adesione (grezzo):
Interviste fatte
(n° titolari – non eleggibili)
16
Indicatori che rispettano
gli standard internazionali
• Tasso
• Tasso
• Tasso
• Tasso
di risposta
cooperazione
di rifiuto
di contatto
Fonte: The American Association for Public Opinion Research. 2006. Standard Definitions:
Final Dispositions of Case Codes and Outcome Rates for Surveys. 4th edition.
17
Indicatori che rispettano
gli standard internazionali
• Tasso
• Tasso
• Tasso
• Tasso
di risposta
cooperazione
di rifiuto
di contatto
Fonte: The American Association for Public Opinion Research. 2006. Standard Definitions:
Final Dispositions of Case Codes and Outcome Rates for Surveys. 4th edition.
18
Tasso di risposta
Formula corretta
numero di interviste complete
(n° tot. interviste (complete e parziali) + tot. noninterviste (rifiuti, interrotte, non reperibili) + stima
dei casi eleggibili tra i non raggiunti)
Fonte: The American Association for Public Opinion Research. 2006. Standard Definitions:
Final Dispositions of Case Codes and Outcome Rates for Surveys. 4th edition.
19
Tasso di rifiuto
Proporzione di tutti i rifiuti su tutti i casi eleggibili
numero rifiuti
(n° int. (complete e parziali) + tot. non-int. (rifiuti,
interrotte, non reperibili) + stima dei casi eleggibili tra i non
raggiunti)
Fonte: The American Association for Public Opinion Research. 2006. Standard Definitions:
Final Dispositions of Case Codes and Outcome Rates for Surveys. 4th edition.
20
Utilizzo del CATI e durata
media dell’intervista
•
n° int. effettuate con CATI
x 100
totale interviste
• Durata media intervista
– CATI
– Cartaceo
21
Verso un piano di
monitoraggio
• III gruppo di lavoro: “Monitoraggio e
valutazione. Validazione del questionario”
• Elaborazione del piano di monitoraggio per
Regioni e ASL con individuazione
– Indicatori con formule standard
– Periodicità
– Reportistica
22
Per concludere:
Dati preliminari del sistema
• Totale interviste inserite: 153
• Regioni: Liguria, Sicilia, Trentino, Veneto,
Abruzzo
• Totale intervistatori: 36
4 interviste per intervistatore
• Percentuale lettere ricevute: 82%
• Durata media intervista: 28 minuti
23
Dati preliminari del sistema
• Percentuale di adesione:
• Percentuale di rifiuti:
• Motivi di sostituzione:
– Non reperibile:
– Senza telefono:
– Missing:
 Percentuale di non eleggibili:
o Residente altrove:
o Non conoscenza italiano:
81%
8%
5%
5%
1%
3%
2%
1%
24