Monitoraggio: punto della
situazione e nuove funzionalità
Valentina Minardi, Pirous Fateh-Moghadam
13 dicembre 2007
Istituto Superiore di Sanità
1
Per iniziare:
Dati del sistema al 11/12/07
• Totale interviste inserite: 13.281
• Regioni: tutte tranne Calabria,
Lombardia
• Durata mediana intervista: 20 minuti
2
Numero interviste caricate per
regione (aprile-dicembre 2007)
PIEMONTE
EMILIA ROMAGNA
CAMPANIA
TOSCANA
VENETO
LIGURIA
FRIULI VENEZIA GIULIA
PROV. AUTON. TRENTO
UMBRIA
SICILIA
LAZIO
ABRUZZO
BASILICATA
PUGLIA
MARCHE
VALLE D'AOSTA
PROV. AUTON. BOLZANO
SARDEGNA
MOLISE
0
500
1000
1500
2000
2500
3
Percentuali di interviste caricate
sulle attese fino a novembre
P ROV. A UTON. TRENTO
P ROV. A UTON. B OLZA NO
FRIULI VENEZIA GIULIA
VA LLE D'A OSTA
LIGURIA
P IEM ONTE
UM B RIA
CA M P A NIA
EM ILIA ROM A GNA
P UGLIA
TOSCA NA
B A SILICA TA
SICILIA
LA ZIO
A B RUZZO
M A RCHE
VENETO
M OLISE
SA RDEGNA
0.0
20.0
40.0
60.0
80.0
100.0
4
Dati del sistema al 11/12/07
• Tasso di eleggibilità:
• Tasso di risposta:
• Tasso di sostituzione:
96%
86%
14%
– Tasso di rifiuto:
10%
– Tasso di non reperibilità:
4%
5
Modalità reperimento
numero di telefono (%)
44.2
Gia' presente (anagrafe sanitaria)
19.6
Altre fonti aziendali
17.4
Pagine Bianche
7.8
Parenti, vicini, ecc.
6.8
MMG
Anagrafe comunale
2.4
Riferito dall'intervistato stesso
1.8
0
10
20
30
40
50
6
% di lettere ricevute per
mese per il pool di ASL
100
79.9
82.8
81.9
81.7
82.6
81.7
85.4
86.8
80
60
40
20
di
ce
m
br
e
e
no
ve
m
br
ot
to
br
e
se
tte
m
br
e
lu
gl
io
-a
go
st
o
gi
ug
no
m
ag
gi
o
ap
ril
e
0
7
Distribuzione oraria delle
interviste
45
40
40
35
30
25
22
25
20
15
8
10
5
5
0
[7-13[
[13-15[
[15-19[
[19-20[
[20 e oltre
8
Percentuale di utilizzo del
CATI per Regione e mese
31
28
18
11
22
13
br
e
di
ce
m
br
e
no
ve
m
ot
to
br
e
gi
ug
n
ag
g
io
2
o
lu
gl
io
-a
go
st
o
se
tte
m
br
e
5
m
ap
ril
e
35
30
25
20
15
10
5
0
9
Nuove funzionalità
• Accesso al monitoraggio di ASL a tutti
gli intervistatori
• Sovra campionatura
• Segnalazione del superamento delle
soglie di attenzione prestabilite per
alcuni indicatori critici
10
Nuove funzionalità
• Accesso al monitoraggio di ASL a
tutti gli intervistatori
• Sovra campionatura
• Segnalazione del superamento delle
soglie di attenzione prestabilite per
alcuni indicatori critici
11
Accesso al monitoraggio di
ASL a tutti gli intervistatori
• A breve sarà inserita nella pagina di
monitoraggio la possibilità di accedere
all’elenco operatori di ogni singola ASL
• Occorre verificare che tutti gli intervistatori
siano correttamente inseriti nella ASL di
appartenenza
• Qualora ci siano errori, si prega di contattare
MPA Solution
12
Elenco utenti
13
Nuove funzionalità
• Accesso al monitoraggio di ASL a tutti
gli intervistatori
• Sovra campionatura
• Segnalazione del superamento delle
soglie di attenzione prestabilite per
alcuni indicatori critici
14
Selezione per Sovra campionatura
15
Nuove funzionalità
• Accesso al monitoraggio di ASL a tutti
gli intervistatori
• Sovra campionatura
• Segnalazione del superamento delle
soglie di attenzione prestabilite per
alcuni indicatori critici
16
Soglie
Tasso di risposta e Tasso di rifiuto
• Colori diversi in base alle soglie
Nero
Blu
Arancione
Rosso
=
=
=
=
desiderabile
accettabile
attenzione
allarme
17
Soglie proposte
Tasso di risposta
Desiderabile: >85%
Accettabile: tra 80 e 85%
Attenzione: tra 79,9 e 75%
Allarme: <75%
Si tratta di un indicatore fondamentale, anche se generico, per
valutare l’adesione all’indagine
Nel caso di un valore inferiore al “desiderabile” cominciare ad
interrogarsi, prendendo in esame le componenti del tasso di
risposta:
• rifiuto
• non-reperibilità
• sostituzione
18
Soglie proposte
Tasso di rifiuto
Desiderabile: <8%
Accettabile: tra 8 e 11,9%
Attenzione: tra 12 e 17,9%
Allarme: > 18%
Nel caso in cui il tasso dovesse risultare superiore al
“desiderabile” si consiglia di valutare:
• la percentuale di lettere ricevute
• il grado di coinvolgimento del MMG
• la distribuzione per ASL e/o intervistatore
• la distribuzione per sesso e/o classi di età
• l’avvenuta comunicazione alla popolazione del sistema
• l’adeguata formazione degli intervistatori
19
Esempio con dati non reali
20
Esempio con dati non reali
21
Monitoraggio per l’azione
Il monitoraggio permette di
verificare la corrispondenza
con i dati trasmessi al server
centrale.
Esaminando gli indicatori
potrà capitare di riscontrare
diversi tipi di anomalie,
segnalate dal fatto che -nelle
tabelle di monitoraggio- le
colonne “non indicato” non
sono vuote, come
dovrebbero essere.
Altri errori od omissioni potranno risultare da una revisione
mirata delle interviste o da segnalazioni spontanee degli
intervistatori.
22
Per correggere il dataset
Fino almeno a tutto gennaio 2008
• Ogni CR, in collaborazione con i rispettivi CA, analizzerà i
dati del monitoraggio entro 10 giorni dal completamento
dell’upload (previsto per il giorno 10 del mese successivo
all’effettuazione delle interviste).
• In caso di dati anomali/mancanti, si procederà ad
identificare l’ASL interessata ed il campo contenente
l’anomalia.
• I CR trasmetteranno tempestivamente comunicazione del
tipo di dato anomalo riscontrato a MPA Solutions email: [email protected]
23
Per correggere il dataset
Fino almeno a tutto gennaio 2008
• MPA verificherà la migliore modalità di correzione del dato
anomalo direttamente con il CA interessato.
Quindi invierà l’ID (numero di estrazione) e il record di
ciascuna intervista anomala al CA, informando per
conoscenza il rispettivo CR ed il GT.
• Il CA recupererà le informazioni mancanti e/o errate,
correggerà il record, sempre informando il proprio CR, e lo
trasmetterà ad MPA, che effettuerà materialmente la
correzione del record nel dataset sul server.
24
Per correggere il dataset
Da febbraio 2008 (data da confermare)
• Verrà resa disponibile la correzione online del proprio
dataset ad opera del singolo CA con modalità da definire
nel dettaglio (limite temporale, necessità di avvertire il
proprio CR ed il GT per monitorare e tenere sotto
controllo il fenomeno, controlli di qualità, ecc.).
25