Monitoraggio: la situazione –
correzione del dataset
Valentina Minardi, Giuliano Carrozzi,
Nicoletta Bertozzi
13 febbraio 2008
Istituto Superiore di Sanità
1
Cosa vedremo?
• Statistiche di accesso
• Dati aggiornati di monitoraggio
• Problematiche evidenziate dall’analisi di
monitoraggio
• Nuove funzionalità: correzione del dataset
2
Cosa vedremo?
• Statistiche di accesso
• Dati aggiornati di monitoraggio
• Problematiche evidenziate dall’analisi di
monitoraggio
• Nuove funzionalità: correzione del dataset
3
Per iniziare:
statistiche di accesso a passidati.it
Visite
3500
3000
2500
2000
1500
1000
500
feb-08
gen-08
dic-07
nov-07
ott-07
set-07
ago-07
lug-07
giu-07
mag-07
apr-07
0
4
Per iniziare:
statistiche di accesso a passidati.it
Pagine caricate
40000
35000
30000
25000
20000
15000
10000
5000
feb-08
gen-08
dic-07
nov-07
ott-07
set-07
ago-07
lug-07
giu-07
mag-07
apr-07
0
5
Statistiche di accesso
alle pagine di monitoraggio
Visite
900
800
700
600
500
400
300
200
100
0
set-07
ott-07
nov-07
dic-07
gen-08
feb-08
6
Statistiche di accesso
alle pagine di monitoraggio
Pagine caricate
2500
2000
1500
1000
500
0
set-07
ott-07
nov-07
dic-07
gen-08
feb-08
7
Statistiche di accesso al server
per il caricamento delle interviste
Accesso all’upload
2000
1800
1600
1400
1200
1000
800
600
400
200
feb-08
gen-08
dic-07
nov-07
ott-07
set-07
ago-07
lug-07
giu-07
mag-07
apr-07
0
8
Statistiche di accesso al server
per il caricamento delle interviste
Invii effettivi
14000
12000
10000
8000
6000
4000
2000
feb-08
gen-08
dic-07
nov-07
ott-07
set-07
ago-07
lug-07
giu-07
mag-07
apr-07
0
9
Statistiche di accesso al server
per il caricamento delle interviste
Kb caricati
1000
> 7.000
900
800
700
600
500
400
300
200
100
feb-08
gen-08
dic-07
nov-07
ott-07
set-07
ago-07
lug-07
giu-07
mag-07
apr-07
0
10
Versione del client e-Passi
• 86% delle interviste caricate sono state eseguite con una
versione aggiornata del client e-Passi (2.0 o 2.1)
• nel 14% dei casi la versione è precedente; ciò implica il
dover decidere se:
• obbligare tutti gli operatori a passare alla nuova versione e
rendere impossibile il caricamento delle interviste con versioni
precedenti alla 2.0
oppure
• verificare se ci siano ancora interviste relative al vecchio
questionario (precedente alla versione del 23/07/2007) da
caricare per le quali consentire l’utilizzo del client vecchio.
Vanno valutate le realtà locali
11
Cosa vedremo?
• Statistiche di accesso
• Dati aggiornati di monitoraggio
• Problematiche evidenziate dall’analisi di
monitoraggio
• Nuove funzionalità: correzione del dataset
12
Per continuare:
Dati del sistema al 11/02/08
• Regioni: tutte tranne la Calabria
• 2007:
– Totale interviste inserite: 18.919
– Durata mediana intervista: 20 minuti
• 2008
– Totale interviste inserite: 1.334
– Durata mediana intervista: 20 minuti
13
Numero interviste caricate per regione
(aprile-dicembre 2007)
Refuso...hanno
iniziato nel
2008!
Ci sono 22 interviste senza
regione di appartenenza
LOMBARDIA
non indicato
MOLISE
SARDEGNA
PROV. AUTON. BOLZANO
VALLE D'AOSTA
MARCHE
BASILICATA
PUGLIA
ABRUZZO
PROV. AUTON. TRENTO
UMBRIA
SICILIA
FRIULI VENEZIA GIULIA
LAZIO
LIGURIA
TOSCANA
VENETO
CAMPANIA
EMILIA ROMAGNA
14
PIEMONTE
0
500
1000
1500
2000
2500
3000
3500
Probabile intervista di prova
Possibili problemi con l’impostazione del mese e dell’anno
di rilevazione
Sovra-campionatura?
Problemi di configurazione del client di registrazione
dell’intervista
15
Momentaneamente non attendibile
Percentuali di interviste caricate sulle
attese del 2007
50%
SARDEGNA
75%
MARCHE
N.B.: Dati diversi da
quelli presenti sul
sito perché calcolati
sulla base dei mesi
di effettiva
rilevazione e non su
base annuale.
VENETO
BASILICATA
SICILIA
ABRUZZO
LAZIO
MOLISE
PUGLIA
TOSCANA
UMBRIA
EMILIA ROMAGNA
CAMPANIA
FRIULI VENEZIA GIULIA
PIEMONTE
LIGURIA
VALLE D'AOSTA
PROV. AUTON. BOLZANO
PROV. AUTON. TRENTO
0
25
50
75
100 16
Prospettive future
• Dal momento che la numerosità delle interviste attese per
ASL potrebbe cambiare annualmente (o anche più volte l’anno),
si vuole prevedere la possibilità di modulare il denominatore
della % di interviste caricate su quelle attese.
• Il Coordinatore Regionale, entrando nel proprio profilo utente
in passidati.it, potrà a breve inserire e modificare le numerosità
campionarie mensili di ogni singola ASL della sua regione.
17
Dati del sistema al 11/02/08: inalterati
• Tasso di eleggibilità:
95%
• Tasso di risposta:
86%
• Tasso di sostituzione:14%
– Tasso di rifiuto:
– Tasso di non reperibilità:
10%
4%
18
Dati del sistema al 11/02/08: inalterati
Modalità reperimento numero
di telefono (%)
43.9
17.1
20.3
Gia' presente
(anagrafe
sanitaria)
Altre fonti
aziendali
Pagine Bianche
7.5
Parenti, vicini,
ecc.
MMG
2.2
Anagrafe
comunale
7.1
2
Riferito
dall'intervistato
stesso
50
45
40
35
30
25
20
15
10
5
0
Distribuzione oraria delle
interviste
45
40
35
30
25
20
15
10
5
0
39
26
22
5
[7-13[
[13-15[
[15-19[
[19-20[
8
[20 e oltre
19
Percentuale di utilizzo del CATI
per mese
30
25
24
22
19
20
16
15
12
10
10
3
5
3
0
e
ril
p
a
g
ag
m
io
n
ug
i
g
to
o
g
lu
lio
os
ag
s
t
et
e
br
em
o
b
tto
e
br
em
re
v
no
m
ce
i
d
e
br
20
Cosa vedremo?
• Statistiche di accesso
• Dati aggiornati di monitoraggio
• Problematiche evidenziate dall’analisi di
monitoraggio
• Nuove funzionalità: correzione del dataset
21
Problematiche
• Rispetto del protocollo
– Tentativi di chiamata dell’intervistato
– Ricerca numeri di telefono
• Corretta compilazione del diario in e-Passi
22
Protocollo - Ricerca intervistato
Il protocollo prevedeva:
– almeno 3 telefonate durante la settimana, in fasce
orarie diverse, durante l’orario di servizio
dell’intervistatore
– almeno 2 tentativi in orario serale (indicativamente
ore 19-21)
– almeno 1 tentativo nel week-end
23
Protocollo - Ricerca intervistato
Dall’analisi delle quasi 900 sostituzioni per “non reperibile”
emerge:
– Il 50% ha effettuato un tentativo dopo le ore 20
– Il 45% ha effettuato un tentativo il sabato o la domenica
– Il 70% ha effettuato un tentativo nel weekend OPPURE
uno dopo le ore 20
– Solo 25% ha effettuato un tentativo nel weekend + uno
dopo le ore 20
• Elevata “concentrazione” delle chiamate
– 49% ha fatto 6 tentativi in 7 giorni (22% in 4 giorni)
•
•
•
Possibili spiegazioni:
Errori di registrazione dell’informazione nel diario
Ultimi tentativi non registrati oltre il VI
Effettivo mancato rispetto del protocollo
24
Protocollo - Ricerca numeri di telefono
Il protocollo prevedeva la consultazione delle seguenti fonti
(in diversa successione relativa alla situazione locale):
•
•
•
•
•
•
Anagrafe sanitaria
Pagine bianche
Centro Unico di Prenotazione
Medico di famiglia
Vicini, parenti, altro
Stato di famiglia e nuova ricerca utenza telefonica
25
Protocollo - Ricerca numeri di telefono
Dall’analisi delle oltre 2000 sostituzioni per “senza telefono” emerge
che
• meno del 30% ha usato tutte 5 le fonti
• NON hanno consultato (o riferito di averlo fatto)
– 24% Pagine Bianche
– 33% altre fonti aziendali
– 37% Medico di medicina generale*
– 48% anagrafe comunale
– 74% parenti/vicini
• Possibili spiegazioni:
• un insufficiente rispetto del protocollo
• una errata compilazione del diario (non comprese le
procedure?)
* 42% riferisce di averlo consultato per difficoltà!
26
Prospettive future
Per rendere possibile da parte del Coordinatore Aziendale
un’analisi di questo tipo si renderanno disponibili sul sito
passidati.it:
• i pgm (scaricabili tramite passidati.it) da utilizzare con
EpiInfo per elaborazioni di questo tipo
e
• il database relativo al solo diario delle interviste caricate,
in tempo reale per seguire meglio le informazioni
caricate.
27
Cosa vedremo?
• Statistiche di accesso
• Dati aggiornati di monitoraggio
• Problematiche evidenziate dall’analisi di
monitoraggio
• Nuove funzionalità: correzione del dataset
28
Nuove funzionalità: correzione
on-line delle interviste
•
Accesso protetto con user id e password
al database delle interviste caricate sul
server
•
Accesso a tutte le interviste di
competenza del Coordinatore Aziendale
che ha eseguito il login
•
Le modifiche sono sotto diretta
responsabilità del Coordinatore Aziendale
•
Tutti i campi sono editabili/modificabili
•
Attenzione: non ci sono controlli sui salti!!
•
E’ permesso modificare un campo con un
dato dello stesso tipo e formato del dato
esistente
29
Elenco di tutte le interviste di
competenza dell’operatore
Elenco ordinabile per ognuno dei campi
(cliccando sopra la parola)
E’ possibile fare una ricerca per singola
parola o più
30
31
32
33
34
35
Errore di formato: in un
campo numerico si possono
inserire solo numeri!
36
Salva e chiude ritornando
all’elenco delle interviste
Cancella l’intervista dal
database!
37
Tutto chiaro?