Seminario
Le indagini web e alcuni aspetti sul
processo di partecipazione
all’indagine
Prof. A. D’Agostino
Dip. Di Statistica e Matematica per la Ricerca Economica
Università di Napoli “Parthenope”
Le indagini web sono abbastanza
nuove – iniziano dal 1990
Perché è accresciuto il loro utilizzo?
– Sono facili da sviluppare e implementare
– Generalmente costano poco
– Si può raggiungere un elevato numero di
persone a un basso costo marginale
2
• I sondaggi web sono ad esempio molto utili alle
aziende o a chiunque voglia ottenere un feedback
immediato circa un prodotto o un servizio.
• Il web offre molti servizi anche gratuiti per creare un
sondaggio o un questionario online in modo semplice
e con tutte le funzionalità per gestirlo al meglio
– Surveymonkey
– Polldaddy etc..
3
Quando si può usare un’indagine web?
Prima di decidere se sia opportuno condurre
un’indagine web dobbiamo riflettere su alcuni
punti
4
Questioni importanti….
• I potenziali rispondenti hanno un facile accesso a
internet?
• Hanno familiarità con internet?
• Si fidano della comunicazione tramite internet?
• Hanno le competenze per aprire e completare
un’indagine online?
• Il loro hardware e software può influenzare come
il questionario viene visualizzato?
5
Che cosa conosciamo circa
l’utilizzo e l’accesso ad internet?
Sicuramente età, cultura e contesto sociale
interagiscono differentemente con la tecnologia
1. I principali utilizzatori delle tecnologie avanzate
risultano i giovani e le persone che esercitano
professioni intellettuali
2. L'uso delle tecnologie è prevalentemente riservato ai
giovani. Le famiglie con almeno un minorenne
possiedono il personal computer e l'accesso a internet
6
L’accesso e l’uso dipende da:
– Livello di istruzione
– Reddito familiare
– età: 18-34 – fanno un uso maggiore di internet
– Molti usano internet a lavoro (ma potrebbero
avere restrizioni a lavoro nel suo utilizzo)
• Comfort e sicurezza
– Mancanza di competenze informatiche;
familiariatà con internet
– Diffidenza con internet
– Paura dei virus o altri software dannosi
7
Questo implica che…
• Molte persone possono essere escluse quando si
utilizza un’indagine web
• Coloro che rispondono potrebbero essere
considerevolmente diversi da coloro che non
rispondono
= distorsione nei risultati
8
Pianificazione dell’indagine
Ci sono una serie di fasi da considerare:
•
•
•
•
•
•
•
•
Obiettivo indagine
Popolazione di riferimento
Recupero indirizzi e-mail
Piano di campionamento ( indagine o sondaggio
online?)
Sviluppo del questionario
Implementazione del questionario online
Strategia di contatto (lettera di accompagnamento)
Bilancio e tempi
9
Una nota sulla anonimato e la
riservatezza delle indagini online
• Anonimo significa che nessuno può identificare
chi ha fornito le informazioni
• Questo è difficile da garantire quando l'indagine
viene somministrata online (internet o intranet) ...
quindi, non promettono anonimato!
• Riservatezza significa che siamo in grado di
identificare la persona, ma si garantisce che le
informazioni non saranno identificate con la
persona
• Questo vale per tutti gli aspetti della raccolta dati,
analisi e reporting
10
Indagine online implementazione
• Personalizzare il più possibile tutti i contatti
• Prendere in considerazione incentivi migliora il tasso di risposta
• Utilizzare più contatti e variare il messaggio
• Utilizzare un altro modo di mettersi in
contatto con gli intervistati, se possibile
• Mantenere contatti e-mail brevi
11
Indagine online implementazione passi
•
•
•
•
•
•
•
•
Accertarsi che la mail non sia contrassegnata come spam
Includere una linea informativa sulle finalità dell’indagine
Fornire istruzioni chiare su come accedere al sondaggio
Assegnare a ciascun partecipante un numero ID unico
Mantenere entro i limiti delle capacità del server web
Creare un sistema per la gestione e-mail
Stabilire procedure per affrontare le richieste e le questioni
Monitorare i progressi e le risposte
12
Due sono gli aspetti fondamentali per la
buona riuscita dell’indagine online
• Ottenere un elevato tasso di risposta
• Ottenere il massimo livello di accuratezza
delle informazioni
Quindi, è necessario prestare attenzione a:
• Tasso di risposta in itinere
• un buon disegno del questionario
13
Un esempio di indagine web
Obiettivo indagine : transizione università-lavoro
Per esempio, potremmo essere interessati a studiare:
• Mismatch tra titolo di studio e lavoro
• Il guadagno percepito nel primo lavoro dopo la laurea
• Soddisfazione sul lavoro
14
Che cosa significa mismatch?
I laureati aspirano ad ottenere un buon lavoro
dopo la laurea
“overeducated workers” sono coloro che
riportano che il titolo di studio richiesto per
ottenere il loro lavoro è inferiore alla laurea
15
Popolazione obiettivo: laureati in Economia
dell’Università di Napoli “Parthenope”
Strategia di indagine: indagine web
La modalità di raccolta dei dati è strettamente legata
Qualità dei dati
(tasso di risposta,
accuratezza delle risposte, etc..)
Costi
Tempestività
16
Le indagini web sono state molto utilizzate
negli ultimi anni perché sono poco costose
ma i suoi effetti sulla qualità dei dati e la
tempestività delle informazioni raccolte
possono e devono essere ben analizzate
17
In Italia ci sono delle esperienze di
indagini web sui laureati
– Almalaurea
– Fabbris and Giusti, 2001 (EXPERTUM
project);
– Pratesi, 2004, l’università di Pisa promuove un
servizio informativo sui curricula tramite
internet
18
Qui siamo interessati a studiare il
processo di partecipazione
all’indagine
Per capire quali siano i fattori che
influenzano la cooperazione nelle
indagini web sui laureati
19
• Il disegno campionario a cui si fa
riferimento è abbastanza complesso
affinché si possa controllare adeguatamente
per il processo di partecipazione
(cooperazione all’indagine)
• Dati sono raccolti su un campione di
laureati in Economia nel 2005 che
appartengono a 4 distinte coorti di laurea
(1999, 2000, 2001, 2002)
20
Le caratteristiche salienti sono:
• Campione causale , un po’ inusuale nelle indagini
web
• Abbiamo due differenti modalità di contatto
(telefono e e-mail)
• In effetti lavoriamo con un panel (la prima onda
risale al 2003 effettuata tramite intervista
telefonica)
21
Disegno di indagine
Wave 1
2003
indagine telefonica
Panel di laureati
in economia
Wave 2
2005
Indagine web
22
Wave 1: 813 unità campionarie
Tasso di risposta ottenuto 80%
2005
Tutti i
rispondenti alla wave 1
(n=651)
+
Un campione casuale dei
non rispondenti alla
wave 1
(91/162)=56%
• Si ipotizza che il grado di penetrazione Internet tra i
laureati sia alto
• Quindi è un’ottima popolazione per studiare la qualità del
processo di partecipazione
23
unità campionarie nel 2005
wave 1 rispondenti con
e-mail (555/651)=85%
Tasso di cooperazione
Nel fornire e-mail
è alto!!
Campione casuale
dei non rispondenti
wave 1
senza
e-mail
56%
wave 1
Rispondenti senza
e-mail (96/651)=15%
24
Wave2: modalità del primo contatto
Primo contatto: telefono:
• 96 wave 1 rispondenti senza e-mail
• 111 wave 1 rispondenti con e-mail
Survey Telephone Units wave1 Respondents
(STUR)
• 91 non rispondenti e senza e-mail
Survey Telephone Units wave1 non Respondents
(STUNR)
(STU)= STUR+ STUNR
Survey Telephone Units
Questo
gruppo
non è considerato
Primo contatto: e-mail
444 wave 1 rispondenti
con e-mail
Sample Mail Units
(SMU)
Unità scelte casualmente
Tra le 555 con e-mail
Unità scelte casualmente tra i
162 wave 1 non rispondenti
25
Il questionario
Il questionario include molte informazioni sulla
storia lavorativa e la condizione lavorativa attuale
dei laureati
Ad esempio:
B.16 Quanto è soddisfatto del lavoro che svolge?
Per niente1.  (andare alla B.18)
Poco2.  (andare alla B.18)
Abbastanza3.  (andare alla B.18)
Molto4.  (andare alla B.18)
Del tutto5.  (andare alla B.18)
26
Il questionario
• È collegato direttamente ad un database che
memorizza le infomazioni
• Ove possibile, sono previsti dei controlli
automatici per controllare l’accuratezza
delle risposte fornite
• L’accesso è vincolato da una password
personale resa nota dopo il primo contatto
27
Rilevazione dei dati
Primo contatto: e-mail, SMU = 444
UNAWARE UNITS (UU)=231
(No reply to the invitation)
AWARE UNITS (AU)=106
(positive reply to the invitation)
Wrong E-mail Units (WEU)=82
Mail-box Full(MFU)=25
28
Definiamo
CONTACT UNITS
(CU)
106
AWARE UNITS
(AU)
231
UNAWARE UNITS
(UU)
sollecito
•e-mail
•telefonico
29
Alcuni indicatori della qualità del processo
(primo contatto: e-mail)
Gross Contact rate = CU/SMU=(231+106)/444=76%
Net Contact rate=AU/SMU=106/444=24%
Hypothetical Contact rate=UU/SMU=231/444=52%
Coverage error rate= (WEU+MFU)/SMU=(82+25)/24%
Reply non response rate given the contact=
UU/CU=231/(231+106)=69%
decisione: spedire il link del questionario e password di
accesso solo alle Aware Units
30
Aware units (AU=106) possono partecipare o non
partecipare all’indagine
No Answer to WEB questionnaire Units
(NAWU)=12
Complete Respondents to WEB questionnaire
(CRW)=90
Partial Respondents to WEB questionnaire
(PRW)=4
31
Alcuni indicatori della qualità del processo
(partecipazione: dopo primo contatto e-mail)
Response rate given the reply=(CRW+ PRW)/AU=89%
Complete response rate given the reply=(CRW)/AU=85%
Partial response rate given the reply=(PRW)/AU=4%
Response rate given the contact
= (CRW+ PRW)/CU= (90+4)/(231+106) =28%
Non è alto!!!
32
UNAWARE UNITS UU=231
Studiamo l’effetto del sollecito
Richiamo: e-mail
Unaware Units after the Remainder by E-mail
(UURE)=197
Aware Units after the Remainder by E-mail
(AURE)=34
33
Alcuni indicatori della qualità del processo
(sollecito: e-mail )
Net Contact rate after remainder by e-mail=
=(AU+AURE)/SMU=(106+34))/444 32%
C’è un migliramento
da 24%
a 32% dovuto
al piano di sollecito
E-mail Solicitation effect rate= AURE/UU=34/231=15%
decisione: inviare il link del questionario e la
password anche alle unità AURE
34
sintetizzando
94/444=21%
Rispondenti
al questionario Web
primo contatto e-mail
32/444=7%
Rispondenti
al questionario Web
dopo il primo sollecito
e-mail
138/444=31%
rispondenti
al questionario Web
Dopo il secondo sollecito
telefonico
E-mail errate e
mail-box full
contatto
telefonico
18%
35
Trattamento dell’errore di copertura
e-mail errate e mail-box-full (WEU+MFU)=107
Resultati: contatto telefonico
nuovi e-mail
unità non raggiunte
e-mail confermate
89%
6%
5%
Unità perse
Cooperation rate=94%
laureati sono inclini
a fornire
e-mail
36
Participazione indagine dopo il contatto telefonico per WEU
and MFU
No answer to Web questionnaire
18%
Complete Respondents to Web
questionnaire
70%
Partial Respondents to Web
questionnaire
12%
37
In summary on SMU=444
Response rate
(complete respondents)
70%
Response rate
(partial respondents)
8%
Non response rate
22%
38
Primo contatto: telefono su i wave 1 rispondenti
STUR=207
Survey partecipation after first contact by telephone
STUR
No answer to the Web questionnaire
50%
Complete Respondents to the Web
questionnaire
48%
Partial Respondents to the Web questionnaire
2%
Tasso di non risposta
abbastanza alto
39
In summary on SMU+STUR=651
Response rate
(complete respondents)
63%
Response rate
(partial respondents)
7%
Non response rate
30%
40
Tempestività?
41
aware units: primo contatto e-mail (e-mail sent on Thursday March 7 at about
1 p.m.)
il tempo di attesa mediano è di 21 ore e dopo 100 ore (circa 4 giorni) solo il
20% sopravvive
0.00
0.25
0.50
0.75
1.00
Kaplan-Meier survival estimate
0
Tempo è in ore
100
200
300
analysis time
400
500
42
il tempo mediano di attesa è di 2 giorni se il primo contatto è
telefonico e di 8 se è per e-mail
La curva di sopravvivenza è molto più ripida se il primo contatto è
telefonico!!!!
0.00
0.25
0.50
0.75
1.00
Kaplan-Meier survival estimates, by tipo_cont
0
20
40
60
analysis time
tipo_cont = 0
tipo_cont = 1
Tipo_cont=1 il primo contatto tramite e-mail
43
Alcune conclusioni sull’esempio
• L’indagine web è una modalità di indagine
efficace per la popolazione di laureati
• L’indagine web funziona meglio se il primo
contatto è fatto tramite telefono sia in termini di
tassi di risposta che per la velocità di risposta
44