La qualità come sistema: l’esperienza Istat
La qualità della statistica pubblica - X Conferenza Nazionale di Statistica
Roma, 16 dicembre 2010
Marina Signore
Dirigente il Servizio “Qualità statistica, coordinamento progetti
europei di ricerca e sviluppo e Cooperazione internazionale”
La qualità come sistema: l’esperienza Istat
Politica per la Qualità
Quadro di riferimento generale
Attività consolidate e nuove
La qualità come sistema: l’esperienza Istat
Politica Qualità Istat
 Avviata a fine anni 80
 Sistematizzata e adeguata alle
nuove esigenze
Consapevolezza diffusa sulla qualità e solida
base per avviare azioni di miglioramento
Azioni di
miglioramento
La Qualità come sistema
Misurazioni
Documentazione
Visione integrata
della qualità
Valutazione
Prodotti
Processi
Standard
Organizzazione
La qualità come sistema: l’esperienza Istat
Riferimenti europei ed internazionali
Organismi internazionali: Eurostat, Fondo
Monetario Internazionale, UN Statistical
Division, UNECE,…
Gruppi di indirizzo con potere di emanare
raccomandazioni per gli Stati membri
dell’UE
La qualità come sistema: l’esperienza Istat
Riferimenti europei ed internazionali
Eurostat
Definizione e
dimensioni
della qualità
Codice di
condotta
per le statistiche
europee
Base armonizzata a livello
europea per la misurazione e
per il reporting
Dal 2005 - Governance del
SSE e dei SSN – processo
di valutazione
FMI
DQAF
Valutazione qualità di
settori specifici (statistiche
economiche e CN)
Codice di condotta per le statistiche europee
Code of Practice
3 sezioni
15 principi
77 indicatori
Contesto istituzionale
Processi statistici
Prodotti statistici
1. Indipendenza professionale
2. Mandato per la rilevazione dei
dati
3. Adeguatezza delle risorse
4. Impegno in favore della qualità
5. Riservatezza statistica
6. Imparzialità e obiettività
7. Solida metodologia
8. Procedure statistiche
appropriate
9. Onere non eccessivo sui
rispondenti
10.Efficienza rispetto ai costi
11. Pertinenza
12. Accuratezza e attendibilità
13. Tempestività e puntualità
14. Coerenza e comparabilità
15. Accessibilità e chiarezza
La qualità come sistema: l’esperienza Istat
Codice di condotta per le statistiche europee
Articolato processo di valutazione dell’aderenza
da parte degli INS ai principi del Codice
L’Istat nel processo di valutazione del Codice
 Valutazione dell’aderenza ai Principi del Codice
 Valutazione generale dell’Istituto
• Codice come patrimonio all’interno del Sistema
Promulgazione del Codice italiano delle statistiche ufficiali
• Avvio di un’attività di valutazione sistematica
Attività nuova per l’Istat e da esportare al Sistema
La qualità come sistema: l’esperienza Istat
Gruppi europei di indirizzo
LEG on Quality
1999- 2001
Raccomandazioni per avvio attività
sistematica sulla qualità
Finanziamento Eurostat per
implementazione raccomandazioni
Sponsorship on
Quality
2009- 2011
Raccomandazioni per
prosecuzione attività sulla qualità
Proposte di miglioramenti al CoP
Sviluppo di un NQAF
Partecipazione limitata a pochi INS
Presenza dell’Istat in entrambi i gruppi
La qualità come sistema: l’esperienza Istat
NQAF: National Quality Assessment Framework
Definizione di requisiti, metodi, strumenti necessari
a livello di Istituto o di singolo processo per
implementare i principi del Codice
Guida per gli INS per migliorare l’aderenza al Codice
Guida per la fase di valutazione
Base per definire requisiti minimi condivisi nel SSE
Prospettiva: adattare alle esigenze del Sistema
partendo dal Codice Italiano delle statistiche ufficiali
La qualità come sistema: l’esperienza Istat
Struttura organizzativa
Comitato Qualità
Unità operativa dedicata a livello centrale
Rete di referenti a livello di direzione/servizio
Rete di referenti a livello di indagine
La qualità come sistema: l’esperienza Istat
Comitato Qualità
Istituito a febbraio 2010
Composizione
− Presieduto dal Direttore del Dipartimento per la produzione
statistica e il coordinamento tecnico-scientifico
− Vice-coordinatore: Dirigente il servizio QRC
− Membri: Dirigenti di strutture produttive e trasversali Istat
La qualità come sistema: l’esperienza Istat
Comitato Qualità
Funzioni:
 Coordinare le attività di audit e auto-valutazione
 Sviluppare procedure di monitoraggio della qualità per processi
correnti
 Sovrintendere alle attività di valutazione e promozione della
qualità dei processi statistici di altri enti del SISTAN
 Promuovere l’utilizzo del Codice della Statistica Ufficiale ed altre
attività per aumentare la cultura della qualità negli enti del SISTAN
La qualità come sistema: l’esperienza Istat
Cosa è stato fatto?
La qualità come sistema: l’esperienza Istat
Gestione e miglioramento della qualità
Comunicazione
Qualità
UTENTI
PRODOTTI
Standard
Valutazione
PROCESSI
Misurazioni
Documentazione
ORGANIZZAZIONE
PRODUTTORI
Azioni di
miglioramento
La qualità come sistema: l’esperienza Istat
Attività avviate per prime e
oramai consolidate
Sono un prerequisito per l’attività
di valutazione
Standard
Misurazioni
Documentazione
Linee guida, manuali
Indicatori processo/ prodotto
Sistema informativo SIDI
La qualità come sistema: l’esperienza Istat
Manuali Metodologici
Serie “Note e Relazioni” del
1989:
Un Manuale per ciascuna fase
Pianificazione della produzione dei dati; Il
questionario: progettazione, redazione e
verifica; Tecniche di somministrazione del
questionario; Tecniche di campionamento:
teoria e pratica; Tecniche di stima della
varianza campionaria; Il sistema di controllo
della qualità dei dati; Le rappresentazioni
grafiche di dati statistici
Metodi e Norme 2000- 2005:
Es. Metodologie
 Il monitoraggio del processo e la stima
dell’errore nelle indagini telefoniche
 Indagini sociali telefoniche. Metodologie
ed esperienze della statistica ufficiale
 metodologie e tecniche di tutela della
riservatezza nel rilascio di informazione
statistica
La qualità come sistema: l’esperienza Istat
Pratiche Raccomandate per il SSE
Implementano una
raccomandazione del LEG
del 2001
Armonizzate a livello
europeo
Sviluppate in partnership
da INS europei
Coordinamento Istat
QDET – Manuale di pratiche
raccomandate per il disegno e
test del questionario nel SSE
 EDIMBUS - Manuale di
pratiche raccomandate per
controllo e correzione per
indagini sulle imprese crosssection nel SSE
La qualità come sistema: l’esperienza Istat
Linee Guida per la Qualità
Sviluppate nel 2009
Contengono i Principi da seguire nelle diverse fasi
del processo di produzione e le linee guida per
ottemperare ai principi
Strumentali alla valutazione con audit e auto-valutazione
In fase di pubblicazione sul sito e di traduzione in
inglese
La qualità come sistema: l’esperienza Istat
Misurazioni
Prerequisito per la gestione della qualità
 decisioni basate sui fatti
 dove intervenire e come valutare l’efficacia dei
miglioramenti
Prodotto
 indagini di controllo a posteriori
 aumento costi e tempi
 no indicatore di sintesi
Processo
 Variabili di processo
 Sottoprodotto processo di
produzione
La qualità come sistema: l’esperienza Istat
Qualità di Processo
Lunga tradizione già a partire dagli anni 80 ed effettuato
regolarmente dalla maggioranza delle indagini
 Predisposizione sistema di controllo: azioni di prevenzione,
controllo in corso d’opera, valutazione a posteriori
 Implementazione sistemi di monitoraggio (es. fase di
rilevazione)
 Uso di metodi del controllo statistico della qualità (carte di
controllo)
 Sviluppo sistemi informativi locali (SIGIF e sistema di
monitoraggio solleciti delle SSI)
La qualità come sistema: l’esperienza Istat
Misurazioni a livello di indagine
indicatori di processo e di prodotto che alimentano il
sistema informativo centralizzato
La qualità come sistema: l’esperienza Istat
Documentazione
rintracciabilità dati, metadati, indicatori
 supporto alla progettazione di indagini
 supporto alla valutazione
 supporto al corretto uso dei dati
Sistema informativo di documentazione delle
indagini SIDI
La qualità come sistema: l’esperienza Istat
SIDI: un sistema articolato di supporto alla
qualità
Caratteristiche e finalità
Gestione integrata di metadati e indicatori di
qualità
Supporto al controllo della qualità per i responsabili di
indagine
Supporto alle decisioni sulle strategie per il
miglioramento della qualità
Comunicazione qualità agli utenti
La qualità come sistema: l’esperienza Istat
Indicatori Standard di Qualità
ISQ di Processo
 Misure indirette dell’Accuratezza
- copertura
- mancata risposta
- codifica
- controllo e correzione
Armonizzati con ISQ di
Eurostat
Alimentati dai sistemi di
controllo delle indagini
 Informazioni sui costi
ISQ di Prodotto
 Misure indirette dell’Accuratezza
- politica di revisione
 Tempestività e puntualità
 Confrontabilità nel tempo
 Coerenza
Armonizzati con ISQ di
Eurostat
Alimentati dai sistemi di controllo
delle indagini
La qualità come sistema: l’esperienza Istat
Stato di popolamento del sistema SIDI (10/2010)
In produzione dalla fine del 2001
Oggi base consistente per analisi di qualità
Processi documentati
 224 rilevazioni, di cui 155 attive
 101 elaborazioni, di cui 80 attive
Gruppi di Indicatori documentati
 Tempestività
 Copertura e mancata risposta
 Risorse
 Confrontabilità
 Controllo e correzione
 Coerenza provvisori/definitivi
 Coerenza con fonti esterne
 Politica di revisione
100 %
≈ 69 %
≈ 66 %
≈ 60 %
≈ 33 %
≈ 16 %
≈ 9%
≈ 7%
Processi documentati
 224 rilevazioni, di cui 155 attive
 101 elaborazioni, di cui 80 attive
Gruppi di Indicatori documentati
 Tempestività
 Copertura e mancata risposta
 Risorse
 Confrontabilità
 Controllo e correzione
 Coerenza provvisori/definitivi
 Coerenza con fonti esterne
 Politica di revisione
100 %
≈ 69 %
≈ 66 %
≈ 60 %
≈ 33 %
≈ 16 %
≈ 9%
≈ 7%
La qualità come sistema: l’esperienza Istat
Supporto al controllo della qualità per i
responsabili di indagini
 Valutazione qualità di processo e prodotto
 Valutazione andamento ISQ
 Confronti con processi simili
 Metadati per progettazione processi
Funzionalità standard di SIQual sulla intranet
La qualità come sistema: l’esperienza Istat
Supporto alle decisioni strategiche
Alta Dirigenza
 Report periodici standard
 Analisi ad hoc su richiesta
 Analisi andamento nel tempo
Comunicare la Qualità agli utenti
Informazioni Qualitative e Quantitative
Riuso informazioni
Diffusione on-line
Note
Metodologiche
Sintetiche (ASI)
Dati on-line
I.stat
SIDI
Scheda Qualità
Scheda Processo
Dal 2006: SIQual su Internet
Dal 2007: SIQual versione inglese
Quality Report
La qualità come sistema: l’esperienza Istat
Attività avviata di recente
Costruita sulla base dell’esperienza pregressa
Orientata al miglioramento
Analisi indicatori standard
Valutazione
Nuova procedura di audit e
di auto-valutazione
La qualità come sistema: l’esperienza Istat
La valutazione della qualità dei processi Istat
Definizione di una nuova strategia
(ottobre 2009)
 Integrazione di audit e auto-valutazione
 Assegnazione di risorse per l’implementazione delle
azioni di miglioramento
La qualità come sistema: l’esperienza Istat
Caratteristiche della procedura
 valutazione approfondita dei processi statistici per
evidenziare punti di forza e di debolezza
 complementare all’analisi degli ISQ
 coordinata dal Comitato Qualità
rispondenza dei processi alle Linee Guida per la
Qualità
individuazione delle azioni di miglioramento con le
risorse necessarie e la tempistica per l’attuazione
La qualità come sistema: l’esperienza Istat
La procedura di valutazione
• Predisposizione degli strumenti di audit e autovalutazione (ottobre - dicembre 2009)
• Prima sperimentazione (gennaio - giugno 2010)
• Revisione degli strumenti (novembre 2010)
• Seconda sperimentazione (febbraio 2011)
• Predisposizione di un piano per
avvio a regime della procedura
• Estensione ad elaborazioni e processi basati su
fonti amministrative
La qualità come sistema: l’esperienza Istat
Considerazioni finali
 la qualità è un impegno di lungo periodo
 oggi raccogliamo i frutti degli investimenti fatti
TUTTAVIA
Siamo consapevoli che molto può essere ancora
fatto
Diffusione sistematica di indicatori di qualità agli
utenti
Messa a regime procedura audit e autovalutazione