Data quality
Segnalazioni,
IRBA, 263…
Riconciliazioni
Front-Middle-Back Office
Validazione e caricamento
data warehouse
Risk Data
Aggregation
Quadratura
contabile-gestionale
Management Control
Monitor
controparti
Monitoraggio Corporate
Actions
Controllo
commissioni
e billing
EMIR
Garante Privacy 2
Decreto Monti
Riconciliazioni e controlli AUI
- partitari
Product
Control
Contabilità industriale e cost
allocation
Liquidity Reporting
Consolidamento ed
aggregazione dati
Credit Reporting
Cleansing e
Standardizzazione
Anagrafiche
Reporting
ICAAP
Controlli AntiFrode
& Antiriciclaggio
Reporting
clientela
private
Calcolo di indicatori di
performance e rischio (KPI,
KRI)
Recon
Bank
Accounts
Modernizzazione dei flussi di
dati
Governance
& reporting
Migrazione di dati e gestione
dei controlli di parallelo
Riconciliazioni Vigilanzapartitari-coge
Marketing analysis and
benchmark position
dashboards
Master Data Management
l’ambito
regolamentare
e l’utilizzo di
IrionDQ
agenda
le principali
funzionalità di
IrionDQ
applicazioni e un
caso di successo
AMBITO REGOLAMENTARE
qualità dei dati
Garanzia del rispetto di elevati standard di qualità nei termini di:
■ Completezza
(informazioni rilevanti)
■ Pertinenza
■ Accuratezza
■ Tempestività
Deve essere definito uno standard aziendale di «data policy» completo di:
■ Controlli
■ Procedure
per gestire le eccezioni (dati mancanti o non soddisfacenti)
Gli obiettivi dello standard di qualità devono essere sempre più stringenti –
definizione di Key Quality Indicator degli esiti e analisi dei trend per il
miglioramento
3
AMBITO REGOLAMENTARE
qualità dei dati
I dati inseriti o corretti manualmente (rettifiche, override, ecc.) devono essere
documentati.
Si devono registrare:
■I
dati originali
■ L’utente che ha operato
■ Il timestamp dell’operazione
■ Eventualmente le motivazioni delle rettifiche
Gli interventi manuali devono essere costantemente verificati – anche con appositi
controlli e procedure autorizzative
4
AMBITO REGOLAMENTARE
qualità dei dati
Deve essere tenuta traccia di:
■ Controlli
effettuati
■ Esiti
■ Dati
scartati o introdotti
■ Informazioni
▶
▶
▶
▶
Mancanti
Non plausibili
Outlier
Con forti discontinuità periodali
■ Posizioni
escluse
■ Risultati delle riconciliazioni con procedure contabili
■ Risultati di verifiche con archivi esterni
5
IRIONDQ
perché
Consente, ad esempio:
■ La
realizzazione o l’adeguamento di controlli sulle registrazioni contabili nonché di verifica
dell'allineamento tra i dati utilizzati per la gestione dei rischi e per la rendicontazione
finanziaria, accedendo a qualunque tipologia di fonte dato e permettendo la definizione
di qualunque tipo di controllo
■ La realizzazione di controlli di quadratura tra sottosistemi sezionali, segnalazioni di
vigilanza, contabilità generale, AUI
■ La realizzazione di sistemi di quadratura tra applicazioni di front-office e middle/backoffice
■ La definizione di misure atte a garantire e a misurare la qualità dei dati
■ La definizione delle procedure di gestione delle eccezioni rilevate, con tracciatura
automatica
■ La definizione delle procedure per assicurare che gli indicatori di qualità (esiti e KQI) siano
riportati periodicamente agli utenti di business, alle funzioni di controllo e all’organo con
funzione di gestione
■ La definizione di ruoli e responsabilità nell’effettuazione dei controlli
6
IRIONDQ
perché
■ Può
essere inserito nelle attività di identificazione, misurazione o valutazione,
monitoraggio, prevenzione o attenuazione dei rischi connessi con la qualità dei dati
nell'ambito del processo di gestione dei rischi, anche per quanto riguarda l’acquisizione o
incorporazione di soggetti esterni, grazie alla estrema flessibilità nell’integrazioni di fonti
dati
■ Viene utilizzato in processi per la verifica della qualità e coerenza complessiva dei dati
aziendali in relazione all'eventuale utilizzo di procedure settoriali (contabilità, segnalazioni
– es. Intesa SanPaolo, antiriciclaggio – es: Banco Popolare, ecc.)
■ Ha funzionalità per la definizione di procedure che assicurino l'integrazione e la verifica
della qualità a livello consolidato delle informazioni provenienti da tutte le componenti
del gruppo
■ E’ di supporto per l’adeguamento dei rapporti prodotti sui dati aziendali, con riguardo
all'esigenza di esporre le principali assunzioni e gli eventuali criteri di stima adottati (ad
es., nell’ambito del monitoraggio dei rischi aziendali)
■ E’ di supporto per l’adeguamento del sistema di reporting con riguardo all'esigenza di
produrre informazioni tempestive e di qualità elevata per l’autorità di vigilanza e per il
mercato
7
IRIONDQ
accountability & verificabilità
Grazie alle funzionalità di One Click Audit & Automatic Documentation IrionDQ
consente, in modo automatico:
■ La
registrazione completa, corretta e tempestiva dei fatti aziendali, al fine di consentire la
ricostruzione dell’attività svolta, comprensiva di data, ora, autore, motivo, ambiente, dati
precedenti l’eventuale modifica
■ La documentazione dettagliata delle procedure di estrazione dei dati, di trasformazione,
controllo e caricamento negli archivi accentrati nonché delle funzioni di sfruttamento dei
dati, ad esempio nel caso di alimentazioni ed estrazioni da datawarehouse
■ La documentazione dettagliata delle procedure di gestione e aggregazione dei dati, con
specifica previsione delle circostanze in cui è ammessa l’immissione o la rettifica manuale
– sempre mediante IrionDQ – di dati aziendali
■ La documentazione e il presidio dei processi di acquisizione di dati da information
provider esterni, nel caso si utilizzi IrionDQ come motore di integrazione
8
l’ambito
regolamentare e
l’utilizzo di
IrionDQ
agenda
le principali
funzionalità di
IrionDQ
applicazioni e un
caso di successo
connessioni e adapter a fonti dati
IrionDQ mette a disposizione un ricco set di adapter per accedere e validare dati virtualmente in
qualsiasi formato:
■ Connessione
a tutti i DBMS (Data& Metadata);
■ Capacità di leggere qualunque tipo di file e formati strutturati (csv, txt, VSAM, EBCDIC, Packed/Zoned
Decimal, CopyBook, SWIFT, …);
■ File normalizer per accedere a dati semistrutturati o non strutturati (es: report di applicativi mainframe, …)
■ XML, FpML,…;
■ Script Engine: integrazione con Microsoft PowerShell per chiamare code MQ, API per accesso a dati esterni
(es: API SAP, Hadoop, ecc.) ;
■ Qualunque Web Services come «consumer»;
■ Open Bloomberg API Adapter/Bloomberg Data License;
■ Sistemi di mailing,…;
■ File, APPS & Add-ins (MatLab, Fincad, …) Excel, anche con file multisheet e parzialmente strutturati, con la
possibilità di acquisire anche informazioni di corredo quali commenti, colori, ecc.
■ Ampliare il set di funzionalità sviluppando classi .NET ad hoc che non richiedono installazioni di nuove
versioni di IrionDQ
I dati possono essere arricchiti anche da fonti esterne (ad esempio Bankscope, Bloomberg, Cerved,
Centrale Rischi, ecc.)
10
dati in forma testuale
IrionDQ mette a disposizione la tecnologia File Normalizer con un ricchissimo set di
funzioni per:
■ Scomporre
i campi testo sulla base di delimitatori qualsiasi
■ Scomporre i campi testo utilizzando «regular expression» anche complesse con pattern
matching, ad esempio rispetto a strutturazioni del testo, set di valori ammessi, ecc. (es:
verifica congruenza del codice fiscale)
■ Definire tabelle di termini da usare nei confronti
■ Definire regole di «parsing» custom
■ Effettuare conversioni di dati da qualunque formato (es: EBCDIC, packed/zone decimal, …)
■ Accedere ai dati presenti in file pdf (con alcune limitazioni dipendenti dal file originario)
11
valutazione qualità dei dati e reporting
Grazie ai package di regole IrionDQ è possibile implementare sistemi di analisi dei
dati per ottenere valutazioni della qualità dei dati
■ Profiling
dei dati
■ Analisi dei dati in colonna
■ Analisi «custom»
■ Analisi e verifica su base temporale
■ Rappresentazioni grafiche dei dati e delle analisi
■ Reporting
■ Dashboarding
■ Possibilità di esportare analisi ed esiti a sistemi terzi
■ Esecuzione interattiva o batch (schedulata)
12
configurazione e gestione delle regole
Con IrionDQ è possibile definire dei package di regole di validazione, controllo ed
arricchimento con sintassi SQL standard
Possono essere definite facilmente tipologie diverse di controlli:
■ Puntuali
■ Logici
■ Andamentali
■ Coerenza
■ Adeguatezza
■ Accuratezza
■ Tempestività
■ Integrità
■ Quadratura
■ Riconciliazione
(es: segnalazioni con contabilità, partitari con AUI, …)
■…
Fino a controlli più complessi quali riconciliazioni contabili/gestionali
13
normalizzazione e pulizia dei dati
IrionDQ consente inoltre la modifica, l’integrazione, la derivazione e la pulizia dei
dati:
■ Trasformazioni
semplici (tipo dato, splitting di stringhe, operatori di concatenazione)
■ Trasformazioni complesse (ricerca e sostituzione, operazioni di parsing sofisticato delle
stringhe, ecc.)
■ Le funzioni possono essere standardizzate e messe a disposizione in librerie (es:
interpretazione dei codici fiscali)
■ Le funzioni possono essere arricchite con l’utilizzo di API di terze parti (ad esempio per la
normalizzazione di indirizzi)
■ Tutte queste funzioni possono essere estese facilmente con un linguaggio di scripting fino
allo sviluppo di classi .NET ad-hoc
14
matching, riconciliazione e quadratura
Con la realizzazione dei package di regole IrionDQ si possono implementare:
■ Regole
di matching deterministico
■ Regole o algoritmi per il matching basato su modelli piuttosto che valori esatti
■ Sistemi di matching linguistico (es. Soundex, Difference, funzioni di librerie di terze parti
chiamabili via API)
■ Sistemi di attribuzioni di «pesi», «scoring» e valori con soglie di tolleranza (ad esempio
per verificare il grado di match di valori)
■ Sistemi per deduplicare, collegare o fondere record correlati
■ Regole per creare gruppi logici di dati basati su chiavi
I set di dati da valutare o riconciliare possono essere preventivamente elaborati per
ricondurli a grandezze confrontabili tra loro (es: necessità di riconciliare sistemi
diversi in cui i dati di base sono per uno i movimenti e per l’altro i saldi…)
15
monitoraggio
I pacchetti di regole IrionDQ consentono:
■ Lo
sviluppo di regole di controllo che indirizzano specifiche problematiche di data quality
■ La possibilità di definire livelli diversi di «gravità» del problema (errore, warning, ok), oltre
a sistemi di scoring
■ La possibilità di generare alert di vario tipo, quali messaggi email, messaggi di errore,
codici di ritorno, ecc.
■ La realizzazioni di report e dashboard che rappresentano, ad esempio ma non solo, il
monitoraggio dei dati (o dei processi) e il numero di regole violate nel tempo
IrionDQ inoltre mette a disposizione una console centralizzata di monitoraggio e
tracciatura dei processi, con il log completo di tutte le attività poste in essere
16
processo di gestione della qualità dei dati
■ IrionDQ
mette a disposizione un potente motore di workflow interno (invocabile anche
dall’esterno, ad esempio per esecuzioni schedulate – in grado di effettuare «continous
monitoring»)
■ Possono essere definite delle videate di user interface dove gli operatori possono
integrare, correggere e commentare i dati
■ Tutto in un ambiente profilato in termini di sicurezza utente (sia per le funzioni a
disposizione sia per la segregazione dei dati), con la possibilità di definire ruoli diversi per
gli utenti (es: analisti, data steward, data owner, ecc.).
■ Con la possibilità di aprire e gestire «pratiche» di gestione delle problematiche emerse in
fase di controllo, fino alla loro chiusura anche con l’interfaccia verso sistemi esterni
17
gestione dei workflow della qualità
Grazie al motore di workflow e alle funzionalità End User può essere gestito
completamente il ciclo della qualità dei dati, compresi cleansing e remediation:
■ Integrare
i dati mancanti (sia in modo automatico, in base ad algoritmi di filling, che in
modo manuale con l’intervento dell’operatore preposto)
■ Procedere automaticamente al cleansing, sia definindo opportuni algoritmi, sia
integrando funzioni di terze parti (ad esempio, funzionalità di Address Verification,
Correction and Standardization
■ Risolvere i conflitti nei casi di duplicazione
■ Profilare i dati
■ Definire passi di risoluzione delle problematiche emerse con gestione degli stati di
avanzamento e di un set di metadati definibile
■ Monitorare l’andamento del processo di risoluzione ed evidenziarne eventualmente anche
key performance indicators.
18
gestione dei metadati
■ IrionDQ
gestisce un archivio delle regole di controllo e di gestione del processo
■ Tutti i componenti dei pacchetti di regole IrionDQ sono documentati automaticamente
dal sistema, con la possibilità di arricchire la documentazione con opportuni commenti
utente
■ Tutte le dipendenze tra oggetti IrionDQ sono tracciabili e visualizzabili
■ I pacchetti di regole possono essere versionati
■ IrionDQ è in grado di utilizzare automaticamente i metadati dagli RDBMS esterni
19
l’ambito
regolamentare e
l’utilizzo di
IrionDQ
agenda
le principali
funzionalità di
IrionDQ
applicazioni e
un caso di
successo
SUCCESS CASE
alcuni esempi di applicazione…
■ DQM
per le segnalazioni di vigilanza
■ DQM per i dati IRB
■ Controlli per la corretta alimentazione dell’AUI
■ Controlli per antifrode
■ DQM per l’alimentazione ai datawarehouse
■ DQM anagrafe
■ Riconciliazioni e quadrature…
21
architettura di esempio
check &
investigate
rule
1
validate
rule
2
rule n
process
exception
manage
approvals
Match
Missing fields
Wrong Fields
Mismatch
Missing
Trade
22
Duplicate Key
Different
Value
Delta
SUCCESS CASE
DQM per le segnalazioni di vigilanza
Le Banche devono dotarsi di un sistema di Data Quality Management (DQM) volto a
migliorare la qualità dei dati utilizzati per la produzione delle Segnalazioni di Vigilanza:
■ «Le
responsabilità per la correttezza delle segnalazioni consolidate e per l’adeguatezza delle
procedure di produzione e di controllo di tali segnalazioni fanno capo agli organi aziendali…
■ Particolare cura va posta nella predisposizione e nell’utilizzo di appositi strumenti di controllo
interno, che prevedano anche forme di visualizzazione delle informazioni per i responsabili
aziendali, volti ad assicurare la necessaria coerenza dei dati segnalati con le risultanze della
contabilità e dei sistemi informativi aziendali»
Deve essere a supporto degli utenti della funzione vigilanza nel processo di controllo
dei dati lungo tutta la filiera di produzione delle voci segnaletiche:
■ dati
in input estratti dai partitari
■ dati archiviati
■ voci delle diverse basi informative prodotte
IrionDQ è lo strumento che esegue in automatico i controlli sui flussi di input all’archivio
delle segnalazioni e che rende disponibili e interrogabili gli esiti dei controlli e gli
indicatori di sintesi della qualità.
23
SUCCESS CASE
perché IrionDQ
IrionDQ utilizza tecnologie proprietarie per gestire automaticamente tutta la
componente operativa:
■ L’infrastruttura
dei dati
■ La gestione e l’ottimizzazione delle esecuzioni
■ La gestione di accessi concorrenti in un contesto multiutente
■ La gestione della sicurezza (profili utenti, permessi, data segregation)
■ I workflow
■ La persistenza dei dati
■ ...
Con IrionDQ è sempre possibile dimostrare che si seguono le politiche e le
normative interne ed esterne e giustificare il perché è stata assunta una decisione.
24
SUCCESS CASE
perché IrionDQ
IrionDQ mette a disposizione funzionalità per:
■ accedere
in lettura ai file contenenti i dati oggetto di controllo;
■ normalizzare i flussi in ingresso da formato nativo a formato relazionale;
■ archiviare i flussi necessari in un apposito repository per garantire i controlli andamentali;
■ permettere la navigazione dei dati di input;
■ eseguire un set di controlli predefiniti volti a garantire la qualità di tali dati;
■ gestire tabelle di supporto ai controlli;
■ implementare controlli sulle “chiavi mancanti”;
■ produrre in output due flussi relativi ai risultati dei controlli (flusso esiti e flusso casi anomali);
■ permettere il browsing e l’analisi dei risultati dei controlli;
■ produrre in output un flusso normalizzato relativo ai dati di II° livello;
■ produrre un flusso periodico di aggiornamento sull’anagrafica dei controlli esistenti al fine di
alimentare un repository centralizzato (se gestito al di fuori di IrionDQ);
■ disporre di un monitor di controllo IT sull’avanzamento del processo;
■ gestire l’automazione dell’intero processo (lettura, normalizzazione, controllo, output)
mediante opportuni strumenti (workflow). Il processo è interamente “unattended” ed eseguito
in modalità batch.
25
SUCCESS CASE
tipologie di controlli
Tipologie di controlli mirati a verificare che i dati presenti nel flusso segnaletico
siano in primis conformi a quanto presente nei partitari di origine e alle risultanze
della contabilità:
■ Contabile:
controlli di quadratura fra dati del flusso di interfaccia e mastri contabili
■ Puntuale: controlli di coerenza fra informazioni del flusso di interfaccia e il partitario di
origine, per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo
corretto e completo;
■ Andamentale: di controlli che pongono in relazione i dati di un flusso con gli stessi dati
dello stesso flusso prodotto nel mese precedente o nello stesso mese dell’anno
precedente, al fine di sterilizzare eventuali effetti di stagionalità.
■ Logico: controlli che agiscono su informazioni presenti sullo stesso flusso ponendole in
relazione fra loro in funzione di caratteristiche delle operazioni a cui si riferiscono;
■ Logico con tabelle: controlli di coerenza fra informazioni presenti nello stesso flusso di
interfaccia con l’ausilio di tabelle di appoggio (ad esempio la Tabella cambi)
■ Logico/Andamentale: controlli di coerenza fra informazioni presenti in un flusso con le
stesse informazioni di periodi precedenti
26
SUCCESS CASE
quadratura con i partitari
Per ogni flusso di alimentazione all’archivio segnaletico viene attivato il controllo
per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo
corretto e completo.
In funzione del flusso da certificare è possibile definire
■ controlli
analitici
■ controlli sintetici
I flussi di contraddittorio utilizzati per i controlli puntuali possono essere:
■ gli
inventari di fine mese del partitario di provenienza;
■ le informazioni fornite dai partitari stessi al sistema contabile;
■ flussi costruiti ad hoc, nel caso in cui le informazioni già esistenti non siano sufficienti.
27
SUCCESS CASE
quadratura con la contabilità
Prevede la verifica dei campi importo dei flussi di alimentazione che trovano
corrispondenza con i saldi contabili saranno oggetto di quadratura con i flussi di
contraddittorio provenienti dal general ledger.
Avviene principalmente per aggregati (saldi a livello di forma tecnica contro saldi a
livello di mastrino o di aggregati);
28
SUCCESS CASE
valutazione e misura della qualità
■ Completezza: tali controlli devono verificare 2 aspetti:
▶ siano presenti i risultati per tutte le dimensioni di analisi (o entità di dettaglio) previste (e ragionevoli)
▶ siano riportati i dati per tutti i dettagli base del modello, ad es. siano presenti tutti i rapporti (in questo caso sono da
testare anche le possibili valorizzazioni a zero o “null” poiché per tali dettagli è ammissibile che non si siano generati
dati)
■ Accuratezza:
tale aspetto è riferito a tutti i controlli di quadratura
■ Coerenza: i controlli che rapportano i dati in relazione al tipo per capire se sono tra loro
coerenti: l’esempio classico è il confronto tra gli interessi attivi / passivi di competenza un
prodotto / rapporto finanziario ed i suoi numeri liquidi di competenza – se il tasso
nominale annuo è insensato si deve segnalare l’anomalia; il tasso di confronto si può
reperire dalle condizioni clienti o si impostano tabelle di range tassi “ad hoc” ). Tutti questi
controlli hanno dati di confronto diversi a seconda della “chiave” (dettaglio) a cui sono
associati
29
SUCCESS CASE
valutazione e misura della qualità
■ Tempestività:
tali controlli sono relativi allo stato di avanzamento delle elaborazione
(normalmente questi sono al 90% sulle alimentazioni)
■ Pertinenza: sono i controlli andamentali; per essi occorre definire, in relazione al livello di
aggregazione degli stessi, delle soglie di ammissibilità dei trend
■ Univocità: occorre verificare che non vi siano chiavi o dati duplicati (è il controllo
coniugato a quello di completezza)
■ Integrità: è normalmente riferita ai controlli sui domini chiusi delle varie dimensioni di
analisi (sono attributi di entità cardine del modello dati) e quindi molto spesso è
demandato ai controlli tecnici di controllo del “formalismo delle alimentazioni”, ad
esempio non vi possono essere codici classificatori non previsti dalle tabelle anagrafiche
del sistema (SAE, Segmenti, codici tipi rapporti inesistenti nei domini); alcuni tipi di
controllo possono essere gestiti in quelli di coerenza
30
SUCCESS CASE
ambiti oggetto di controllo
Amministrazione
■ Partecipazioni
■ Cespiti
■ Contabilità
Anagrafe
Conti Correnti e Depositi
Crediti
■ Crediti
Medio/Lungo Termine
■ Crediti Large Corporate (anche in valuta)
■ Fidi
■ Garanzie
■ Sofferenze
■ Prestiti su pegno
■ Crediti di firma concessi
31
Estero
Finanza e titoli
■ Operatività
finanza c/clientela
■ Movimentazione titoli
■ Certificati di deposito
■ Depositaria titoli
■ Polizze
■ Collocamento
■ Operatività finanza c/proprio
Personale
Portafoglio
Tesoreria