Business Intelligence
Franco Perduca
Factory Software
[email protected]
Il modello di riferimento
Extract Transform Load (ETL)
Applicazioni OLTP
Staging Area
Sorgenti dati normalizzate Normalizzato?
Sorgenti non convenzionali
Tool
Modello dimensionale Data miner
Report writer
Storage relazionale
Report consumer
Storage nativo
“While you will use technology to deliver your datawarehouse, the technology is
at best a means to an end. As such, the technology and techniques you use to build
your datawarehouse should not appear directly in your top job responsabilities.” [...]
Ralph Kimball - http://www.kimballgroup.com
2
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
3
Agenda
 SQL Server 2005 per il Data Warehouse
 SQL Server 2005 Integration Services – servizi di ETL
 Partizionamento
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
4
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 Integrazione di tutti i modelli analitici aziendali
 Dalla BI al Business Performance Management
 Sfida: Operational Reporting
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
5
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 DBMS OLAP
 Implementazione dell’UDM
 Business Logic (MDX)
 Modalità di storage (“right time” MOLAP)
 Profiling
 Data Mining
 Supporti per l’end-user
6
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 8 algoritmi
 Forte integrazione con tutta la piattaforma
 Sfida: stimolarne la diffuzione
 Supporti per l’end-user
7
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
 Reporting
•
•




8
Ad Hoc Reporting
Embedded Reporting
Gestione delle notifiche
Portale di BI (“content management”)
Dashboard e KPI
Suite di Business Intelligence
Agenda
 SQL Server 2005 per il Data Warehouse
 SQL Server 2005 Integration Services – servizi di ETL
 Partizionamento
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
9
ETL vs. ELT - Extract Load Transform
Alerts & escalation
Call centre data: semi structured
Text Mining
Staging
Staging
Legacy data: binary files
Hand
coding
Cleansing
&
ETL
Application database
ETL
Data mining
ETL
ETL
Warehouse
Reports
Staging
 Processo di trasformazione si basa su staging area e procedure SQL
 Ricorso a tecnologie esterne per trasformazioni non gestibili in SQL
 Intrinsecamente un processo batch
10
Mobile
data
ETL vs. ELT - Extract Transform Load
Alerts & escalation
Text mining
components
Data mining
components
Custom
source
Merges
Mobile
data
Call centre:
semi-structured data
Warehouse
Legacy data: binary files
Standard
sources
Application database




11
Data cleansing
components
SQL Server Integration Services
Integrazione di dati e tecnologie
Estrazione da fonti eterogenee su dataset in memoria
Processo di trasformazione avviene in memoria, “row by row”
Caricamento del dataset su database ed applicazioni
Processo “right time”
Reports
Server per l’ETL
 Server dedicato per tutte le attività di ETL
 ETL concorrente alle query su Data Warehouse
 32-bit box: operazioni row-by-row sono CPU-bound
 64-bit box: operazioni che operano sull’intero data set
sono memory-bound
12
Server farm per l’ETL
SSIS Parent
Package Execution via SQL
Agent (scheduled)
SSIS
packages
in SQL
Parent calls
children via SQL
Agent on other
machines
Source
data
Destina
tion
data
13
Logging
Error Rows
SSIS
support
Server(s)
Demo
SQL Server 2005 Integration Services
Agenda
 SQL Server 2005 per il Data Warehouse
 SQL Server 2005 Integration Services – servizi di ETL
 Partizionamento
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
15
Partizionamento di indici e tabelle
Colonna/e di partizionamento
Tabella /
Indice
Partitioning Function
(T-SQL)
Partizione 1
Partizione 2
Partizione 3
Partizione 4
File Group 1
File Group 1
File Group 1
File Group 1
Partitioning
Scheme
(T-SQL)
16
Operazioni T-SQL su partizioni
(SWITCH, MERGE, SPLIT)
Ottimizzazioni di
Query Processor
e Storage Engine
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 Integrazione di tutti i modelli analitici aziendali
 Dalla BI al Business Performance Management
 Sfida: Operational Reporting
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
17
Unified Dimensional Model
Tool
ODS
STG
Model
STG
Model
DM
DWH
Tool
Tool
Model
Modello dimensionale
Univocità del modello
Metamodello relazionale
Tool
Orientamento
all’utente finale
Duplicazione dei dati
Inconsistenza dei modelli
Silos applicativi
DM
DWH
18
Tool
ODS
UDM
Tool
Tool
Tool
Sfida: Operational Reporting
Rompere le barriere tra analisi e reporting
Analisi
Valore Strategico
Strategia
Reporting
Tattica
Operativa
Direzione
“Big”
ETL
Form
factors
Right
Time BI
24x7
Analisti
Manager
Operatori
Clienti
19
# persone
XML for Analysis
20
http://www.xmla.org
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 DBMS OLAP
 Implementazione dell’UDM
 Business Logic (MDX)
 Modalità di storage (“right time” MOLAP)
 Profiling
 Data Mining
 Supporti per l’end-user
21
L’Unified Dimensional Model
Scorecarding
Analisi
Data Mining
Ad hoc reporting
Reporting
XML for Analysis (XMLA)
Security & Profiling
End User Model
Translations, coloring, KPI, hierarchy
UDM
Storage
Proactive Cache, MOLAP
Business Logic
Scope (Products.Category.Frozen);
Sales = (Products.Category.Fresh, Sales)*1.2
End Scope;
DWH / ODS / Data Store
Dimensional Model
Data Source View
22
Demo
SQL Server 2005 Analysis Services
UDM: Modalità di aggiornamento 1/4
 Aggiornamento batch
 SQL Server 2005 Integration Services
 Storage MOLAP
ETL
Process
UDM
Access
Datawarehouse
OLTP / ODS
Fonti

Business Users


MOLAP Store
24
UDM: Modalità di aggiornamento 2/4
 “Right Time”
 UDM aggiornato ogni pochi minuti
 SQL Server 2005 Integration Services
 Proactive Cache
Notifica
UDM
ETL
OLTP / ODS
Web Service
Access
Datawarehouse
/ ODS
Business Users
MOLAP Cache
25
UDM: Modalità di aggiornamento 3/4
 “Right Time”
 UDM aggiornato “al messaggio”
 Integrazione con servizi di Business Process
Orchestration

Datawarehouse come Web Service
 Proactive Cache
Notify for changes
Business Process
Orchestration
UDM
Access
Datawarehouse
Service
26
Business Users
MOLAP Cache
UDM: Modalità di aggiornamento 4/4
 “Right Time”
 UDM aggiornato ogni pochi secondi
 Integrazione con i sistemi di produzione
 Proactive Cache
Notifiche
UDM
Access
OLTP/ODS
Business Users
MOLAP Cache
27
UDM: Aggiornamento Misto
ETL Batch
ETL Batch
BPI
Current Month
ETL “Right Time”
Finance, MOLAP, 2 week
HT, MOLAP, 1 day
LOB application, Proactive Cache, real time
Internet Sales, Proactive Cache, Right Time
28
Today
Tomorrow
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 8 algoritmi
 Forte integrazione con tutta la piattaforma
 Sfida: stimolarne la diffuzione
 Supporti per l’end-user
29
Agenda
 SQL Server 2005 per il Data Warehouse
 Unified Dimensional Model
 DBMS OLAP
 Data Mining
 Supporti per l’end-user
 Reporting
•
•




30
Ad Hoc Reporting
Embedded Reporting
Gestione delle notifiche
Portale di BI (“content management”)
Dashboard e KPI
Suite di Business Intelligence
SQL Server 2005 Reporting Services
Sorgenti Dati
LOB
UDM
RDB
Host
DataSet
Web Service
SharePoint
Portale
Report
Consumer
HTML 4.0, HTML 3.2
PDF, Excel, Word
XML, TXT
Reporting Services
Web Service Server Farm
Dev.
Report
31
Admin.
Report
IT
Formattazione
Security
Esecuzione query
Notifica
Web Service
Report
Writer
Demo
SQL Server 2005 Reporting Services
Key Performance Indicators
 Consentono di costruire cruscotti sintetici
 Fruibili via Reporting Services e ADOMD.NET
33
Sviluppo di applicazioni per l’UDM
 Supporto nativo per XML/A
 Middle-tier scalabile
 “Zero footprint” sul client
XMLA
UDM
ADOMD.Net
C#,
VB.Net ...
OLE DB
for OLAP 9
C++
ADOMD
Win32
VB
J2EE
J2EE
Any app, device,
language, platform
Any
ADOMD.J
34
.Net
Demo
Applicazione di esempio
Suite
 [SQL Server 2005 è una piattaforma ]
 Office system
 Excel
 SharePoint
 Office Business Scorecard
 Forte investimento in Office 12
36
Conclusioni
End Use
Browser, Office, Device
Tool di amministrazione
e sviluppo
Front-end Server Farm
Services: Reporting, Analytics, Portal, Notification, KPI
Unified Dimensional Model /
Data Mining
Data Warehouse
3NF / Federazione di DM o Staging Area
SQL Server 2005 Integration Services (ETL)
Data Source
Host
37
Binary
Text
XML
Web Service
RDB
LOB
Business Process
Integration
 http://www.microsoft.com/sql/2005
 http://www.microsoft.com/italy/businessintelligence
 http://www.microsoft.com/sql
© 2003-2004 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.