Universidade Federal de Santa Maria

Departamento de Computao Aplicada

Computadores e Sociedade

Data Warehouse

Professor: Dr. Edison Pignaton de Freitas

O
bjetivos

Introduzir os principais conceitos relativos ao tema Data
Warehouse

Estudar o Processamento OLAP (on-line analytical
processing) na utilizao de Data Warehouse




Sumrio


Sumrio
Introduo

Data Warehouse elementos, caractersticas e construo

OLAP (on-line analytical processing) processamento de
consultas em sistemas de Data Warehouse

Discusso

Exerccio

Concluso




Introduo


Introduo
Fato:


Informao a alma da gerncia de negcios!





Porm, como adquirir informao relevante?


6
Conduo, definio
da direo a ser
tomada...
Tomada de
decises!
Introduo
Processo de tomada de deciso


7
?
Introduo
Fontes de dados de uma empresa

Bancos de dados operacionais

Planilhas de custos, vendas, etc...

Relatrios gerenciais

Sistemas legados...


8
Problemas!

Fontes dispersas

Como consolid-las?

Como assegurar consistncia?




Introduo
9
Steve Jobs

Anlise de dados de vendas do Mac


Introduo
10
Soluo para os problemas: Data Warehouse!
Relatrios
simples
Relatrios
complexos
Planilhas
1
Trim.
2
Trim.
3
Trim.
4
Trim.
0
10
20
30
40
50
60
70
80
90
1
Trim.
2
Trim.
3
Trim.
4
Trim.
Leste
Oeste
Norte
1 Trim.
2 Trim.
3 Trim.
4 Trim.
Dados rea 1
1
Trim.
2
Trim.
3
Trim.
4
Trim.
0
10
20
30
40
50
60
70
80
90
1
Trim.
2
Trim.
3
Trim.
4
Trim.
Leste
Oeste
Norte
1 Trim.
2 Trim.
3 Trim.
4 Trim.
Dados rea n
...
BDs
operacionais
Data
Warehouse
Acesso
&
Anlise
Relatrios
OLAP
Data Mining
...
Introduo
11
Data warehouse

Consolidao dos dados de diversas fontes

Anlise facilitada dos dados

Modelo dos dados baseado no modelo de negcio


Possibilita

Anlise de tendncias

Anlise temporal

A viso de negcio

Fcil utilizao e acesso aos dados






Data Warehouse


Data Warehouse Definio
O que de fato um Data Warehouse?

Definio:
13
uma coleo de dados orientados
por assuntos, integrados, variveis no
tempo e no volteis, para dar
suporte ao processo gerencial de
tomada de deciso [ Inmon ]
Data Warehouse Definio
Coleo de dados integrados

Grande armazm de dados consolidados

Vindos de diversas fontes


14
Orientados por assunto

Reflete as diferentes reas de uma empresa

Fornece vises de acordo com interesses dessas reas

Data Mart subconjunto do DW relativo a uma rea

Data Warehouse Definio
Variveis no tempo

Armazenamento de dados histricos

Armazenamento incremental



15
No volteis

Dados no so atualizados nem deletados (Read Only)

Uma vez carregados, os dados s so acessados


Suporte ao processo de tomada de deciso

Dados acessveis aos usurios no tcnicos

Fcil utilizao

carregar
acessar
DW
Data Warehouse Comparao BDs
Mas porque no se utiliza BD convencionais?


16
BDs
convencionais
(Transacionais)
Controlam dados
operacionais do negcio
Orientados a transaes
(insero, atualizao,
remoo)



Executam bem consultas como:


Qual o endereo do cliente XYZ?



... mas no consultas como:


Quais os produtos mais vendidos nos ltimos 3 anos?



Data Warehouse Comparao BDs
A necessidade de DW

Suportar consultas complexas

Armazenar dados histricos



17
Pode-se fazer uma comparao entre DW e BD
transacionais



Data Warehouse Comparao BDs
BD Transacional X Data Warehouse
18
Analitical
Transactional
Data Warehouse Construo
19
Construo de DW

Integrao dos dados

Definio dos Metadados


Data Warehouse ETC
20
Integrao

ETC Extrao, Transformao e Carregamento

Data Warehouse ETC
Principais etapas da ETC

Filtragem de dados: para eliminar erros e elementos
indesejados

Converso de dados: procedimentos para a transformao
entre formatos e unidades

Integrao propriamente dita: correlao dos dados das
fontes heterogneas no DW



21
Data Warehouse ETC
Exemplo de transformao de dados no ETC
22
Data Warehouse Granularidade de Dados
23

Prod. Data Qtd. Valor
A1 13/9/00 10 100,00
B1 14/9/00 15 150,00
A1 16/9/00 20 200,00
A1 16/9/00 90 890,00


ms/ano Prod. Qtd. Valor
09/00 A1 120 1190,00
09/00 B1 15 150,00

Baixa Alta
Granularidade dos dados

Baixa mais detalhes, maior custo de processamento

Alta dados sumarizados, menor custo de processamento



Data Warehouse Modelo de Dados
Metadados do DW

Deve atender uma viso de negcio

Modelagem Entidade-Relacionamento no capaz de
atender
24
Modelo Dimensional multidimensional

Representa indicadores de interessa para uma rea de
negcio
-
Fatos ou mtricas

Visualizados atravs de parmetros ou dimenses
Data Warehouse Modelo de Dados
Exemplo de um Modelo Dimensional
25
Processo de Pedidos
FATO
Dimenso Dimenso
Data Warehouse Modelo de Dados
Bases de Dados Multidimensionais

Formato de armazenamento: Cubo

Combinao de atributos das dimenses com uma mtrica

Cubo pr-calculado ou calculado rapidamente
26
Dimenses

Tempo

Local

Produto
Todos os
produtos
pedidos em Jan
no estado de
SC.
Exemplo
de
Consulta
Data Warehouse Modelo de Dados
Aliando-se os conceitos de granularidade e
multidimensionalidade

Considerar multigranularidade dos dados

Hierarquias conceituais



27
Hierarquias conceituais

Hierarquia esquemtica: implcita na fonte


Hierarquia de agrupamento: inexistente no esquema fonte,
gerada para classificar os dados


Data Warehouse Modelo de Dados
Hierarquia esquemtica: cidade estado pas



28
Canada
British Columbia Ontario
Vancouver Victoria Ottawa Toronto Chicago Buffalo
New York
New York
Illinois
USA
all
location
all
country
city
province_or_state
Data Warehouse Modelo de Dados
Hierarquia de agrupamento: intervalos de valores
29
($0 $1000]
($0 $200] ($200 $400] ($400 $600]
($400 $500]
($500 $600]
($600 $800] ($800 $1000]
($200 $300]
($300 $400]
($0 $100]
($100 $200]
($800 $900]
($900 $1000]
($600 $700]
($700 $800]
Data Warehouse Esquemas
Esquemas de modelagem de dados em DW

Star Estrela

Snow Flake Floco de Neve

Constelao







30
Data Warehouse Esquemas
Esquema Estrela


Uma tabela fato com:
Medida agregada



N tabelas de dimenses, uma por dimenso analtica
Geralmente um atributo por nvel na hierarquia conceitual



No normalizada:
Pode have alguma redundncia
31
Data Warehouse Esquemas
Exemplo de um esquema estrela




32
time
dimension table
time_ key
day
day_of_the_week
month
quarter
year
sales
fact table
time_key
item_key
branch_key
location_key
dollars_sold
units_sold
item
dimension table
item_key
item_name
brand
type
supplier_type
branch
dimension table
branch_key
branch_name
branch_type
location
dimension table
location_key
street
city
province_or_state
country
1 atributo por
nvel de
hierarquia
Redundncia
Data Warehouse Esquemas
Esquema Floco de Neve


Igual ao modelo estrela exceto pela normalizao
das tabelas de dimenses

Vantagens
Facilita evoluo das dimenses
Reduz espao ocupado por elas

Desvantagens
Aumenta tempo de resposta pela necessidade de junes

Balano
Ganho de espao muito pequeno
Modelo estrela mais popular
33
Data Warehouse
Exemplo de um esquema floco de neve

34
time
dimension table
time_key
day
day_of_week
month
quarter
year
sales
fact table
time_key
item_key
branch_key
location_key
dollars_sold
units_sold
item
dimension table
item_key
item_name
brand
type
supplier_key
branch
dimension table
branch_key
branch_name
branch_type
location
dimension table
location_key
street
city_key
supplier
dimension table
supplier_key
supplier_type
city
dimension table
city_key
city
province_or_state
country
Houve a
Normalizao
Data Warehouse Esquemas
Constelao

Vrias tabelas de fato: uma por assunto analtico
Dimenses compartilhadas por vrios assuntos no so
duplicadas, mas apontadas por vrias tabelas de fato

Em geral:
data mart modelado em estrela
data warehouse modelado em constelao
35
Data Warehouse Esquemas
Exemplo de Constelao




36
time
dimension table
time_key
day
day_of_week
month
quarter
year
sales
fact table
time_key
item_key
branch_key
location_key
dollars_sold
units_sold
item
dimension table
item_key
item_name
brand
type
supplier_type
branch
dimension table
branch_key
branch_name
branch_type
location
dimension table
location_key
street
city
province_or_state
country
shipping
fact table
item_key
time_key
shipper_key
from_location
to_location
dollars_cost
units_shipped
shipper
dimension table
shipper_key
shipper_name
location_key
shipper_type
Tabelas Fato
Data Warehouse Processamento de consultas
Os dados precisam ser processados e apresentados aos
usurios....

Consultas devem ser realizadas!


OLAP on-line analytical processing



37




OLAP (on-line analytical processing)


OLAP Definio
O que OLAP?

Processamento de dados dedicado ao suporte deciso

Assim como BDs tem o OLTP para o processamento de
transaes, o OLAP se dedica ao processamento analtico em
Data Warehouse



39
OLAP permite

Visualizao de dados agregados ao longo de vrias
dimenses analticas (tempo, espao, tipo de produto, ...)

Anlises hierarquizadas em vrias granularidades
OLAP Exemplos de Consultas
Exemplos de consultas possveis com OLAP

Quais foram os produtos mais vendidos no ms/ano
passado ?


A mdia salarial dos funcionrios de informtica com menos
de 5 anos de experincia maior do que a mesma para
funcionrios de telecomunicao?


Qual foi o total de vendas o ms passado por regio de
vinhos tintos importados da Europa?

40
OLAP Processamento de consultas
Consulta complexas sobre os dados

Manipulao dos dados no espao analtico
multidimensional e multigranular

Operadores de navegao

Operadores de visualizao
41
OLAP Operadores
Operadores de navegao ao longo das hierarquias
conceituais
Roll-up: abstrai detalhes, aplicando um operador de agregao ao
longo de uma dimenso
ex: estado pas
Drill-down: detalha, desagregando ao longo de uma dimenso
ex: pas estado
Drill-through: detalha os valores, ao longo de uma dimenso, alm
do nvel mais baixo, por consultas SQL diretamente na fonte relacional
42
OLAP Operadores
Operadores de navegao ao longo do reticulado do
cubo
43
Slice: projeta
valores especficos
de uma dimenso

Dice: slices
consecutivos, extrai
um cubo menor
Slice
OLAP Operadores
Operadores de visualizao de resultado
44
Pivot: muda os eixos da visualizao do resultado de uma
consultas (ex: tempo na vertical no lugar da horizontal)

Rank: ordena os membros de uma dimenso de acordo com a
ordem da medida corrente (ex: tempo, comeando pelo mais
recentes ou pelo mais antigo primeiro);
OLAP Modelos Fsicos de Implementao
45
ROLAP (OLAP Relacional):
Armazena dados em tabelas
relacionais
Reaproveita da tecnologia
relacional, inclusive SQL
Apenas apresenta dados de
maneira multidimensional
MOLAP (OLAP Multidimensional):
Armazena dados em arrays de
dimenses N
No s apresentao
multidimensional, uma base
multidimensional
Sem acesso a granularidade
mnima
HOLAP (OLAP Hbrido):
Duplica dados
Tabelas para dados atmicos
Arrays para agregrados
Flexvel e rpido de execuo



Discusso



Discusso
Uso de Data Warehouse
47
Vantagem: viso gerencial sobre os dados

Desvantagem: custo
Trade off: Deve-se avaliar se os benefcios
compensam os custos de implantao e manuteno.
Discusso
Modelos OLAP
48
ROLAP: tecnologia relacional, apenas a apresentao
multidimensional

MOLAP: Base de dados multidimensional, mas perde
granularidade mais fina que era acessvel no BD origem

HOLAP: Flexvel e rpido na execuo, mas pode ter
custo elevado pela manuteno de dados duplicados




Exerccio



Exerccio
Cite duas das principais vantagens da utilizao de
sistemas de Data Warehouse em relao aos Bancos de
Dados transacionais convencionais no suporte a tomada
de decises gerencias de uma empresa.






50
Exerccio
Cite duas das principais vantagens da utilizao de
sistemas de Data Warehouse em relao aos Bancos de
Dados transacionais convencionais no suporte a tomada
de decises gerencias de uma empresa.
Anlise histrica da evoluo dos dados
Apresentao dos dados sob tica do negcio






51



Concluso



Concluso
Introduzimos o tema Data Warehouse

Processo de tomada de deciso

Importncia da informao neste processo

Motivao de se usar DW para o suporte deciso







53
Data Warehouse

Entendemos o que um DW

Comparamos com sistemas de BD convencionais

Como ele construdo

Concluso
OLAP

Como se manipula do DW atravs de OLAP

Vimos tipos de consultas complexas que podem ser
executadas




54
Discusso reflexiva

Vantagens

Desvantagens
Exerccio

Fixar a importncia do DW
Obrigado pela sua ateno!