OLAP

OLAP Sumrio
OLAP Data Warehouse Modelagem Multidimensional. Data Mining BI - Business Inteligence. ERP - Enterprise Resource Planning, CRM - Customer Relationship Management EIS - Enterprise Information System
2

OLAP Introduo
Aplicaes do negcio: constituem as aplicaes que do suporte ao dia a dia do negcio da empresa, que garantem a operao da empresa, tambm chamadas de sistemas de produo; Aplicaes sobre o negcio: so as aplicaes que analisam o negcio, ajudando a interpretar o que ocorreu e a decidir sobre estratgias futuras para a empresa - compreendem os Sistemas de Apoio Deciso. Consultas tpicas de um SAD so:
Listar a evoluo das vendas nos ltimos 10 anos; Listar o fornecedor que no teve mais do que 20% de atrasos nas ltimas 100 entregas.
3

OLAP
Aplicao A

Evoluo do Ambiente de Data Warehouse

Aplicao B

Aplicao C

Aplicao D

Aplicao E

Aplicao F

OLAP
Aplicao A REL 1

Aplicao B

REL 2

Aplicao C

REL 3

Aplicao D

REL 4

Aplicao E

REL 5

Aplicao F

REL 6 5

OLAP
Aplicao A REL 1

Aplicao B

REL 2

Aplicao C

REL 3

Aplicao D

REL 4

Aplicao E

REL 5

Aplicao F

REL 6 6

OLAP
Aplicao A SAD 1

Aplicao B

SAD 2

Aplicao C

SAD 3

Aplicao D

SAD 4

Aplicao E

SAD 5

Aplicao F

SAD 6 7

OLAP
Aplicao A SAD 1

Aplicao B

SAD 2

Aplicao C

SAD 3

Aplicao D

SAD 4

Aplicao E

SAD 5

Aplicao F

8 SAD 6

OLAP
Aplicao A SAD 1

Aplicao B

SAD 2

Aplicao C

SAD 3

Aplicao D

SAD 4

Aplicao E

SAD 5

Aplicao F

SAD 6 9

OLAP
Aplicao A SAD 1

Aplicao B

Tecnologia de Data Warehousing

SAD 2

Aplicao C

SAD 3

Aplicao D

SAD 4

Aplicao E

SAD 5

Aplicao F

10 SAD 6

OLAP
Aplicao A

Aplicao B

Aplicao C

DW DW Conjunto de Dados No Voltil, Conjunto de Dados No Voltil, Aplicao D Organizado por Assuntos, Organizado por Assuntos, Integrado, Integrado, Varia com Passar do Tempo, Varia com Passar do Tempo, Aplicao E Suporte para Processo de Tomada Suporte para Processo de Tomada de Deciso da Empresa de Deciso da Empresa

DW

Aplicao F

11

OLAP DW
Organizados por Assuntos:
Refere-se ao fato do DW armazenar informaes sobre temas especficos importantes para o negcio da empresa. Exemplos tpicos de temas so: produtos, atividades, contas, clientes, etc. Em contrapartida, o ambiente operacional organizado por aplicaes funcionais. Esta caracterstica ir definir a representao nica para os dados provenientes dos diversos sistemas que formaro a base de dados do DW. A maior parte do trabalho na construo de um DW est na anlise dos sistemas operacionais e dos dados que eles contm. Como no existem padres de codificao, cada analista pode definir a mesma estrutura de dados de vrias formas, fazendo com que dados que representam a mesma informao sejam representados de diversas maneiras dentro dos sistemas utilizados pela empresa ao longo dos anos. Segundo W.H.Inmon todos os dados no DW so precisos em algum instante no tempo, como eles podem estar corretos somente em um determinado momento, dito que esses dados "variam com o tempo". Em um DW no existem alteraes de dados, somente a carga inicial e as consultas posteriores. Ele definido assim pois as operaes a nvel de registro em modo on-line como so os sistemas transacionais, exigem um controle e um processamento muito grande, fugindo do objetivo principal do DW.
12

Integrao:

Variao no Tempo:

No Voltil:

OLAP
Aplicao A

DM
Aplicao B

Aplicao C

DM DM Coleo de Assuntos de uma rea, Coleo de Assuntos de uma rea, Organizado para Apoio Deciso, Organizado para Apoio Deciso, Necessidades de Departamento/ DM Setor Necessidades de Departamento/ Setor

DW

Aplicao D

Aplicao E

DM

Aplicao F

13

OLAP Conceito de Data Warehouse

Data Warehouse, pode ser definido como um banco de dados especializado, o qual integra e gerencia o fluxo de informaes a partir dos bancos de dados corporativos e fontes de dados externas Organizao. Um DW oferece os fundamentos e os recursos necessrios para um Sistema de Apoio a Deciso (SAD) eficiente, fornecendo dados integrados e histricos que servem desde alta direo, que necessita de informaes mais resumidas, at as gerncias de baixo nvel, onde os dados detalhados ajudam a observar aspectos mais tticos da Organizao.
14

OLAP

15

OLAP OLTP x OLAP

A caracterstica simples mais distintiva dos aplicativos OLTP (On-line Transaction Processing) que o banco de dados est sendo constantemente atualizado. Como os dados esto mudando constantemente, o sistema no pode ajudar no apoio a decises. De um ponto de vista prtico, OLAP (On-line Analytic Processing) sempre envolve consultas interativas aos dados, seguindo um caminho de anlise atravs de mltiplos passos, como, por exemplo, aprofundar-se sucessivamente por nveis mais baixos de detalhe de um quesito de informao especfico. OLAP envolve capacidades analticas, incluindo a derivao de taxas, varincias, etc., e envolvendo medidas ou dados numricos atravs de muitas dimenses, devendo suportar modelos para previses, anlises estatsticas e de tendncias.

16

OLAP

Modelagem Dimensional Modelagem Relacional

17

OLAP Modelagem Dimensional (DW)

Modelo Estrela.

GEOGRAFIA
Cod_geografia integer Nome Populao Estado Regio varchar(10) integer char(2) char(2)

PRODUTO
Cod_produto integer varchar(10) char(4) char(4)

VENDAS
Cod_produto Cod_tempo Cod_geografia Cod_canal Quantidade Faturamento integer integer integer integer decimal(16,0) decimal(16,2)

Nome Categoria Familia

TEMPO
Cod_tempo Dia Ms Ano Dia_semana integer integer integer integer char(3)

CANAL
Cod_canal Tipo integer varchar(10)

18

OLAP Modelagem Dimensional (DW)

Modelo Flocos de Neve (Snowflake):
Incorpora tabelas dimensionais principais, que tm uma conexo lgica direta em fact tables atravs de suas chaves primrias, e tabelas menores como 'extenses', que so usadas para armazenar descries e decodificao para chaves e cdigos nas tabelas maiores. As tabelas dimensionais principais parecem tabelas dimensionais em estrela, exceto pelo fato das colunas atributo conterem chaves para as tabelas extenses em lugar de descries de texto. As tabelas 'extenses' so conectadas com a tabela dimensional principal (ou com outras tabelas 'extenses') atravs de suas chaves primrias, e contm texto decodificado e descries de valores chave ou codificados, armazenados na tabela dimensional principal.
19

OLAP

Embora aceitvel, a normalizao de dimenses no recomendvel por razes de desempenho e facilidade de uso:
A quantidade de tabelas torna a apresentao do modelo mais complexa. Otimizadores do SGBD tm mais dificuldade com esquema complexo. A economia de espao em disco insignificante em relao ao DW completo. Diminui a habilidade de usurios de navegar na dimenso.
20

OLAP

DW Procedimentos ETL Conjunto de Dados No Voltil, Organizado por Assuntos, Extrao Integrado, Transformao Fontes Externas Varia com Passar do Tempo, Carga Suporte para Processo de Tomada de Deciso da Empresa

Sistema 1
Procedimentos ETL Procedimentos ETL

Procedimentos ETL

Sistema 2

rea de Organizao de Dados

Procedimentos ETL

Procedimentos ETL

Sistema n

Dados No Estruturados

21

OLAP
Fontes Externas
Ferramentas de Consulta OLAP Procedimentos ETL

Sistema 1
Procedimentos ETL

DW

Procedimentos ETL

Sistema 2

rea de Organizao de Dados

Procedimentos ETL Procedimentos ETL

Procedimentos ETL

Sistema n

Dados No Estruturados

Extrao, Transformao e Carga 22

OLAP
Anlise Fontes Externas Data Mining

Sistema 1
Procedimentos ETL Procedimentos ETL

Ferramentas de Data Mining

DW

Procedimentos ETL

Sistema 2

rea de Organizao de Dados

Procedimentos ETL Procedimentos ETL

Procedimentos ETL

Sistema n

Dados No Estruturados

Extrao, Transformao e Carga 23

OLAP ERP
Os sistemas ERP (Enterprise Resource Planning), tambm chamados no Brasil de Sistemas Integrados de Gesto Empresarial, tm um objetivo fundamental: controlar, integrar e fornecer suporte aos processos de uma organizao operacionais, produtivos, administrativos e comerciais. O ERP integra vrias funes: controles financeiros, contabilidade, folha de pagamento, faturamento, compras, produo, estoque e logstica. Possibilita um fluxo de informaes nico, contnuo e consistente por toda a organizao, o que permite administrar os negcios em uma nica base de dados.
24

OLAP ERP
Estratgico

BSC DW Data Marts Sistemas Operacionais

Processos Hardware Pessoas Sofware
25

Ttico
Operacional

OLAP ERP
Dificuldades:
difcil para as organizaes entenderem se a forma delas trabalharem se adapta ao padro ERP antes da implementao ter comeado. A razo mais comum pela qual as organizaes fogem dos projetos multimilionrios do ERP porque elas descobrem que o software no suporta algum dos importantes processos dos seus negcios. Nesse caso, s h duas coisas a serem feitas:
mudar o processo para se adaptar ao software, o qual significar mudanas profundas nas formas de se fazer negcio, o que apesar de ser positivo para a produtividade da organizao, mexe em papis de pessoas importantes e com responsabilidades e que apenas poucas organizaes conseguem fazer. ou, mudar o software para que este se adapte ao processo, o que diminuir a velocidade do projeto e provavelmente deturpar o sistema.
26

OLAP ERP
Um projeto de ERP um projeto do Negcio e no apenas de TI. A implantao de um ERP requer uma reorganizao na forma como as coisas funcionam internamente na organizao. O mais importante em um projeto de ERP entender porque a Organizaa precisa dele e como a mesma pode utiliz-lo para otimizar seus negcios. Os benefcios podem ser obtidos se a organizaa tiver maturidade para aceitar as mudanas e se adequar a elas. 27

OLAP Projeto de um DW
Kimball aponta um conjunto pontos fundamentais no projeto da estrutura de DW (tipo estrela). So os seguintes os chamados pontos de deciso, que constituem definies a serem feitas e correspondem, de fato, a etapas do projeto:
Os processos, e por conseqncia, a identidade das tabelas de fatos; A granularidade de cada tabela de fatos; As dimenses de cada tabela de fatos; Aos fatos, incluindo fatos pr-calculados; Os atributos das dimenses; Como acompanhar mudanas graduais em dimenses; As agregaes, minidimenses e outras decises de projeto fsico; Durao histrica do banco de dados; Urgncia com que se d a extrao e carga para o DW.

Esta metodologia segue a linha top-down, pois comea 28 identificando os grandes processos da empresa.

OLAP Estratgias de Implementao

Estratgia Evolucionria Inmon:
Histrico de sucesso das aplicaes; Usurio final no ter condies de expressar suas necessidades com clareza antes da primeira interao; A gerncia no se comprometer antes da primeira interao; H necessidade de, rapidamente, obter resultados visveis.
29

OLAP Estratgias de Implementao

INMON
Avalia o que o Ambiente Operativo tem a Oferecer Fcil Mapeamento Limitao de Viso

KIMBALL
Orientada s Necessidades do Usurio Final Mapeamento Lento (Identificar Fontes) Viso mais Ampla

30

OLAP Povoando um DW
Filtragen,Transformao e Integrao dos Dados Extrados
Conflitos Semnticos e Estruturais:
Diferenas Diferenas Diferenas Diferenas Diferenas de unidades; de preciso; em cdigo ou expresses; de granularidade; de abstrao.

31

OLAP Exemplos de Uso

Governo Federal: Aps concluso do DW, considerado estratgico pelo governo federal, o governo planeja implantar um sistema de data minig, para auxiliar na identificao de fraudes . Lobrs: Desenvolveu um DW que est ajudando a empresa a saber com exatido o movimento das vendas de seus mais de 21.500 produtos. Ita: O banco Ita foi um dos pioneiros no uso de DW no Brasil. Seu objetivo na poca da implantao do DW era filtrar suas correspondncias que eram enviadas pra mais de 1 milho de correntistas mas somente 2% se interessavam pelas promoes e novidades. Com a utilizao do DW o ndice de retorno foi para 30% .
32

OLAP Modelagem Multidimensional

Tabela de Fatos
Tabela central do projeto dimensional. Armazena medies numricas do negcio. Possui chaves de mltiplas partes. Cada chave uma chave externa para uma tabela de dimenso. Cada uma das medies obtida na interseo de todas as dimenses. Em consultas a tabela de fatos so usados centenas, milhares ou at milhes de registros para a construo da resposta.
33

OLAP Modelagem Multidimensional

Dimenso: Representao dos contextos relevantes para a anlise de um fato.
Exemplo:
Fato: Vendas. Dimenses: Clientes, Produtos, Tempo, Locais, ...

Uma dimenso pode

conter membros; ser organizada em hierarquias.

34

OLAP Modelagem Multidimensional

Membros:
Exemplos:
dimenso Tempo: dia, semana, horrio. dimenso Locais: bairro, cidade, estado.

Hierarquias:
I) TEMPO
ANO TRIMESTRE MES DIA

II) GEOGRAFIA
REGIAO ESTADO

35

OLAP Agregados
Normalmente, a modelagem dimensional utilizando o esquema estrela apenas representa os fatos no nvel de granularidade mais baixa (a partir do qual possvel gerar as combinaes ou diferentes perspectivas de anlise). No entanto, torna-se evidente a vantagem (por razes de desempenho) de pr-calcular e armazenar fatos sumrio, contendo agregaes segundo diferentes combinaes de dimenses.
36

OLAP Agregados Produto Marca Categoria Produto Tempo Ano Trimestre Ms Geografia Consultas Pas Regio Estado
37

Vendas por Produto, Marca, Trimestre Ano e eRegio Regio

OLAP Agregados

Vendas

Categoria

XPTO
XPTA XPTN Marca

38

OLAP Agregados
Tempo de Resposta

BD3 BD4 BD2 BD1

39

OLAP Agregados
Fatores:
Custo de Criao; Custo de Manuteno; Frequncia de Manuteno; Frequncia de Utilizao; Tempo de Gerao.

Nem sempre agregados.

vivel

armazenar

todos

os

40

OLAP Modelo Dimensional

Visualizao:
Uma viso multidimensional usualmente representada por um cubo. Adequado visualizao de at 3 dimenses. Anlise tridimensional bastante utilizada. Hipercubo: cubo com mais de 3 dimenses.

41

OLAP Modelo Dimensional

42

OLAP Modelo Dimensional

Funcionalidades:
Roll-up(agregao): os dados so resumidos com generalizao crescente (dia, ms, ano). Drill-down(desmembramento): nveis crescentes de detalhes so revelados (ano, ms, dia). Drill Across: ocorre quando o usurio pula um nvel intermedirio dentro de uma mesma dimenso. Por exemplo: a dimenso tempo composta por ano, semestre, trimestre, ms e dia. O usurio estar executando um Drill Across quando ele passar de ano direto para trimestre ou ms. Drill Throught: ocorre quando o usurio passa de uma informao contida em uma dimenso para uma outra. Por exemplo: Estou na dimenso de tempo e no prximo passo comeo a analisar a informao por regio. Pivot(pivoteamento): rotao do cubo (hipercubo). Slice-and-Dice(fatiar e cortar em cubos): realizar a operao de projeo nas dimenses.
43

OLAP Roll-up

44

OLAP Drill-down

45

OLAP Pivot

46

OLAP Slice-and-Dice

47

OLAP Banco de Dados Multidimensional

Originalmente, o conceito de banco de dados multidimensional surgiu no MIT ligado a pesquisas em econometria. Um banco de dados multidimensional ao invs de armazenar os dados como registros em tabelas, armazena os dados em arrays multidimensionais.

48

OLAP Banco de Dados Multidimensional

MOLAP

ROLAP

49

OLAP Data Mining

As ferramentas de Minerao de Dados, so especializadas em procurar padres nos dados. Essa busca pode ser efetuada automaticamente pelo sistema ou interativamente com um analista, responsvel pela gerao de hipteses. Diversas ferramentas distintas, como redes neurais, induo de rvores de deciso, sistemas baseados em regras e programas estatsticos, tanto isoladamente quanto em combinao, podem ser ento aplicadas ao problema. Em geral, o processo de busca interativo, de forma que os analistas revem o resultado, formulam um novo conjunto de questes para refinar a busca em um dado aspecto das descobertas, e realimentam o sistema com novos parmetros. Ao final do processo, o sistema de Minerao de Dados gera um relatrio das descobertas, que passa ento a ser interpretado pelos analistas de minerao. Somente aps a interpretao das informaes obtidas encontramos concluses ou regras, este processo conhecido por Knowledge Discovery 50 in Database (KDD) ou descoberta de conhecimento em banco de dados.

OLAP Data Mining

Objetivos:
Explanatrio: explicar algum evento ou medida observada, tal como porque a venda de sorvetes caiu no Rio de Janeiro; Confirmatrio: confirmar uma hiptese. Uma companhia de seguros , por exemplo, pode querer examinar os registros de seus clientes para determinar se famlias de duas rendas tem mais probalidade de adquirir um plano de sade do que famlias de uma renda; Exploratrio: analisar os dados buscando relacionamento novos e no previstos. Uma companhia de carto de crdito pode analisar seus registros histricos para determinar que fatores esto associados a pessoas que representam risco para crditos. 51

OLAP Business Intelligence (BI)

O termo BI surgiu na dcada de 80, cunhado pelo Gartner Group, e tem como principais caractersticas:
Extrair e integrar dados de mltiplas fontes ; Fazer uso da experincia ; Analisar dados contextualizados ; Trabalhar com hipteses; Procurar relaes de causa e efeito; Transformar os registros obtidos em informao til para o conhecimento empresarial.

52

OLAP Business Intelligence (BI)

Business Intelligence o processo de analisar informaes brutas acumuladas da empresa e a partir delas obter insights valiosos. Business Intelligence permite que os responsveis pelas decises tenham as informaes certas, na hora certa e no lugar certo, capacitando-os a tomar melhores decises corporativas.

As aplicaes de BI incluem:
Sistemas de suporte deciso; Consultas e relatrios (padronizadas e ad-hoc); Anlises OLAP (On-Line Analytical Processing); Anlises estatsticas; Previses; Data Mining.
53

OLAP Business Intelligence (BI)

54

OLAP Costumer Relationship Management (CRM)

CRM no apenas um conceito tecnolgico, uma filosofia de trabalho, que deve se apoiar fortemente em sistemas de informao. A definio do Gartner Group sobre CRM bastante abrangente:
"CRM uma estratgia de negcio voltada ao entendimento e antecipao das necessidades dos clientes atuais e potenciais de uma empresa. Do ponto de vista tecnolgico, CRM envolve capturar os dados do cliente ao longo de toda a empresa, consolidar todos os dados capturados interna e externamente em um banco de dados central, analisar os dados consolidados, distribuir os resultados dessa anlise aos vrios pontos de contato com o cliente e usar essa informao ao interagir com o cliente, por meio de 55 qualquer ponto de contato com a empresa".

OLAP Concluso

Inmon:

um engano pensar que os enfoques de projeto que funcionaram no passado sero teis na construo do DW. Os requisitos para a criao de um DW no podem ser conhecidos at que ele seja parcialmente povoado e sendo usado pelo analista de SAD. Portanto, ele no pode ser projetado do mesmo modo pelo qual so construdos os sistemas clssicos baseados em requisitos. Por outro lado, tambm constitui um engano pensar que no prever requisitos seja uma boa idia. A realidade se encontra em algum ponto intermedirio.(estratgia evolucionria)

56

OLAP

FIM