Data warehouse

MARCELO DA SILVA BATISTA2 Faculdade Latino Americana Cincia da Computao Anpolis GO

2

marcelokebek@gmail.com

Resumo: O data warehouse aplicado a sistemas de informao de uma organizao com diversas reas proporciona a integrao das informaes de forma rpida, clara e abrangente, disponibilizando aos administradores de auto nvel o apoio adequado na tomada de deciso estratgica, tornando sua organizao mais competitiva neste ambiente globalizado dos negcios. Palavras Chaves: Data warehouse, sistema de informao, integrao, cooperao. reais necessidades dos Clientes. Para entender o tipo de operaes necessrias para transformar dados oriundos do ambiente operacional em informaes para suporte deciso imprescindvel entender as regras do negcio. A aplicao Data Warehouse deve integrar e modelar os dados de todos os negcios para formar um perfil compreensvel ao usurio. Existem trs tipos de dados: Metadados, Dados detalhe e Dados sumariados. O acesso ao Data Warehouse deve satisfazer duas premissas: os dados demandados pelo cliente e como os resultados devem ser apresentados. Obtendo essas informaes rapidamente e de forma estruturada a empresa sair na frente, descobrindo os problemas com seus produtos possibilitando corrigi-los com mais velocidade, ir saber se seus clientes esto satisfeitos e poder definir novas estratgias para expanso no mercado.

1 Introduo Esse consiste em organizar os dados corporativos da melhor maneira, para dar subsdio de informaes aos gerentes e diretores das empresas para tomada de deciso. Tudo isso num banco de dados paralelo aos sistemas operacionais da empresa. Data Warehouse prov as facilidades para integrao em um mundo de sistemas de aplicaes no integrados, organiza e armazena os dados necessrios para processamento informatizado e analtico sobre perspectivas histricas ao longo do tempo. Conhecer mais sobre essa tecnologia permitir aos administradores descobrir novas maneiras de diferenciar sua empresa numa economia globalizada, deixando-os mais seguros para definirem as metas e adotarem diferentes estratgias em sua organizao. Data Warehouse um dos conceitos bsicos por trs das estratgias BI (Business Intelligence), ajudando voc a aproveitar a vantagem de ter construdo uma base de conhecimento ao longo do tempo. Business Intelligence (BI) uma tecnologia que permite que as empresas organizem enormes quantidades de dados, de forma rpida, meticulosa e com aguada preciso analtica, para melhor tomada de decises. A estrutura do Data Warehouse abrange diferentes nveis de sumarizao e detalhes, tais como: dados correntes em nvel de detalhe, dados histricos em nvel de detalhe, baixo nvel de sumarizao e alto nvel de sumarizao. A identificao das informaes demandadas na conduo do negcio da organizao constitui a primeira etapa para se tomar conhecimento das

2. Motivao Segundo (JANHOUR, 1999), a construo de um Data Warehouse justifica-se pelos seguintes pontos: Efetuar a anlise financeira dos processos de uma cooperao, anlise esta que permite a tomada de deciso estratgia visualizando a corporao como um todo; Capacidade de atribuir a corporao um repositrio, um servidor de rede capaz de processar as informaes de diversos tipos de fontes e integr-las de forma correta; Com a evoluo tecnolgica estes tipos de repositrios esto tornando-se mais acessveis, pois evidente a continua baixa de custos, tanto de construo como de manuteno destes; Proporciona a corporao um norte confivel em suas tomadas de decises estratgicas de negcio, evitando erros que poderiam causar gastos dispendiosos, a partir de anlise duvidosas ou erronias. Sincronismo de informaes; Apurao do entendimento de negcio, com vises de mbito geral como e especfico dos processos. Resolve a incompatibilidade entre sistemas de informao presentes em um mesmo ambiente heterogneo (Hardware e Software).

4.2 Maior desempenho nas operaes usuais e consultas. O tempo de resposta de em um sistema considerado sempre um fator crtico, o que no diferente em um data warehouse. Devido a grande carga de dados existentes em um data warehouse uma consulta realizada por um usurio que relaciona dados de tabelas em instncias diferentes e cruza estas informaes de modo a criar tabelas temporrias pode demorar at dias para se obter uma resposta, dependendo da quantidades de colunas existente nas tabelas relacionadas que podem ser milhares. Mas este tipo de situao deve ser abrangida em um data warehouse. 4.3 Dados no volteis A carga de informaes ao ser carregada na base analtica do Data warehouse se torna uma carga no voltil, o que significa que a partir daquele momento as informaes no podem ser alteradas. Este um ponto que falha em muitos sistemas ao sincronizar as bases operacionais com a analtica. 4.4 Armazenamento por longo tempo primordial a um sistema de apoio a deciso conter histrico de suas operaes ocorridas a imediato, curto e longo prazo, prazos que podem chegar a 10 anos, mesmo com este perodo estendido os custos com arquivamento dos dados no to alto o custo mais significativo com a transmisso dos dados das bases operacionais para analtica no data warehouse. 4.5 Modelo de dados expansvel A modelagem de dados na faze inicial da construo de um data warehouse deve possuir uma ateno especial, pois sem uma base que acomode diversos tipos de dados das diferentes bases operacionais o sistema estar fardado ao fracasso, esta modelagem deve ser tambm expansvel, pois a quantidade e tipos de dados de negcio iro aumentar como o passar do tempo. 4.6 Snapshosts Snapshosts so dados de negcio selecionados da base operacional que so transmitidos para a base analtica, o data warehouse no carrega todas as operaes da base operacional e sim alguns snapshosts selecionados por funes especficas, como por exemplo, o total de produo de um certo produto que possui uma grande previso de venda de uma linha de produo. 4.7 Dados Desnormalizados Os dados so mantidos em formato no normalizado, fazendo uso de uma consulta mais gil atravs do relacionamento entre entidades de dados que no necessitam de conhecer os nomes dos ndices e tabelas, sendo transparente ao usurio.

3. O que uma Data Warehouse? Podemos definir como um ambiente que fornece a seus usurios informao histrica de apoio deciso, as quais seriam inviveis as apresentaes por meios convencionais. Este gera uma base de dados analtica que trata adequadamente as informaes possibilitando a minerao de dados de forma eficiente. 4. Caractersticas As caractersticas relevantes para criar um data warehouse so: 4.1 Integrao de dados O dada warehouse efetua a migrao dos dados de diferentes bases operacionais remotas para a base principal analtica, esses dados devem ser integrados de forma objetivar o cruzamento das referncias destes dados. A integrao evidenciada de diferentes maneiras, por exemplo: na conveno consistente de nomes, na forma consistente das variveis e nos atributos fsicos consistente de dados.

4.8 Termos de negcio Ao efetuar a migrao dos dados das bases operacionais para a base analtica o data warehouse transforma estes dados de difcil entendimento ou codificados em termos de negcio uniformes de forma consistente e auto explicativos. Estas dados devem estar ilustrados em um dicionrio de dados para que se tenha um melhor entendimento aps esta transformao. 4.9 Transformao fsica Tambm rotulada de staging consiste na atribuio de valores padres e adaptao dos dados de negcio, aplicando com isso uma homogeinao ou purificao destes. 4.9.1 Definio fsica nica de um atributo Nas aplicaes operacionais encontram-se softwares que trabalham com diversos tipos e tamanhos de dados, como estes dados so atributos fsicos de um data warehouse os mesmos dados devem possuir tamanhos nicos, este tamanho de dado deve ser apresentado idntico em todas suas incidncias. 4.9.2 Uso consistentes de valores de uma entidade. A consistncia dos dados de um data warehouse deve ser tratado com muito cuidado, deve-se prdefinir os valores de todos os atributos, mesmo que na base operacional utilizam-se valores diferenciados, ao serem migrados devem ser convertidos para um formato padro; como exemplo as datas, podendo ser tratadas como 01/10/2007 em uma base, 2007-01-10 em outra e assim por diante. 4.9.3 Valores perdidos Ao se construir o data warehouse deve-se estruturar um log de maneia eficiente, pois dados podem encontrar-se corrompidos ou serem perdidos nas bases operacionais, caso o dado ainda esteja na base operacional antes da transformao os dados podem ser restaurados por referncia, caso no exista referncia pode ser arriscado atribuir valores padres a estes dados, podendo comprometer anlises futuras, deve-se ento deixar os valores em branco, atentando para que o usurio esteja ciente destas transformaes. 4.10 vises de negcio Uma viso em um data warehouse uma tabela com dados sumarizados que pode ser acessada por usurios diferentes, tabela esta que foi gerada por constantes e peridicas consultas sobre entidades do negcio, com um determinado produto, ou cliente.

4.11 Anlise das vises As vises podem englobar regras de negcio aplicadas as entidades de negcio, regras que geralmente so complexas, como junes-multiplas que relacionam dados de vrias tabelas para obter um viso especializada. 4.12 Ganho de desempenho Com as vises o desempenho melhorado, pois permitem a consulta por itens indexados nas tabelas, restringindo assim o espao de busca. 4.13 Vrias vises para os mesmos dados Podemos gerar vrias vises de um mesmo dado, detalhando de forma abrangente e robusta as vises, proporcionando uma anlise mais completa, podendo o analista aumentar o detalhamento dos dados (Drill down) ou diminuir o detalhamento (Drill up). As vises so uns dos benefcios mais evidentes em um data warehouse sendo que um pequena inconsistncia nos dados pode afetar uma ou mais vises, mediante a isso deve ser tratada com cuidado sendo planejadas, construdas e atualizadas medida que os dados so migrados. 5. Arquitetura de um Data Warehouse Segundo (JANHOUR, 1999) o data warehouse composto pela seguinte estrutura inter-conectadas: Base de dados Operacional / Camada de base de Dados externa; Camada de acesso s informaes; Camada de acesso aos dados; Camada de Diretrio de dados (Meta Dados); Camada de processos; gerenciamento de

Camada de troca de mensagem entre aplicaes; Camada do Data Warehouse; Camada de organizao de dados.

5.1 Camada de base de dados externa Consiste na base de dados operacional que utilizada pelo usurio final fora do data warehouse. 5.2 Camada de acesso s informaes Aplicativos que os usurios utilizam para acessar os dados, incluindo hardware e software usados para visualizao dos dados, em forma de relatrios grficos e etc. a maior dificuldade encontrada

nesta camada conseguir com que as diversas aplicaes interajam-se atravs de uma mesma linguagem. 5.3 Camada de acessos aos dados a camada responsvel pela comunicao entre as camadas de base de dados externos e a de acesso s informaes atravs de instrues SQL ( Structured Query Language). 5.4 Camada de diretrio de dados Faz-se necessrio em um data warehouse manter um diretrio de dados ou repositrio de metadados, os metadados so definidos como que so dados dos dados, mas muito mais complexos dentro de um data warehouse. Os metadados podem ser gerados por regras de negcios, relatrios a serem gerados, processos de extrao tratamento e rotina de carga de dados. Segundo (INMON, 2002) os metadados incluem o data warehouse e matem as informaes sobre o que est aonde. Os metadados mantm as seguintes informaes: A estrutura dos dados segundo a viso do programador; A estrutura dos dados segundo a viso do analista de SAD; A fonte de dados que alimenta a data warehouse; A transformao sofrida pelos dados no momento de sua migrao para data warehouse O modelo de dados; O relacionamento entre o modelo de dados e o data warehouse; O histrico das extraes de dados; Os dados referentes aos relatrios que so gerados pelas ferramentas OLAP.

podem ser denominadas middleware (mediador, uma aplicao que executa mediao entre outros softwares, ocultando as diferenas de protocolos de comunicao ). 5.7 Dados externos O esforo de data warehouse para buscar dados em bases operacionais externas e mistur-las a outras bases dificultado pelos sistemas operacionais presentes nestas base, pois alguns datam mais de 10 anos de instalao. A cada dia as empresas agregam novas bases ao seus sistemas com as mais diversas caractersticas fazendo com que o data warehouse tente gradativamente conversar com mais bases. 5.8 Camada fsica do data warehouse O modelo de trabalho de um data warehouse baseado na plataforma cliente servidor estando base analtica localizada no servidor centralizando as cpias dos dados das bases operacionais facilitando o acesso a estes. 5.9 Camada de organizao de dados Apresenta-se em uma camada bem complexa onde softwares de anlise de qualidade e identificadores de padres de dados so aplicados, softwares que executam os processos de seleo, edio, resumo, combinao e carga de dados das bases operacionais para base central analtica. 6. OLAP Juntamente com os data warehouse surgiram os OLAPs que consistem em sistemas que executam a extrao e anlise dos dados contidos no data warehouse, so utilizados pelos usurios finais para gerao de relatrios ajudando na tomada de decises gerencias e estratgicas. Possuem as seguintes caractersticas: 6.1 Consultas ad-hoc Foi definida da seguinte forma: ...Consultas com acesso casual nico e tratamento dos dados segundo parmetros nunca antes utilizados, geralmente executado de forma interativa e heurstica [Inmon(2002)]... . Esta caracterstica nada mais do que a capacidade do usurio de gerar relatrios cruzando dados segundo suas necessidades, sendo este j elaborado anteriormente ou uma nova viso. 6.2 Slice-and-Dice Esta caracterstica permite ao usurio visualizar os dados de diferentes ngulos nunca antes vislumbrados de forma ilimitada.

5.5 Camadas Processos

de

Gerenciamento

de

Camada responsvel manter a atualizao do Data warehouse, programando a execuo das tarefas de alto nvel para vrios procedimentos. 5.6 Camada de troca de mensagens O envio de dados entre as bases operacionais e a analtica ou entre duas bases operacionais fica a cargo desta camada, sendo responsvel pelo sistema de transporte do data warehouse, estas mensagens

6.3 Drill Down/Up Com esta caracterstica possvel explorar os dados em diferentes nveis de detalhamento, podendo subir Drill Up aumentar o nvel de detalhamento de dados ou descer Drill Down neste nvel, por exemplo, pode-se solicitar um pesquisa de vendas por estado, cidade ou bairro. 6.4 Gerao de Queries A gerao de queireis no OLAP transparente ao usurio de forma mais amigvel possvel, no exigindo que o usurio possua nenhum conhecimento avanado em informtica para utiliz-lo de forma eficiente.

7 Concluso

A cada dia as empresas esto mais competitivas e os clientes mais exigentes de suma importncia que os dirigentes destas empresas estejam sincronizados com o mercado e com a sua empresa como um todo, sendo ela uma ou vrias em diferentes partes do mundo, o data warehouse chega para ser o diferencial gerando lucros ao proporcionar um melhor atendimento ao cliente e alocao de recursos, fundindo todas as informaes das diferentes tecnologias implantadas na empresa atribuindo uma viso clara, moldvel e objetiva para que as decises estratgicas sejam tomadas. Para as corporaes de mdio e grande porte tornase uma ferramenta que ir conquistar uma grande fatia do mercado, sendo extremamente promissor.

7. Referncias Informaes lapidadas; sistema consolida o uso da tecnologia data warehouse, Disponvel em <http//www.serpro.gov.br/publicaes/tema_175/materiais/sol_175_01>.Acesso em: 02 30 ago 2007. Definio Data warehouse, disponvel em:<http://pt.wikipedia.org/wiki/Data_Warehouse>. Acesso em 10 set 2007. CIELO, Iv. Data Warehouse como diferencial competitivo. Internet always. Disponvel em: < http://www.always.com.br/site2005/internet_clip07.html>.Acesso em 10 set. 2007. INMON, W. Building the Data Warehouse. 3nd Edition, New York: John Wiley Sons,2002. JAMHOUR, Edgard. Data warehouse. Pontifcia Universidade Catlica do Paran, Curitiba. 13 dez 1999. Disponvel em: < http://dourados.br/apostilas/datawarehouse.doc>. Acesso em 03 set 2007.