DATAWAREHOUSE INTRODUO Todos ns sabemos que os bancos de dados so de vital importncia para as empresas e tambm estamos cientes de que

sempre foi difcil analisar os dados neles existentes. Hoje em dia, as grandes empresas detm um volume enorme de dados e esses esto em diversos sistemas diferentes espalhados por ela. Assim, no conseguamos buscar informaes que permitissem tomarmos decises embasadas num histrico dos dados. Por outro lado, em cima desse histrico podemos identificar tendncias e posicionar a empresa estrategicamente para ser mais competitiva e consequentemente maximizar os lucros diminuindo o ndice de erros na tomada de deciso. Por fim, introduziu-se um novo conceito no mercado, o Data Warehouse (DW). Este consiste em organizar os dados corporativos de maneira integrada, com uma nica verso da verdade, histrico, varivel com o tempo e gerando uma nica fonte de dados, que ser usada para abastecer os Data Marts (DM). Isso permite aos gerentes e diretores das empresas tomarem decises embasadas em fatos concretos e no em intuies, cruzando informaes de diversas fontes. Isso agiliza a tomada de deciso e diminui os erros. Tudo isso num banco de dados paralelo aos sistemas operacionais da empresa. Segundo a (Aspect International Consulting, 1997), cerca de 88% dos diretores admitem que dedicam quase 75% do tempo s tomadas de deciso apoiadas em anlises subjetivas, menosprezando o fato de que por volta de 100% deles tem acesso a computadores. Atualmente esse nmero deve ter diminudo, porque existem muitos Data Warehouses sendo utilizados. DATA WAREHOUSE - um sistema de computao utilizado para armazenar informaes relativas s atividades de uma organizao em bancos de dados, de forma consolidada. O Data Warehouse : Orientado a Assunto: A primeira caracterstica de um Data Warehouse que ele est orientado ao redor do principal assunto da organizao. O percurso do dado orientado ao assunto est em contraste com a mais clssica das aplicaes orientadas por processos/funes ao redor dos quais os sistemas operacionais mais antigos esto organizados. Integrado: Facilmente o mais importante aspecto do ambiente de Data Warehouse que dados criados dentro de um ambiente de Data Warehouse so integrados. SEMPRE. COM NENHUMA EXCEO. A integrao mostra-se em muitas diferentes maneiras: na conveno consistente de nomes, na forma consistente das variveis, na estrutura consistente de cdigos, nos atributos fsicos consistente dos dados, e assim por diante. No Voltil: sempre inserido, nunca excludo. Variante no Tempo: posies histricas das atividades no tempo. O data warehouse possibilita a anlise de grandes volumes de dados coletados dos sistemas transacionais (OLTP). So as chamadas sries histricas que possibilitam uma melhor anlise de eventos passados, oferecendo suporte s tomadas de decises presentes e a previso de eventos futuros. Por definio, os dados em um data warehouse no so volteis, ou seja, eles no mudam, salvo quando necessrio fazer correes de dados previamente carregados. Os dados esto disponveis somente para leitura e no podem ser alterados. A ferramenta mais popular para explorao de um data warehouse a Online Analytical Processing OLAP ou Processo Analtico em Tempo Real, mas muitas outras podem ser usadas. Os data warehouse surgiram como conceito acadmico na dcada de 80. Com o amadurecimento dos sistemas de informao empresariais, as necessidades de anlise dos dados cresceram paralelamente. Os sistemas OLTP no conseguiam cumprir a tarefa de anlise com a simples gerao de relatrios. Nesse contexto, a implementao do data warehouse passou a se tornar realidade nas grandes corporaes. O mercado de ferramentas de data warehouse, que faz parte do mercado de Business

Intelligence, cresceu ento, e ferramentas melhores e mais sofisticadas foram desenvolvidas para apoiar a estrutura do data warehouse e sua utilizao. Atualmente, por sua capacidade de sumarizar e analisar grandes volumes de dados, o data warehouse o ncleo dos sistemas de informaes gerenciais e apoio deciso das principais solues de business intelligence do mercado. Segundo Inmon, Data Warehouse uma coleo de dados orientados por assuntos, integrados, variveis com o tempo e no volteis, para dar suporte ao processo de tomada de deciso. Kimball define assim: um conjunto de ferramentas e tcnicas de projeto, que quando aplicadas s necessidades especficas dos usurios e aos bancos de dados especficos permitir que planejem e construam um data warehouse. O DATAWAREHOUSE NO Produto: O Data Warehouse no um produto e no pode ser comprado como um software de banco de dados. O sistema de Data Warehouse similar ao desenvolvimento de um ERP, ou seja, ele exige anlise do negcio, exige o entendimento do que se quer retirar das informaes. Apesar de existirem produtos que fornecem uma gama de ferramentas para efetuar o Cleansing dos dados, a modelagem do banco e da apresentao dos dados, nada disso pode ser feito sem um elevado grau de anlise e desenvolvimento. A linguagem: O sistema de Data Warehouse no pode ser aprendido ou codificado como uma linguagem. Devido ao grande nmero de componentes e de etapas, um sistema de Data Warehouse suporta diversas linguagens e programaes desde a extrao dos dados at a apresentao dos mesmos. Projeto: O sistema de Data Warehouse pode ser pensado mais como um processo. Ele tambm pode ser pensado como uma srie de projetos menores que convergem para a criao de um nico sistema de corporativo de Data Warehouse. Devido a natureza evolutiva do DW, mais fcil aceit-lo como um processo que est sempre em crescimento do que em um projeto com incio-meio-fim, o que definitivamente ele parece mas no . Modelagem: O sistema de Data Warehouse no somente um modelo de banco de dados e no constitudo por mais de um modelo. Existe o processo todo do sistema de BI/DW que compreende todos os procedimentos de ETL, Cleansing e apresentao das informaes ao usurio final. Cpia do sistema OLTP: Alguns acreditam que o sistema de Data Warehouse somente uma cpia do sistema transacional existente na empresa. Assim como somente um modelo de dados no faz um sistema de BI/DW, uma cpia de um sistema transacional o faz menos ainda. Existem ferramentas que conseguem extrair dados dos sistemas transacionais existentes e criar relatrios a partir das informaes coletadas, mas mesmo eles esto montando um pequeno conjunto de metadados e armazenando a informao em algum local. IMPORTANTE SABER SOBRE DATA WAREHOUSE * Um dos maiores problemas no desenvolvimento do DW a compreenso dos dados, onde as dimenses devem ser definidas conforme a necessidade de visualizao do usurio, ou seja, tentador pensar que a criao do DW consiste em apenas extrair dados operacionais e inseri-los no Data Warehouse. * O valor de DW no est em colecionar dados e sim saber gerenciar aqueles dados sendo transformados em informaes teis. * Considerando complexa a construo de um DW, faz-se necessrio um amplo estudo para gerao de uma metodologia a fim de se obter sucesso no empreeendimento.

Alm disso, necessrio saber a respeito de algumas questes que representam verdadeiro desafio na implementao de um Data Warehouse: * Integrao de dados e metadados de vrias fontes. * Qualidade dos dados: limpeza e refinamentos. * Sumarizao e agregao de dados. * Sincronizao das fontes com o Datawarehouse para assegurar a atualizao. * Problemas de desempenho relacionados ao compartilhamento do mesmo ambiente computacional para abrigar as bases de dados corporativas operacionais e o Data Warehouse. ARMAZENAMENTO Um Data Warehouse pode armazenar grandes quantidades de informao, s vezes divididas em unidades lgicas menores que so chamadas de Data Marts. O esquema de dados mais utilizado o Star Schema (Esquema Estrela), tambm conhecido como Modelagem Multidimensional. Apesar de bastante utilizado, no existe um padro na indstria de software para o armazenamento de dados. Existem, na verdade, algumas controvrsias sobre qual a melhor maneira para estruturar os dados em um Data Warehouse. Geralmente, o Data Warehouse no armazena informaes sobre os processos correntes de uma nica atividade de negcio, mas sim cruzamentos e consolidaes de vrias unidades de negcios de uma empresa. MODELAGEM Os sistemas de base de dados tradicionais utilizam a normalizao, no formato de dados para garantir consistncia dos dados e uma minimizao do espao de armazenamento necessrio. Entretanto, frequentemente as transaes e consultas em bases de dados normalizadas so lentas. Um Data Warehouse utiliza dados em formato mais de-normalizados. Isto aumenta a performance das consultas e, como benefcio adicional, o processo torna-se mais intuitivo para os utilizadores comuns. METADADO - O conceito Metadado considerado como sendo os "dados sobre dados", isto , os dados sobre os sistemas que operam com estes dados. Um repositrio de metadados uma ferramenta essencial para o gerenciamento de um Data Warehouse no momento de converter dados em informaes para o negcio. Entre outras coisas, um repositrio de metadados bem construdo deve conter informaes sobre a origem dos dados, regras de transformao, nomes e alias, formatos de dados, etc. Ou seja, esse "dicionrio" deve conter muito mais do que as descries de colunas e tabelas: deve conter informaes que adicionem valor aos dados. Tipo de Informao considerada Metadado - Os metadados so utilizados normalmente como um dicionrio de informaes e, sendo assim, devem incluir: Origem dos Dados Todo elemento de dado precisa ter identificado, sua origem ou o processo que o gera. Esta identificao muito importante no caso de se necessitar saber informaes sobre a fonte geradora do dado. Esta informao deve ser nica, ou seja, cada dado deve ter uma e somente uma fonte de origem. Fluxo de Dados Todo elemento de dado precisa ter identificado os fluxos nos quais sofre transformaes. importante saber que dados servem de base para que processos. Formato dos Dados Todo elemento de dados deve ter identificado seu tamanho e tipo de dado. Nomes e Alias Todo elemento de dados deve ser identificado por um nome. Este nome pode ser da rea de Negcios ou um nome tcnico. No caso de serem usados alias para os nomes, pode-se ter os dois. Devem existir padres para criao de nomes e alias (ex.: convenes para abreviaes), evitando assim ambigidades. Definies de Negcio Estas definies so as informaes mais importantes contidas nos metadados. Cada elemento de dado deve ser suportado por uma definio do mesmo no contexto da rea de Negcio. O mtodo de manuteno destas informaes tambm deve ser muito consistente, de

forma que o usurio possa obter facilmente definies para as informaes desejadas. Nestas definies devem ser evitadas referncias a outros metadados que necessitem de uma segunda pesquisa para melhor entendimento. Regras de Transformao So consideradas como sendo as Regras de Negcio codificadas. Estas regras so geradas no momento da extrao, limpeza e agrupamento dos dados dos Sistemas Operacionais. Cada regra de transformao codificada deve estar associada a um elemento de Metadado. Se mais de uma aplicao contiver a mesma regra de transformao, dever ser garantido que estas sejam idnticas. Atualizao de Dados O histrico das atualizaes normalmente mantido pelo prprio banco de dados, mas definir um elemento de metadado, indicando as datas de atualizao dos dados, pode ajudar o usurio no momento de verificar a atualidade dos dados e a consistncia da dimenso tempo do Data Warehouse. Requisitos de Teste Identifica os critrios de julgamento de cada elemento de dado. Valores possveis e intervalos de atuao. Deve conter tambm padres para procedimentos de teste destes dados. Indicadores de Qualidade de Dados Podem ser criados ndices de qualidade baseados na origem do dado, nmero de processamentos feito sobre este dado, valores atmicos X valores sumariados, nvel de utilizao do dado, etc. Triggers Automticos Podem existir processos automticos associados aos metadados definidos. Estes processos ou triggers devem estar definidos de forma que possam ser consultados por usurio e desenvolvedores, para que os mesmos no venham a criar situaes conflitantes entre as regras definidas nestes processos. Responsabilidade sobre Informaes Deve ser identificado o responsvel por cada elemento de dados do Data Warehouse e tambm o responsvel pela entrada de metadados. Acesso e Segurana Os metadados devem conter informao suficiente para que sejam determinados os perfis de acesso aos dados. Deve-se poder identificar que usurios podem ler, atualizar, excluir ou inserir dados na base. Deve haver, tambm, informaes sobre quem gerencia estes perfis de acesso e como se fazer contato com o Administrador da Base de Dados. DATA MARTS O Data Warehouse normalmente acedido atravs de Data Marts, que so pontos especficos de acesso subconjuntos do Data Warehouse. Os Data Marts so construdos para responder provveis perguntas de um tipo especfico de usurio. Por exemplo: um Data Mart financeiro poderia armazenar informaes consolidadas dia-a-dia para um usurio gerencial e em periodicidades maiores (semana, ms, ano) para um usurio no nvel da diretoria. Um Data Mart pode ser composto por um ou mais cubos de dados. Hoje em dia, os conceitos de Data warehouse e Data Mart fazem parte de um conceito muito maior chamado de Corporate Performance Management. EXTRAO DE DADOS - Os dados introduzidos num Data Warehouse geralmente passam por uma rea conhecida como rea de stage. O stage de dados ocorre quando existem processos peridicos de leitura de dados de fontes como sistemas OLTP. Os dados podem passar ento por um processo de qualidade, denormalizao e gravao dos dados no Data Warehouse. Esse processo geralmente realizado por ferramentas ETL. OS PROCESSOS DE DATA WAREHOUSE

Sistemas operacionais de origem So os sistemas operacionais de registro ou sistemas transacionais que capturam as transaes da empresa. Os sistemas de origem devem ser considerados como externos ao data warehouse porque se presume que se tenha pouco ou nenhum controle sobre o contedo e o formato dos dados nesses sistemas. Os sistemas de origem tambm so chamados Sistemas Legados ou OLTP; A data staging rea tanto uma rea de armazenamento como um conjunto de processos, e normalmente denomina-se ETL (Extract Transformation - Load). Data Warehouse e Data Mart A rea de apresentao dos dados o local em que os dados ficam organizados, armazenados e tornam-se disponveis para serem consultados diretamente pelos usurios, por criadores de relatrios e por outras aplicaes de anlise. Essa rea tudo o que a comunidade de negcio v e acessa atravs das ferramentas de acesso a dados (DB2, ESSBASE, etc). Um data mart trata de problema departamental ou local e definido como um subconjunto altamente agregado de dados, normalmente escolhido para responder a uma questo de negcio especfica ao invs da corporao inteira; Ferramenta de acesso a dados O ltimo componente principal do ambiente de data warehouse a ferramenta de acesso a dados. Por definio, toda ferramenta de acesso a dados consulta os dados na rea de apresentao do DW. CONCLUSO - Atravs dessas novas tecnologias como o Data Warehouse, permitir aos administradores descobrir novas maneiras de diferenciar sua empresa numa economia globalizada, deixando-os mais seguros para definirem as metas e adotarem diferentes estratgias em sua organizao, conseguindo assim visualizarem antes de seus concorrentes novos mercados e oportunidades atuando de maneiras diferentes conforme o perfil de seus consumidores.