Вы находитесь на странице: 1из 40

PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS

Instituto de Educação Continuada Especialização em Engenharia de Software

Inteligência de Negócio com

em Engenharia de Software Inteligência de Negócio com Aline Marques, Dayseana Guimarães, Jaqueline

Aline Marques, Dayseana Guimarães, Jaqueline Magalhães e Kelly Fula

Turma 26

Inteligência de Negócio com Aline Marques, Dayseana Guimarães, Jaqueline Magalhães e Kelly Fula Turma 26

INTRODUÇÃO

I NTRODUÇÃO O Pentaho que é um poderoso software de Inteligência de Negócios. Possui componentes que

O Pentaho que é um poderoso software de Inteligência de Negócios.

Possui componentes que permitem criar soluções para problemas do mundo real.
Possui componentes que permitem criar soluções para
problemas do mundo real.
Oferece recursos de apoio à tomada de decisão Foi desenvolvido em Java e possui duas
Oferece recursos de apoio à tomada de decisão
Foi desenvolvido em Java e possui duas versões - Enterprise
Edition e Community Edition
Possui um conjunto de componentes integrados
Possui um
conjunto de
componentes
integrados
É uma suíte de BI Permite criar e Pentaho entregar soluções de BI Oferece funcionalidades
É uma
suíte de BI
Permite
criar e
Pentaho
entregar
soluções
de BI
Oferece
funcionalidades
básicas e
complexas

SUITE PENTAHO BI

S UITE P ENTAHO BI
S UITE P ENTAHO BI

PERSPECTIVAS DA SUITE PENTAHO BI

P ERSPECTIVAS DA SUITE P ENTAHO BI
P ERSPECTIVAS DA SUITE P ENTAHO BI
O S ERVIDOR DE I NTELIGÊNCIA DE N EGÓCIOS P ENTAHO • É uma coleção

O SERVIDOR DE INTELIGÊNCIA DE NEGÓCIOS PENTAHO

É uma coleção de programas que trabalham em conjunto para fornecer uma série de funções essenciais para a Suite Pentaho.

O servidor Pentaho pode ser dividido em três camadas:

uma série de funções essenciais para a Suite Pentaho. • O servidor Pentaho pode ser dividido

PLATAFORMA

P LATAFORMA Componentes que oferecem funcionalidades suporte

Componentes que oferecem funcionalidades suporte

P LATAFORMA Componentes que oferecem funcionalidades suporte

COMPONENTES DE BI

C OMPONENTES DE BI Componentes que oferecem típicas funcionalidades de inteligência negócio.

Componentes que oferecem típicas funcionalidades de inteligência negócio.

C OMPONENTES DE BI Componentes que oferecem típicas funcionalidades de inteligência negócio.

CAMADA DE METADADOS

Capaz de gerar o SQL a partir do MQL

A MQL é criada pelo usuário final através da seleção de um conjunto de objetos expostos em um modelo de metadados

da seleção de um conjunto de objetos expostos em um modelo de metadados FONTE: BOUMAN, Roland;

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

CAMADA DE APRESENTAÇÃO DO PENTAHO

Permite ao usuário final interagir com servidor

P ENTAHO Permite ao usuário final interagir com servidor É uma interface web embutida no Pentaho

É uma interface

web embutida no Pentaho

Pode ser usada

para navegar e abrir e criar conteúdo de BI

Console de usuário
Console
de
usuário
interface web embutida no Pentaho Pode ser usada para navegar e abrir e criar conteúdo de
interface web embutida no Pentaho Pode ser usada para navegar e abrir e criar conteúdo de

PROGRAMAS DESKTOP

P ROGRAMAS D ESKTOP
P ROGRAMAS D ESKTOP
I NTEGRAÇÃO DE DADOS COM P ENTAHO É o processo de preenchimento com dados do

INTEGRAÇÃO DE DADOS COM PENTAHO

É o processo de preenchimento com dados do data warehouse projetado

• compreende a aquisição • muda a forma e/ou • envia os dados para de
• compreende
a aquisição
• muda a
forma e/ou
• envia os
dados para
de dados de
conteúdo
o data
um ou mais
sistemas de
origem.
dos dados
para se
encaixar na
estrutura do
data
warehouse
warehouse
de destino.
de destino.
Extração (Extraction):
Transformação (Transformation):
Carregamento (Loading):

INTEGRAÇÃO DE DADOS COM PENTAHO

I NTEGRAÇÃO DE DADOS COM P ENTAHO O processo ETL trata de uma categorização muito ampla

O processo ETL trata de uma categorização muito ampla de atividades de integração de dados. Em cada um dos processos há uma série de atividades de apoio:

Atividade de extração

Captura de dados alterados:

visa identificar os dados que foram alterados desde a última extração.

Teste de dados: os dados são armazenados temporariamente em uma área de teste e chamados

imediatamente após a

extração.

Atividade de transformação

Validação de dados:

processo de verificação dos dados de origem, se estão corretos e se os filtros de dados são válidos.

Limpeza de dados: é a atividade de correção de dados inválidos.

Decodificação e renomeação: processo de transformação converte os dados em nomes mais descritivos e amigáveis aos usuários.

Agregação: são dados calculados previamente para serem apresentados aos usuários finais.

Geração e gestão de chaves: os novos fatos do data warehouse possuem chaves substitutas para identificar cada linha.Estas chaves serão utilizadas para posteriores consultas.

Atividade de carregamento

Carregar tabelas de fatos:

adição de novas linhas com novos dados.

Carga e manutenção de tabelas de dimensão: novas linhas de fatos podem dar origem a novas linhas de dimensão.

• Carga e manutenção de tabelas de dimensão : novas linhas de fatos podem dar origem
C ONCEITOS DE INTEGRAÇÃO DE DADOS E COMPONENTES COM P ENTAHO FONTE: BOUMAN, Roland; DONGEN

CONCEITOS DE INTEGRAÇÃO DE DADOS E COMPONENTES COM PENTAHO

C ONCEITOS DE INTEGRAÇÃO DE DADOS E COMPONENTES COM P ENTAHO FONTE: BOUMAN, Roland; DONGEN ,Jos

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

MINERAÇÃO DE DADOS COM WEKA

M INERAÇÃO DE D ADOS COM W EKA Data Mining is the non-trivial process of identifying

Data Mining is the non-trivial process of identifying valid,

novel, potentially useful, and

ultimately understandable patterns in data.

U. M. Fayyad, G. Piatetsky-Shapiro, and P. Smyth, ‘‘From DataMining to Knowledge Discovery: An Overview,’’ in Advances in Knowledge Discovery and Data Mining, edited U.MFayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, AAAI Press/MIT Press, pp. 1-34, 1996.

Data Mining, edited U.MFayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, AAAI Press/MIT Press, pp. 1-34,

PROCESSO DE DADOS DE MINERAÇÃO

P ROCESSO DE DADOS DE MINERAÇÃO FONTE: BOUMAN, Roland; DONGEN ,Jos van .
P ROCESSO DE DADOS DE MINERAÇÃO FONTE: BOUMAN, Roland; DONGEN ,Jos van .

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

CONJUNTO DE DADOS FERRAMENTA DE MINERAÇÃO Previsão Classificação Clustering Associação numérica (Regressão)
CONJUNTO DE DADOS FERRAMENTA DE MINERAÇÃO
Previsão
Classificação
Clustering
Associação
numérica
(Regressão)

É o processo de divisão de um conjunto de dados em grupos mutuamente exclusivos.

É semelhante à classificação quando identifica e agrupa os elementos que

possuem

características do conjunto de ações ordinárias. A diferença, é que, o algoritmo de determinação dos grupos trabalha com base na seleção de um ou de todos os

dados disponíveis, a

classificação já tem os grupos definidos. Outra diferença é aprendizagem supervisionada (classificação) versus não-supervisionada (clustering).

A associação tenta descobrir qual é a relação entre dois ou mais elementos de dados em um

conjunto de

dados.

Intuito de prever um resultado numérico com base em eventos passados.

elementos de dados em um conjunto de dados. Intuito de prever um resultado numérico com base

ALGORITMOS DE MINERAÇÃO DE DADOS

A LGORITMOS DE MINERAÇÃO DE DADOS Instrumentos tais como, árvores de decisão ou algoritmos de regras.

Instrumentos tais como, árvores de decisão ou algoritmos de regras.

Algoritmos suficientemente poderosos do ponto de vista de previsão.

como, árvores de decisão ou algoritmos de regras. Algoritmos suficientemente poderosos do ponto de vista de

TREINAMENTO E TESTE

T REINAMENTO E T ESTE Treinamento Testes

Treinamento

Testes

T REINAMENTO E T ESTE Treinamento Testes
T REINAMENTO E T ESTE Treinamento Testes

CAMADA DE METADADOS DO PENTAHO

C AMADA DE M ETADADOS DO P ENTAHO Em um sentido geral, metadados, significa “dados que
Em um sentido geral, metadados, significa “dados que descrevem outros dados.'' A plataforma Pentaho
Em um sentido geral,
metadados, significa
“dados que
descrevem outros
dados.''
A plataforma Pentaho
oferece seu próprio
mecanismo de
armazenamento e acesso
a metadados.

VANTAGENS DA CAMADA DE METADADOS DO PENTAHO

V ANTAGENS DA C AMADA DE M ETADADOS DO P ENTAHO Interface de usuário Política de
Interface de usuário Política de acesso aos dados •Obtém informações que querem, em •mais
Interface de
usuário
Política de acesso
aos dados
•Obtém
informações
que querem, em
•mais
•Implementação
um formato que
amigável.
•Impacto de
mais refinada.
possam
mudanças
compreender, a
limitado.
partir do
repositório de
dados.
Usuários de
Esquema de BD
negócios
de dados. Usuários de Esquema de BD negócios • permitindo que os relatórios sejam adaptados

permitindo

que os

relatórios

sejam

adaptados

para cada

idioma.

Suporta vários

locales

• permitindo que os relatórios sejam adaptados para cada idioma. Suporta vários “ locales ”
C AMADA DE M ETADADOS DO P ENTAHO FONTE: BOUMAN, Roland; DONGEN ,Jos van .

CAMADA DE METADADOS DO PENTAHO

C AMADA DE M ETADADOS DO P ENTAHO FONTE: BOUMAN, Roland; DONGEN ,Jos van .

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

SUBCAMADAS DA CAMADA DE METADADOS DO PENTAHO

Camada Física

Descritores que

correspondem aos objetos de banco de dados. Conexões, Tabelas Físicas e Colunas de tabelas físicas.

Camada Lógica

A forma como os objetos a partir da camada física relacionam com o negócio.

Modelos de Negócios, Tabelas

de negocio e

colunas de negocio, Relacionamentos.

Tabelas de negocio e colunas de negocio, Relacionamentos . Camada de Apresentação • Contem os objetos

Camada de Apresentação

Contem os objetos de metadados que

são visíveis ao

usuário final.

Visões e categorias de negócios

CAMADA DE METADADOS DO PENTAHO

Metadados inseridos pelo banco de dados, assim como os inseridos pelo usuário são definidos usando
Metadados inseridos
pelo banco de dados,
assim como os inseridos
pelo usuário são
definidos usando o
Editor de Metadados
Pentaho (PME) e
armazenados no
repositório de
metadados.
Pentaho (PME) e armazenados no repositório de metadados. Usando as ferramentas de design de relatório do
Usando as ferramentas de design de relatório do Pentaho, os usuários finais podem criar relátorios
Usando as ferramentas
de design de relatório do
Pentaho, os usuários
finais podem criar
relátorios sobre os
metadados, sem
necessário
conhecimento de
detalhes físicos do
banco e de SQL, através
de uma interface gráfica
de usuário.

FERRAMENTAS DE RELATÓRIO

F ERRAMENTAS DE R ELATÓRIO FONTE: BOUMAN, Roland; DONGEN ,Jos van .
F ERRAMENTAS DE R ELATÓRIO FONTE: BOUMAN, Roland; DONGEN ,Jos van .

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

FERRAMENTAS DE RELATÓRIO

Construtor de

relatório

Permite

definir a especificação do relatório.

Especificação do relatório

Em formato

aberto XML.

Mecanismo de relatório

   

Permite executar o relatório de acordo com a

 

especificação e processar a saída em

diferentes

formatos.

e processar a saída em diferentes formatos. Conexão com o banco de dados Permite utilizar o

Conexão com

o banco de

dados

Permite utilizar o padrão middleware,

como JDBC para conexão

com fontes de

dados

diferentes.

banco de dados Permite utilizar o padrão middleware , como JDBC para conexão com fontes de

FERRAMENTAS DE RELATÓRIO

O Report Designer Pentaho (PRD) é a interface gráfica para criação, edição e publicação de relatórios para a plataforma Pentaho BI.

Um relatório é dividido em várias seções de diferentes tipos tais como cabeçalho e corpo do relatório, estas seções são flexíveis e podem ser adicionadas ou removidas através do PRD.

e podem ser adicionadas ou removidas através do PRD. As propriedades que podem ser alteradas usando

As propriedades que podem ser alteradas usando o PRD. Propriedades são divididas em estilos e atributos, onde o estilo é usado para determinar a aparência do elemento, e os atributos determinam o conteúdo e o comportamento de um elemento.

é usado para determinar a aparência do elemento, e os atributos determinam o conteúdo e o

FERRAMENTAS DE RELATÓRIO

F ERRAMENTAS DE R ELATÓRIO Criando conjuntos de dados A parte mais importante da criação de

Criando conjuntos de dados

A parte mais importante da

criação de um relatório é

determinar quais dados devem

ser exibidos e, no caso de PRD, como os dados são agrupados

e agregados.

PRD pode recuperar dados de várias fontes de dados, você ainda pode usar JavaScript como uma fonte de dados.

A forma mais comum de

construir consultas, no entanto,

é a utilização de uma conexão JDBC ou os arquivos de metadados Pentaho.

EXEMPLO DO USO DO PENTAHO NA ANÁLISE DOS AEROPORTOS

E XEMPLO DO USO DO P ENTAHO NA A NÁLISE DOS A EROPORTOS http://ison.stratebi.es/aerobrasil/
S OLUÇÕES OLAP UTILIZANDO O P ENTAHO A NALYSIS S ERVICES (PAS) Permite analisar os

SOLUÇÕES OLAP UTILIZANDO O PENTAHO ANALYSIS SERVICES (PAS)

Permite analisar os dados do banco de dados, fornecendo uma interface de estilo de tabela de referência cruzada em diferentes dimensões, como por exemplo:

Produto

Tempo

Cliente.

interface de estilo de tabela de referência cruzada em diferentes dimensões, como por exemplo : Produto

VISÃO GERAL DO PENTAHO ANALYSIS SERVICES (PAS)

V ISÃO GERAL DO P ENTAHO A NALYSIS S ERVICES (PAS) O Mondrian recebe consultas MDX

O Mondrian recebe consultas MDX de ferramentas front-end, com o JPivot, e responde enviando um conjunto de resultados multidimensional.

enviando um conjunto de resultados multidimensional. O Schema Workbench é a ferramenta visual para projetar

O Schema Workbench

é a ferramenta visual

para projetar e testar os cubo do Mondrian.

O Mondrian usa o

Schema para interpretar

MDX e traduzir em consultas SQL.

o PAS é composto de quatro componentes
o
PAS é
composto de
quatro
componentes
O JPivot é uma ferramenta de análise que oferece uma interface para usuário final trabalhar
O JPivot é uma
ferramenta de análise
que oferece uma
interface para usuário
final trabalhar com cubos
OLAP.

O Aggregate Designer

é uma ferramenta visual

para a geração de tabelas agregadas para acelerar o desempenho do motor analítico.

é uma ferramenta visual para a geração de tabelas agregadas para acelerar o desempenho do motor
é uma ferramenta visual para a geração de tabelas agregadas para acelerar o desempenho do motor

ARQUITETURA DO PAS

A RQUITETURA DO PAS O navegador web do usuário final faz uma solicitação HTTP para visualizar

O navegador web do usuário final faz uma solicitação HTTP para visualizar e navegar em uma tabela dinâmica OLAP.

HTTP para visualizar e navegar em uma tabela dinâmica OLAP. O JPivot recebe o pedido e

O JPivot recebe o pedido e transforma-o

em uma consulta MDX. A consulta MDX é enviada para o motor Mondrian.

MDX. A consulta MDX é enviada para o motor Mondrian. O Mondrian interpreta a consulta MDX

O Mondrian interpreta a consulta MDX e

traduz em uma ou mais Consultas SQL.

a consulta MDX e traduz em uma ou mais Consultas SQL. O RDBMS executa as consultas

O RDBMS executa as consultas emitidas pelo Mondrian

SQL. O RDBMS executa as consultas emitidas pelo Mondrian O Mondrian processa os resultados recebidos do

O Mondrian processa os resultados recebidos do RDBMS e traduz em um

conjunto de resultados multidimensional.

e traduz em um conjunto de resultados multidimensional. O JPivot utiliza uma página HTML para exibir

O JPivot utiliza uma página HTML para exibir os dados multidimensional, que é enviado como resultado para o navegador do usuário.

multidimensional, que é enviado como resultado para o navegador do usuário. FONTE: BOUMAN, Roland; DONGEN ,Jos

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

As consultas MDX operam em um cubo e entregam um resultado multidimensional.

É um modelo

multidimensional

É a sigla para expressões

multidimensionais

OLAP

MDX

É a sigla para expressões multidimensionais OLAP MDX É uma linguagem utilizada consultar o banco de

É uma linguagem utilizada consultar o banco de dados OLAP.

É Padrão desenvolvido pela Microsoft.

OLAP MDX É uma linguagem utilizada consultar o banco de dados OLAP. É Padrão desenvolvido pela

CUBOS DE ANÁLISE PENTAHO

C UBOS DE ANÁLISE P ENTAHO FONTE: BOUMAN, Roland; DONGEN ,Jos van . Cubo   •
C UBOS DE ANÁLISE P ENTAHO FONTE: BOUMAN, Roland; DONGEN ,Jos van . Cubo   •

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

Cubo

 

Um cubo é simplesmente uma coleção de múltiplas dimensões

 

De acordo com a figura, o cubo é composto pela dimensões tempo, produto, e cliente como dimensão, cada uma colocada em um dos lados do cubo.

Observando o cubo, cada cliente, produto, e tempo no cubo tem um cruzamento chamado tupla. Cada tupla pode ser uma célula individual ou uma seção no cubo, que podem conter uma ou mais medidas.

Dimensão

 

É pedra fundamental dos cubos OLAP.

 

Os atributos que das dimensões, tais como como vendas, custo e quantidade, são chamados de medidas. EStas medidas representam um valor agregado.

A coleção de medidas é chamada de

• A coleção de medidas é chamada de

dimensão.

PAINÉIS DE CONSTRUÇÃO (DASHBOARDS)

É um aplicativo • Usado para apresentar conteúdo de BI para os usuários finais.
É um
aplicativo
• Usado para
apresentar
conteúdo de
BI para os
usuários
finais.
Contêm indicadores- chave • Que mostram o desempenho de algum aspecto do negócio, como por
Contêm
indicadores-
chave
• Que
mostram o
desempenho
de algum
aspecto do
negócio,
como por
exemplo,
vendas ou
da empresa
como um
todo.
Forma gráfica • As métricas são simbolizadas com fotos, medidores, mostradores e gráficos.
Forma gráfica
• As métricas
são
simbolizadas
com fotos,
medidores,
mostradores
e gráficos.
com fotos, medidores, mostradores e gráficos. Visão geral do negócio • Permitindo que os gerentes
Visão geral do negócio • Permitindo que os gerentes de negócios possam avaliar o estado
Visão geral
do negócio
• Permitindo
que os
gerentes de
negócios
possam
avaliar o
estado de
relance.
Indicadores gráficos de alto nível • Fornecem interatividad e ao usuário que permite detalhar o
Indicadores
gráficos de
alto nível
• Fornecem
interatividad
e ao usuário
que permite
detalhar o
conteúdo de
inteligência
de negócios,
tais como
relatórios ou
cubos OLAP.
D ASHBOARD F RAMEWORK C OMUNIDADE Os Dashboards do CDF são páginas web que usam

DASHBOARD FRAMEWORK COMUNIDADE

Os Dashboards do CDF são páginas web que usam a tecnologia AJAX, que combinam componentes
Os Dashboards do
CDF são páginas
web que usam a
tecnologia AJAX,
que combinam
componentes de
BI, tais como
A Comunidade
Dashboard
Framework (CDF)
relatórios, gráficos,
tabelas OLAP, e
mapas.
É um conjunto de
tecnologias de código
aberto que permite aos
desenvolvedores de BI
construir dashboards
dinâmicos para o
Servidor BI Pentaho.

CDF DASHBOARDING

CDF D ASHBOARDING 1. O usuário final utiliza o navegador e um pedido de HTTP é

1. O usuário final utiliza o navegador e um pedido de HTTP é enviado para o servidor Pentaho BI.

4. A página web é recebida pelo navegador onde ele é lido e renderizado para

exibição. O painel é

inicializado.

e renderizado para exibição. O painel é inicializado. 5. Os componentes respondem a comandos (atualização)

5. Os componentes respondem a comandos (atualização) emitidos pelo

objeto.

FONTE: BOUMAN, Roland; DONGEN ,Jos van.

pelo objeto. FONTE: BOUMAN, Roland; DONGEN ,Jos van . 2. O servidor Pentaho BI recebe o
pelo objeto. FONTE: BOUMAN, Roland; DONGEN ,Jos van . 2. O servidor Pentaho BI recebe o

2. O servidor Pentaho BI recebe o pedido (contendo nome e o caminho p/ localizar o painel de arquivo .xcdf) e reconhece que deve servir a um painel.pelo objeto. FONTE: BOUMAN, Roland; DONGEN ,Jos van . 3. O arquivo .xcdf especifica o modelo

de arquivo .xcdf) e reconhece que deve servir a um painel. 3. O arquivo .xcdf especifica
de arquivo .xcdf) e reconhece que deve servir a um painel. 3. O arquivo .xcdf especifica

3. O arquivo .xcdf especifica o modelo de conteúdo do painel que combina com o painel de instrumentos de um documento modelo para montar uma página web.de arquivo .xcdf) e reconhece que deve servir a um painel. 6. O Servidor Pentaho recebe

de um documento modelo para montar uma página web. 6. O Servidor Pentaho recebe pedidos enviados

6. O Servidor Pentaho recebe pedidos enviados pelos componentes, que solicitam a execução de uma seqüência de ação.de instrumentos de um documento modelo para montar uma página web. 7. O servidor Pentaho executa

que solicitam a execução de uma seqüência de ação. 7. O servidor Pentaho executa a seqüência

7. O servidor Pentaho executa a seqüência de ação

que solicitam a execução de uma seqüência de ação. 7. O servidor Pentaho executa a seqüência

EXEMPLO DE USO DO PENTAHO

Este aplicativo mostra, de diversas maneiras, os investimentos realizados nas

Obras do PAC (Programa de Aceleração do Crescimento). Através de Painés e Análises OLAP você poderá cruzar os dados e saber como está sendo investido o dinheiro.

os dados e saber como está sendo investido o dinheiro. Painel de Controle dos Empreendimentos Cubo
os dados e saber como está sendo investido o dinheiro. Painel de Controle dos Empreendimentos Cubo

Painel de Controle dos Empreendimentos

Cubo OLAP - Aplicativo Obras do PAC

dos Empreendimentos Cubo OLAP - Aplicativo Obras do PAC Fonte: http://www.it4biz.com.br/apps/dados.gov.br/obrasdopac/

Fonte: http://www.it4biz.com.br/apps/dados.gov.br/obrasdopac/

REFERÊNCIAS:

R EFERÊNCIAS : BOUMAN, Roland; DONGEN ,Jos van. Pentaho Solutions: Business Intelligence and Data Warehousing with

BOUMAN, Roland; DONGEN ,Jos van. Pentaho Solutions: Business Intelligence and Data Warehousing with Pentaho and MySQL

: BOUMAN, Roland; DONGEN ,Jos van. Pentaho Solutions: Business Intelligence and Data Warehousing with Pentaho and