February 11

ODI Tutorial

2012
Repositrios Mestre e Trabalho

Uso da ferramenta Oracle Data Integrator (ODI) para a construo de processos ETL (Extract, Transform e Load). Neste sries de tutoriais, utilizaremos o ODI para integrar dados de diferentes origens (banco de dados: diferentes e arquivo texto) para uma base de destino Oracle.

Configurao repositrios Mestre e Trabalho

Para este tutorial iremos utilizar o ODI na plataforma Microsoft XP verso 10.1 e o banco de dados Oracle 10g Express Edition. Ser necessrio criar os seguintes esquemas no banco de dados: y REP_ODI_MASTER o Criar na base Oracle um schema para conter o repositrio Mestre do ODI. Este repositrio conter as estruturas das diferentes tecnologias usadas no ODI, informaes de segurana de acesso, versionamento dos projetos e modelos desenvolvidos; REP_ODI_WORK o Criar na base Oracle um schema para conter o repositrio de Trabalho do ODI. Este repositrio conter as informaes dos objetos desenvolvidos, modelo de dados, projetos, interfaces e como eles so utilizados, seus valores e propriedades; DW_ORIGEM o Contm as tabelas de origem que sero utilizadas neste tutorial; DW_DESTINO o Contm as tabelas de destino que sero populadas; DW_TEMP o Contm as tabelas temporrias do processo de ETL, este esquema ser utilizado para conexo tanto do banco de origem quanto o banco de destino;

Para criar os repositrios acima devemos seguir os seguintes passos: y Inicie o SQL Developer ou outro utilitrio para criao do novo esquema/usurio, lembrando que devemos criar o esquema e setar as permisses bsicas para tanto utilize o comando SQL abaixo:

Depois de criar o esquema/usurio crie uma conexo com o mesmo nome, isto ir facilitar no momento de validar as informaes no banco de dados.

Repita o processo at que todos os repositrios tenham sido criados.

Criao do repositrio Mestre A primeira atividade que deve ser feita aps a liberao do ambiente a criao do repositrio mestre (Master Repository). Para realizar esta tarefa devemos acessar a aplicao Master Repository Creation, o caminho padro pode ser visto na figura abaixo:

No Master Repository Creation (Figura acima) devemos indicar qual esquema do banco de dados ser o repositrio Mestre do ambiente, neste caso REP_ODI_MASTER.

Master Repository Driver URL User Password Technology

Parmetro oracle.jdbc.driver.OracleDriver jdbc:oracle:thin:@localhost:1521:xe rep_odi_master rep_odi_master Oracle

Aps a configurao verificamos no repositrio Mestre se as tabelas de configurao e suporte (prefixo SNP) foram criadas (veja figura abaixo). Utilize o SQL Developer para realizar essa tarefa.

Relao de tabelas criadas na configurao do repositrio Mestre

SNP_ACTION SNP_AGENT SNP_ALLOC_AGENT SNP_CONNECT SNP_CONNECT_PROP SNP_CONTEXT SNP_CONV_DT SNP_DATA SNP_DT SNP_ENT_ID SNP_ENTITY SNP_FF_VALUEM SNP_FIELD SNP_FIELD_LOOKUP SNP_FLEX_FIELD SNP_GRP_ACTION SNP_HIST_VERSION SNP_HOST SNP_HOST_MOD SNP_INST_OBJ SNP_LAGENT SNP_LANG SNP_LANG_ELT SNP_LANG_TECHNO SNP_LB_AGENT SNP_LE_TECHNO SNP_LICENSE SNP_LINE_ACTION SNP_LINK SNP_LOC_REP SNP_LOOKUP SNP_LOOKUP_VALUE SNP_LSCHEMA SNP_METHOD SNP_MODULE SNP_MORIG_TXT SNP_MTXT SNP_MTXT_PART SNP_OBJECT SNP_OPEN_TOOL SNP_PROF_METH SNP_PROFILE SNP_PSCHEMA SNP_PSCHEMA_CONT SNP_PWD_POLICY SNP_PWD_RULE SNP_REM_REP SNP_SOL_ELT SNP_SOLUTION SNP_SUB_LANG SNP_TECHNO SNP_U_O_M_REP SNP_USER SNP_USER_METH SNP_USER_OBJ_METH SNP_USER_PREF SNP_USER_PROF SNP_VERSION

Configurao de usurio de acesso

Nesta etapa do processo iremos criar um usurio para as conexes com os mdulos do ODI (Designer, Topology, Operator, Security), esta etapa no obrigatria, pois o ODI tem um usurio chamado SUPERVISOR que podera ser utilizado. Porm, as melhores prticas de arquitetura e segurana indicam que deve-se criar usurios especficos para cada tipo de atividade que for realizada dentro do ambiente. Vamos criar um usurio chamado DW_DBA com permisses de super usurio. O Login dever ser chamado de OracleDI Tutorial Series. Acesse o mdulo Security Manager conforme demonstrado na figura abaixo:

Antes de continuar cabe uma explicao sobre o significado das nomenclaturas que iremos utilizar: y y y Login: Login de acesso ao ODI, a conta que utilizaremos para acessar o ODI. User: Usurio do ODI. O ODI nos permite criar diversos usurios, com diversos tipos de acesso e restries diferentes. Esquema: Esquema do banco de dados Oracle.

Na tela de login devemos criar um novo login para o nosso projeto e fazer a associao com o repositrio Mestre, que foi criado na etapa anterior. Clique no boto New ser apresentada a tela de configurao do mdulo Security Manager, conforme podemos ver na figura abaixo. Nesta tela deve-se parametrizar o novo Login, o usurio do ODI, a senha para este usurio e tambm parametrizar as configuraes de conexo.

Vamos dividir a configurao em duas parte, na primeira vamos parametrizar o repositrio Mestre e os parmetros de configurao, utilizando o usurio SUPERVISOR (senha SUNOPSIS) como usurio de acesso. Veja como vai ficar essa configurao na figura abaixo, utilize os parmetros listados na tabela abaixo:

OracleDI - Connection Login Name User Password

Parmetro OracleDI Tutorial Series SUPERVISOR SUNOPSIS

Database Connection (Master) User Password Driver List Driver Name URL Default Connection

Parmetro rep_odi_master rep_odi_master Oracle JDBC Driver oracle.jdbc.driver.OracleDriver jdbc:oracle:thin:@localhost:1521:xe Marcar para transformar em default esta conexo, toda vez que abrir os mdulos do ODI o login ir aparecer como sugesto.

Agora que j temos um Login de acesso configurado, o momento para a criao dos usurios de acesso. Para o nosso projeto iremos criar um usurio com previlgio de administrador. Entre no mdulo Security Manger, procure a pasta Users, clique com o boto direito no usurio SUPERVISOR e selecione a opo Insert .

 importante salientar que aps criar um usurio o mesmo possui apenas os privilgios bsicos de acesso.

O nosso usurio dever conter os privilgios de Supervisor logo, marque a opo Supervisor que se encontra no final da tela de configurao. A configurao de cada usurio depende de sua utilidade dentro da estrutura do projeto. Se o usurio no pode ter privilgios de Supervisor possvel customiz-lo para as funes pretendidas.

Configurando o repositrio de Trabalho

A ltima atividade de configurao dos repositrios a criao e configurao do repositrio de Trabalho. Esta configurao feita utilizando o mdulo Topology.

No momento de acessar o mdulo Topology Manager, utilize as configuraes criadas no passo anterior. Selecione o Login OracleDI Tutorial Series e informe o usurio e senha DW_DBA, conforme a figura abaixo:

Prosseguimos com a configurao do ambiente, neste ponto vamos inserir o repositrio de trabalho. Dentro do mdulo Topology Manager, clique na aba Repository.

Agora clique com o boto direito do mouse na opo Work Repositories e selecione a opo Insert Work Repository .

Comece a configurao do repositrio de trabalho pela aba Definition conforme mostrado na figura.

Agora iremos configurar a aba JDBC.

Voltando para a aba Definition, testamos a conexo com o repositrio de trabalho clicando na opo Test, desta mesma janela. Aps o teste de conexo devemos indicar um determinado nmero de identificao (ODI) para o repositrio que ser utilizado pelo ODI e um nome para este repositrio. Tambm deve fazer a escolha do tipo de repositrio: Development ou Execution.

Aps a configurao verificamos no repositrio de Trabalho se as tabelas dos objetos de desenvolvimento e informaes de execuo foram criadas (veja figura abaixo). Utilize o SQL Developer para realizar essa tarefa.

Relao de tabelas criadas na configurao do repositrio de Trabalho

SNP_COL SNP_COND SNP_DIAG_PARAM SNP_DIAGRAM SNP_EXP_TXT SNP_FF_VALUEE SNP_FF_VALUEW SNP_FOLDER SNP_GRP_STATE SNP_ID SNP_INDIRECT_MREF SNP_JOIN SNP_JOIN_COL SNP_KEY SNP_KEY_COL SNP_LINE_TRT SNP_LINE_TRT_UE SNP_LINK_COORD SNP_LINK_DIAG SNP_LOC_REPW SNP_LOCK SNP_LOCKED_OBJECT SNP_MISSING_REF SNP_MOD_FOLDER SNP_MODEL SNP_OBJ_DIAG SNP_OBJ_STATE SNP_OBJ_TRACE SNP_OBJECT_ID SNP_OBJECT_ID_COL SNP_ORIG_TXT SNP_PACKAGE SNP_PLAN_AGENT SNP_POP SNP_POP_CLAUSE SNP_POP_COL SNP_POP_CONSTRAINT SNP_POP_CONTEXT SNP_PROJECT SNP_REV_COL SNP_REV_COND SNP_REV_FOR_TABLE SNP_REV_JOIN SNP_REV_JOIN_COL SNP_REV_KEY SNP_REV_KEY_COL SNP_REV_SUB_MODEL SNP_REV_TABLE SNP_SCEN SNP_SCEN_FOLDER SNP_SCEN_REPORT SNP_SCEN_STEP SNP_SCEN_TASK SNP_SCEN_TXT SNP_SEQ_DATA SNP_SEQ_SCEN SNP_SEQ_SESS SNP_SEQUENCE SNP_SESS_FOLDER SNP_SESS_STEP SNP_SESS_TASK SNP_SESS_TASK_LOG SNP_SESS_TXT_LOG SNP_SESSION SNP_SOURCE_TAB SNP_SRC_SET SNP_STATE SNP_STATE2 SNP_STEP SNP_STEP_LOG SNP_STEP_REPORT SNP_SUB_MODEL SNP_TABLE SNP_TASK_TXT SNP_TRT SNP_TXT SNP_TXT_CROSSR SNP_UE_ORIG SNP_UE_USED SNP_UFUNC SNP_UFUNC_IMPL SNP_UFUNC_TECHNO SNP_USER_EXIT SNP_VAR SNP_VAR_DATA SNP_VAR_PLAN_AGENT SNP_VAR_SCEN SNP_VAR_SESS