Treinamento DataStage Enterprise Edition - Basico - Modulo 01 v8

DataStage Enterprise Edition - Bsico
IBM Software Group
TREINAMENTO DATASTAGE ENTERPRISE

EDITION
IBM Corporation
OBJETIVO DO
IBM TREINAMENTO
Software Group
Ensinar o necessrio para utilizao da ferramenta

WebSphere DataStage Enterprise Edition da sute
IBM Information Server, para desenvolvimento e
manutenao de processos ETL (Extrao,
Transformao e Carga de dados) e integrao de
dados.
IBM Corporation
1
IBM Software Group
Mdulo 01
Introduo
Objetivo:
Demonstrar os componentes do DataStage e apresentar o
detalhamento de suas respectivas funcionalidades.
IBM Corporation
2
COMPONENTES DO DATASTAGE
IBM Software Group
IBM Corporation
3
IBM Software Group
;DataStage Administrator
Utilizado para criar e administrar projetos DataStage.
IBM Corporation
4
IBM Software Group
;DataStage Manager
Utilizado para manipular (visualizar e editar) o repositrio de
metadados, criar e manter rotinas de transformao de
dados do DataStage.
Componente disponvel at a verso 7.5. A partir da verso 8.0 suas
funcionalidades esto presentes no DataStage Designer.
IBM Corporation
5
IBM Software Group
;DataStage Designer
Utilizado para desenvolver, compilar e executar jobs
DataStage.
Job o nome dado a um programa criado e executado pelo DataStage.
Um job compostos por estgios e conectados atravs de ligaes
(links).
IBM Corporation
6
IBM Software Group
;DataStage Director
Utilizado para executar, agenda e monitorar jobs criados no
DataStage Designer.
IBM Corporation
7
IBM Software Group
;DataStage Server
Mantm o repositrio de metadados, armazena os
parmetros de processos ETL, estabelece conexes com
fontes e alvos de dados e realiza efetivamente o processo
de extrao, transformao e carga dos dados (Servidor).
IBM Corporation
8
DATASTAGE ADMINISTRATOR
Viso Geral IBM Software Group
IBM Corporation
O DataStage Administrator utilizado para adicionar, remover ou configurar as

propriedades de um projeto atravs de interface grfica ou atravs de instrues
diretas no repositrio. Com ele possvel associar privilgios para grupos de
usurios do ambiente com trs tipos de funes: Operator, Developer e
DataStage Production Manager.
Usurios do grupo Operator podem executar jobs utilizando o

componente DataStage Director, porm, no podem edit-los;
Usurios do grupo Developer tem acesso a todas as reas de um projeto e
podem criar, editar e excluir jobs;
Usurios do grupo Production Manager tem acesso a todas as reas de
um projeto e tambm pode criar e manipular projetos protegidos;
Para efetuar logon no DataStage Administrator aps a instalao, basta clicar no

atalho se criado no desktop no momento da instalao do client ou pela opo de
programas e informar usurio e senha. Quando selecionado o checkbox Omit, o
DataStage tentar efetura o logon com o usurio logado na mquina.
9
IBM Software Group
Informaes Gerais
IBM Corporation
A aba General contm as seguintes informaes:
Server:
Version
Verso do Produto.
NLS (National Language Suporte)

A instalao do NLS opcional, podendo optar por ela no momento da
instalao do DataStage Server.
Ele utilizado para voc integrar o DataStage com aplicaes de linguagens
e formatos diferentes.
Inactivity timeout
Tempo que o DataStage (sem a execuo de nenhum comando) se torna
inativo at que o usurio efetue um novo logon.
10
Projetos IBM Software Group
IBM Corporation
No DataStage, todos os processos de ETL so realizados e organizados por projetos.

Os projetos so criados durante o processo de instalao ou adicionados e
configurados pelo DataStage Administrator.
Um projeto associado a um diretrio e o armazenamento realizado no sistema de

arquivos do ambiente operacional no qual o DataStage Server est instalado. Os
projetos so auto-suficientes e podem importar e exportar objetos entre eles. Dentro
deste diretrio so inseridos os arquivos necessrios para a execuo mnima do
mesmo.
Existe um subdiretrio no ambiente operacional reservado para armazenar esses

dados.
Exemplo:
Se o diretrio C:\Ascential\DataStage\Projects foi escolhido para hospedar os
projetos, existiro subdiretrios de acordo com cada projeto criado.
O Administrator tambm possui uma interface que permite

executar linhas de comandos diretamente no repositrio.
(Command)
11
Licenas IBM Software Group
IBM Corporation
Na aba Licensing possvel alterar e fazer atualizaes referente s licenas do

DataStage Server e Client. Ela possui as seguintes informaes:
License Details:
Serial#
Nmero de srie do DataStage Server.
CPU Count
Nmero de processadores disponveis para licena.
Expiration Date
Data de expirao da licena.
Client License:
Serial#
Nmero de srie do DataStage Client.
User Limit:
Nmero de usurios que podem acessar o servidor simultaneamente com a
determinada licena.
Expiration Date
Data de expirao da licena.
12
IBM
Propriedades do Software Group
Projeto
IBM Corporation
Para editar as propriedades de um projeto, deve-se selecionar o projeto desejado e

clicar em Properties. Em seguida ser exibida uma nova janela contendo todas as
informaes sobre o projeto. Essas informaes esto divididas em abas. Nestas
abas configurar algumas funcionalidades como:
General
Liberar algumas funcionalidades de administrao de jobs no DataStage Director,
habilitar a opo de Runtime Column Propagation, configurar excluso de log dos
jobs e criar/alterar variveis de ambiente do projeto;
Permissions
Configurar privilgios para os usurios dos grupos disponveis;
Tracing
Habilitar ou desabilitar a opo de Server side tracing que utilizado para rastrear
problemas no projeto;
Obs: Esta opo deve ser utilizada somente para identificar graves problemas,
pois ela pode gerar uma sobrecarga no servidor.
13
IBM
Propriedades do Software Group
Projeto
IBM Corporation
Para editar as propriedades de um projeto, deve-se selecionar o projeto desejado e

clicar em Properties. Em seguida ser exibida uma nova janela contendo todas as
informaes sobre o projeto. Essas informaes esto divididas em abas. Nestas
abas configurar algumas funcionalidades como:
Schedule
Disponvel somente para server instalado no Windows e utilizado para definir o
usurio e a senha que executaro jobs agendados no projeto;
Mainframe e Tunables
No so utilizadas para jobs Parallel e
Parallel
Definir propriedades especficas de jobs Parallel, como a manipulao de
mensagens de log e formato de data/hora;
Sequence
Definir propriedades especficas de jobs Sequences como checkpoints;
14
DATASTAGE MANAGER
IBM Corporation
Para efetuar logon no DataStage Manager, Designer ou Directos aps a instalao,

basta clicar no atalho se criado no desktop no momento da instalao do client ou
pela opo de programas, informar usurio/senha e escolher o projeto.
Tambm existe uma opo dentro dos componentes citados acima que possibilita
um chamar o outro. Tools >> Run Designer / Run Manager / Run Director.
Qualquer objeto do repositrio em um projeto pode ser exportado para um arquivo e

importado para outro projeto DataStage na mesma verso ou superior. Este
procedimento tambm utilizado para a realizao de backups de projetos.
O DataStage Manager s est sendo mostrado neste curso por ser um mdulo
presente at a verso 7.5 do DataStage. A partir da verso 8.0 este componente no
est mais disponvel e suas funcionalidades foram transferidas para o componente
DataStage Designer.
15
DATASTAGE MANAGER
Componentes IBM Software Group
IBM Corporation
Abaixo uma breve descrio sobre os objetos listados no DataStage Manager:
Data Elements
Lista os tipos de elementos de dados padro disponveis para serem
utilizados em um job;
Jobs
Lista os jobs existentes no projeto corrente;
Routines
Lista as rotinas construdas pelos usurios e as rotinas j desenvolvidas
(padro);
Obs: Rotinas so blocos de cdigo em BASIC que podem ser executados
dentro de um job (indicado somente para jobs server) ou apontamentos para
programas desenvolvidos na linguagem C++ em caso de jobs Parallel.
16
DATASTAGE MANAGER
Componentes IBM Software Group
IBM Corporation
Abaixo uma breve descrio sobre os objetos listados no DataStage Manager:
Stage Types
Lista os estgios disponveis para serem utilizados em um job, seja ele
padro ou desenvolvido pelo usurio;
Table definitions
Lista as definies de tabelas disponveis para serem utilizadas em um job.
Transforms
Lista as transformaes disponveis para serem utilizadas em um job, seja
ele padro ou desenvolvido pelo usurio;
Obs: uma customizao do retorno de uma rotina ou funo do DataStage.
17
DATASTAGE MANAGER
IBM Software Group
Exportando Componentes
IBM Corporation
Se voc deseja copiar/mover um projeto ou componentes deste projeto de um

ambiente para outro (Desenvolvimento -> Homologao -> Produo), possvel
utilizar a opo Export do DataStage Manager. Eles so armazenados em
arquivos texto no formato especfico que o DataStage entende ou xml e podem ser
importados no ambiente quando desejado.
necessrio selecionar os objetos a serem exportados.
No boto Browse deve-se definir o nome e o local onde se deseja alocar o arquivo
DSX ou XML na estao cliente.
Na aba Options possvel escolher a expotao de jobs individuais ou categoria*.
* Categoria Pastas criadas para organizao de jobs e objetos dentro do

DataStage.
18
DATASTAGE MANAGER
IBM Software Group
Importando Componentes
IBM Corporation
Para importar qualquer objeto no DataStage Manager para um determinado projeto

a partir de um arquivo, basta realizar o procedimento acima. Basta indicar o local e
o nome do arquivo, se todos os objetos contidos no arquivo sero importados ou se
deseja selecionar e em seguida clicar em OK.
Se o arquivo a ser importado estiver no formato xml, basta ir na opo Import >>
DataStage Components (XML)...
Se durante a importao o DataStage identificar que o determinado objeto j existe,

ele ir exibir uma mensagem perguntando se deseja substitu-lo. Caso queira
substituir todos os objetos sem nenhum questionamento, basta habilitar a opo
Overwrite without query.
19
DATASTAGE MANAGER
IBM Software Group
Importando Metadados
IBM Corporation
No DataStage Manager possvel importar as definies de arquivos ou tabelas que

sero utilizados no desenvolvimento dos jobs. Chamadas de Table Definitions,
estas definies podem ser utilizadas quantas vezes forem necessrias no Job, para
especificar os formatos de dados, ou seja, metadados.
interessante lembrar que esses metadados podem ser utilizados entre objetos de
formatos diferentes (ODBC, Sequential File, Data Set, etc). Isto possvel
considerando o fato que, ao importar definies de tabelas a partir de alguma
origem de dados, as mesmas so armazenadas no repositrio do DataStage.
20
DATASTAGE DESIGNER
IBM Corporation
O DataStage Designer utilizado para modelagem de um fluxo ETL de dados

atravs de uma visualizao grfica.
Um fluxo de dados criado atravs da insero e edio das propriedades dos

estgios e ligaes com um o intuito de realizar o processamento necessrio.
21
DATASTAGE DESIGNER
IBMdeSoftware
Detalhes da rea TrabalhoGroup
IBM Corporation
A rea de trabalho do DataStage Designer destinada ao desenvolvimento de jobs.
Existem vrias opes de customizao desta rea, como por exemplo:
Exibir/ocultar linhas de grade;

Exibir/ocultar linhas de impresso;
Disposio dos estgios (liberdade de mover os estgios para o lugar que
desejar facilitando assim uma melhor organizao dos mesmos);
Barra de Ferramentas e Barra de Estgios mvel.
22
DATASTAGE DESIGNER
IBM Software Group
Barra de Ferramentas
Boto Descrio
New Cria um novo Job
Open Abre um Job existente
Save Job Grava as informaes do Job
Job Properties Abre a janela de propriedades do Job
Compile Compila o Job
Zoom Out e Zoom In Altera a visualizao
Grid Lines Oculta/exibe linhas de grade
Snap to Grid Alinha os objetos de acordo com a grade
IBM Corporation
A barra de Ferramentas (como na maioria dos softwares para sistema operacional

Microsoft Windows) mantm certo padro de aplicaes conhecidas, como editores
de texto e planilhas.
23
DATASTAGE DESIGNER
Repositrio de IBM Software Group
Objetos
IBM Corporation
Assim como no DataStage Manager possvel visualizar os objetos existentes no

repositrio.
Tambm possvel importar table definitions e criar outros componentes como no

Manager.
Para customizar o que deve ser exibido, basta clicar com o boto direito sobre
Repository.
24
DATASTAGE DESIGNER
Paleta ou BarraIBM Software Group
de Estgios
IBM Corporation
Na barra de estgios encontram-se todos os estgios disponveis de acordo com a

instalao do DataStage Server.
possvel customiz-la, exibindo ou ocultando estgios para uma melhor
visualizao. Para isto, basta selecionar o menu superior View e em seguida
Customize Palette.
25
DATASTAGE DESIGNER
IBM
Propriedades do JobSoftware
- GeralGroup
IBM Corporation
A sugesto para criao de nomes de jobs voltada para sua funo especfica. O
nome deve se aproximar de seu objetivo e os campos Description encontrados nas
propriedades de cada job proporcionam a oportunidade de documentar mais
detalhadamente seu objetivo.
Na aba General existem campos que possibilitam ainda a execuo de sub-rotinas
antes e/ou depois da execuo dos jobs.
26
DATASTAGE DESIGNER
IBM
Propriedades do JobSoftware Group
- Parmetros
IBM Corporation
Nas Propriedades do Job na aba Parameters possvel criar parmetros a serem

utilizados em um job. Os parmetros podem ser utilizados em diversos estgios
como Transformer, Sequential File, ODBC, Data Set e outros mais.
Eles so utilizados para indicar diretrio de arquivos, usurio e senha de um

determinado banco de dados, argumentos para rotinas e vrias outras
funcionalidades.
Para adicionar um parmetro definido nas propriedades do job em um estgio, voc

deve especific-lo no campo onde deseja utilizar da seguinte forma:
#param# - onde param o nome do parmetro criado.
Tambm possvel adicionar variveis de ambiente criadas no DataStage

Administrator para o projeto corrente clicando em Add Environment Variable.
Nota: Ao executar um View Data em um estgio ou executar um job onde o mesmo possui algum
parmetro, aparecer uma janela para confirmao, e caso ele no tenha sido criado com um valor
default, o valor dever ser inserido.
27
DATASTAGE DESIGNER
Tipos de Jobs IBM Software Group
IBM Corporation
O DataStage possui os seguintes tipos de jobs:

Job Parallel (Foco do Treinamento)
Executado sobre o controle do DataStage Server.
Construdo com funcionalidades de paralelismo pipeline e particionado.
Compilado em OSH (Orchestrate Scripting Language) que utiliza
operadores/instncias de classes C++.
Sua execuo monitorada pelo Director.
Job Sequence
Job utilizado para automatizar (Batch) e controlar a execuo de jobs server,
parallel e outro objetos do DataStage.
A sua execuo pode ser realizada e monitorada pelo Director.
Job Mainframe
A partir do job criado, gerado um cdigo COBOL, sendo que este job
compilado, executado e monitorado no Mainframe, ou seja, fora do DataStage.
Job Server
Executado pelo DataStage Server e compilado em cdigo Basic.
Nota: A disponibilidade para criao dos tipos de jobs acima, depende de licena.
28
DATASTAGE DESIGNER
IBM Software
Passos para Criao de um Group
Job
Importar os metadados (table definitions) da(s) origen(s) e destino(s);
Este procedimento pode ser reaiizado no Manager ou no prprio
Designer.
Inserir os estgios necessrios para extrao, carga e transformao dos
dados;
Criar os links entre os estgios necessrios para definir o fluxo da(s) origen(s)
para o(s) destino(s);
Salvar e compilar o job;
Executar e monitorar a execuo do job;
Pode ser executado pelo Designer ou Director, mas a visualizao de
log somente est disponvel no Director.
IBM Corporation
29
DATASTAGE DIRECTOR
IBM Corporation
O DataStage Director permite a validao, execuo e monitoramento de jobs

compilados pelo DataStage Designer.
Com o Director possvel visualizar o status do Job quanto a sua compilao,

validao e execuo. Tambm possvel visualizar o log detalhado de execuo de
cada Job, facilitando assim a identificao de erros.
30
DATASTAGE DIRECTOR
IBM Software Group
Modos de Visualizao
Existem trs modos de visualizao no DataStage Director:
Status - Monitora o status dos Jobs

Schedule - Visualizao dos Jobs agendados
Log - Monitora a execuo passo a passo de cada Job
Schedule
Status Log
IBM Corporation
31
DATASTAGE DIRECTOR
IBM Software
Visualizando Status dos JobsGroup
IBM Corporation
O Director possui uma janela chamada Status, onde possvel visualizar e monitorar o status e a execuo de
cada Job.
Abaixo esto todos os tipos de status dos Jobs e uma breve descrio sobre cada um:
Compiled
O job foi compilado mas ainda no foi validado.
Not compiled
O job est em desenvolvimento, mas no foi compilado ou a compilao no obteve sucesso.
Running
O job corrente est em execuo.
Finished
O job foi executado com sucesso.
Finished (See Log)

O job foi executado, mas houve restries (warnings).
Stopped
O operador interrompeu a execuo do job.
Aborted
Algum erro faltal foi detectado e o job foi finalizado.
Validate OK
O job foi validado sem erros.
32
DATASTAGE DIRECTOR
Executando umIBM
JobSoftware Group
IBM Corporation
Como mencionado no tpico DataStage Designer >> Propriedades do Job -

Parmetros, ao executar um job que possua parmetros, os mesmos sero
exibidos e podem sofer alterao no momento da execuo.
Ao executar um job parallel possvel especificar um ponto de parada de acordo

com o nmero de warnings.
33
DATASTAGE DIRECTOR
IBMeSoftware
Janelas Schedule Log Group
Schedule
Log
IBM Corporation
Na janela de log possvel visualizar:
Eventos de controle (Inicializando, finalizado, abortado etc.);

Mensagens informativas;
Mensagens de advertncia;
Mensagens de erro fatal;
Mensagens geradas pelo programa.
34
DATASTAGE DIRECTOR
IBM Software Group
Janela Event Detail
IBM Corporation
Depois que o job executado, no modo de visualizao Log possvel obter

detalhes sobre cada evento clicando duas vezes sobre a linha desejada. Ao realizar
este procedimento, ser exibida a janela Event Detail contendo maiores
informaes sobre o evento desejado.
35
DATASTAGE DIRECTOR
IBM Software Group
DataStage Monitor
IBM Corporation
Para monitorar a execuo de um job possvel utilizar o Monitor. Clicando com o boto direito no
job durante a execuo, selecione a opo monitor que em seguida ser exibida uma janela contendo
as seguintes informaes:
Stage Name/Link name

Nome do estgio e seus respctivos links.
Link type
Tipo do link.
Status
Status.
Num Rows
Nmero de linhas processadas.
Started at
Hora de incio da execuo.
Elapsed Time
Tempo gasto na execuo.
Rows/Sec
Nmero de linhas processadas por segundo.
36

Treinamento DataStage Enterprise Edition - Basico - Modulo 01 v8

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Treinamento DataStage Enterprise Edition - Basico - Modulo 01 v8

Загружено:

Авторское право:

Доступные форматы

DataStage Enterprise Edition - Bsico

IBM Software Group

TREINAMENTO DATASTAGE ENTERPRISE

Ensinar o necessrio para utilizao da ferramenta

IBM Software Group

O DataStage Administrator utilizado para adicionar, remover ou configurar as

Usurios do grupo Operator podem executar jobs utilizando o

Para efetuar logon no DataStage Administrator aps a instalao, basta clicar no

A aba General contm as seguintes informaes:

NLS (National Language Suporte)

No DataStage, todos os processos de ETL so realizados e organizados por projetos.

Um projeto associado a um diretrio e o armazenamento realizado no sistema de

Existe um subdiretrio no ambiente operacional reservado para armazenar esses

O Administrator tambm possui uma interface que permite

Na aba Licensing possvel alterar e fazer atualizaes referente s licenas do

Para editar as propriedades de um projeto, deve-se selecionar o projeto desejado e

Para editar as propriedades de um projeto, deve-se selecionar o projeto desejado e

Para efetuar logon no DataStage Manager, Designer ou Directos aps a instalao,

Qualquer objeto do repositrio em um projeto pode ser exportado para um arquivo e

Abaixo uma breve descrio sobre os objetos listados no DataStage Manager:

Abaixo uma breve descrio sobre os objetos listados no DataStage Manager:

Se voc deseja copiar/mover um projeto ou componentes deste projeto de um

necessrio selecionar os objetos a serem exportados.

Na aba Options possvel escolher a expotao de jobs individuais ou categoria*.

* Categoria Pastas criadas para organizao de jobs e objetos dentro do

Para importar qualquer objeto no DataStage Manager para um determinado projeto

Se durante a importao o DataStage identificar que o determinado objeto j existe,

No DataStage Manager possvel importar as definies de arquivos ou tabelas que

O DataStage Designer utilizado para modelagem de um fluxo ETL de dados

Um fluxo de dados criado atravs da insero e edio das propriedades dos

A rea de trabalho do DataStage Designer destinada ao desenvolvimento de jobs.

Existem vrias opes de customizao desta rea, como por exemplo:

Exibir/ocultar linhas de grade;

New Cria um novo Job

Open Abre um Job existente

Save Job Grava as informaes do Job

Job Properties Abre a janela de propriedades do Job

Compile Compila o Job

Zoom Out e Zoom In Altera a visualizao

Grid Lines Oculta/exibe linhas de grade

Snap to Grid Alinha os objetos de acordo com a grade

A barra de Ferramentas (como na maioria dos softwares para sistema operacional

Assim como no DataStage Manager possvel visualizar os objetos existentes no

Tambm possvel importar table definitions e criar outros componentes como no

Na barra de estgios encontram-se todos os estgios disponveis de acordo com a

Nas Propriedades do Job na aba Parameters possvel criar parmetros a serem

Eles so utilizados para indicar diretrio de arquivos, usurio e senha de um

Para adicionar um parmetro definido nas propriedades do job em um estgio, voc

Tambm possvel adicionar variveis de ambiente criadas no DataStage

O DataStage possui os seguintes tipos de jobs:

O DataStage Director permite a validao, execuo e monitoramento de jobs

Com o Director possvel visualizar o status do Job quanto a sua compilao,

Existem trs modos de visualizao no DataStage Director:

Status - Monitora o status dos Jobs

Finished (See Log)

Como mencionado no tpico DataStage Designer >> Propriedades do Job -

Ao executar um job parallel possvel especificar um ponto de parada de acordo

Na janela de log possvel visualizar:

Eventos de controle (Inicializando, finalizado, abortado etc.);

Depois que o job executado, no modo de visualizao Log possvel obter

Stage Name/Link name

Вам также может понравиться