Metodologa ETL

Versin 2.1

28 de noviembre de 2013

Indice

Definicin tipos de Metodologa Ciclo de Desarrollo - Metodologa Ciclo Corto Fase de Definicin Fase de Especificacin Fase de Construccin Fase de Despliegue Ciclo de Desarrollo Metodologa Ciclo Largo Fase de Definicin Fase de Especificacin Fase de Construccin Fase de Despliegue Circuito de Reutilizacin Perfiles

Definicin tipos de Metodologa

Definicin tipos de Metodologa

Esta metodologa se aplica en proyectos desarrollados exclusivamente en PowerCenter 100% PowerCenter Existen dos tipos en funcin de si estos proyectos se desarrollan en Factora o no. Ciclo Corto Metodologa de desarrollo para proyectos desarrollados internamente
No son desarrollados por Factora Se desarrolla directamente en PowerCenter y se documenta el proceso a posteriori a travs del Metadata Reporter

Definicin tipos de Metodologa

Ciclo Largo Metodologa de desarrollo en PowerCenter para proyectos desarrollados en Factora:

La principal caracterstica de esta metodologa frente a la de ciclo corto es que requiere la cumplimentacin de los documentos de especificacin antes de comenzar la Construccin.

Ciclo Corto

Ciclo de Desarrollo - Metodologa Ciclo Corto

FASE DEFINICIN
DDS

FASE DE ESPECIFICACION
Modelo de Datos

FASE CONSTRUCCION
Proceso Construido

FASE DESPLIEGUE
Sistema Implantado

Definicin
Peticin

Anlisis

Construccin

Ejecucin

Doc. del Proceso

Fase de Definicin

FASE DE DEFINICIN
DDS Validado

DDS

Lanzamiento del Proyecto Peticin

Definicin de Requisitos

Reunin de Lanzamiento

Definicin del nuevo Sistema

Revisin / Aprobacin del DDS

DDS v1

Fase de Definicin
Fase Descripcin Definicin Abarca las siguientes Actividades:
Lanzamiento del proyecto Definicin de requisitos Reunin de lanzamiento Definicin del nuevo sistema Revisin / Aprobacin del DDS

Roles y Responsabilidades Cliente / Usuario Peticionario del nuevo sistema y revisin / aprobacin del DDS Grupo de Desarrollo Definicin de requisitos, organiza la reunin de lanzamiento. Arquitectura Funcional Revisa y aprueba el DDS Arquitectura Tcnica Participa en la reunin de lanzamiento y define la tecnologa de desarrollo Arquitectura Modelo de Datos Participa en la reunin de lanzamiento Control de Calidad Participa en la reunin de lanzamiento Rendimiento (Produban) Participa en la reunin de lanzamiento Planificacin Participa en la reunin de lanzamiento Metodologa Participa en la reunin de lanzamiento Productos (Produban) Participa en la reunin de lanzamiento Seguridad Lgica Participa en la reunin de lanzamiento Entradas Solicitud de nuevo sistema Salidas DDS

Entregables
DDS

Fase de Especificacin

FASE DE ESPECIFICACION

Modelo de Datos Revisado

Definicin / Diseo Modelo de Datos

Revisin/ Aprobacin Modelo de Datos

10

Fase de Especificacin
Fase Descripcin Especificacin Abarca las siguientes Actividades:
Definicin / Diseo del modelo de datos Revisin del modelo de datos Cumplimentar la plantilla de especificacin de requerimientos funcionales

Roles y Responsabilidades Grupo de Desarrollo Define el modelo de datos, solicita la creacin de tablas nuevas si fuera necesario y cumplimenta la plantilla de especificacin de requerimientos funcionales. Arquitectura de Datos Revisin del modelo de datos Seguridad Lgica Definicin de los usuarios que se tienen que utilizar en los accesos a tablas. Control de Calidad Reunin previa de puesta en comn con el grupo de desarrollo. Entradas DDS Salidas Modelo de Datos Plantilla de solicitud de tablas (opcional) Conexin a BBDD Plantilla de especificacin de requerimientos funcionales.

Entregables

Plantilla de solicitud de tablas (opcional). Plantilla de especificacin de requerimientos funcionales.

11

Fase de Construccin Visin Ciclos de Desarrollo -

FASE CONSTRUCCION

Entorno Desarrollo Entorno Desarrollo

Crear o importar fuentes y destinos

Diseo Fsico del proceso de Transformacin

Implementar entorno de Ejecucin

Agrupar procesos y especificar condiciones de ejecucin

Pruebas Unitarias

Crear grupo de Pase e Informar a QA

Entorno QA

Importar grupo de pase

Consultar informe (Metadata Reporter)

Revisin Control de Calidad

Crear grupo de Pase e Informar a Implantacin

12

Fase de Construccin (entorno Desarrollo)

Fase Descripcin Construccin En el entorno de Desarrollo se llevan a cabo las siguientes actividades: Deteccin de componentes reutilizables Crear o importar fuentes y destinos Crear nuevas conexiones a BBDD si fueran necesarias (tanto en el cliente correspondiente como en el repositorio). Construccin de procesos para la extraccin, conversin y carga Diseo fsico del proceso de transformacin Implementacin del entorno de ejecucin Agrupar procesos y especificar condiciones de ejecucin Pruebas unitarias de los procesos Generar grupo de pase e informar al Administrador entorno QA de la disponibilidad del grupo de pase

Roles y Responsabilidades
Administrador del entorno de Desarrollo Crear o importar fuentes y destinos, definicin de conexiones a BBDD, generar grupo de pase e informar al Administrador del entorno de QA. Laboratorios - Construccin Entradas Modelo de Datos Plantilla de especificacin de requerimientos funcionales. Entregables Grupo de pase a QA Plantilla de solicitud de cambio de entorno
13

Salidas Grupo de pase a QA Plantilla de solicitud de cambio de entorno

Fase de Construccin (entorno QA)

Fase Descripcin Construccin En el entorno de QA se llevan a cabo las siguientes actividades: El Administrador del entorno de QA avisa a Gestin del cambio para que importe el grupo de pase desde Desarrollo. Una vez realizado el cambio de entorno avisar a QA. Consulta del informe generado a travs de MetaData Reporter Validacin por QA de los procesos Identificacin de componentes reutilizables Generar grupo de pase e informar al Administrador del entorno de Rendimiento grupo de pase disponible

Roles y Responsabilidades Gestin del Cambio Control de Calidad Rendimiento (Produban) Entradas Grupo de pase a QA Plantilla de solicitud de cambio de entorno Entregables Grupo de pase a Implantacin Plantilla de solicitud de cambio de entorno
14

Salidas Grupo de pase a Implantacin Plantilla de solicitud de cambio de entorno

Fase de Despliegue

FASE DESPLIEGUE

Entorno Implantacin

Implantar Sistema en entorno Implantacin

Parametrizar Procesos

Pruebas de Carga

Revisin Ficheros de logs

Crear grupo de pase e informar a Produccin

Entorno Produccin

Implantar Sistema en entorno Produccin

15

Fase de Despliegue (entorno Implantacin)

Fase Descripcin Despliegue En el entorno de Implantacin se llevan a cabo las siguientes actividades: El Administrador de Rendimiento avisa a Gestin del cambio para que importe el grupo de pase desde el entorno de QA. Importar grupo de pase desde QA (Gestin del Cambio) Una vez realizado el cambio de entorno avisar a Rendimiento. Parametrizacin de los procesos Realizacin de las pruebas de carga Estudio del fichero de logs Generar grupo de pase e informar a Productos (Produban) grupo de pase disponible

Roles y Responsabilidades Gestin del Cambio Rendimiento (Produban) Productos (Produban)

Entradas
Grupo de pase a Implantacin Plantilla de solicitud de cambio de entorno Entregables Grupo de pase a Produccin Plantilla de solicitud de cambio de entorno

Salidas
Grupo de pase a Produccin Plantilla de solicitud de cambio de entorno

16

Fase de Despliegue (entorno Produccin)

Fase Descripcin Despliegue En el entorno de Produccin se lleva a cabo la siguiente actividad: Productos avisa a Gestin del cambio para que importe el grupo de pase desde el entorno de Rendimiento. Importar grupo de pase desde Rendimiento (Gestin del Cambio)

Roles y Responsabilidades Productos (Produban) Gestin del Cambio Entradas Grupo de pase a Produccin. Plantilla de solicitud de cambio de entorno. Entregables Salidas

17

Ciclo Largo

18

Ciclo de desarrollo - Metodologa Ciclo Largo

FASE DEFINICIN

FASE DE ESPECIFICACION

FASE CONSTRUCCION
Doc. de Especificacin completado

FASE DESPLIEGUE

DDS

Documentacin de Especificacin

Sistema Implantado

Definicin Sistema
Peticin

Anlisis

Construccin

Ejecucin

Modelo de Datos

Sistema Construido

19

Fase de Definicin

FASE DE DEFINICIN
DDS Validado

DDS

Lanzamiento del proyecto Peticin

Definicin de Requisitos

Reunin de lanzamiento

Definicin del nuevo sistema

Revisin / Aprobacin del DDS

DDS v1

20

Fase de Definicin
Fase Descripcin Definicin Abarca las siguientes Actividades:
Lanzamiento del proyecto Definicin de requisitos Reunin de lanzamiento Definicin del nuevo sistema Revisin / Aprobacin del DDS

Roles y Responsabilidades Cliente / Usuario Peticionario del nuevo sistema y revisin / aprobacin del DDS Grupo de Desarrollo Definicin de requisitos, organiza la reunin de lanzamiento. Arquitectura Funcional Revisa y aprueba el DDS Arquitectura Tcnica Participa en la reunin de lanzamiento y define la tecnologa de desarrollo Arquitectura Modelo de Datos Participa en la reunin de lanzamiento Control de Calidad Participa en la reunin de lanzamiento Rendimiento (Produban) Participa en la reunin de lanzamiento Planificacin Participa en la reunin de lanzamiento Metodologa Participa en la reunin de lanzamiento Productos (Produban) Participa en la reunin de lanzamiento Seguridad Lgica Participa en la reunin de lanzamiento Entradas Solicitud de nuevo sistema Salidas DDS

Entregables
DDS

21

Fase de Especificacin

FASE DE ESPECIFICACION

Modelo de Datos Revisado

Docs de Especificacin
Revisado

Definicin / Diseo Modelo de Datos

Revisin/ Aprobacin Modelo de Datos

Elaborar Documentos de Especificacin

Revisin / Aprobacin Docs de Especificacin

22

Fase de Especificacin
Fase Descripcin Especificacin Abarca las siguientes Actividades:
Definicin / Diseo del modelo de datos Revisin del modelo de datos Elaboracin de documentos de especificacin (proyecto y mappings) Revisin de documentos de especificacin Cumplimentar la plantilla de especificacin de requerimientos funcionales.

Roles y Responsabilidades Grupo de desarrollo Define el modelo de datos, solicita la creacin de tablas nuevas si fuera necesario y cumplimenta la plantilla de especificacin de requerimientos funcionales. Laboratorio Necesita un perfil analista que elabore los documentos de especificacin a partir de la plantilla entregada por el grupo de desarrollo. Arquitectura de Datos Revisin del modelo de datos Seguridad Lgica Definicin de los usuarios que se tienen que utilizar en los accesos a tablas Control de Calidad Reunin previa de puesta en comn con el grupo de desarrollo. Posteriormente revisa los documentos de especificacin Entradas DDS Salidas Modelo de Datos y plantilla de solicitud de tablas (opcional) Doc de Especificacin del Proyecto ETL Doc de Especificacin del Mapping Conexin a BBDD Plantilla de especificacin de requerimientos funcionales

Entregables Plantilla de solicitud de tablas (opcional) Doc de Especificacin del Proyecto ETL Doc de Especificacin del Mapping

23

Fase de Construccin Visin Ciclos de Desarrollo -

FASE CONSTRUCCION

Entorno Desarrollo Entorno Desarrollo

Crear o importar fuentes y destinos

Diseo Fsico del proceso de Transformacin

Implementar entorno de Ejecucin

Agrupar procesos y especificar condiciones de ejecucin

Pruebas Unitarias

Actualizar los Documentos de Especificacin

Crear grupo de pase e informar a QA

Entorno QA

Importar grupo de pase

Consultar informe / Doc. de Especificacin

Revisin Control de Calidad

Crear grupo de pase e informar a Implantacin

24

Fase de Construccin (entorno Desarrollo)

Fase Descripcin Construccin En el entorno de Desarrollo se llevan a cabo las siguientes actividades:: Deteccin de componentes reutilizables Crear o importar fuentes y destinos Crear nuevas conexiones a BBDD si fueran necesarias (tanto en el cliente correspondiente como en el repositorio) Construccin de procesos para la extraccin, conversin y carga Diseo fsico del proceso de transformacin Implementacin del entorno de ejecucin Agrupar procesos y especificar condiciones de ejecucin Pruebas unitarias de los procesos Actualizar documentos de Especificacin Generar grupo de pase e informar a Administrador entorno QA grupo de pase disponible

Roles y Responsabilidades Administrador del entorno de Desarrollo Crear o importar fuentes y destinos, definicin de conexiones a BBDD, generar grupo de pase e informar a Administrador del entorno de QA. Factora - Construccin Entradas Modelo de Datos Documento de Especificacin del Proyecto Documento de Especificacin del Mapping Plantilla de especificacin de requerimientos funcionales Entregables Grupo de pase a QA y Plantilla de solicitud de cambio de entorno Documento de Especificacin del Mapping (completado) Documento de Especificacin del Proyecto (completado) Salidas Grupo de pase a QA Plantilla de solicitud de cambio de entorno Documento de Especificacin del Mapping (completado) Documento de Especificacin del Proyecto (completado)

25

Fase de Construccin (entorno QA)

Fase Descripcin Construccin En el entorno de QA se llevan a cabo las siguientes actividades: El Administrador del entorno de QA avisa a Gestin del cambio para que importe el grupo de pase desde Desarrollo. Una vez realizado el cambio de entorno avisar a QA. Consulta del informe generado a travs de MetaData Reporter Validacin por QA de los procesos Identificacin de componentes reutilizables Generar grupo de pase e informar a al Administrador del entorno de Rendimiento grupo de pase disponible

Roles y Responsabilidades

Gestin del cambio Control de Calidad Rendimiento (Produban)

Entradas Grupo de pase a QA Plantilla de solicitud de cambio de entorno Documento de Especificacin del Proyecto (completado) Documento de Especificacin del Mapping (completado) Entregables Grupos de pase a Implantacin Plantilla de solicitud de cambio de entorno
26

Salidas Grupo de pase a Implantacin Plantilla de solicitud de cambio de entorno

Fase de Despliegue

FASE DESPLIEGUE

Entorno Implantacin

Implantar Sistema en entorno Implantacin

Parametrizar Procesos

Pruebas de Carga

Revisin Ficheros de logs

Crear grupo de pase e informar a Produccin

Entorno Produccin

Implantar Sistema en entorno Produccin

27

Fase de Despliegue (entorno Implantacin)

Fase Descripcin Despliegue En el entorno de Implantacin se llevan a cabo las siguientes actividades: El Administrador de Rendimiento avisa a Gestin del cambio para que importe el grupo de pase desde el entorno de QA. Importar grupo de pase desde QA (Gestin del cambio) Una vez realizado el cambio de entorno avisar a Rendimiento. Parametrizacin de los procesos Realizacin de las pruebas de carga Estudio del fichero de log Generar grupo de pase e Informar a Productos (Produban) grupo de pase disponible

Roles y Responsabilidades Gestin del cambio Rendimiento (Produban) Productos (Produban)

Entradas
Grupo de pase a Implantacin Plantilla de solicitud de cambio de entorno Entregables Grupo de pase a Produccin Plantilla de solicitud de cambio de entorno

Salidas
Grupo de pase a Produccin Plantilla de solicitud de cambio de entorno

28

Fase de Despliegue (entorno Produccin)

Fase Descripcin Despliegue En el entorno de Produccin se lleva a cabo la siguiente actividad: Productos avisa a Gestin del cambio para que importe el grupo de pase desde el entorno de Rendimiento. Implantar el sistema en el entorno de Produccin (Gestin del cambio)

Roles y Responsabilidades Productos (Produban) Gestin del cambio Entradas Grupo de pase a Produccin Plantilla de solicitud de cambio de entorno Entregables Salidas

29

Circuito de Reutilizacin

30

Circuito Reutilizacin

Laboratorio/ Laboratorio Centro de Competencia de DataMarts Factora

Identificar Componente Reutilizable

Encontrad o?

Reutilizacin del Componente Si Informad o NO es reutilizabl e No Desarrollar Componente

No Solicitar Componente

Buscar en Catlogo Catlogo

Laboratorio de DataMarts

Peticin Aceptad a?

Si

Inclusi n en Catlog o

31

Perfiles

32

Grupos

Laboratorio / Centro de Competencias / Factora

Administrador ( estas tareas son comunes a todos los entornos, existe una figura Administrador
repositorio PowerCenter en cada uno de los entornos lgicos de la instalacin ) crea los grupos de pase copiar objetos de la carpeta de traspasos a las finales definir carpetas de destino y editar sus propiedades configurar conexiones a bbdd importar definiciones de fuentes y destinos elabora el documento de especificacin del proyecto y de los mappings identifica objetos reutilizables solicita inclusin de objetos en el catlogo

Analista (*)

Programador
desarrolla y modifica procesos de carga crea mappings, sesiones y workflow realiza pruebas unitarias recomienda parametrizacin parametriza completa el documento de especificacin del mapping soluciona los errores detectados durante las pruebas unitarias y el control de calidad

(*)

Este perfil tiene que cubrirlo una persona con amplios conocimientos en modelado de procesos de PowerCenter

33

Grupos

Seguridad Lgica
Dar de alta usuarios/grupos en el repositorio de Desarrollo de PowerCenter Participa en la reunin de lanzamiento para especificar los usuarios de conexin a bbdd necesarios para acceder a las distintas tablas

Control de Calidad
Administrador
administrar el repositorio de QA ( ver detalle de tareas en la descripcin del laboratorio de ETL ) creacin de grupo de pase al entorno de Implantacin

Revisor
revisar que los procesos cumplen la normativa especificada identifica objetos reutilizables solicita inclusin de objetos en el Repositorio Global dar su aprobacin para el paso a implantacin

34

Grupos
Rendimiento
Administrador administrar el repositorio de implantacin ( ver detalle de tareas en la descripcin del laboratorio de ETL ) creacin de grupo de pase al entorno de Produccin Ejecutor de Pruebas pruebas de rendimiento (incluyendo parametrizacin) dar su aprobacin para el paso a produccin

Productos (Produban)
administrar el repositorio de produccin ( ver detalle de tareas en la descripcin del laboratorio de ETL )

Gestin del Cambio

recibe las peticiones de cambio de entorno de los administradores de los repositorios origen correspondientes consulta a los administradores de los repositorios de destino correspondientes acerca de la viabilidad de realizar el cambio de entorno realiza el cambio de entorno segn los procedimientos establecidos ( tctico/estratgico ) notifica a los administradores de los repositorios de origen/destino correspondientes el resultado del cambio de entorno

Planificacin
planifica las ejecuciones de los procesos avisa de fallos en la ejecucin automtica de los mismos

35

Roles

Entorno

Roles Creacin usuarios de Desarrollo (script) Administrador Repositorio Desarrollo

Departamento implicado Seguridad Lgica/Corporativa ?? Laboratorio de Datamarts

Identificacin y mantenimiento componentes reutilizables locales

Desarrollo Identificacin y mantenimiento componentes reutilizables globales Analista Orgnico PowerCenter Desarrolladores Creacin de grupo de pase a QA Creacin de usuarios de QA (script) Administrador Repositorio QA QA Cambio de entorno desde Desarrollo a QA Revisores QA Creacin de grupo de pase a Implantacin

Laboratorio de Datamarts. Identificacin tambin QA.

Grupo nico que recibe la informacin de todos los grupos de mantenimiento de componentes reutilizables locales Para cada entidad, n analistas orgnicos en los grupos de desarrollo Para cada entidad n grupos. Grupo de desarrollo que administra el repositorio de Desarrollo Control de Calidad Control de Calidad Gestin del Cambio Control de Calidad Control de Calidad

36

Roles

Roles Entorno Creacin usuarios de Implantacin (script) Administrador Repositorio Implantacin Cambio de entorno desde QA a Implantacin Implantacin Pruebas de rendimiento ( incluye parametrizacin )

Departamento implicado Rendimiento (Produban) Rendimiento (Produban) Gestin del Cambio Rendimiento (Produban)

Creacin de grupo de pase a Produccin Creacin usuarios Produccin (script) Administrador Repositorio Produccin Produccin Cambio de entorno desde Implantacin a Produccin

Rendimiento (Produban) Productos (Produban) Productos (Produban) Gestin del Cambio

37

38