1

1
Arquitecturas Posibles
Top-Down
Bottom-Up
Enterprise Data Mart (EDMA)
Data Stage/Data Mart (DS/DMA)
Variaciones de las anteriores incorporando ODS
(Operational Data Store)
Enfoque Entidad-Relacin (ER) y/o Dimensional (Star-
Schema) en el Modelado
2
Arquitectura Top-Down
AREA DE
CONSTRUCCION
EXTRACCION, TRANSFORMACION
Y CARGA
SISTEMA HEREDADOS Y
FUENTE DE DATOS
METADATA EN DW Y
DMs
DATA MARTS A. N
DATA
WAREHOUSE
2
3
Arquitectura Bottom-Up
DATA WAREHOUSE
DATA MARTS A. N
AREAS DE
CONSTRUCCION
EXTRACCION,
TRANSFORMACION Y
CARGA
SISTEMAS HEREDADOS
Y FUENTES DE DATOS
METADATA EN DW Y
DMs
4
Arquitectura Enterprise Data Mart (EDMA)
3
5
Arquitectura Data Stage/Data Mart (DS/DMA)
EXTRACCION,
TRANSFORMACION Y CARGA
ALMACENAMIENTO DINAMICO
DE DATOS DEL AREA DE
CONSTRUCCION
SERVIDORES DE
APLICACION
DATA MARTS A. N
APLICACIONES HEREDADAS Y
FUENTE DE DATOS
CAPA DEL REPOSITORIO DE METADATA COMPARTIDO
EL DATAWAREHOUSE ES LA
CONJUNCION DE LOS DATA
MARTS
6
Componentes Que No Pueden Faltar
El proceso de Extraccin, Transformacin y Carga
(ETL)
Arquitectura del Data Warehouse
1. Interaccin entre los distintos componentes
2. Repositorios de Informacin
3. Procesos
La forma de Explotacin del Data Warehouse
4
7
Data Warehousing Otras alternativas
Data Warehouse Virtual
Almacn de Datos Operacionales (ODS)
Executive Information Systems (EIS)
Sistema de Soporte a las Decisiones (DSS)
Data Mart
8
Data Warehouse Virtual
Los usuarios finales pueden acceder a bases de datos
operacionales directamente, usando cualquier
herramienta que posibilite la red de acceso de datos.
Se pueden colocar las cargas de consulta no planificadas
ms grandes sobre sistemas operacionales.
Surge de la necesidad de obtener datos operacionales, a
partir de una clase relativamente grande de usuarios
finales donde la frecuencia probable de pedidos es baja.
Si no hay ETL, no hay repositorio destino, no hay DW
5
9
Operational Data Store
Contiene informacin Operacional
De carcter Tctico (vs. Estratgico en el Data Warehouse)
Integrado
Voltil No Histrico
Con Informacin Reciente
Detallado
10
Operational Data Store
Producto
Producto
Producto
Producto
Producto
Producto
Producto
Producto
Producto
Producto
6
11
Operational Data Store
DataWarehouse ODS
Esttica Dinmica
Histrica Actual / Reciente
Detallada / Sumarizada Detallada
Estratgica Tctica
La informacin es...
12
Clases de ODS
Clase I
Sincronizado con
los Sistemas OLTP
(eventos)
Clase II
En base a
actualizaciones por
horas
Clase III
En base a
Actualizaciones
diarias o mayores
7
13
Data Mart
Data Mart:
Orientado a Focos analticos
especficos
Muy comn para reas
operativas
Apunta a las necesidades de
informacin de un grupo de
personas
Data Warehouse Data Warehouse
vs. vs.
Data Marts Data Marts
8
15
DataWarehouse vs DataMart
La gran diferencia: El Alcance del Modelo
Data
Warehouse
Data Marts
Corporativo Departamental
Visin Homognea Visin Parcial
16
DataWarehouse vs DataMart
Data Warehouse Data Marts
Alcance
Neutral a las aplicaciones
Centralizado, compartido
Cruza toda la Empresa
Requerido por una aplicacin especfica
Departamental
Orientado a procesos de negocio
Mltiples BD con datos redundantes
Perspectiva
de los Datos
Detallados e Histricos
Poca sumarizacin
Suavemente desnormalizado
Detallado (algo de historia)
Sumarizado
Fuertemente desnormalizado
Temas Mltiples reas temticas
nica y mltiples reas temticas parciales
Snapshot de fuentes operacionales
Fuentes de
datos
Muchas
Operacionales, datos externos
Pocas
Operacionales, datos externos
Snapshot de BD OLTP
1/2
9
17
DataWarehouse vs DataMart
Data Warehouse Data Marts
Tiempo de
Implementacin
9-18 meses para la 1era etapa (2 o 3
reas temticas)
Implementacin en mltiples etapas
4 a 12 meses
Caractersticas
Flexible, extensible
Durable/estratgico
Orientacin a los Datos
Restrictivo, no-extensible
Corta vida/tctico
Orientacin al Proyecto
18
Mitos de un DataMart
Son pequeos
Son menos complejos de construir y ms rpido de obtener que
un Data Warehouse
Son escalables a un Data Warehouse
Pueden ser dinmicamente integrados para formar un Data
Warehouse
Contienen una nica rea temtica
Son ms flexibles que los Data Warehouse
Son un nuevo concepto
10
Metadata
20
Es la informacin que describe los datos del Data
Warehouse, desde su origen hasta su interpretacin final
Son datos sobre la estructura real de datos almacenados
en el DW
Incluye detalle del contenido, la transformacin, la
composicin, el formato, las reglas de validacin, los rangos
vlidos,
Es un elemento valioso para el usuario final, el
desarrollador, el DBA, el analista de negocios, el analista de
sistemas, , la Organizacin
Qu es Metadata?
11
21
Es un tpico sorprendente en el mundo del DW.
Considerando que no sabemos exactamente qu es o
dnde est, pasamos ms tiempo hablando de esto,
preocupndonos de esto y sintindonos culpables de no
estar haciendo algo de esto, que cualquier otro tpico
Es todo, excepto por los datos mismos
Ralph Kimball
Qu es Metadata?
22
La metadata es usada como:
Una gua para ayudar al analista a ubicar los contenidos
del DW
Una gua para el mapeo de datos de cmo se transforma
del ambiente operacional al de DW
Una gua de los algoritmos usados para la
esquematizacin entre el detalle de datos reales, con los
datos ligeramente resumidos y stos, con los datos
completamente resumidos, etc.
Caractersticas de Metadata
12
23
Transformacin y carga de datos
Datos de origen y los cambios que hay que efectuarles para
cargarlos en el DW
Manejo de los datos
Informacin de referencias cruzadas de columnas de diferentes
tablas que contienen el mismo dato
Permite el seguimiento y control de todos los movimientos de
datos
Generacin de consultas
Para describir los datos y direccionar las consultas a la fuente de
datos ms apropiada
Usos de Metadata
24
Estructuras de datos
Especificaciones de transformaciones de datos que
ocurren tal como la fuente de datos se replica al
DW
El modelo de datos del DW (los elementos de datos
y sus relaciones)
Registro de altas y bajas de elementos del DW
Niveles de sumarizacin, el mtodo de
sumarizacin y las tablas de registros de su DW
Qu Podra Incluir la Metadata
13
25
Semntico
Usuario Final
Visin Orientada al Negocio
Significado, Descripciones, Relaciones
Operacional
Diseadores y Desarrolladores de DW
Facilita ETL ETML
Formato, sistema, tabla, lgica de clculo
RDBMS
Administrador de Base de datos
Diccionario convencional
Adm. de tablas internas y otras estructuras
Tipos de Metadata
Construyendo el Construyendo el
Data Warehouse Data Warehouse
Consideraciones Consideraciones
14
Modelado de Datos
28
Ciclo Bsico de Diseo
Definir/Refinar
y Disear
Modelo
Implementar
Utilizacin
Usuario
Final
Feedback
15
29
Tips para el Modelado de un DW
El modelado del Data Warehouse debe ser hecho desde la
perspectiva de los usuarios finales y considerando las
fuentes de datos disponibles (en el estado en que se
encuentren).
No se debe esperar tener un conjunto de requerimientos
detallados y claros, ya que estos no pueden y no deberan
ser capturados de manera rgida para los sistemas de este
tipo.
El modelado y diseo de un data warehouse es un proceso
cclico y evolutivo, es parte de algo ms que la construccin
de un sistema de soporte de decisiones. La consistencia de
toda la construccin es un factor de xito.
Para que sea exitoso el modelado y diseo debera ser
hecho dentro del framework de una arquitectura.
30
Tips y Recomendaciones para la Construccin
Definir la estructura del DW de la empresa y la arquitectura de los Data
Marts
Construir el DW incrementalmente, un rea de negocio a la vez
Asegurar que el DW no ser poblado con datos sucios
Proveer herramientas fciles de utilizar que no requieran asistencia
Asegurar que las herramientas proveen las mismas funciones sobre una
LAN y sobre entornos Web
Utilizar la Web para reducir costos de comunicacin, hardware, software,
soporte y capacitacin
Soportar usuarios mviles con funcionalidades de consultas off-line,
reportes y funciones OLAP
Asegurar que el sistema es escalable en cantidad de usuarios y datos
Proporcionar seguridad y funciones de administracin para el DW
16
31
Potenciales Errores a Evitar en la Construccin
Definir errneamente los Indicadores (drivers) del Negocio
Utilizar una arquitectura errnea
Desarrollar Data Warehouses Virtuales
Desarrollar Data Marts que no se encuentren integrados
con las distingas reas de negocio
Poblar el Warehouse con datos sucios
Implementar el Data Warehouse como un gran esfuerzo
de desarrollo Top-Down
No prever escalabilidad y problemas de performance
32
Otra Metodologa para construir
1. Definicin de
Requerimientos
2. Interpretacin y
Estimacin Inicial
3. Planificacin
Global
4. Iteracin
Construccin
5. Desarrollo
6. Prueba de
Aceptacin
7.
Implementacin
8. QA
9. Lecciones
Aprendidas?
10. Prueba
Integracin
11. En Productivo
SI
NO
17
33
ETL
Extraccin
Transformacin
Carga
34
De la Extraccin al Warehouse
Data Cleansing
Los datos estn limpios?
Alternativas para la
limpieza
Automtica
Semi-automtica
Manual
Ya termin el proceso
Costo
de la
limpieza P
r
o
c
e
s
o
T
e
c
n
o
l
o
g

a
18
35
Mnimas Tareas para la Limpieza de Datos
Identificar las fuentes de datos autorizadas
Medir la calidad de los datos
Utilizar herramientas para identificar reglas de negocio,
datos inconsistentes, faltantes, incompletos, duplicados o
incorrectos
Utilizar herramientas para limpiar los datos en las fuentes
Cargar solo datos limpios dentro del DW
Identificar y corregir la causa del defecto de los datos
Planificar peridicamente la limpieza de los datos en las
fuentes