Consideraciones para migrar un modelo de Data Warehouse

El presente artculo pretende guiar al lector en las consideraciones que tiene que seguir para migrar de Data Warehouse como una solucin para el anlisis de la informacin financiera, el ejemplo esta referido para una empresa de Telecomunicaciones dedicada a ofrecer equipo y servicios de telefona celular.

Antecedentes Las empresas en el mercado de las Telecomunicaciones que actualmente es un medio muy dinmico y competitivo, deben considerar mejores estrategias comerciales que estn basadas en capturar y retener a los clientes ms rentables, siendo ellos la mayora de las veces los de mayor consumo. Las estrategias tradicionales de ventas y comercializacin son desafiadas por estas caractersticas del mercado: La explosin de tecnologa de comunicaciones ha cambiado rpidamente los tipos de ofertas de servicio disponibles. Hoy se cuenta con tecnologas de comunicacin inalmbricas que ofrecen capacidades de transmisin suficiente como para ofrecer servicios tradicionales de voz, TV On Demand, transmisin de datos e Internet mvil en un mismo canal. La variedad en ofertas y precios ha llevado el poder de compra al consumidor que cada vez exige mayor valor a un menor precio. Las decisiones de lealtad, estn volvindose rpidamente a ser manejadas por el valor. Las empresas estn cada vez ms enfocadas en la captura y retencin de clientes ms rentables lo que implica detectar a tiempo estas oportunidades. Descripcin del problema Se deben exponer la problemtica dadas las caractersticas actuales del Data Warehouse y algunas de las razones del por qu se requiere hacer este proyecto (migracin): 1.Se debe visualizar si se requiere migrar tanto de modelo como la informacin para tener una mejor integridad de sta y que sea ms gil la carga diaria de la informacin. 2.El modelo debe soportar la estructura actual del Data Warehouse con la posibilidad de darle un crecimiento a nuevos nichos de informacin por la creacin de nuevos servicios que ofrece la compaa. 3.Hacer ms eficiente y verstil la extraccin de la informacin para su anlisis. 4.Se requiere de mejores indicadores que le den informacin puntual a los directivos de cules son los productos y servicios que estn funcionando. 5.Este tipo de proyectos requiere de la experiencia de un Lder de Proyecto que conozca de Bases de Datos y que tenga conocmiento en la elaboracin de procesos mediante Procedimientos Almacenados (SP) y la Extraccin Transformacin y Carga (ETL). Adems requiere de la experiencia en el negocio de la telefona celular y el anlisis financiero que se hace de los productos y servicios que ofrecen las compaas de Telecomunicaciones, as como la obtencin de los indicadores que evalan para el anlisis financiero. 6.Su crecimiento requiere de un modelo ms acorde al volumen de informacin que se est manejando, por lo que se cuestiona si el modelo actual y la plataforma actual soportarn el crecimiento de toda la informacin que proporcionan las diferentes reas de la compaa. Por los motivos anteriores, se deben plantear las siguientes interrogantes: El modelo satisface la necesidad creciente del manejo de informacin que se tiene actualmente? Se tiene una plataforma acorde a las necesidades actuales del Data Warehouse? Se tiene una eficiente extraccin de la informacin para el anlisis financiero de forma que est disponible para las diferentes reas de la compaa? De estos tres cuestionamientos esenciales se determina que se necesita plantear una solucin a las necesidades actuales del Data Warehouse. Propsito de Desarrollo de un Data Warehouse El propsito en el desarrollo de este tipo de modelos es encontrar uno que represente una solucin al problema y permita hacer la migracin del actual a un modelo multidimensional en una plataforma tecnolgica que soporte la estructura que se tiene actualmente y que pueda crecer, ocupando herramientas orientadas a

la consulta de grandes volmenes de informacin histrica, procesamiento masivo de informacin, con estructuras dinmicas y abundantes cambios. Se debe elaborar un modelo de Data Warehouse acorde al negocio de las Telecomunicaciones, creando los mtodos de carga de informacin diaria as como su extraccin para generar niveles de agregacin de la informacin financiera del comportamiento del negocio que permita al equipo de analistas de la compaa, estudiar todo aquello que le permita conocer como estn las ventas de sus productos y servicios, a travs del tiempo y visualizar que ocurre con los movimientos de las terminales, estatus en cuanto a servicios, planes tarifarios, promociones, etctera. Particulares del Proyecto de Data Warehouse Para tal fin se deben plantear los siguientes objetivos particulares: Implantar un modelo de datos conforme a los requerimientos de informacin y anlisis definidos por la empresa de la industria de telecomunicaciones. Utilizar una herramienta de extraccin y administracin de datos, como puede ser la plataforma de Oracle Warehouse Builder para el Proceso de Adquisicin y Transformacin de datos. Utilizar herramientas de explotacin de datos, para ser empleadas por los ejecutivos de negocio de la compaa. Desarrollar los ambientes de datos significativos para realizar pruebas de funcionalidad de los procesos de extraccin de datos. Estudiar los patrones de ingreso por el tipo de trfico, as como su comportamiento en cuanto a saldos y abonos de tiempo aire realizados. Justificacin del Data Warehouse Para cualquier compaa, la conveniencia de tener un gran depsito de informacin histrica es de suma importancia y sobre todo si esta informacin es la financiera, de donde pueden hacer un anlisis del comportamiento de ventas y costos de operacin de sus productos o servicios.Las compaas de Telecomunicaciones no son la excepcin, especialmente dada la feroz competencia que se est dando en este segmento. En primera instancia lo que se pretende es mejorar el modelo del Data Warehouse para migrar el contenido de la informacin utilizando uno nuevo que permita tener el crecimiento de los datos que requiere la compaa y acrecentar la informacin financiera para saber cmo est operando da con da. Entre mejor y ms oportuno sea el anlisis de la informacin se podr encontrar de manera ms oportuna los errores o fallas en los que se est incurriendo con el fin de mejorar el ofrecimiento de un bien o servicio que se le esta brindando al usuario por un costo ms competitivo de lo que ofrece el mercado, redundado en mejoras tecnolgicas de comunicacin para ofrecer mejores productos y servicios al alcance de otros sectores de la poblacin en general. Poder tener un mejor modelo para el Data Warehouse resuelve en primera instancia una problemtica de la compaa que impacta de manera mas amplia a la operacin general de sta y a los beneficios que se le puede ofrecer al usuario final. El modelo de Data Warehouse que se vincula con las particularidades de la informacin financiera que es utilizada por la compaa de Telecomunicaciones, es la aportacin tecnolgica que se ofrece para optimizar el anlisis financiero de la compaa. Se trabaj en un proyecto donde el Data Warehouse de una compaa de telefona celular se encontraba en una Base de Datos de SQL Server, donde no haba propiamente un modelo y no cumpla con una relacin entre sus entidades, es decir, no exista un modelo entidad-relacin. Aunque existan algunos catlogos, no se ocupaban para dimensionar el detalle de toda la informacin financiera que se tena cargada. Se pens en considerar la plataforma tecnolgica de Oracle 10g para almacenar la informacin por tener un motor de bases de datos ms eficaz, su mtodos de bsqueda son ms giles y por tener la capacidad de hacer modificaciones cuando la Base de Datos esta operando. En la Base de Datos SQL Server por cada tipo de informacin se tiene una base de datos, de la cual no se tiene el control de los espacios ocupados en disco y no permita su fcil acceso a pesar de estar partida en entidades por mes de informacin. Adems no se contaba con niveles de agregacin y siempre que se

requera obtener informacin se necesitaba obtener del detalle el nuevo consolidado, que por necesidades de la empresa, se ocupan y se van almacenando en las diferentes bases de datos. Para poder instrumentar el modelo, se plantea que la Meta Data (depsito de gran volumen de informacin) se basar en los siguientes aspectos: Metadata Funcional. Modelo de acceso de datos, que traduce las definiciones de la estructura fsica base de datos en trminos del negocio que son entendidos y empleados fcilmente por los analistas compaa. Metadata Tcnica. Control y monitoreo de los procesos de Extraccin, Transformacin y Carga (ETL) solucin (desde el rea temporal de archivos o fuentes de informacin hasta las estructuras del Warehouse de la compaa), as como el manejo de errores. de la de la de la Data

En la figura 1, se muestra un diagrama descriptivo del modelo, en donde la zona marcada como la 2, es fundamentalmente la Meta Data Tcnica y la Meta Data Funcional esta ligada a la zona 1 y 3 que conforman toda la estructura del modelo en trminos del negocio.

Figura 1. Diagrama descriptivo de un modelo de Data Warehouse.

El empleo de una plantilla para la implantacin a partir de un modelo que establece la relacin entre los clientes y el negocio y poder realizar el anlisis del comportamiento, permitir representar y analizar de manera homognea a los clientes, cuentas y las terminales de la compaa, ya se traten de Corporaciones, PyMEs o personas fsicas. Aunque pueda definirse de manera conceptual la representacin de los clientes de los distintos tipos de servicios ofrecidos, la implantacin se debe acotar, por ejemplo a las terminales del servicio de prepago, donde los aspectos que pueden ser estudiados son: - Ingresos por trfico. - Activaciones de terminales. - Movimientos de terminales. - Abonos de tiempo aire. - Comportamiento del saldo de terminales. - Poltica saldo cero (estatus de una terminal despus de sesenta das de tener saldo cero y no haber abonado tiempo aire).

- Churn (estatus de una terminal que esta en poltica de saldo cero y que no tiene trfico entrante, es decir, no recibe llamadas a su telfono del tipo el que llama paga). - ARPU (ingreso obtenido por el trfico de llamada entrante y/o saliente a una terminal). - Financieros. La solucin debe contar con un conjunto de programas y procesos de manejo de los datos construidos y validados para altos volmenes de informacin. Estos programas permitirn la validacin, generacin de resmenes e indicadores de gestin a partir del rea de interfaz. Acceso a los datos (aplicacin de anlisis) Con el fin de satisfacer las necesidades de anlisis de la informacin almacenada en el Data Warehouse, la solucin debe contemplar la implantacin de un portal de anlisis que apoye en los siguientes niveles: 1. Anlisis General. Esta rea debe permitir a los analistas conocer la situacin general del negocio a travs del empleo de indicadores de gestin que les apoyar en responder preguntas relacionadas a la situacin actual, las tendencias, causas, entre otras. 2. Anlisis Detallado. Esta rea debe permitir a los analistas conocer la situacin detallada de cada uno de las terminales, as podrn identificarse patrones de comportamiento de trfico e ingresos, movimientos, saldos y tiempo aire de las terminales, identificacin de perfiles de terminales segn cierto comportamiento, suscriptores a contactar en iniciativas de mercadeo, entre otras. Manejo de Metadata La implantacin de la meta data de la solucin se debe basar en los siguientes aspectos: Metadata Funcional. Consistir en la definicin de un modelo de acceso a los datos de la Base de Datos del Data Warehouse que traduzca las definiciones de las estructuras fsicas de la base de datos en trminos del negocio que puedan ser entendidos y empleados fcilmente por parte de los analistas de la compaa. Adems es el modelo de acceso que ser instrumentado empleando las facilidades ofrecidas por una herramienta que permita tener el acceso ms gil y eficiente, donde se deber proveer en forma oportuna la semntica correspondiente. Metadata Tcnica. Apoyar el control y monitoreo de los procesos de Extraccin, Transformacin y Carga (ETL) de la solucin (desde el rea temporal de archivos planos hasta las estructuras del Data Warehouse de la compaa), as como el manejo de errores, ser implantado una entidad que de seguimiento de los procesos de carga. Adems se implantarn reportes predefinidos que permitirn analizar la ejecucin de los programas, con los siguientes datos: Para Control y monitoreo de carga: - Identificador del proceso ejecutado. - Fecha, hora de inicio/ Fecha, hora de fin. - Cantidad de registros ledos. - Cantidad de registros procesados. - Cantidad de registros rechazados. - Estatus final de ejecucin. Para el manejo de errores: - Identificador del proceso ejecutado. - Fecha, hora de inicio. - Descripcin del error. - Cantidad de registros rechazados. La arquitectura de referencia se vuelve importante porque aporta: - Ofrece un diagrama de un anteproyecto comn - Crea una base duradera para implantar la visin de la empresa. - Proporciona alternativas en la implantacin - Permite ubicar las ofertas y distribuidores en el diagrama de la arquitectura de referencia. - Destaca los componentes de una solucin que son valiosos para la produccin.

La arquitectura de referencia describe primero desde un punto de vista abstracto y simplificado a alto nivel, del modo siguiente: - Un conjunto de datos extrados de la base de datos operacionales - Un software que prepara los datos para que los usuarios accedan - Un conjunto de aplicaciones y herramientas que ejecutan un conjunto de consultas y anlisis complejos Una arquitectura que propone Harjnder es descomponer sistemticamente en detalles, partiendo de la Infraestructura, Transporte, Administracin de Meta datos, para ir subiendo de nivel, hacia la Fuente de Datos, Construccin del Data Warehouse, Construccin de los niveles de agregacin, Acceso de Datos y Administracin de Datos. El planteamiento de dicha arquitectura contempla en su proceso tres fases importantes: la de Refinamiento, Reingeniera y despus de obtener el modelo de Data Warehouse otra fase de Refinamiento y Reingeniera, lo que no permite que se haga un modelo en poco tiempo, ya que requiere de varias etapas y fases en cada una de las etapas, aadindole que propone otros sistemas importantes dentro de la capa de infraestructura como son: Administradores de Configuracin, Administradores de Almacenamiento, Administradores de Seguridad, Administracin de Distribucin, Administracin de Licencias, Vigilantes de desempeo y Analizadores de la Capacidad. Todo esto hace que construir el modelo a implantar se vuelva un proyecto complicado y largo por lo que slo se considera el diseo del Data Warehouse y el de las Agregaciones, por tal razn y debido a que el proyecto tiene un tiempo programado de tres meses se omite los puntos relacionados con la construccin. Conclusin Con lo antes propuesto para iniciar cualquier proyecto de Data Warehouse se debe tener bien definido la problemtica, objetivos y alcances del proyecto, exponiendo los justificantes que lleven a emprender y satisfacer las necesidades del proyecto con una metodologa. Se establecen los principios en los que se debe elaborar el diseo, presentando la propuesta a seguir. El Modelo de Hechos Dimensionales (DFM) El anlisis de los datos en un tiempo finito, ha trado consigo estudios sobre la mejor forma de almacenar y representar estos datos para que puedan ser consultados de una forma ms rpida. El uso del Modelo Multidimensional es una de las aproximaciones ms acertadas y seguidas por los especialistas en estos das. Este se basa en el estudio de los eventos del negocio analizados desde sus distintas dimensiones. As: Definicin 1: Llamamos evento o Hecho a una operacin que se realiza en el negocio en un tiempo determinado. Son objeto de anlisis para la toma de decisiones. Se Representan en una caja con su nombre y las medidas que lo caracterizan. (Robert Wrembel & Christian Concilia, 2007)

Ej: Figura 1: Representacin grfica de un Hecho y sus dimensiones

Los Hechos estn estrechamente relacionados con el tiempo. Los eventos que son estticos no tiene objetivo de anlisis para este modelo, aunque son muy pocos los hechos que no ocurren con determinada periodicidad en un negocio. Los hechos estn caracterizados por medidas numricas como se muestra en el ejemplo de la figura 1: la cantidad, el precio unitario, el descuento, etc, son las medidas del Hecho (VENTA). Nota: Fjese que el producto que se vende, su costo y la fecha de la venta no son caractersticas de esta como lo podran ser en cualquier diseo relacional. En este caso, esos seran dimensiones de ese Hecho, por las que, puede ser analizado ms adelante. Definicin 2: Una Medida es una propiedad de un Hecho (casi siempre numrica), que es usada para su anlisis. (Robert Wrembel & Christian Concilia, 2007) Nota: Un hecho puede no poseer ninguna medida. En ese caso se dice que el Hecho es vaco y solo se usa para contar la aparicin de este en el tiempo. Definicin3: Una Dimensin es una caracterstica de un hecho que permite su anlisis posterior, en el proceso de toma de decisiones. (Robert Wrembel & Christian Concilia, 2007) Nota: Un hecho debe estar relacionado al menos con una dimensin: El tiempo. Es un inters del negocio tomar decisiones sobre los hechos que ocurren en este, pero para esto se necesita su anlisis. Por ejemplo Las ventas en la semana antes del 14 de Febrero, puede ser un objeto de anlisis para un negocio comercial. Para esto se necesita tener el Hecho Ventas analizado en la dimensin Tiempo. En este caso en los Das: 7 <= d <= 14. Si se quisiera saber que productos fueron los ms vendidos en esos das entonces tendramos que adicionar una nueva dimensin de anlisis, Producto. As adicionando dimensiones a nuestro estudio se pudieran llegar a conclusiones sobre si el siguiente ao en esa poca debera comprarse ms objetos de un producto o menos de otro. Elemento este muy importante para la futura estrategia de la empresa. Definicin 4: En una empresa pueden existir varios hechos que sean analizados por dimensiones iguales. En este caso se les llama a estas dimensiones: Dimensiones Compartidas. (Robert Wrembel & Christian Concilia,

2007). Un ejemplo de esto es El Hecho Ventas puede ser analizado en las dimensiones Tiempo y Producto. Lo mismo ocurre con el Hecho Compras. Las dimensiones deben ser atmicas y las relaciones entre estas crean jerarquas que permiten un anlisis jerrquico de los datos. Un ejemplo de esto es el Tiempo, que es dividido en tres dimensiones. Da, Mes y Ao. Cada uno es una dimensin distinta, pero relacionadas jerrquicamente en una relacin de 1 a muchos, que permite el anlisis del Hecho, por das, meses o aos, o la combinacin de ellos. Esto da al traste con las acostumbradas (OLTP) que manejan el Tiempo como una propiedad de una entidad, y lo tratan como un todo. Por lo que, como podemos inferir de aqu: en muchos casos har falta convertir las bases de datos de estos sistemas a la nueva filosofa. SQL Server tiene facilidades para esto llamadas DTS (Data Transformation Services) que permite leer datos desde cualquier SGBDR que posea un driver ODBC o implemente la nueva tecnologa OLE DB de Microsoft.