Universidad Nacional del Nordeste Facultad de Ciencias Exactas, Naturales y Agrimensura Trabajo de Adscripcin

Minera de Datos

Adscripta: Soa J. Vallejos - L.U.: 37.032 Materia: Diseo y Administracin de Datos Director: Mgter. David Luis la Red Martnez Licenciatura en Sistemas de Informacin Corrientes - Argentina 2006

ii

ndice General
1 Inteligencia de Negocios 1.1 Business Intelligence . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Qu es Business Intelligence? . . . . . . . . . . . . . . . . . . . 1.3 Componentes de Business Intelligence . . . . . . . . . . . . . . 2 Introduccin 2.1 Descubrimiento de Conocimiento 2.2 Concepto del KDD . . . . . . . . 2.2.1 Metas . . . . . . . . . . . 2.3 Relacin con otras disciplinas . . 2.4 El proceso de KDD . . . . . . . . en Bases de . . . . . . . . . . . . . . . . . . . . . . . . . . . . Datos (KDD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . de Datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 3 5 5 6 7 8 8 11 11 12 13 15 16 17 17 17 18 18 19 19 19 20 21

3 Mineria de Datos - Data Mining 3.1 Conceptos e Historia . . . . . . . . . . . . . . . . . 3.1.1 Los Fundamentos del Data Mining . . . . . 3.2 Principales caractersticas y objetivos de la Minera 3.3 El Alcance de Data Mining . . . . . . . . . . . . . 3.4 Una arquitectura para Data Mining . . . . . . . .

4 Fases de un Proyecto de MD y Aplicaciones de Uso 4.1 Fases de un Proyecto de Minera de Datos . . . . . . . 4.1.1 Filtrado de datos . . . . . . . . . . . . . . . . . 4.1.2 Seleccin de variables . . . . . . . . . . . . . . 4.1.3 Algoritmos de Extraccin de Conocimiento . . 4.1.4 Interpretacin y evaluacin . . . . . . . . . . . 4.2 Aplicaciones de Uso . . . . . . . . . . . . . . . . . . . 4.2.1 En el Gobierno: . . . . . . . . . . . . . . . . . . 4.2.2 En la Empresa . . . . . . . . . . . . . . . . . . 4.2.3 En la Universidad . . . . . . . . . . . . . . . . iii

iv

NDICE GENERAL

4.2.4 4.2.5

En Investigaciones Espaciales . . . . . . . . . . . . . . . En los Clubes Deportivos . . . . . . . . . . . . . . . . .

22 23

5 Extensiones del Data Mining 25 5.1 Web mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5.2 Text mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 6 Conclusin 29

Bibliografa

31

ndice de Figuras
1.1 2.1 2.2 4.1 Ilustracin del B.I. . . . . . . . . . . . . . . . . . . . . . . . . . Jerarqua del Conocimiento. . . . . . . . . . . . . . . . . . . . . Proceso de KDD . . . . . . . . . . . . . . . . . . . . . . . . . . Fases del Proyecto de M.D. . . . . . . . . . . . . . . . . . . . . 3 7 9 18

Captulo 1

Inteligencia de Negocios
1.1 Business Intelligence

Algo peor que no tener informacin disponible es tener mucha informacin y no saber qu hacer con ella. La Inteligencia de Negocios o Business Intelligence (BI) es la solucin a ese problema, pues por medio de dicha informacin puede generar escenarios, pronsticos y reportes que apoyen a la toma de decisiones, lo que se traduce en una ventaja competitiva. La clave para BI es la informacin y uno de sus mayores benecios es la posibilidad de utilizarla en la toma de decisiones. En la actualidad hay una gran variedad de software de BI con aplicaciones similares que pueden ser utilizados en las diferentes reas de la empresa, tales como, ventas, marketing, nanzas, etc. Son muchas las empresas que se han beneciado por la implementacin de una sistema de BI, adems se pronostica que con el tiempo se convertir en una necesidad de toda empresa. En este nuevo mundo, la informacin reina arma Georey A. Moore, Director de Chasm Group. Vivimos en una poca en que la informacin es la clave para obtener una ventaja competitiva en el mundo de los negocios. Para mantenerse competitiva una empresa, los gerentes y tomadores de decisiones requieren de un acceso rpido y fcil a informacin til y valiosa de la empresa. Una forma de solucionar este problema es por medio del uso de Business Intelligence o Inteligencia de Negocios. 1

CAPTULO 1. INTELIGENCIA DE NEGOCIOS

1.2

Qu es Business Intelligence?

La Inteligencia de Negocios o Business Intelligence (BI) se puede denir como el proceso de analizar los bienes o datos acumulados en la empresa y extraer una cierta inteligencia o conocimiento de ellos. Dentro de la categora de bienes se incluyen las bases de datos de clientes, informacin de la cadena de suministro, ventas personales y cualquier actividad de marketing o fuente de informacin relevante para la empresa. BI apoya a los tomadores de decisiones con la informacin correcta, en el momento y lugar correcto, lo que les permite tomar mejores decisiones de negocios. La informacin adecuada en el lugar y momento adecuado incrementa efectividad de cualquier empresa. La tecnologa de BI no es nueva, ha estado presente de varias formas por lo menos en los ltimos 20 aos, comenzando por generadores de reportes y sistemas de informacin ejecutiva en los 80s Arma Candice Goodwin . Entindase como sinnimos de tecnologa de BI los trminos aplicaciones, soluciones o software de inteligencia de negocios. Para comprender mejor el concepto se sita el siguiente ejemplo. Una franquicia de hoteles a nivel nacional que utiliza aplicaciones de BI para llevar un registro estadstico del porcentaje promedio de ocupacin del hotel, as como los das promedio de estancia de cada husped, considerando las diferencias entre temporadas. Con esta informacin ellos pueden: Calcular la rentabilidad de cada hotel en cada temporada del ao. Determinar quin es su segmento de mercado. Calcular la participacin de mercado de la franquicia y de cada hotel. Identicar oportunidades y amenazas. Estas son slo algunas de las formas en que una empresa u organizacin se puede beneciar por la implementacin de software de BI, hay una gran variedad de aplicaciones o software que brindan a la empresa la habilidad de analizar de una forma rpida por qu pasan las cosas y enfocarse a patrones y amenazas. En la gura 1.1 de la pgina 3 se ilustra lo antes mencionado.

1.3. COMPONENTES DE BUSINESS INTELLIGENCE

Figura 1.1: Ilustracin del B.I.

1.3

Componentes de Business Intelligence

Todas las soluciones de BI tienen funciones parecidas, pero deben de reunir al menos los siguientes componentes: Multidimensionalidad: la informacin multidimensional se puede encontrar en hojas de clculo, bases de datos, etc. Una herramienta de BI debe de ser capaz de reunir informacin dispersa en toda la empresa e incluso en diferentes fuentes para as proporcionar a los departamentos la accesibilidad, poder y exibilidad que necesitan para analizar la informacin. Por ejemplo, un pronstico de ventas de un nuevo producto en varias regiones no est completo si no se toma en cuenta tambin el comportamiento histrico de las ventas de cada regin y la forma en que la introduccin de nuevos productos se ha desarrollado en cada regin en cuestin. Data Mining: Las empresas suelen generar grandes cantidades de informacin sobre sus procesos productivos, desempeo operacional, mercados y clientes. Pero el xito de los negocios depende por lo general de la habilidad para ver nuevas tendencias o cambios en las tendencias. Las aplicaciones de data mining pueden identicar tendencias y comportamientos, no slo para extraer informacin, sino tambin para descubrir las relaciones en bases de datos que pueden identicar comportamientos

CAPTULO 1. INTELIGENCIA DE NEGOCIOS

que no muy evidentes. Agentes: Los agentes son programas que piensan. Ellos pueden realizar tareas a un nivel muy bsico sin necesidad de intervencin humana. Por ejemplo, un agente pueden realizar tares un poco complejas, como elaborar documentos, establecer diagramas de ujo, etc. Data Warehouse: Es la respuesta de la tecnologa de informacin a la descentralizacin en la toma de decisiones. Coloca informacin de todas las reas funcionales de la organizacin en manos de quien toma las decisiones. Tambin proporciona herramientas para bsqueda y anlisis.

Captulo 2

Introduccin
2.1 Descubrimiento de Conocimiento en Bases de Datos (KDD)

En los ltimos aos, ha existido un gran crecimiento en nuestras capacidades de generar y colectar datos, debido bsicamente al gran poder de procesamiento de las mquinas como a su bajo costo de almacenamiento. Sin embargo, dentro de estas enormes masas de datos existe una gran cantidad de informacin oculta, de gran importancia estratgica, a la que no se puede acceder por las tcnicas clsicas de recuperacin de la informacin. El descubrimiento de esta informacin oculta es posible gracias a la Minera de Datos (Data Mining), que entre otras sosticadas tcnicas aplica la inteligencia articial para encontrar patrones y relaciones dentro de los datos permitiendo la creacin de modelos, es decir, representaciones abstractas de la realidad, pero es el descubrimiento del conocimiento (KDD, por sus siglas en ingls) que se encarga de la preparacin de los datos y la interpretacin de los resultados obtenidos, los cuales dan un signicado a estos patrones encontrados. As el valor real de los datos reside en la informacin que se puede extraer de ellos, informacin que ayude a tomar decisiones o mejorar nuestra comprensin de los fenmenos que nos rodean. Hoy, ms que nunca, los mtodos analticos avanzados son el arma secreta de muchos negocios exitosos. Empleando mtodos analticos avanzados para la explotacin de datos, los negocios incrementan sus ganancias, maximizan la eciencia operativa, reducen 5

CAPTULO 2. INTRODUCCIN

costos y mejoran la satisfaccin del cliente

2.2

Concepto del KDD

De forma general, los datos son la materia prima bruta. En el momento que el usuario les atribuye algn signicado especial pasan a convertirse en informacin. Cuando los especialistas elaboran o encuentran un modelo, haciendo que la interpretacin de la informacin y ese modelo representen un valor agregado, entonces nos referimos al conocimiento. En la gura 2.1 de la pgina 7 se ilustra la jerarqua que existe en una base de datos entre datos, informacin y conocimiento. Se observa igualmente el volumen que presenta en cada nivel y el valor que los responsables de las decisiones le dan en esa jerarqua. El rea interna dentro del tringulo representa los objetivos que se han propuesto. La separacin del tringulo representa la estrecha unin entre dato e informacin, no as entre la informacin y el conocimiento. La capacidad de generar y almacenar informacin creci considerablemente en los ltimos tiempos, se ha estimado que la cantidad de datos en el mundo almacenados en bases de datos se duplica cada 20 meses. Es as que hoy las organizaciones tienen gran cantidad de datos almacenados y organizados, pero a los cuales no les pueden analizar ecientemente en su totalidad. Con las sentencias SQL se puede realizar un primer anlisis, aproximadamente el 80% de la informacin se obtiene con estas tcnicas. El 20% restante, que la mayora de las veces, contiene la informacin ms importante, requiere la utilizacin de tcnicas ms avanzadas. El Descubrimiento de Conocimiento en Bases de Datos (KDD) apunta a procesar automticamente grandes cantidades de datos para encontrar conocimiento til en ellos, de esta manera permitir al usuario el uso de esta informacin valiosa para su conveniencia. El KDD es el Proceso no trivial de identicar patrones vlidos, novedosos, potencialmente tiles y, en ltima instancia, comprensibles a partir de los datos . (Fallad et al., 1996) El objetivo fundamental del KDD es encontrar conocimiento til, vlido,

2.2. CONCEPTO DEL KDD

Figura 2.1: Jerarqua del Conocimiento. relevante y nuevo sobre un fenmeno o actividad mediante algoritmos ecientes, dadas las crecientes rdenes de magnitud en los datos. Al mismo tiempo hay un profundo inters por presentar los resultados de manera visual o al menos de manera que su interpretacin sea muy clara. Otro aspecto es que la interaccin humano-mquina deber ser exible, dinmica y colaboradora. El resultado de la exploracin deber ser interesante y su calidad no debe ser afectada por mayores volmenes de datos o por ruido en los datos. En este sentido, los algoritmos de descubrimiento de informacin deben ser altamente robustos.

2.2.1

Metas

Las metas del KDD son: Procesar automticamente grandes cantidades de datos crudos. Identicar los patrones ms signicativos y relevantes. Presentarlos como conocimiento apropiado para satisfacer las metas del usuario.

CAPTULO 2. INTRODUCCIN

2.3

Relacin con otras disciplinas

KDD nace como interfaz y se nutre de diferentes disciplinas: Sistemas de informacin / bases de datos: tecnologas de bases de datos y bodegas de datos, maneras ecientes de almacenar, accesar y manipular datos. Estadstica, aprendizaje automtico / IA (redes neuronales, lgica difusa, algoritmos genticos, razonamiento probabilstico): desarrollo de tcnicas para extraer conocimiento a partir de datos. Reconocimiento de patrones: desarrollo de herramientas de clasicacin. Visualizacin de datos: interfaz entre humanos y datos, y entre humanos y patrones. Computacin paralela / distribuida: cmputo de alto desempeo, mejora de desempeo de algoritmos debido asu complejidad y a la cantidad de datos. Interfaces de lenguaje natural a bases de datos.

2.4

El proceso de KDD

El proceso de KDD consiste en usar mtodos de minera de datos(algoritmos) para extraer (identicar) lo que se considera como conocimiento de acuerdo a la especicacin de ciertos parmetros usando una base de datos junto con preprocesamientos y post-procesamientos.En la gura2.2 de la pagina 9se ilustra el proceso de KDD. Se estima que la extraccin de patrones (minera) de los datos ocupa solo el 15% - 20% del esfuerzo total del proceso de KDD. El proceso de descubrimiento de conocimiento en bases de datos involucra varios pasos: Determinar las fuentes de informacin: que pueden ser tiles y dnde conseguirlas.

2.4. EL PROCESO DE KDD

Figura 2.2: Proceso de KDD Disear el esquema de un almacn de datos (Data Warehouse): que consiga unicar de manera operativa toda la informacin recogida. Implantacin del almacn de datos: que permita la navegacin y visualizacin previa de sus datos, para discernir qu aspectos puede interesar que sean estudiados. Esta es la etapa que puede llegar a consumir el mayor tiempo. Seleccin, limpieza y transformacin de los datos que se van a analizar: la seleccin incluye tanto una criba o fusin horizontal (las) como vertical (atributos).La limpieza y prepocesamiento de datos se logra diseando una estrategia adecuada para manejar ruido, valores incompletos, secuencias de tiempo, casos extremos (si es necesario), etc. Seleccionar y aplicar el mtodo de minera de datos apropiado: esto incluye la seleccin de la tarea de descubrimiento a realizar, por ejemplo, clasicacin, agrupamiento o clustering, regresin, etc. La seleccin de l o de los algoritmos a utilizar. La transformacin de los datos al formato requerido por el algoritmo especco de minera de datos. Y llevar a cabo el proceso de minera de datos, se buscan patrones que puedan

10

CAPTULO 2. INTRODUCCIN

expresarse como un modelo o simplemente que expresen dependencias de los datos, el modelo encontrado depende de su funcin (clasicacin) y de su forma de representarlo (rboles de decisin, reglas, etc.), se tiene que especicar un criterio de preferencia para seleccionar un modelo dentro de un conjunto posible de modelos, se tiene que especicar la estrategia de bsqueda a utilizar (normalmente est predeterminada en el algoritmo de minera) Evaluacin, interpretacin, transformacin y representacin de los patrones extrados: Interpretar los resultados y posiblemente regresar a los pasos anteriores. Esto puede involucrar repetir el proceso, quizs con otros datos, otros algoritmos, otras metas y otras estrategias. Este es un paso crucial en donde se requiere tener conocimiento del dominio. La interpretacin puede beneciarse de procesos de visualizacin, y sirve tambin para borrar patrones redundantes oirrelevantes. Difusin y uso del nuevo conocimiento. Incorporar el conocimiento descubierto al sistema (normalmente para mejorarlo) lo cual puede incluir resolver conictos potenciales con el conocimiento existente. El conocimiento se obtiene para realizar acciones, ya sea incorporndolo dentro de un sistema de desempeo o simplemente para almacenarlo y reportarlo a las personas interesadas. En este sentido, KDD implica un proceso interactivo e iterativo involucrando la aplicacin de varios algoritmos de minera de datos.

Captulo 3

Mineria de Datos - Data Mining

3.1 Conceptos e Historia

Aunque desde un punto de vista acadmico el trmino data mining es una etapa dentro de un proceso mayor llamado extraccin de conocimiento en bases de datos, (mencionado en el capitulo anterior) en el entorno comercial, as como en este trabajo, ambos trminos se usan de manera indistinta. Lo que en verdad hace el data mining es reunir las ventajas de varias reas como la Estadstica, la Inteligencia Articial, la Computacin Grca, las Bases de Datos y el Procesamiento Masivo, principalmente usando como materia prima las bases de datos. Una denicin tradicional es la siguiente: Un proceso no trivial de identicacin vlida, novedosa, potencialmente til y entendible de patrones comprensibles que se encuentran ocultos en los datos (Fayyad y otros, 1996). Desde el punto de vista empresarial , lo denimos como: La integracin de un conjunto de reas que tienen como propsito la identicacin de un conocimiento obtenido a partir de las bases de datos que aporten un sesgo hacia la toma de decisin (Molina y otros, 2001). La idea de data mining no es nueva. Ya desde los aos sesenta los estadsticos manejaban trminos como data shing, data mining o data archaeology con la idea de encontrar correlaciones sin una hiptesis previa en bases de datos con ruido. A principios de los aos ochenta, Rakesh Agrawal, Gio Wiederhold, Robert Blum y Gregory Piatetsky-Shapiro, entre otros, empezaron a 11

12

CAPTULO 3. MINERIA DE DATOS - DATA MINING

consolidar los trminos de data mining y KDD.[3] A nales de los aos ochenta slo existan un par de empresas dedicadas a esta tecnologa; en 2002 existen ms de 100 empresas en el mundo que ofrecen alrededor de 300 soluciones. Las listas de discusin sobre este tema las forman investigadores de ms de ochenta pases. Esta tecnologa ha sido un buen punto de encuentro entre personas pertenecientes al mbito acadmico y al de los negocios. El data mining es una tecnologa compuesta por etapas que integra varias reas y que no se debe confundir con un gran software. Durante el desarrollo de un proyecto de este tipo se usan diferentes aplicaciones software en cada etapa que pueden ser estadsticas, de visualizacin de datos o de inteligencia articial, principalmente. Actualmente existen aplicaciones o herramientas comerciales de data mining muy poderosas que contienen un sinfn de utileras que facilitan el desarrollo de un proyecto. Sin embargo, casi siempre acaban complementndose con otra herramienta. La data mining es la etapa de descubrimiento en el proceso de KDD: Paso consistente en el uso de algoritmos concretos que generan una enumeracin de patrones a partir de los datos preprocesados (Fayyad et al., 1996)Aunque se suelen usar indistintamente los trminos KDD y Minera de Datos.

3.1.1

Los Fundamentos del Data Mining

Las tcnicas de Data Mining son el resultado de un largo proceso de investigacin y desarrollo de productos. Esta evolucin comenz cuando los datos de negocios fueron almacenados por primera vez en computadoras, y continu con mejoras en el acceso a los datos, y ms recientemente con tecnologas generadas para permitir a los usuarios navegar a travs de los datos en tiempo real. Data Mining toma este proceso de evolucin ms all del acceso y navegacin retrospectiva de los datos, hacia la entrega de informacin prospectiva y proactiva. Data Mining est listo para su aplicacin en la comunidad de negocios porque est soportado por tres tecnologas que ya estn sucientemente maduras: Recoleccin masiva de datos. Potentes computadoras con multiprocesadores. Algoritmos de Data Mining.

3.2. PRINCIPALES CARACTERSTICAS Y OBJETIVOS DE LA MINERA DE DATOS13

Las bases de datos comerciales estn creciendo a un ritmo sin precedentes. Un reciente estudio del META GROUP sobre los proyectos de Data Warehouse encontr que el 19% de los que contestaron estn por encima del nivel de los 50 Gigabytes, mientras que el 59% espera alcanzarlo en el segundo trimestre de 1997. En algunas industrias, tales como ventas al por menor (retail), estos nmeros pueden ser an mayores. MCI Telecommunications Corp. cuenta con una base de datos de 3 terabytes + 1 terabyte de ndices y overhead corriendo en MVS sobre IBM SP2. La necesidad paralela de motores computacionales mejorados puede ahora alcanzarse de forma ms costo - efectiva con tecnologa de computadoras con multiprocesamiento paralelo. Los algoritmos de Data Mining utilizan tcnicas que han existido por lo menos desde hace 10 aos, pero que slo han sido implementadas recientemente como herramientas maduras, conables, entendibles que consistentemente son ms performantes que mtodos estadsticos clsicos. En la evolucin desde los datos de negocios a informacin de negocios, cada nuevo paso se basa en el previo. Por ejemplo, el acceso a datos dinmicos es crtico para las aplicaciones de navegacin de datos (drill through applications), y la habilidad para almacenar grandes bases de datos es crtica para Data Mining. Los componentes esenciales de la tecnologa de Data Mining han estado bajo desarrollo por dcadas, en reas de investigacin como estadsticas, inteligencia articial y aprendizaje de mquinas. Hoy, la madurez de estas tcnicas, junto con los motores de bases de datos relacionales de alta performance, hicieron que estas tecnologas fueran prcticas para los entornos de data warehouse actuales.

3.2

Principales caractersticas y objetivos de la Minera de Datos

Explorar los datos se encuentran en las profundidades de las bases de datos, como los almacenes de datos, que algunas veces contienen informacin almacenada durante varios aos. En algunos casos, los datos se consolidan en un almacn de datos y en mercados de datos; en otros, se mantienen en servidores de Internet e Intranet.

14

CAPTULO 3. MINERIA DE DATOS - DATA MINING

El entorno de la minera de datos suele tener una arquitectura clienteservidor. Las herramientas de la minera de datos ayudan a extraer el mineral de la informacin enterrado en archivos corporativos o en registros pblicos, archivados El minero es, muchas veces un usuario nal con poca o ninguna habilidad de programacin, facultado por barrenadoras de datos y otras poderosas herramientas indagatorias para efectuar preguntas adhoc y obtener rpidamente respuestas. Hurgar y sacudir a menudo implica el descubrimiento de resultados valiosos e inesperados. Las herramientas de la minera de datos se combinan fcilmente y pueden analizarse y procesarse rpidamente. Debido a la gran cantidad de datos, algunas veces resulta necesario usar procesamiento en paralelo para la minera de datos. La minera de datos produce cinco tipos de informacin: Asociaciones. Secuencias. Clasicaciones. Agrupamientos. Pronsticos. Los mineros de datos usan varias herramientas y tcnicas. La minera de datos es un proceso que invierte la dinmica del mtodo cientco en el siguiente sentido: En el mtodo cientco, primero se formula la hiptesis y luego se disea el experimento para coleccionar los datos que conrmen o refuten la hiptesis. Si esto se hace con la formalidad adecuada (cuidando cules son las variables controladas y cules experimentales), se obtiene un nuevo conocimiento. En la minera de datos, se coleccionan los datos y se espera que de ellos emerjan hiptesis. Se busca que los datos describan o indiquen por qu son

3.3. EL ALCANCE DE DATA MINING

15

como son. Luego entonces, se valida esa hiptesis inspirada por los datos en los datos mismos, ser numricamente signicativa, pero experimentalmente invlida. De ah que la minera de datos debe presentar un enfoque exploratorio, y no conrmador. Usar la minera de datos para conrmar las hiptesis formuladas puede ser peligroso, pues se est haciendo una inferencia poco vlida. La minera de datos es una tecnologa compuesta por etapas que integra varias reas y que no se debe confundir con un gran software. Durante el desarrollo de un proyecto de este tipo se usan diferentes aplicaciones software en cada etapa que pueden ser estadsticas, de visualizacin de datos o de inteligencia articial, principalmente. Actualmente existen aplicaciones o herramientas comerciales de minera de datos muy poderosas que contienen un sinfn de utileras que facilitan el desarrollo de un proyecto. Sin embargo, casi siempre acaban complementndose con otra herramienta.

3.3

El Alcance de Data Mining

El nombre de Data Mining deriva de las similitudes entre buscar valiosa informacin de negocios en grandes bases de datos - por ej.: encontrar informacin de la venta de un producto entre grandes montos de Gigabytes almacenados - y minar una montaa para encontrar una veta de metales valiosos. Ambos procesos requieren examinar una inmensa cantidad de material, o investigar inteligentemente hasta encontrar exactamente donde residen los valores. Dadas bases de datos de suciente tamao y calidad, la tecnologa de Data Mining puede generar nuevas oportunidades de negocios al proveer estas capacidades: Prediccin automatizada de tendencias y comportamientos. Data Mining automatiza el proceso de encontrar informacin predecible en grandes bases de datos. Preguntas que tradicionalmente requeran un intenso anlisis manual, ahora pueden ser contestadas directa y rpidamente desde los datos. Un tpico ejemplo de problema predecible es el marketing apuntado a objetivos (targeted marketing). Data Mining usa datos en mailing promocionales anteriores para identicar posibles objetivos para maximizar los resultados de la inversin en futuros mailing. Otros problemas predecibles incluyen pronsticos de problemas nancieros futuros y otras formas de incumplimiento, e identicar segmentos de poblacin que probablemente respondan similarmente a eventos dados.

16

CAPTULO 3. MINERIA DE DATOS - DATA MINING

Descubrimiento automatizado de modelos previamente desconocidos. Las herramientas de Data Mining barren las bases de datos e identican modelos previamente escondidos en un slo paso. Otros problemas de descubrimiento de modelos incluye detectar transacciones fraudulentas de tarjetas de crditos e identicar datos anormales que pueden representar errores de tipeado en la carga de datos. Las tcnicas de Data Mining pueden redituar los benecios de automatizacin en las plataformas de hardware y software existentes y puede ser implementadas en sistemas nuevos a medida que las plataformas existentes se actualicen y nuevos productos sean desarrollados. Cuando las herramientas de Data Mining son implementadas en sistemas de procesamiento paralelo de alta performance, pueden analizar bases de datos masivas en minutos. Procesamiento ms rpido signica que los usuarios pueden automticamente experimentar con ms modelos para entender datos complejos. Alta velocidad hace que sea prctico para los usuarios analizar inmensas cantidades de datos. Grandes bases de datos, a su vez, producen mejores predicciones.

3.4

Una arquitectura para Data Mining

Para aplicar mejor estas tcnicas avanzadas, stas deben estar totalmente integradas con el data warehouse as como con herramientas exibles e interactivas para el anlisis de negocios. Varias herramientas de Data Mining actualmente operan fuera del warehouse, requiriendo pasos extra para extraer, importar y analizar los datos. Adems, cuando nuevos conceptos requieren implementacin operacional, la integracin con el warehouse simplica la aplicacin de los resultados desde Data Mining. El Data warehouse analtico resultante puede ser aplicado para mejorar procesos de negocios en toda la organizacin, en reas tales como manejo de campaas promocionales, deteccin de fraudes, lanzamiento de nuevos productos, etc. El punto de inicio ideal es un data warehouse que contenga una combinacin de datos de seguimiento interno de todos los clientes junto con datos externos de mercado acerca de la actividad de los competidores. Informacin histrica sobre potenciales clientes tambin provee una excelente base para prospecting. Este warehouse puede ser implementado en una variedad de sistemas de bases relacionales y debe ser optimizado para un acceso a los datos exible y rpido.

Captulo 4

Fases de un Proyecto de MD y Aplicaciones de Uso

4.1 Fases de un Proyecto de Minera de Datos

Los pasos a seguir para la realizacin de un proyecto de minera de datos son siempre los mismos, independientemente de la tcnica especca de extraccin de conocimiento usada. En la sigiente gura 4.1 de la pagina 18 se ilustra las Fases del Proyecto de MD. El proceso de minera de datos pasa por las siguientes fases: Filtrado de datos. Seleccin de Variables. Extraccin de Conocimiento. Interpretacin y Evaluacin.

4.1.1

Filtrado de datos

El formato de los datos contenidos en la fuente de datos (base de datos, Data Warehouse...) nunca es el idneo, y la mayora de las veces no es posible ni siquiera utilizar ningn algoritmo de minera sobre los datos en bruto. 17

18CAPTULO 4. FASES DE UN PROYECTO DE MD Y APLICACIONES DE USO

Figura 4.1: Fases del Proyecto de M.D. Mediante el preprocesado, se ltran los datos (de forma que se eliminan valores incorrectos, no vlidos, desconocidos... segn las necesidades y el algoritmo a usar), se obtienen muestras de los mismos (en busca de una mayor velocidad de respuesta del proceso), o se reducen el nmero de valores posibles (mediante redondeo, clustering,...).

4.1.2

Seleccin de variables

An despus de haber sido preprocesados, en la mayora de los casos se tiene una cantidad ingente de datos. La seleccin de caractersticas reduce el tamao de los datos eligiendo las variables ms inuyentes en el problema, sin apenas sacricar la calidad del modelo de conocimiento obtenido del proceso de minera. Los mtodos para la seleccin de caractersticas son bsicamente dos: Aquellos basados en la eleccin de los mejores atributos del problema, Y aquellos que buscan variables independientes mediante tests de sensibilidad, algoritmos de distancia o heursticos.

4.1.3

Algoritmos de Extraccin de Conocimiento

Mediante una tcnica de minera de datos, se obtiene un modelo de conocimiento, que representa patrones de comportamiento observados en los valores

4.2. APLICACIONES DE USO

19

de las variables del problema o relaciones de asociacin entre dichas variables. Tambin pueden usarse varias tcnicas a la vez para generar distintos modelos, aunque generalmente cada tcnica obliga a un preprocesado diferente de los datos.

4.1.4

Interpretacin y evaluacin

Una vez obtenido el modelo, se debe proceder a su validacin, comprobando que las conclusiones que arroja son vlidas y sucientemente satisfactorias. En el caso de haber obtenido varios modelos mediante el uso de distintas tcnicas, se deben comparar los modelos en busca de aquel que se ajuste mejor al problema. Si ninguno de los modelos alcanza los resultados esperados, debe alterarse alguno de los pasos anteriores para generar nuevos modelos.

4.2

Aplicaciones de Uso

Cada ao, en los diferentes congresos, simposios y talleres que se realizan en el mundo se renen investigadores con aplicaciones muy diversas. Sobre todo en los Estados Unidos, el data mining se ha ido incorporando a la vida de empresas, gobiernos, universidades, hospitales y diversas organizaciones que estn interesadas en explorar sus bases de datos.

4.2.1

En el Gobierno:

El FBI analizar las bases de datos comerciales para detectar terroristas. A principios del mes de julio de 2002, el director del Federal Bureau of Investigation (FBI), John Aschcroft, anunci que el Departamento de Justicia comenzar a introducirse en la vasta cantidad de datos comerciales referentes a los hbitos y preferencias de compra de los consumidores, con el n de descubrir potenciales terroristas antes de que ejecuten una accin. Algunos expertos aseguran que, con esta informacin, el FBI unir todas las bases de datos probablemente mediante el nmero de la Seguridad Social y permitir saber si una persona fuma, qu talla y tipo de ropa usa, su registro de arrestos,

20CAPTULO 4. FASES DE UN PROYECTO DE MD Y APLICACIONES DE USO

su salario, las revistas a las que est suscrito, su altura y peso, sus contribuciones a la Iglesia, grupos polticos u organizaciones no gubernamentales, sus enfermedades crnicas (como diabetes o asma), los libros que lee, los productos de supermercado que compra, si tom clases de vuelo o si tiene cuentas de banco abiertas, entre otros. La inversin inicial ronda los setenta millones de dlares estadounidenses para consolidar los almacenes de datos, desarrollar redes de seguridad para compartir informacin e implementar nuevo software analtico y de visualizacin.

4.2.2

En la Empresa

Deteccin de fraudes en las tarjetas de crdito. En 2001, las instituciones nancieras a escala mundial perdieron ms de 2.000 millones de dlares estadounidenses en fraudes con tarjetas de crdito y dbito. El Falcon Fraud Manager es un sistema inteligente que examina transacciones, propietarios de tarjetas y datos nancieros para detectar y mitigar fraudes. En un principio estaba pensado, en instituciones nancieras de Norteamrica, para detectar fraudes en tarjetas de crdito. Sin embargo, actualmente se le han incorporado funcionalidades de anlisis en las tarjetas comerciales, de combustibles y de dbito. El sistema Falcon ha permitido ahorrar ms de seiscientos millones de dlares estadounidenses cada ao y protege aproximadamente ms de cuatrocientos cincuenta millones de pagos con tarjeta en todo el mundo -aproximadamente el sesenta y cinco por ciento de todas las transacciones con tarjeta de crdito. Descubriendo el porqu de la desercin de clientes de una compaa operadora de telefona mvil. Este estudio fue desarrollado en una operadora espaola que bsicamente situ sus objetivos en dos puntos: el anlisis del perl de los clientes que se dan de baja y la prediccin del comportamiento de sus nuevos clientes. Se analizaron los diferentes histricos de clientes que haban abandonado la operadora (12,6%) y de clientes que continuaban con su servicio (87,4%). Tambin se analizaron las variables personales de cada cliente (estado civil, edad, sexo, nacionalidad, etc.). De igual forma se estudiaron, para cada cliente, la morosidad, la frecuencia y el horario de uso del servicio, los descuentos y el porcentaje de llamadas locales, interprovinciales, internacionales y gratuitas. Al contrario de lo que se podra pensar, los clientes que abandonaban la operadora generaban ganancias

4.2. APLICACIONES DE USO

21

para la empresa; sin embargo, una de las conclusiones ms importantes radic en el hecho de que los clientes que se daban de baja reciban pocas promociones y registraban un mayor nmero de incidencias respecto a la media. De esta forma se recomend a la operadora hacer un estudio sobre sus ofertas y analizar profundamente las incidencias recibidas por esos clientes. Al descubrir el perl que presentaban, la operadora tuvo que disear un trato ms personalizado para sus clientes actuales con esas caractersticas. Para poder predecir el comportamiento de sus nuevos clientes se dise un sistema de prediccin basado en la cantidad de datos que se poda obtener de los nuevos clientes comparados con el comportamiento de clientes anteriores. Hbitos de compra en supermercados. Un estudio muy citado detect que los viernes haba una cantidad inusualmente elevada de clientes que adquiran a la vez paales y cerveza. Se detect que se deba a que dicho da solan acudir al supermercado padres jvenes cuya perspectiva para el n de semana consista en quedarse en casa cuidando de su hijo y viendo la televisin con una cerveza en la mano. El supermercado pudo incrementar sus ventas de cerveza colocndolas prximas a los paales para fomentar las ventas compulsivas, Prediciendo el tamao de las audiencias televisivas. La British Broadcasting Corporation (BBC) del Reino Unido emplea un sistema para predecir el tamao de las audiencias televisivas para un programa propuesto, as como el tiempo ptimo de exhibicin (Brachman y otros, 1996). El sistema utiliza redes neuronales y rboles de decisin aplicados a datos histricos de la cadena para determinar los criterios que participan segn el programa que hay que presentar. La versin nal se desempea tan bien como un experto humano con la ventaja de que se adapta ms fcilmente a los cambios porque es constantemente reentrenada con datos actuales.

4.2.3

En la Universidad

Conociendo si los recin titulados de una universidad llevan a cabo actividades profesionales relacionadas con sus estudios.

22CAPTULO 4. FASES DE UN PROYECTO DE MD Y APLICACIONES DE USO

Se hizo un estudio sobre los recin titulados de la carrera de Ingeniera en Sistemas Computacionales del Instituto Tecnolgico de Chihuahua II, en Mjico (Rodas, 2001). Se quera observar si sus recin titulados se insertaban en actividades profesionales relacionadas con sus estudios y, en caso negativo, se buscaba saber el perl que caracteriz a los exalumnos durante su estancia en la universidad. El objetivo era saber si con los planes de estudio de la universidad y el aprovechamiento del alumno se haca una buena insercin laboral o si existan otras variables que participaban en el proceso. Dentro de la informacin considerada estaba el sexo, la edad, la escuela de procedencia, el desempeo acadmico, la zona econmica donde tena su vivienda y la actividad profesional, entre otras variables. Mediante la aplicacin de conjuntos aproximados se descubri que existan cuatro variables que determinaban la adecuada insercin laboral, que son citadas de acuerdo con su importancia: zona econmica donde habitaba el estudiante, colegio de donde provena, nota al ingresar y promedio nal al salir de la carrera. A partir de estos resultados, la universidad tendr que hacer un estudio socioeconmico sobre grupos de alumnos que pertenecan a las clases econmicas bajas para dar posibles soluciones, debido a que tres de las cuatro variables no dependan de la universidad.

4.2.4

En Investigaciones Espaciales

Proyecto SKYCAT. Durante seis aos, el Second Palomar Observatory Sky Survey (POSS-II) coleccion tres terabytes de imgenes que contenan aproximadamente dos millones de objetos en el cielo. Tres mil fotografas fueron digitalizadas a una resolucin de 16 bits por pxel con 23.040 x 23.040 pxeles por imagen. El objetivo era formar un catlogo de todos esos objetos. El sistema Sky Image Cataloguing and Analysis Tool (SKYCAT) se basa en tcnicas de agrupacin (clustering) y rboles de decisin para poder clasicar los objetos en estrellas, planetas, sistemas, galaxias, etc. con una alta conabilidad (Fayyad y otros, 1996). Los resultados han ayudado a los astrnomos a descubrir diecisis nuevos qusars con corrimiento hacia el rojo que los incluye entre los objetos ms lejanos del universo y, por consiguiente, ms antiguos. Estos qusars son difciles de encontrar y permiten saber ms acerca de los orgenes del universo.

4.2. APLICACIONES DE USO

23

4.2.5

En los Clubes Deportivos

Los equipos de la NBA utilizan aplicaciones inteligentes para apoyar a su cuerpo de entrenadores. El Advanced Scout es un software que emplea tcnicas de data mining y que han desarrollado investigadores de IBM para detectar patrones estadsticos y eventos raros. Tiene una interfaz grca muy amigable orientada a un objetivo muy especco: analizar el juego de los equipos de la National Basketball Association (NBA). El software utiliza todos los registros guardados de cada evento en cada juego: pases, encestes, rebotes y doble marcaje (double team) a un jugador por el equipo contrario, entre otros. El objetivo es ayudar a los entrenadores a aislar eventos que no detectan cuando observan el juego en vivo o en pelcula. Un resultado interesante fue uno hasta entonces no observado por los entrenadores de los Knicks de Nueva York. El doble marcaje a un jugador puede generalmente dar la oportunidad a otro jugador de encestar ms fcilmente. Sin embargo, cuando los Bulls de Chicago jugaban contra los Knicks, se encontr que el porcentaje de encestes despus de que al centro de los Knicks, Patrick Ewing, le hicieran doble marcaje era extremadamente bajo, indicando que los Knicks no reaccionaban correctamente a los dobles marcajes. Para saber el porqu, el cuerpo de entrenadores estudi cuidadosamente todas las pelculas de juegos contra Chicago. Observaron que los jugadores de Chicago rompan su doble marcaje muy rpido de tal forma que podan tapar al encestador libre de los Knicks antes de prepararse para efectuar su tiro. Con este conocimiento, los entrenadores crearon estrategias alternativas para tratar con el doble marcaje. La temporada pasada, IBM ofreci el Advanced Scout a la NBA, que se convirti as en un patrocinador corporativo. La NBA dio a sus veintinueve equipos la oportunidad de aplicarlo. Dieciocho equipos lo estn haciendo hasta el momento obteniendo descubrimientos interesantes.

Captulo 5

Extensiones del Data Mining

5.1 Web mining

Una de las extensiones del data mining consiste en aplicar sus tcnicas a documentos y servicios del Web, lo que se llama web mining (minera de web) (Kosala y otros, 2000). Todos los que visitan un sitio en Internet dejan huellas digitales (direcciones de IP, navegador, galletas, etc.) que los servidores automticamente almacenan en una bitcora de accesos (log). Las herramientas de web mining analizan y procesan estos logs para producir informacin signicativa, por ejemplo, cmo es la navegacin de un cliente antes de hacer una compra en lnea. Debido a que los contenidos de Internet consisten en varios tipos de datos, como texto, imagen, vdeo, metadatos o hiperligas, investigaciones recientes usan el trmino multimedia data mining (minera de datos multimedia) como una instancia del web mining (Zaiane y otros, 1998) para tratar ese tipo de datos. Los accesos totales por dominio, horarios de accesos ms frecuentes y visitas por da, entre otros datos, son registrados por herramientas estadsticas que complementan todo el proceso de anlisis del web mining. Normalmente, el web mining puede clasicarse en tres dominios de extraccin de conocimiento de acuerdo con la naturaleza de los datos: Web content mining (minera de contenido web). Es el proceso que consiste en la extraccin de conocimiento del contenido de documentos o sus descripciones. La localizacin de patrones en el texto de los documen25

26

CAPTULO 5. EXTENSIONES DEL DATA MINING

tos, el descubrimiento del recurso basado en conceptos de indexacin o la tecnologa basada en agentes tambin pueden formar parte de esta categora. Web structure mining (minera de estructura web). Es el proceso de inferir conocimiento de la organizacin del WWW y la estructura de sus ligas. Web usage mining (minera de uso web). Es el proceso de extraccin de modelos interesantes usando los logs de los accesos al web. Algunos de los resultados que pueden obtenerse tras la aplicacin de los diferentes mtodos de web mining son: El ochenta y cinco por ciento de los clientes que acceden a la pgina home de productos y a la de noticias de la misma pgina acceden tambin a la pgina de historia. Esto podra indicar que existe alguna noticia interesante de la empresa que hace que los clientes se dirijan a historias de suceso. Igualmente, este resultado permitira detectar la noticia sobresaliente y colocarla quiz en la pgina principal de la empresa. El sesenta por ciento de los clientes que hicieron una compra en lnea en la pgina del producto 1 tambin compraron en la pgina del producto 4 despus de un mes. Esto indica que se podra recomendar en la pgina del producto 1 comprar el producto 4 y ahorrarse el costo de envo de este producto. Los anteriores ejemplos ayudan a formar una pequea idea de lo que se puede obtener. Sin embargo, en la realidad existen herramientas de mercado muy poderosas con mtodos variados y visualizaciones grcas excelentes.

5.2

Text mining

Estudios recientes indican que el ochenta por ciento de la informacin de una compaa est almacenada en forma de documentos. Sin duda, este campo de estudio es muy vasto, por lo que tcnicas como la categorizacin de texto, el procesamiento de lenguaje natural, la extraccin y recuperacin de la informacin o el aprendizaje automtico, entre otras, apoyan al text mining (minera

5.2. TEXT MINING

27

de texto). En ocasiones se confunde el text mining con la recuperacin de la informacin (Information Retrieval o IR) (Hearst, 1999). sta ltima consiste en la recuperacin automtica de documentos relevantes mediante indexaciones de textos, clasicacin, categorizacin, etc. Generalmente se utilizan palabras clave para encontrar una pgina relevante. En cambio, el text mining se reere a examinar una coleccin de documentos y descubrir informacin no contenida en ningn documento individual de la coleccin; en otras palabras, trata de obtener informacin sin haber partido de algo (Nasukawa y otros, 2001). Una aplicacin muy popular del text mining es relatada en Hearst (1999). Don Swanson intenta extraer informacin derivada de colecciones de texto. Teniendo en cuenta que los expertos slo pueden leer una pequea parte de lo que se publica en su campo, por lo general no se dan cuenta de los nuevos desarrollos que se suceden en otros campos. As, Swanson ha demostrado cmo cadenas de implicaciones causales dentro de la literatura mdica pueden conducir a hiptesis para enfermedades poco frecuentes, algunas de las cuales han recibido pruebas de soporte experimental. Investigando las causas de la migraa, dicho investigador extrajo varias piezas de evidencia a partir de ttulos de artculos presentes en la literatura biomdica. Algunas de esas claves fueron: El estrs est asociado con la migraa. El estrs puede conducir a la prdida de magnesio. Los bloqueadores de canales de calcio previenen algunas migraas. El magnesio es un bloqueador natural del canal de calcio. La depresin cortical diseminada (DCD) est implicada en algunas migraas. Los niveles altos de magnesio inhiben la DCD. Los pacientes con migraa tienen una alta agregacin plaquetaria. El magnesio puede suprimir la agregacin plaquetaria. Estas claves sugieren que la deciencia de magnesio podra representar un papel en algunos tipos de migraa, una hiptesis que no exista en la literatura y que Swanson encontr mediante esas ligas. De acuerdo con Swanson (Swanson y otros, 1994), estudios posteriores han probado experimentalmente esta hiptesis obtenida por text mining con buenos resultados.

Captulo 6

Conclusin
Nuestra capacidad para almacenar datos ha crecido en los ltimos aos a velocidades exponenciales. En contrapartida, nuestra capacidad para procesarlos y utilizarlos no ha ido a la par. Por este motivo, el data mining se presenta como una tecnologa de apoyo para explorar, analizar, comprender y aplicar el conocimiento obtenido usando grandes volmenes de datos. Descubrir nuevos caminos que nos ayuden en la identicacin de interesantes estructuras en los datos es una de las tareas fundamentales en el data mining. En el mbito comercial, resulta interesante encontrar patrones ocultos de consumo de los clientes para poder explorar nuevos horizontes. Saber que un vehculo deportivo corre un riesgo de accidente casi igual al de un vehculo normal cuando su dueo tiene un segundo vehculo en casa ayuda a crear nuevas estrategias comerciales para ese grupo de clientes. Asimismo, predecir el comportamiento de un futuro cliente, basndose en los datos histricos de clientes que presentaron el mismo perl, ayuda a poder retenerlo durante el mayor tiempo posible. Las herramientas comerciales de data mining que existen actualmente en el mercado son variadas y excelentes. Las hay orientadas al estudio del web o al anlisis de documentos o de clientes de supermercado, mientras que otras son de uso ms general. Su correcta eleccin depende de la necesidad de la empresa y de los objetivos a corto y largo plazo que pretenda alcanzar. La decisin de seleccionar una solucin de data mining no es una tarea simple. Es necesario consultar a expertos en el rea con vista a seleccionar la ms adecuada para el problema de la empresa. 29

30

CAPTULO 6. CONCLUSIN

Como se ha visto a lo largo del este artculo, son muchas las reas, tcnicas, estrategias, tipos de bases de datos y personas que intervienen en un proceso de data mining. Los negocios requieren que las soluciones tengan una integracin transparente en un ambiente operativo. Esto nos lleva a la necesidad de establecer estndares para hacer un ambiente interoperable, eciente y efectivo. Se exponen algunas iniciativas para estos estndares, incluyendo aspectos en: Modelos: para representar datos estadsticos y de data mining. Atributos: para representar la limpieza, transformacin y agregacin de atributos usados como entrada en los modelos. Interfaces y API: para facilitar la integracin con otros lenguajes o aplicaciones de software y API. Conguracin: para representar parmetros internos requeridos para construir y usar los modelos. Procesos: para producir, desplegar y usar modelos. Datos remotos y distribuidos: para analizar y explorar datos remotos y distribuidos. En resumen, el data mining se presenta como una tecnologa emergente, con varias ventajas: por un lado, resulta un buen punto de encuentro entre los investigadores y las personas de negocios; por otro, ahorra grandes cantidades de dinero a una empresa y abre nuevas oportunidades de negocios. Adems, no hay duda de que trabajar con esta tecnologa implica cuidar un sinnmero de detalles debido a que el producto nal involucra toma de decisiones.

Bibliografa
[1] Jhon Wiley Alan Simon and Sons. Data Warehouse, Data Mining and OLAP. USA, 1997. [2] Mc Graw Hill Alex Berson, Stephen J. Smith. Data Warehouse, Data Mining and OLAP. USA, 1997. [3] Mara Jos Ramrez Quintana Jos Hernndez Orallo. Extraccin Automtica de Conocimiento en Bases de Datos e Ingeniera del Software. Espaa, 2003. [4] IBM Press. IBM DB2 Intelligent Miner for Data: Utilizacin del Visualizador de Asociaciones. IBM Press, USA, 1999. [5] IBM Press. IBM DB2 Warehouse Manager Gua de Instalacin Version 7. IBM Press, USA, 2001. [6] IBM Press. IBM DB2 Intelligent Miner for Data: Utilizacin de Intelligent Miner for Data. IBM Press, USA, 2002. [7] IBM Press. IBM DB2 Intelligent Miner Visualization: Using the Intelligent Miner Visualizers. IBM Press, USA, 2002. [8] Colin J. White. IBM Enterprise Analytics for the Intelligent e-Business. IBM Press, USA, 2001.

31