Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

Minera de Datos - Aprendizaje de Maquina: Clasicadores

David H. vila Jaimes Universidad Central 6 de Mayo de 2012

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Aprendizaje de Maquina Y Minera de Datos

Minera de Datos

El datamining (minera de datos), es el conjunto de tcnicas y tecnologas que permiten explorar grandes bases de datos, de manera automtica o semiautomtica, con el objetivo de encontrar patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Aprendizaje de Maquina Y Minera de Datos

Minera de Datos

Bsicamente la minera de datos surge para intentar ayudar a comprender el contenido de un repositorio de datos. Con este n, hace uso de prcticas estadsticas y, en algunos casos, de algoritmos de bsqueda prximos a la Inteligencia Articial y a las redes neuronales. Clave: Extraccin de conocimiento a partir de fuentes masivas de datos.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

Algoritmos de Aprendizaje

Aprendizaje de Maquina Y Minera de Datos

Aprendizaje

El origen del aprendizaje de maquina es tratar de emular algunas funciones del cerebro humano por lo tanto es importante entender el concepto de aprendizaje. Segn Wikipedia

El aprendizaje es el proceso a travs del cual se adquieren o modican habilidades, destrezas, conocimientos, conductas o valores como resultado del estudio, la experiencia, la instruccin, el razonamiento y la observacin.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

Algoritmos de Aprendizaje

Aprendizaje de Maquina Y Minera de Datos

Aprendizaje de Maquina

Aprendizaje de Mquina es una rama de la Inteligencia articial cuyo objetivo es desarrollar tcnicas que permitan a las computadoras aprender. De forma ms concreta, se trata de crear programas capaces de generalizar comportamientos a partir de una informacin no estructurada suministrada en forma de ejemplos. Es, por lo tanto, un proceso de induccin del conocimiento.

El aprendizaje de maquina es es una emulacin de varias caractersticas humanas mediante tcnicas, algoritmos y tecnologas que buscan proveer de un conocimiento articial a un sistema que puede o no ser capaz de construir nuevos criterios o reglas de aprendizaje.
David H. vila Jaimes Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

Algoritmos de Aprendizaje

Aprendizaje de Maquina Y Minera de Datos

Aprendizaje de Maquina

Un sistema de aprendizaje que es capaz de aprender se basa en los siguientes parmetros:

T: Tareas P: Desempeo E: Experiencia

Se dice que un programa aprende de una experiencia E con respecto a una clase de tareas T y medida de desempeo P, si su desempeo en las tareas T, de acuerdo con la medida P, mejora con la experiencia E.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

Algoritmos de Aprendizaje

Aprendizaje de Maquina Y Minera de Datos

Aprendizaje de Maquina

Sin embargo un sistema puede mantener invariable su conocimiento en este caso el origen de su experiencia se puede basar solamente en el entrenamiento asistido por un experto, es decir no cambia su comportamiento a travs del tiempo (esto curiosamente contradice una caracterstica intrnseca del cerebro humano).

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Aprendizaje de Maquina

Algoritmos de Aprendizaje

Ejemplo

Caso: Aprender a jugar tiro al blanco (Ambiente natural) Tarea: Lanzar dardos Desempeo: Porcentaje de lanzamientos acertados Experiencia: Base de datos de variables de lanzamiento y sus resultados

clasicados.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Aprendizaje de Maquina

Algoritmos de Aprendizaje

Algoritmos de Aprendizaje

Algunos tipos o taxonomas de algoritmos de aprendizaje son: Aprendizaje Supervisado Produce una funcin que establece una correspondencia entre las entradas y las salidas deseadas del sistema. Un ejemplo de este tipo de algoritmo es el problema de clasicacin, donde el sistema de aprendizaje trata de etiquetar (clasicar) una serie de vectores utilizando una entre varias categoras (clases). La base de conocimiento del sistema est formada por ejemplos de etiquetados anteriores.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Aprendizaje de Maquina

Algoritmos de Aprendizaje

Algoritmos de Aprendizaje

Aprendizaje No supervisado Todo el proceso de modelado se lleva a cabo sobre un conjunto de ejemplos formado tan slo por entradas al sistema. No se tiene informacin sobre las categoras de esos ejemplos. Por lo tanto, en este caso, el sistema tiene que ser capaz de reconocer patrones para poder etiquetar las nuevas entradas.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Aprendizaje de Maquina

Algoritmos de Aprendizaje

Algoritmos de Aprendizaje

Aprendizaje Semi-supervisado Este tipo de algoritmos combinan los dos algoritmos anteriores para poder clasicar de manera adecuada. Se tiene en cuenta los datos marcados y los no marcados.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Aprendizaje de Maquina

Algoritmos de Aprendizaje

Algoritmos de Aprendizaje

Aprendizaje por refuerzo El algoritmo aprende observando el mundo que le rodea. Su informacin de entrada es el feedback o retroalimentacin que obtiene del mundo exterior como respuesta a sus acciones. Por lo tanto, el sistema aprende a base de ensayo-error.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Clasicadores

Denicin

Es un elemento o sistema que proporciona una clase etiquetada como salida a partir de un conjunto de caractersticas tomadas como entradas.

Es un elemento o sistema encargado de establecer una conexin entre un grupo de instancias conocidas y otras que no, en general debe predecir el comportamiento de una instancia desconocida.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Clasicadores

Cmo se pueden construir?

Tomando un conjunto de ejemplos etiquetados y tratar de denir una regla que pueda asignar una etiqueta a cualquier otro dato de entrada. ** Ensayando todas las opciones posibles y el resultado consecuente. **
En general [**]Los clasicadores se basan en

un algoritmo asociado estas dos caractersticas modelan las

particularidades de un clasicador.

un tipo de aprendizaje

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

K-NN

K- Nearest Neighbors

El Algoritmo de los K vecinos ms cercanos corresponde a la categora de aprendizaje supervisado y se puede aplicar a las temticas de nuestro curso de visin por computador considerando que para cada caso: Se conocen las clases existentes en el problema. Se conoce la clase concreta a la que pertenece cada objeto del conjunto de datos.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

K-NN

Funcionamiento
El Algoritmo KNN clasica una instancia desconocida dentro de las clases establecidas (entrenamiento) basandoce en la ubicacin de la misma en un espacio establecido por los atributos de las clases conocidas, es decir etiqueta la instancia nueva de acuerdo a su proximidad y similitud con k instancias.

Figura: Espacio de clasicacin

David H. vila Jaimes Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

K-NN

Ejemplo # 1
Segn el espacio de clasicacin anterior si una nueva instancia ? debiera ser clasicada con un K=3

Figura: K=3, Instancia ? desconocida

Si no se considera ninguna variante del algoritmo la nueva instancia se clasicara en la clase B. David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

K-NN

Ejemplo # 2
Segn el espacio de clasicacin anterior si una nueva instancia ? debiera ser clasicada con un K=3

Figura: K=3, Instancia ? desconocida

Si no se considera ninguna variante del algoritmo la nueva instancia se clasicara en la clase A [

mas por el valor de K que por similitud].

Minera de Datos - Aprendizaje de Maquina

David H. vila Jaimes

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

K-NN

Ejemplo # 3
Para evitar errores al seleccionar un valor para K se pueden asignar pesos a los vecinos en su orden de proximidad

Figura: K=3, Instancia ? desconocida, manejo de pesos

Con esta variante de pesos la nueva instancia se clasicara en la clase C .

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

K-NN

Ejemplo # 4
Segn el espacio de clasicacin anterior si una nueva instancia ? debiera ser clasicada con un K=3

Figura: K=3, Instancia ? desconocida, manejo de pesos

Si no se considera ninguna variante del algoritmo la nueva instancia se clasicara en la clase B . David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
K-NN

Ventajas

+ Factores positivos Es un algoritmos de baja complejidad. Con valores adecuados de K (>1) se obtienen buenos rendimientos incluso considerando ruido en las instancias de aprendizaje. Permite mltiples y simples modicaciones que se adaptan a problemas especcos.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
K-NN

Ventajas

- Factores Negativos Es poco eciente en memoria ya que requiere tener almacenada toda la data de entrenamiento. Existen algoritmos con mayor tasa relativa de acierto por ejemplo redes neuronales. Permite mltiples y simples modicaciones que se adaptan a problemas especcos.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
K-NN

Implementacin WEKA

Para cada contexto se requiere de un conjunto de datos (dataset), este conjunto de ejemplos se divide en dos subconjuntos:

Entrenamiento: Utilizado para aprender el clasicador. 2 Test: Se usa para validarlo. Weka es un proyecto de la universidad de waikato en Nueva
1
Zelanda que permite usar entre otros el algoritmo KNN para crear y probar clasicadores.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
K-NN

Implementacin WEKA

Este documento se acompaa de un vdeo-tutorial que muestra como crear y probar un clasicador usando la implementacin disponible en Weka (IBK) , El caso del ejemplo es la identicacin de personas mediante rostros usando descriptores de textura [Momentos de Haralick], sin embargo el procedimiento es el mismo para otro tipo de descriptores. Vdeo tutorial: http://www.youtube.com/watch?v=JyhIpsYX3v4

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Mtricas de Evaluacin y Desempeo

Existen mtricas que permiten evaluar la  calidad de un clasicador as como estimar su calidad respecto a otros. Las siguientes son las principales mtricas de evaluacin y se orientan principalmente a los resultados:

Precisin (porcentaje de casos clasicados correctamente). Sensibilidad (la probabilidad de que una evento sea detectada
cuando realmente ocurre).

Especicidad (es el complemento de la sensibilidad). Eciencia (tiempo necesario para construir/usar el

clasicador).

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Mtricas de Evaluacin y Desempeo

Las siguientes son las principales mtricas de evaluacin orientadas a la construccin del clasicador y la eleccin de los algoritmos: Robustez (frente a ruido y valores nulos). Escalabilidad (utilidad en grandes bases de datos) .

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Mtricas de Evaluacin y Desempeo

Para evaluar las mtricas se deben considerar sobre los resultados de la clasicacin los siguientes parmetros:

PV: Positivos verdaderos NV: Negativos verdaderos FP: Falsos positivos FN: Falsos negativos

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Mtricas de Evaluacin y Desempeo

Matriz de Confusin

Los parmetros anteriores se pueden obtener de la matriz de confusin propia de los resultados.

Figura: Matriz de confusin, Clases a,b y c.

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Mtricas de Evaluacin y Desempeo

Para la clase c con base en la matriz de confusin anterior (50 instancias para c, 150 en total):

PV: Positivos verdaderos 46 NV: Negativos verdaderos (50+47)= 97 FP: Falsos positivos 4 FN: Falsos negativos 3

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo
Mtricas de Evaluacin y Desempeo

Mtricas

Formulas

Precisin: PV / (PV+FP) Sensibilidad: PV / (PV+FN) Especicidad: NV / (NV+FP)

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina

Minera de Datos Aprendizaje de Maquina Clasicadores Caso de Estudio [VC 2012-1] Mtricas de Evaluacin y Desempeo

Bibliografa

http://www.sinnexus.com/business_intelligence/datamining.aspx http://es.wikipedia.org/wiki/Aprendizaje http://dis.unal.edu.co/~fgonza/courses/2007-I/ml/ml-01-introduction.pdf http://es.wikipedia.org/wiki/Aprendizaje_autom %C3 %A1tico http://www.it.uc3m.es/jvillena/irc/practicas/08-09/06.pdf http://www.info-ab.uclm.es/asignaturas/42633/material/tema9-imprimir.pdf http://www.academicos.ccadet.unam.mx/fernando.arambula/aim-tema-2.2.pdf

David H. vila Jaimes

Minera de Datos - Aprendizaje de Maquina