Benchmarking El proceso del benchmarking consiste en comparar y medir operaciones para conocer el mejor de la clase.

A partir de dicha comparacin se puede identificar, aprender y aplicar las prcticas ms efectivas para mejorar ciertos productos, procesos o capacidades. El benchmarking no se limita nicamente para analizar las organizaciones, ms bien se utiliza como instrumento para analizar organismos que desarrollan un proceso de gestin estratgica de forma similar. As, en la prctica el benchmarking permite posicionar a una empresa, idea, programa o servicio. El concepto de benchmarking surgi en los aos 80 en las operaciones industriales de Xerox para examinar sus costos unitarios. En las primeras etapas el benchmarking eran comparaciones de calidad y las caractersticas del producto hasta que en los aos 90 se convirti en una herramienta gerencial que ayudara el desempeo de las organizaciones. Los primeros autores en documentar y conceptualizar el trmino benchmarking fueron Robert C. Camp y Michael J. Spendolini. Para Camp las prcticas o procesos son evaluados comparativamente para mejorar el conocimiento e identificar procesos mejorados. (1) Un estudio de Benchmarking bsicamente puede tener tres objetivos: 1. Identificar las particularidades de los productos o servicios ofrecidos por la competencia que atraen positivamente al consumidor. 2. Descubrir mejores procesos productivos y administrativos que puedan integrarse a la organizacin para hacerla ms competitiva. 3. Reunir toda informacin para desarrollar un proceso de reingeniera, e insertar medidas de desempeo para admitirlas a las metas y objetivos de la organizacin.[18]

El objetivo final del benchmarking es convertirse en el mejor de su clase. [23]

Identificacin

Conocimiento Sistematizacin

Adaptacin

Mejora Continua

Proceso conceptual bsico de benchmarking

No existen muchos antecedentes sobre la evaluacin de algoritmos de minera de datos pero existen autores que desarrollaron indicadores y frameworks para la evaluacin de las herramientas. Cabe destacar que cada herramienta es empleada para un conjunto de tareas, pero no existe un acuerdo en la literatura en cuanto a qu actividades son realizadas por los diferentes algoritmos (2) (3). Debido a que varios de ellos pueden realizar un mismo anlisis, es necesario evaluar el rendimiento de estos en base a un conjunto de indicadores. Estos indicadores son propuestos por Castaeda y Rodrguez (4) y han surgido a partir de Mena (5), Berson y Smith (3); y son los siguientes: Precisin, Claridad, Utilidad, Generalidad, Adaptabilidad, Facilidad de construccin, Rapidez, Gestin de memoria, Robustez, Validacin y Disponibilidad. Otro autor, Ken Collier et all (6) propone una metodologa para la evaluacin de herramientas de minera de datos en su paper A Methodology for Evaluating and Selecting Data Mining Software, documento del cual se parti como base para la elaboracin del presente benchmarking. En el paper se desarrolla un framework CDI (Center for Data Insight) para la evaluacin de herramientas de minera de datos y la aplicacin prctica del mismo. Este framework consta de cuatro categoras con criterios para la evaluacin: Rendimiento, Funcionalidad, Usabilidad y Soporte de actividades auxiliares. Para el benchmarking de reglas de asociacin y reglas de clasificacin, se han tomado varios criterios de evaluacin en base a las fuentes analizadas, dividida en tres categoras que son la Funcionalidad, Usabilidad y Rendimiento. La ponderacin de los criterios A los criterios evaluadores se les asigna un peso llamada ponderacin de modo que la ponderacin total sea igual a 100% o 1.00 y se debe llevar a cabo con respecto al uso previo del algoritmo.

Escala de Ponderacin La escala de ponderacin que se estableci para cada criterio es por nivel de importancia considerado en determinada organizacin. Por ejemplo, suponga que en una organizacin cuyo almacn de datos est ubicado en un servidor Windows NT, y cuya red de rea local se compone exclusivamente de estaciones de trabajo Windows NT, es probable que se asigne una ponderacin baja al tem Variedad de plataformas porque no seria relevante que la herramienta funcione o no en otra plataforma.

La ponderacin puede ser representada en porcentajes o por su equivalencia en nmeros decimales como sigue: Nivel de Importancia Mxima Alta Media Baja Ponderacin (%) 20% - 16% 15% - 11% 10% - 6% 5% - 1% Ponderacin 0.20 0.16 0.15 0.11 0.10 0.06 0.05 0.01

Mxima: el criterio es imprescindible para cumplir con el objetivo de la organizacin. Alta: es un criterio bsico, tiene gran influencia en el cumplimiento de los objetivos. Media: el criterio influye en el cumplimiento de los objetivos. Baja: el criterio no influye de gran manera en el cumplimiento de los objetivos. Una vez que los criterios hayan sido ponderados con respecto a un conjunto de necesidades especficas, los algoritmos podrn ser puntuados para las comparaciones.

Items a evaluar 1. Tiempo de ejecucin

Indicadores El algoritmo obtiene un resultado en un tiempo razonable relativo al tamao de los datos, la limitacin de hardware y otras variables.

Ponderacin 14 Alta

Justificacin El objetivo de un algoritmo es resolver un determinado problema y para que esto sea satisfactorio es necesario obtener esa solucin lo ms rpido posible, por eso el tiempo que toma obtener un resultado es muy importante en la evaluacin.

2. Manejo de memoria

Cantidad y manejo apropiado de variables para gestionar adecuadamente la memoria.

14 Alta

El manejo de memoria es un factor crucial en la evaluacin de los algoritmos para que el rendimiento sea el ms ptimo posible.

3. Complejidad

Es importante que el algoritmo no realice un gran nmero de operaciones.

14 Alta

La complejidad de un algoritmo es muy importante porque de la misma depende el tiempo de ejecucin del algoritmo.

4. Robustez ante ruido El algoritmo cuenta con alguna tcnica para el manejo de ruido.

14 Alta

Los ruidos son errores en los datos, como ser monto de sueldo negativo, por eso es muy importante que el algoritmo utilice algn mtodo en el manejo de ruido para obtener resultados de calidad.

5. Manejo de valores faltantes

El algoritmo utiliza mtodos para resolver los datos incompletos.

6 Media

Es importante que un algoritmo pueda resolver por medio de algn mtodo los valores faltantes pero en caso que no cuente con un mtodo ya establecido, el problema se puede

resolver por medio de un preprocesamiento. 6. Manejo de atributos Es posible trabajar con atributos discretos y continuos. 6 Media Si un algoritmo admite atributos continuos y discretos facilita la rapidez en la obtencin de resultados y su comprensin pues no ser necesario aplicar ningn preprocesamiento a los datos. 7. Resultados apropiados Los resultados obtenidos son acorde a lo esperado o a lo requerido. 20 Mxima Es fundamental que el algoritmo obtenga el resultado que el cliente requiere para poder cumplir con los objetivos deseados. 8. Validacin de resultados Existe algn mtodo que valide los resultados obtenidos. 6 Media Que el algoritmo posea algn mtodo que valide los resultados influye en el cumplimiento de los objetivos porque brinda la confianza de que son o no los adecuados para el problema. 9. Problemas que resuelve El algoritmo resuelve varios tipos de problemas y se adecua a las necesidades. 6 Media Si adems de resolver el problema especfico planteado en este trabajo, el algoritmo resuelve otro tipo de problemas y brinda la opcin de obtener varias soluciones desde diferentes enfoques puede influir en la comprensin de una solucin.

1. 2. 3. 4. 5. 6. 7. 8.

Validacin de resultados Resultados (Son apropiados para el problema? % de aciertos y errores) Problemas que pueden solucionarse con un algoritmo Manejo de atributos (continuo discreto) Tiempo de ejecucin o Complejidad del algoritmo (Complejidad Temporal) Manejo de memoria (Complejidad Espacial) (http://latecladeescape.com/articulos/1515-que-es-la-complejidad-de-un-algoritmo) Es robusto ante ruidos Complejidad o Eficiencia?? ( O grande ) (vamos a contar las instrucciones que debe realizar el algoritmo. Supondremos que cada instruccin se ejecuta en un tiempo constante. Nos podemos permitir esa simplificacin porque lo que realmente queremos saber es cmo crece el nmero de instrucciones necesarias para resolver el problema con respecto a la talla del problema. Eso es realmente la complejidad. http://latecladeescape.com/articulos/1515-que-es-la-complejidad-de-un-algoritmo) 9. Rendimiento?? 10. Eficiencia: mide el uso efectivo de los recursos de cmputo y resulta una mtrica de calidad

Bibliografa
1. Leiva, Francisco Muoz. Benchmarking y marketing estratgico de ciudades. Granada : s.n., 2003. 2. Berry, M.J.A y Linoff, G. Data mining techniques: for Marketing, Sales and Customer Support . Nueva York : John Wiley & Sons, Inc. , 1997. 3. Berson, A y Smith, S.J. Data Warehousing, Data Mining, & OLAP. Nueva York : McGraw-Hill, 1997. 4. Castaera, Jos Alberto y Rodrguez, Miguel Angel. La Minera de Datos como Herramienta de Marketing: Delimitacin y Medidas de Evaluacin del Resultado. 5. Mena, J. Data Mining your Website. Boston : Digital Press, 1999. 6. Collier, Ken, y otros, y otros. A Methodology for Evaluating and Selecting Data Mining Software. 1999. 7. Britos, Paola, y otros, y otros. Mineria de Datos basada en Sistemas Inteligentes 1ra ed. . Argentina : Nueva Libreria SRL, 2005. 8. Morales, Cristbal Romero. Aplicacin de tcnicas de adquisicin de conocimiento para la mejora de cursos hipermedia adaptativos basados en web. Tesis doctoral. Universidad de Granada : s.n., 2003. 9. Feature Selection for Large Scale Data by Combining Class Association Rule Mining and Information Gain: a Hybrid Approach. Balamuruga, y otros, y otros. India : Internetworking Indonesia Journal , 2009, Vol. Vol 1/No2. 10. Microsoft TechNet. TechNet Microsoft. Prueba y validacion de Mineria de Datos. [En lnea] [Citado el: 17 de Julio de 2012.] http://technet.microsoft.com/es-es/library/ms174493.aspx. 11. Pyle, Dorian. Data Preparation for Data Mining. s.l. : Morgan Kaufmann Publishers, 1999. 12. Agrawal, R. y Srikant, R. Fast algorithms for mining association rules. Santiago, Chile : s.n., 1994. 13. Mercobich, Eduardo. Gaiasur. Ponencia sobre Diseo de Interfaces y Usabilidad: cmo hacer productos ms tiles, eficientes y seductores. [En lnea] 1999. [Citado el: 17 de Julio de 2012.] http://www.gaiasur.com.ar/infoteca/siggraph99/diseno-de-interfaces-y-usabilidad.html#notas-alpie. 14. Oracle. Java SE Technologies - Database. Java DB. [En lnea] [Citado el: 17 de Julio de 2012.] http://www.oracle.com/technetwork/java/javase/jdbc/index.html.

15. Weka The University of Waikato. Weka. Weka 3: Data Mining Software in Java. [En lnea] The University of Waikato. [Citado el: 17 de Julio de 2012.] 16. Cabena, P., y otros, y otros. Discovering Data Mining: from Concept to Implementation. Upper Saddle River NJ : Prentice Hall, 1997. 17. Herramienta Software para el anlisis de canasta de mercado sin seleccin de candidatos. Cuervo, Roberto C. Naranjo y Sierra, Luz M. 2009, Revista de Ingeniera e Investigacin, pgs. 6068. 18. http://www.slideshare.net/chaviz/benchmarking-3460174