Академический Документы
Профессиональный Документы
Культура Документы
Estamos en la era de la
calidad, y es esta la que
nos dar una ventaja
competitiva, en un mundo
globalizado
2
Aunque
Tiempo
3
Agenda
4
1 Evolucin de la calidad de los datos
5
Historia de la Calidad de Datos
6
Definiciones de Data Quality
www.wikipedia.org
7
Qu es la calidad de datos?
8
Evolucin de la Calidad de Datos y la Integracin
9
Impactos de Negocio
Riesgo en el cumplimiento normativas Riesgo competitivo
Sistema de gestin del riesgo Deteccin del fraude
Sistema de integracin del riesgo Riesgos legales (LOPD)
Riesgo en la inversin Otros riesgos
Riesgo
Mayor
Deteccin y correccin
Prevencin
Cobro ineficiente Reingeniera de procesos
Mala relacin con el cliente Penalizaciones
Prdida de oportunidades Incremento Sobrepagos
Prdida ingresos
Aumento de costes de Costes Recursos incrementados
Retrasos
Baja confianza
Cargas de trabajo
Tiempos de proceso
Falta de credibilidad
Forecasting incorrecto
Temor en toma decisiones
Reporting ineficiente
Menor predictabilidad
10
Quienes son los responsables del DQ las
organizaciones?
11
Futuro inmediato de la Calidad de Datos
12
Otros conceptos: Calidad de la Informacin
13
Otros conceptos: Calidad de Metadatos
14
En que momento se producen los errores
En la entrada de datos
(Data Entry)
Incorporacin de datos
externos
Errores de carga de los
sistemas
transaccionales
Migraciones de datos
15
Causas de la creciente mala Calidad de Datos
16
El impacto de la mala Calidad de Datos
Impide la Business Intelligence
Informes errneos, defectos en el anlisis
Costes de Gestin
Discrepancias entre aplicaciones puede requerir trabajos de reconciliacin
de registros
Incumplimiento de normativas
Regulaciones
Leyes: La calidad de datos es uno de los pilares fundamentales para el
cumplimiento de la LOPD
17
2 Calidad de datos en entornos analticos DWH
18
Reflejo de la mala calidad de los datos en el BI
19
DWH-BI
Through 2007, more than 50 percent of data warehouse projects will have
limited acceptance, or will be outright failures, as a result of a lack of
attention to data quality issues Gartner
La toma de decisiones basada en datos incorrectos puede generar
decisiones incorrectas.
Concepto: Calidad de la Informacin
Beneficios de la Calidad de Datos:
Mejora de la toma de decisiones
Aumento de la confianza de los usuarios
20
Soluciones de Calidad de Datos - Arquitectura
Cuadros de Mando
Calidad de Datos
Cliente
Aplicaciones
Servidor
Runtime
Runtime Bases de Datos
Repositorio
Realtime /
SOA
Soluciones
integracin
Diccionarios
21
La (r)evolucin, Calidad de Datos e Integracin
Desarrollo y gestin
Desarrollar y colaborar con un repositorio comn y metadatos compartidos
22
Calidad de Datos, Donde acta? ETQL
Almacena- Inteligencia
BBDD
Data Data Mart
Warehouse
Conciliacin fuentes
de datos
Datos no Sistemas
CRM Finanzas
estructurados Etc
externos
23
3 Cmo aplicar la calidad de datos?
24
Requerimientos de Calidad de Datos
Localizar relaciones
Limpieza, Perfilado, medicin y
entre registros, como Calidad de Datos para
estandarizacin, cuantificacin del
desduplicacin, cualquier rea
identificacin de datos impacto de la calidad
relacin de dos o ms incluyendo finanzas,
personales, como de datos, adems de
tablas, deteccin de control de gestin y
nombres, direcciones y su seguimiento y
unidades familiares o produccin
telfonos monitorizacin
corporativas,
25
Ciclo de vida de un proyecto de Calidad de Datos
Ciclo de vida
Fuentes Acceder Auditar Limpiar Entregar Destinos
Auditar para
3
conocer
6 Data Experts /
Owners definen implementar las
iniciativas de reglas
correccin 2
4 Informes
Definir reglas de
1 negocio para:
5 Data Experts /
Owners Conformidad
validan Consistencia
informes Normalizacin
Desduplicacin
26
Procesos de Calidad de Datos
Matching Perfilado de
Datos
Datos
Mejora de datos
Limpieza de Datos
27
Perfilado de datos
Perfilado de estructura
Perfilado de contenido
28
Perfilado de Estructura
29
Perfilado de Contenido
30
Etapas del Perfilado de Datos
Acceder Descubrir Limpiar Integrar Entregar
Nivel
Actividad
Perfilado P. Estructura P. Contenido P.P.Estructura
Estructura
Tipo de
Actividad Descubrimiento Anlisis de Contenido Anlisis de estructura Monitorizacin
31
Perfilado de datos, indicadores de calidad
32
Ejemplo Datos de Cliente
ID_CLI CLIENTE TIPO DIRECCION CIUDAD POST PAIS ESTADO TELEFONO VENTAS ULT_PED
763113 Avalon Asesores S.L. Emp Espa#a Inactivo 713452118 0 12/12/2004
763114 DEUTSCHE BANK GROUP Emp Ronda General Mitre 72-74 Barcelona 08017 Espaa Activo 936531223 45700 01/03/2006
763115 Julin Garca Ruiz Part C/ Fco Surez 21 Valladolid 99999 Espaa Activo 983211245 79200 01/02/2006
763116 BMW Emp Calle Eduardo Dato 8, 1A Madrid 28010 Espaa Activo 914567321 0 18/07/2003
763117 Manuel Fernandez Garca Part Calle Velez Rubio 2, 5izd Madrid 08033 Espaa Activo 914669822 6950 26/02/2006
763118 Ramn Alfonso Gutierrez Part Avda Diagonal 133 Barcelona 08012 Espaa Activo 93566321 32080 08/08/2006
763119 Electrolux Group Emp Castellana 125 Madrid 28017 Espaa Inactivo 916778229 0 05/03/2004
763120 ENDESA Emp Ribera del Loira, 60 Madrid 28027 Espaa Activo 915448488 5000 06/03/2006
763121 FORD MOTOR Emp Bilbao 48002 Espaa Inactivo N/D 0 07/07/2004
763122 Grupo FERROVIAL Emp Lpez de Hoyos, 35 Madrid 28002 Espaa Activo 916513450/51
763123 DEUTSCHE BANK Emp Ronda General Mitre 72 Barcelona 08017 Espaa Activo 936531225 41200 16/02/2006
763124 Euromaster S.A. Emp Bolivia 18 Zaragoza 50010 Espaa Inactivo 973214566 01/08/2005
763125 Arcosa Sociedad Annima Emp JOSE LANDAZURI 15, BJ Vitoria 01008 Espaa
763126 Banco Popular Part SALVADOR ASPIAZU, 12 Vitoria-Gazteiz 01008 Espaa Activo 942113566 500 05/04/2006
763127 VOLVO GROUP Emp CARROTA NAVARRETE, 31 Mlaga 29676 Spain Activo 954345543 54211 31/01/2006
763128 YAMAHA MOTOR IBERICA Part Almagro 37 Madrid 28012 Espaa Activo 913102919 05/12/2005
763129 Jorge Luis VILLAR TAPIAS Iturriaga 69 Bilbao 48004 Espaa Inactivo Ext 331 39020 04/04/2006
763130 BBVA Emp Ciruela 23, 4 Esc 2 Ciudad Real 13001 Espaa Activo 926521134 950 20/04/2006
763131 AXA AURORA Emp Castellana 131 28013 Espaa Inactivo 915411345 0
763132 Grupo Renault (Madrid) Emp Zurbano 3 Madrid 28010 Espaa Activo 913555219 7800 05/10/2005
763133 BANCO BILBAO VIZCAYA Emp Paseo de Recoletos 7 Madrid 28012 Espaa Activo 915442119 6700 02/03/2006
763134 Lunas y Cristales Lagari S.L. Emp DOCTOR NEQUI 10, 1 Andorra la Vella 00000 Andorra Activo 376828733 45000 30/11/2005
763135 El Corte Ingls Emp Calle Goya 4 Madrid 28011 Espaa Activo +34913455119 57890 13/04/2006
763136 ROCA Emp Av Industria 6 Alcobendas Madrid 28108 Espaa Activo 9186631234 4500 19/04/2006
763137 Mario Gomez Rey Emp Carlos III 20 Cordoba Espaa Activo 957525566 0 01/08/2005
763138 Luisa Garca Monteiro Part Arbotante 2, 5 1 Sevilla 28010 Espaa Activo 952114675 2500 21/01/2006
763139 Manuela Martn Lpez Emp Llobatona 6F Viladecans 08840 Espaa Inactivo 934566211 0 13/03/2003
33
Ejemplo datos de Producto
34
Ejemplo datos de Riesgo
35
For illustration purposes only.
Actual reports featured later in presentation
Capacidades de Reporting
36
Ejemplo Scorecard Calidad de Datos
37
Limpieza y Enriquecimiento de datos
Enriquecimiento de datos
Limpieza de Datos
38
Determinacin y separacin de Datos (parsing)
Nombre: Jos
1 Apellido: Rodrguez Dato s
Limpieza de Datos
39
Estandarizacin
Dato s
Limpieza de Datos
40
Correccin
Matching Perfilado de
Datos
Dato s
Limpieza de Datos
41
Enriquecimiento
Matching Perfilado de
Datos
Mejora de datos
Limpieza de Datos
42
Matching
43
Pre-Grouping
44
Matching Determinstico
Razn Social CIF CCC Direccin Telfono Poblacin
LABORATORIOS EVA 08070271716 SAN LUIS 90 3116311 Barcelona
ESPAOLA SL
{}
EVA SANT LLUIS 9 933116311
SI coincide(Razn) y coindice(calle) y
coincide(telfono) y noesdistinto(CIF)
entonces: Match positivo
45
Matching Probabilstico
Razn Social CIF CCC Direccin Telfono Poblacin
LABORATORIOS EVA 08070271716 SAN LUIS 90 3116311 Barcelona
ESPAOLA SL
SI media
ponderada>90%
92% entonces match
46
positivo
Consolidacin
consolidacin:
Mejora de datos
Registro Superviviente
Mejor Registro Limpieza de Datos
47
Mtodos de consolidacin
Registro
Superviviente
7 8
Mejor Registro
48
Un proceso iterativo
Matching Perfilado de
Datos
Datos
Mejora de datos
Limpieza de Datos
49
4 Otras reas de aplicacin
50
Aplicaciones del DQ en las compaas
Las principales tipologas de proyecto de DQ son:
Calidad de Datos asociada a un proyecto de integracin
DWH-BI
CRM
Data Mining
Migracin
Consolidacin
Sincronizacin
Entorno Financiero
Entornos de Marketing
Sistemas de Informacin Geogrfica
Gestin de Datos Maestros
Calidad de Datos Preventiva
51
Requerimientos por tipo proyecto
Data Governance
Marketing (mailshots)
EDQM
52
Conclusiones y recomendaciones
53
Resumen
En resumen:
54
Resumen Beneficios de la Calidad de Datos
Corrige errores de manera PROACTIVA e INDUSTRIALIZADA
Reduccin de costes: de gestin, de oportunidad, operacionales, etc
Proporciona una visin nica de los elementos de las bases de datos y da
visibilidad de las posibles agrupaciones que existan
Facilita el cumplimiento de normativas
Mejora el mantenimiento de clientes y del servicio ofrecido, adems da
confianza a los usuarios de la informacin
Reduce las ineficiencias operacionales
Maximiza el xito de las iniciativas y proyectos de Datawarehousing, CRM y BI
y por consiguiente se mejora la toma de decisiones
Aumenta el conocimiento de los datos y permite conocer dnde se estn
produciendo los errores
55
Gartner : Calidad de Datos
56
Los factores de xito
Tecnologa
Metodologa
Apoyo
57
Apoyo
58
Metodologa
59
Tecnologa
60
Previsin de la inversin en Calidad de Datos
Por Forrester Research, Inc.
62
63