Taller 2.2 - La Calidad de Los Datos - Limpieza y Anonimización - UNDESA - DPADM

Taller 2.
2: La calidad de
los datos, limpieza y
anonimizacin
Capacitacin Sustantiva en
Datos Abiertos de Gobierno para el Desarrollo Sostenible
19-23 de Octubre, 2015
Ciudad de Panam, Panam
Anonimizacin de los
datos
Datos Abiertos de Gobierno para el
Desarrollo Sostenible, Panam
Conceptos generales
Dato personal: toda informacin de cualquier

tipo, referida a personas fsicas o jurdicas,
determinadas o determinables.
Dato sensible: datos personales del origen racial

y tnico, preferencias polticas, convicciones
religiosas o morales, informaciones referentes a la
salud, vida sexual y similares.
Anonimizacin de datos: tratamientos de datos

personales que permiten que la informacin
obtenida no pueda vincularse a una persona de
terminada o determinable.
Informacin pblica: toda la informacin en

poder, producida u obtenida por las
organizaciones del sector pblico, con
independencia del soporte en que est.

Datos susceptibles a la
apertura
Toda la informacin en poder de las
instituciones del sector pblico
Que no sea dato personal

Que no sea secreto o reserva nacional
Temas que deben ser regulados con la

ley de acceso a la informacin y la ley
de proteccin de datos personales.
Casos generales en que los datos

personales se pueden abrir
Cuando haya consentimiento previo del titular

Cuando se trate de funciones internas del
Estado
Cuando haya una relacin contractual y la
informacin sea necesaria para la ejecucin
Cuando se hayan anonimizado
Proceso de anonimizacin
Los nombres, domicilios, telfonos, origen

racial, opiniones polticas, vida sexual y
similares se deben:
-
Suprimir, o
Anonimizarse
AA contra BB
Calle XX N 0000
Jos Gmez contra Mara Prez
=
Telfono N 0000000
Calle Rondeau N 1000
=
xxxx@xxx.xxx
Telfono N 29000000
=
AA es afiliado al
Correo jgomez@mmm.com
=
gremio ZZ
Jos es afiliado al gremio aduanero =
Ejemplo prctico
-
Otro caso
Se pueden publicar datos personales cuando

son funcionarios pblicos y la informacin
est relacionada con las razones de su funcin
Cmo se resuelve?...
Nombre
Ronald Carter
Puesto
Presidente CTP
Nombre
Ronald Carter
Telfono
2256-1560
Puesto
Presidente CTP
Telfono de Domicilio
2220-3680
Telfono
2256-1560
Telfono de Domicilio
0000-0000
Previo a la apertura de datos

siempre
Se debe realizar un proceso de
anominizacin
Se debe evaluar la posibilidad de reidentificacin de los datos
anonimizados
Se debe evaluar el impacto de la
proteccin de datos, cuando esta se
est publicando
Calidad de los
Datos
Qu es la calidad?
Qu es la calidad de los
datos?
Aunque la calidad no pueda ser
definida, uno sabe lo que es (Robert
Pirsig, filsofo)
Los MODELOS DE CALIDAD son guas
que nos permiten definir que es la
calidad de datos en cierto contexto
Existen diversos problemas con el

ingreso y registro de los datos
Nuestros conjuntos de datos tienen
problemas:
Errores de digitacin
Registros intercambiados
Sin normalizacin
Incompletos
Desactualizados
Inconsistentes
Ejercicio 1:
Cules errores puede encontrar?
Cod
Ttulo
Director
Ao Cantversiones
Ultimo-aoversion
Casablanca
Weir
1942
1940
La sociedad de los
poetas muertos
Curtiz
1989
NULL
Vacaciones en Rma
Wylder
1953
NULL
Sabrina
NULL
1964
1995
Ejercicio 1:

error de
digitacin
registros
inconsistentes
intercambiados
Cod
Ttulo
Director
Ao Cantversiones
Ultimo-aoversion
Casablanca
Weir
1942
1940
La sociedad de los
poetas muertos
Curtiz
1989
NULL
Vacaciones en Rma
Wylder
1953
NULL
Sabrina
NULL
1964
1985
incompletos
desactualizados
Existen diversos problemas con el

ingreso y registro de los datos
Nuestros conjuntos de datos pueden tener
an ms problemas:
Forma de presentacin
Exclusividad/Carcter nico
Referencias incorrectas
Duplicados
Integridad
Ejercicio 2:

forma de
presentaci
n
duplicados
Cod
Nombre
Residencia
Nacimient
o
Celular
Cod.
Postal
1234
John Miller
Berln
1972
786-4511
98693
1234
Garcia, Daniel
Berln
1999
786-4511
98693
1235
Ronald Carter
BRD
1983
567-3211
55555
exclusividad,
carcter
nico
referencias
incorrectas
integridad
Gestin de la calidad de los

datos
Estimacin
de la calidad
Monitoreo de la calidad
Modelo de
calidad
Medicin y
evaluacin
Limpieza
Data profiling
Anlisis de
procesos de
negocios
involucrados
Anlisis de causas de
mala calidad
Rediseo
del sistema
Modelo de calidad de datos

El modelo de calidad de datos
representa nuestra definicin de
calidad.
Est formado por
Dimensiones y
factores a medir
Mtricas y mtodos
dnde estas se aplican
Metadatos de
calidad dnde se
registran los resultados
de la medicin
Qu evalo?
Cmo evalo?
Qu result?
Cmo se construye un modelo de calidad

de datos?
Enfoques:
Desde los requerimientos de usuarios
- Defino datos prioritarios
Desde los datos

- Realizo data profiling para conocer los datos
y sus problemas
Desde objetivos de la organizacin

- Mtodo goal-question-metric
Dimensiones
Qu evalo?
Son muchas y variadas segn la

literatura, estas son tres comunes
Exactitud: grado en que los datos estn

correctos y libres de errores
Frescura: grado en que los datos estn

suficientemente actualizados para la tarea
en cuestin
Completitud: grado en que no hay datos

faltantes, y son de profundidad y amplitud
suficiente para la tarea en cuestin
Dimensiones: Exactitud
Factores para exactitud:
Correccin sintctica
Hay errores de formato o de escritura?
Precisin
El nivel de detalle es el adecuado?
Consistencia
Hay restricciones de integridad en mis
datos?
Dimensiones: Frescura
Factores para frescura:
Edad
Qu tan viejos son los datos respecto a su
creacin?
Actualidad
Los datos reflejan la realidad actual?
Dimensiones: Completitud
Factores para completitud:
Cobertura
Qu porcin de la realidad est
representada en estos datos? Estn todos?
Densidad
Qu porcin de datos vacos o nulos hay?
Estos nulos tienen un significado?
Cmo evalo?
Mtricas
Las mtricas
indican
cmo se
cuantifica un
factor de
dimensin
Los mtodos
indican
cmo se
calcula la
mtrica.
Dimensin
Completitud
Factor
Densidad (nulos)
Mtrica
Cuantificar los atributos nulos
Mtodo
Si el atributo es nulo se obtiene 1,

y se obtiene 0 en caso contrario
Resultado
Metadatos de la calidad del

conjunto de datos
Qu result?
Ejercicio 3:
Construya su modelo de calidad de datos

1. Conformen grupos de 2-3 personas
2. Definan un perfil, unos como productores
y otros como consumidores de datos
3. Seleccionen un conjunto de datos
especfico
4. Identifiquen problemas o errores comunes
con esos datos (data profiling)
5. Propongan al menos 3 factores de
dimensiones de calidad y describan cmo
los van a evaluar
6. Compartan los resultados con todos
Ejercicio 3:
Construya su modelo de calidad de datos

Exactitud
Correccin sintctica
Precisin
Consistencia
Frescura
Edad
Actualidad
Completitud
Cobertura
Densidad
Herramientas para la limpieza y

correccin de datos
OpenRefine:
- Herramienta open source que soporta datos
de diferentes tipos
- Permite hacer tareas de data profiling
- Permite consolidar y transformar datos
(limpieza y correccin)
- http://openrefine.org/
Muchas gracias
David Zamora, Consultor International
UNDESA/DPADM
davidzb06@gmail.com
Vctor Daz, ANTAI
vdiaz@antai.gob.pa
Proyecto OGD UNDESA
http://bit.ly/DPADM-OGDProject
Gua de OGDCE
http://bit.ly/OGDCE-Guidelines
Este taller
http://www.unpan.org/OGD-NST-Panama
Estas diapositivas
http://bit.ly/CapacitacionSustantivaDAGPanama

Taller 2.2 - La Calidad de Los Datos - Limpieza y Anonimización - UNDESA - DPADM

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Taller 2.2 - La Calidad de Los Datos - Limpieza y Anonimización - UNDESA - DPADM

Загружено:

Авторское право:

Доступные форматы

Taller 2.

Dato personal: toda informacin de cualquier

Dato sensible: datos personales del origen racial

Anonimizacin de datos: tratamientos de datos

Informacin pblica: toda la informacin en

Datos Abiertos de Gobierno para el

Que no sea dato personal

Temas que deben ser regulados con la

Casos generales en que los datos

Cuando haya consentimiento previo del titular

Los nombres, domicilios, telfonos, origen

Se pueden publicar datos personales cuando

Previo a la apertura de datos

Existen diversos problemas con el

Cules errores puede encontrar?

Cules errores puede encontrar?

Existen diversos problemas con el

Cules errores puede encontrar?

Gestin de la calidad de los

Modelo de calidad de datos

Cmo se construye un modelo de calidad

Desde los datos

Desde objetivos de la organizacin

Son muchas y variadas segn la

Exactitud: grado en que los datos estn

Frescura: grado en que los datos estn

Completitud: grado en que no hay datos

Cuantificar los atributos nulos

Si el atributo es nulo se obtiene 1,

Metadatos de la calidad del

Construya su modelo de calidad de datos

Construya su modelo de calidad de datos

Herramientas para la limpieza y

Vctor Daz, ANTAI

Proyecto OGD UNDESA

Вам также может понравиться