EVALUACIN

Y CERTIFICACIN
DE LA CALIDAD
ESTADSTICA

Estrategia para el Fortalecimiento

Estadstico Territorial
 DEPARTAMENTO ADMINISTRATIVO
NACIONAL DE ESTADSTICA (DANE)

JORGE BUSTAMANTE R.
Director

CHRISTIAN JARAMILLO HERRERA

Subdirector

MARIO CHAMIE MAZILLO

Secretario General

Directores Tcnicos

EDUARDO EFRAN FREIRE DELGADO

Metodologa y Produccin Estadstica

LILIANA ACEVEDO ARENAS

Censos y Demografa

NELCY ARAQUE GARCA

Regulacin, Planeacin, Estandarizacin y Normalizacin

MIGUEL NGEL CRDENAS CONTRERAS

Geoestadstica

ANA VICTORIA VEGA ACEVEDO

Sntesis y Cuentas Nacionales

CAROLINA GUTIRREZ HERNNDEZ

Difusin, Mercadeo y Cultura Estadstica

Bogot, D. C., Noviembre, 2012

Direccin de Regulacin, Planeacin, Estandarizacin y
Normalizacin, DIRPEN

Nelcy Araque Garca

Coordinacin Tcnica: Zoraida Quintero Gmez

Equipo Tcnico: Jos Andrs Almanza, Adriana Marcela Escobar Se-

rrano, Claudia Milena Snchez, Hernando Trilleros Navarro, Mnica Pa-
tricia Pinzn Torres.

Revisin: Maria Teresa Rojas y Alexandra Rodrguez Romero

Diagramacin y Diseo: Julian Gonzlez Muoz

Edicin: Direccin de Difusin, Mercadeo y Cultura Estadstica

 CONTENIDO

PRESENTACIN 7
INTRODUCCIN 9

1. LA CALIDAD EN EL PROCESO ESTADSTICO 11

1.1. CONCEPTO DE CALIDAD ESTADSTICA 11
1.2. IMPORTANCIA DE LA CALIDAD ESTADSTICA 12
1.3. QU ES EVALUACIN Y CERTIFICACIN DEL PROCESO
ESTADSTICO 12
1.4. IMPORTANCIA DE LA EVALUACIN Y CERTIFICACIN DE
LA CALIDAD DEL PROCESO ESTADSTICO 13
1.5. BENEFICIOS DE LA EVALUACIN Y CERTIFICACIN DE
LA CALIDAD 14
1.6. A QUIN SE EVALA Y CERTIFICA 14

2. PROCESO DE EVALUACIN Y CERTIFICACIN 15

2.1. ESQUEMA DE LA EVALUACIN Y CERTIFICACIN
PARA COLOMBIA PROCESO DE EVALUACIN Y
CERTIFICACIN DE CALIDAD EN COLOMBIA 15
2.2. EQUIPO DE TRABAJO 17
2.3. ETAPAS DEL PROCESO DE EVALUACIN Y CERTIFICACIN
DE CALIDAD 17
2.3.1 Sensibilizacin. 18
2.3.2 Recoleccin. 19
2.3.3 Evaluacin. 20
2.3.4 Certificacin. 23
2.3.5 Seguimiento integral. 24

GLOSARIO 27
BIBLIOGRAFA 31

El Departamento Administrativo
Nacional de Estadstica (DANE),
como coordinador del Sistema
Estadstico Nacional (SEN) y en
el marco del proyecto de Planifi-
cacin y Armonizacin Estadstica,
dise la Estrategia para el For-
talecimiento Estadstico Territo-
rial (EFET). Esta busca mejorar
el conocimiento de la actividad
estadstica y los procesos de pro-
duccin autnoma de estadsticas
territoriales bajo los estndares
definidos por el DANE que, a su
vez, se fundamentan en experien-
cias y desarrollos internacionales
relativos a la aplicacin de los
principios fundamentales de Na-
ciones Unidas para las estadsticas
oficiales.
Esta iniciativa promueve la ca-
pacidad tcnica de las entidades
territoriales para la organizacin
y la produccin de informacin
estadstica de calidad, mediante
acciones que permitan articular
esfuerzos, apropiar a los actores
territoriales y fomentar la partici-
pacin en la produccin y difusin
de las estadsticas de los muni-
cipios y departamentos. Con ella
se dan a conocer los instrumentos
clave para la gestin y el forta-
lecimiento de la capacidad tcnica
EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA
PRESENTACIN
para el desarrollo de la actividad
estadstica y se propicia una me-
jor comprensin de la realidad
econmica, social, demogrfica y
ambiental.
El propsito de la EFET se desarrol-
la a travs de la divulgacin, sensi-
bilizacin y capacitacin en instru-
mentos que apoyan la produccin
estadstica con calidad y permiten
un mejor aprovechamiento de las
estadsticas territoriales. La estrate-
gia brinda material pedaggico y
capacita mediante seminarios a
diversos funcionarios de goberna-
ciones y alcaldas. Estas acciones
contribuyen al desarrollo de la in-
formacin territorial y, por tanto,
del Sistema Estadstico Nacional.
El DANE, a travs de la EFET, pone
a disposicin del pas una serie de
cuadernillos denominados Her-
ramientas estadsticas para una
gestin territorial ms efectiva.
Estos documentos elevan la ca-
pacidad tcnica y organizativa de
las entidades territoriales, para
el mejoramiento de los procesos
estadsticos y con ello optimizar
la calidad de la informacin es-
tadstica que estas producen.
7
 INTRODUCCIN

Las estadsticas oficiales desem- seguimiento integral. Esta secuen-

pean un papel importante en el
pas en la medida que contribuyen
para que las entidades territoriales
y los sectores econmico, social y
ambiental mejoren la calidad en
la formulacin, la evaluacin y el
seguimiento de las polticas, los
planes y los programas pblicos y
privados.
cia est orientada a medir, evaluar
y mejorar la calidad de la produc-
cin estadstica.
El presente documento expone el
proceso de evaluacin y certifi-
cacin del proceso estadstico, su
importancia, beneficios y productos.

El DANE orienta sus esfuerzos al

fortalecimiento de la calidad de
las estadsticas oficiales a travs
del proceso de evaluacin y certi-
ficacin de la calidad del proceso
estadstico con el fin de determi-
nar el grado de conformidad con
los requisitos de calidad definidos
para el SEN, elevar la calidad y el
rigor metodolgico y tcnico, cu-
ando ello se requiera, y certificar
las operaciones estadsticas que
evidencien su conformidad con los
requisitos de calidad.

El proceso de evaluacin en op-

eraciones se lleva a cabo para los
siguientes tipos de operaciones
estadsticas: censos, muestreos y
registros administrativos con apr-
ovechamiento estadstico. A su
vez, dicho proceso consta de cinco
etapas: sensibilizacin, recolec-
cin, evaluacin, certificacin y

EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA

9
1 LA CALIDAD EN EL PROCESO ESTADSTICO
1.1. CONCEPTO DE
CALIDAD ESTADSTICA
La calidad en las estadsticas ofi-
ciales se define como el conjunto
de propiedades que debe tener
tanto el proceso como el produc-
to estadstico para satisfacer las
necesidades de informacin de los
usuarios y las partes interesadas.
Con la evolucin del concepto de
calidad surge la iniciativa de pro-
mover el desarrollo de estndares
internacionales para facilitar el in-
tercambio de bienes y servicios.
El concepto de calidad en las es-
tadsticas oficiales ha sido tra-
bajado en distintos organismos
como la Oficina de Estadsticas de
la Comisin Europea (Eurostat),
la Organizacin para la Cooper-
acin y el Desarrollo Econmico
(OCDE) y la Oficina de Estadsti-
cas de la Organizacin de las Na-
ciones Unidas (ONU) as como en
diferentes institutos nacionales de
estadstica, con el objeto de incre-
mentar la credibilidad y el uso de
las estadsticas oficiales.
La literatura existente sobre el
concepto de calidad y su aplica-
bilidad en el trabajo de los insti-
tutos nacionales de estadstica
EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA
sita a Eurostat como promotor de
avances relevantes. Esta determin
que son relevantes en el mbito
de la calidad de las estadsticas
oficiales: la orientacin hacia el
usuario; los conocimientos sobre
la metodologa estadstica; los as-
pectos particulares y los atributos
de las estadsticas, y la satisfaccin
del usuario1.
La OCDE, por su parte, considera
la calidad como la adecuacin
para el uso en trminos de las
necesidades de los usuarios. Esta
definicin es ms amplia que la
anterior, la cual se equiparaba
con el concepto de exactitud, ya
que considera las perspectivas de
uso, las prioridades y necesidades
de los distintos grupos de usuarios
de las estadsticas oficiales.
En la actualidad, se tienen en cuenta
diferentes aspectos que hacen parte
de la calidad en la actividad es-
tadstica. Estos son: la oportunidad,
la accesibilidad, la interpretabili-
dad, la relevancia, la coherencia, la
exactitud y la comparabilidad.
1
Vale precisar que esta conceptualizacin tiene
en cuenta el enfoque de la calidad establecido por
la Organizacin Internacional de Estandarizacin
(ISO), que entiende la calidad como la totalidad
de las funciones o caractersticas de un producto o
servicio que le confieren su aptitud para satisfacer
necesidades implcitas o explcitas de los usuarios
(ISO 9001:2008).
11
 1.2. IMPORTANCIA DE LA
CALIDAD ESTADSTICA
Las estadsticas oficiales confi-
ables y objetivas desempean un
papel importante para el pas,
en la medida que contribuyen
para que tanto el Estado y su ad-
ministracin, como los sectores
econmico, social, cultural y am-
biental mejoren la calidad de sus
polticas y generen las condiciones
de informacin para el diseo, el
desarrollo, la evaluacin y el se-
guimiento a los planes y program-
as pblicos y privados.
Garantizar la calidad estadstica
incide positivamente en el forta-
lecimiento de la confianza de la
opinin pblica en la informacin
estadstica oficial producida por
las entidades que conforman el
Sistema Estadstico Nacional. La
necesidad de las estadsticas ofici-
ales est vinculada, por otra parte,
con el reconocimiento y la confi-
abilidad de los organismos que las
producen, razones por las cuales
dichos productores deben imple-
mentar principios y normas tcni-
cas en las operaciones estadsticas
a su cargo de acuerdo con pre-
ceptos y estndares internaciona-
les establecidos para elevar, man-
tener y proyectar la calidad y la
comparabilidad.
12 Herramientas estadsticas para una gestin territorial ms efectiva
1.3. QU ES EVALUACIN
Y CERTIFICACIN DEL
PROCESO ESTADSTICO
La evaluacin y la certificacin
son el instrumento mediante el
cual se asegura la calidad del pro-
ceso estadstico dentro del marco
de los Principios Fundamentales
de las Estadsticas Oficiales de Na-
ciones Unidas y de los criterios de
calidad considerados por el DANE
como pertinentes para satisfacer
las necesidades de los usuarios
garantizando y promoviendo la
credibilidad, la confiabilidad y la
transparencia en la produccin de
informacin estadstica.
Diversas organizaciones interna-
cionales han desarrollado concep-
tos, lineamientos y procedimientos
de control y medicin de la calidad
de sus operaciones estadsticas,
motivados por la preocupacin de
cumplir de manera cabal con tres
necesidades fundamentales como
son: entregar informacin que re-
sponda a las necesidades priori-
tarias del pas; que la informacin
sea representativa del mundo que
desea describir, y que la infor-
macin se produzca con el menor
costo posible.
A continuacin, se enuncian los
desarrollos en la evaluacin de
calidad del proceso estadstico
que han desarrollado organismos 1.4. IMPORTANCIA
internacionales como: Eurostat, DE LA EVALUACIN Y
OCDE, Fondo Monetario Inter- CERTIFICACIN DE LA
nacional (FMI) y la Oficina de Es- CALIDAD DEL PROCESO
tadstica de Reino Unido:
ESTADSTICO
Oficina de Estadstica de la
En cumplimiento a lo dispuesto
Comunidad Europea (Eu-
en el Decreto 4178 de 2011, el
rostat): Adopt el Cdigo de
DANE es la entidad encargada de
Buenas Prcticas y desarroll
coordinar la planificacin, la estan-
un proceso de autoevaluacin,
darizacin de las estadsticas y la
donde se revisa el cumplimento
certificacin de las buenas prcti-
de los principios e indicadores
cas en los procesos de la produc-
de dicho Cdigo.
cin estadstica. Segn lo establece
el Decreto 3851 de 2006, el DANE
Organizacin para la Coop-
emite un certificado de Calidad de
eracin y el Desarrollo
la Informacin Bsica de acuerdo
Econmico (OCDE): Defini
con la inspeccin practicada por un
un procedimiento de evaluacin
Comit de Expertos Independientes.
para garantizar la calidad de las
estadsticas.
A travs del proceso de evaluacin
y certificacin de la calidad del
Fondo Monetario Internacio-
proceso estadstico se logra una
nal (FMI): Estableci el marco
mayor articulacin entre las dis-
de evaluacin de la calidad de los
tintas entidades estatales, el uso
datos (MECAD) apoyado en los
de estndares en la produccin
principios fundamentales de las
estadstica, mayor interoperabili-
estadsticas oficiales de la ONU.
dad de la informacin producida,
reduccin en la duplicidad de es-
Oficina de Estadstica de Re-
fuerzos en la produccin estadsti-
ino Unido: Defini el Cdigo de
ca, mejorar la eficiencia en el uso
Buenas Prcticas para las estadsti-
de recursos y la comparabilidad
cas oficiales y estableci una au-
de la informacin estadstica.
toridad estadstica encargada de
liderar los procesos de evaluacin,
El DANE ha evaluado la calidad
donde se verifica el cumplimiento
del proceso estadstico, entre el
de los principios, mtodos y prcti-
2010 y 2011, de treinta opera-
cas de los productores del Cdigo.
ciones estadsticas de entidades

EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA

13
 como: Fedearroz, Banco de la
Repblica, Ministerio de Agri-
cultura, Federacin Nacional de
Cafeteros, Fiscala General de la
Nacin, Profamilia, entre otros.
De igual manera certific, entre
el 2010 y 2011, los procesos es-
tadsticos de veinticinco operacio-
nes estadsticas que cumplieron
con los criterios de calidad.
De igual manera, ha establecido
mecanismos de control y segui-
miento peridico, que permiten
la mejora continua de las opera-
ciones estadsticas evaluadas y fo-
menta las buenas prcticas, a par-
tir de la implementacin de planes
de mejoramiento, los cuales fuer-
on acordados con los respectivos
responsables.
1.5. BENEFICIOS DE
LA EVALUACIN Y
CERTIFICACIN DE LA
CALIDAD
Los beneficios de la evaluacin y
certificacin de la calidad del pro-
ceso estadstico son:
Fortalecimiento de las estadsti-
cas producidas por la entidad
para que el sector efecte un
mejor seguimiento de polticas
pblicas y la toma de decisiones.
14 Herramientas estadsticas para una gestin territorial ms efectiva
Mejora en la credibilidad, inte-
gridad y transparencia de las
estadsticas que produce la en-
tidad.
Fortalecer la implementacin
de las buenas prcticas y los
estndares para la produccin
estadstica.
Contribuir al uso de las estadsti-
cas producidas en el pas.
1.6. A QUIN SE EVALA Y
CERTIFICA
Todas las operaciones estadsti-
cas producidas por las entidades
que integran el Sistema Estadstico
Nacional, SEN (ministerios, de-
partamentos administrativos, en-
tidades descentralizadas, rganos
autnomos y entidades privadas),
que permiten el seguimiento y
evaluacin de las polticas, planes
y programas orientados al desar-
rollo del pas, pueden realizar el
proceso de evaluacin y certifi-
cacin.
2 PROCESO DE EVALUACIN Y
CERTIFICACIN DE CALIDAD EN COLOMBIA

2.1. ESQUEMA DE LA EVALUACIN Y CERTIFICACIN

PARA COLOMBIA

La evaluacin de la calidad estadstica se realiza a partir de los siguien-

tes atributos de calidad establecidos a nivel internacional, que han sido
adaptados y/o adoptados por el DANE:

Tabla 1. Atributos de la calidad

Pertinencia, puntualidad y oportunidad

Accesibilidad e interpretabilidad

Coherencia y transparencia

Integridad y consistencia

Fuente: DANE, Dirpen.

Para estos atributos se definieron los requisitos de calidad que sirven de

criterios de medicin de la calidad estadstica. Los requisitos son evalua-
dos a travs de la matriz de calificacin separndolos en tres componen-
tes: entorno, proceso estadstico y base de datos.

EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA

15
 Diagrama 1. Qu se evala del proceso estadstico?
Atributos de calidad Pertinencia Accesibilidad Integridad y consistencia
establecidos Exactitud Interpretabilidad
internacionalmente Puntualidad y Oportunidad Coherencia

Requisitos de Conjunto de propiedades adaptadas y adoptadas por el DANE para

calidad denidos evaluar el nivel de calidad del proceso de produccin de una operacin
por el DANE estadstica.

Matriz de Entorno
Componentes
Calicacin Proceso Estadstico
evaluados
Base de Datos

Calidad Estadstica

Fuente: DANE, Dirpen.

A partir de la calificacin obtenida en el proceso de evaluacin, se con-

templan tres tipos de certificaciones: A, B o C, cada una de las cuales
tiene su vigencia correspondiente. Las operaciones estadsticas que no
cuenten con un concepto favorable de certificacin por una comisin de
expertos independientes (CEI) no son certificadas.

Diagrama 2. Tipos de certificacin

Certicacin Tipo A 94 100 puntos (3 aos)

Certicacin Tipo B 87 93 puntos (2 aos)

Certicacin Tipo C 80 86 puntos (1 ao)

NO CERTIFICADA: 79 puntos o menos

Fuente: DANE.

16 Herramientas estadsticas para una gestin territorial ms efectiva

2.2. EQUIPO DE TRABAJO
Para el desarrollo del proceso de
evaluacin de la calidad de la in-
formacin estadstica, se cuenta
con un equipo base y una Comis-
in de Expertos Independientes
(CEI). A continuacin, se relaciona
la estructura del equipo de trabajo:
Equipo base. Este equipo est
conformado por profesionales
encargados de desarrollar y
preparar todas las actividades
previas a la verificacin del
cumplimiento de los requisitos
de calidad por parte de la CEI.
Tambin estos apoyan el desar-
rollo del proceso de evaluacin,
la formulacin del plan de mejo-
ramiento y el informe final.
Comisin de Expertos Indepen-
dientes. Esta comisin est con-
formada por tres expertos:
- Experto evaluador temti-
co: Es el encargado de la re-
visin de la coherencia, compa-
rabilidad y oportunidad de los
resultados de las operaciones
estadsticas, la documentacin
temtica, los conceptos utiliza-
dos y el estudio de las princi-
pales variables.
EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA
- Experto evaluador del
proceso de produccin es-
tadstica: Es el encargado de
revisar detalladamente la oper-
acin estadstica (la estructura
funcional, el instrumento de re-
coleccin, los mecanismos de
toma de informacin, controles
en campo, procesamiento, anli-
sis y difusin).
- Experto evaluador es-
tadstico: Es el encargado de
revisar el diseo muestral (en el
caso de muestreos), revisar el
diseo estadstico (en el caso de
registros administrativos) y hacer
anlisis de las tcnicas del pro-
cesamiento de la informacin
recolectada, validaciones, im-
putaciones, controles de consis-
tencia, coeficientes de variacin
u otros.
2.3. ETAPAS DEL PROCESO
DE EVALUACIN Y
CERTIFICACIN DE
CALIDAD
Este aparte tiene como objetivo
explicar las etapas del proceso de
evaluacin y certificacin de la cal-
idad estadstica detalladas en los
siguientes pasos:
17
 Diagrama 3. Certificacin de la calidad en el proceso estadstico
1. Sensibilizacin 2. Recoleccin 3. Evaluacin

Certicacin del
5. Seguimiento integral Proceso Estadstico 4. Certicacin

Fuente: DANE.

2.3.1 Sensibilizacin. Esta etapa tiene como objetivo la seleccin y

priorizacin de las operaciones estadsticas a evaluar y el contacto con
las entidades productoras, con el fin de dar a conocer la importancia,
los beneficios y las ventajas del proceso de evaluacin de la calidad y el
fortalecimiento de su produccin.

Diagrama 4. Proceso de sensibilizacin

Sensibilizacin PRODUCTOS

Priorizacin OE
O.E PRIORIZADAS O.E
PEN SENSIBILIZADAS

Contacto con las entidades

Reuniones de sensibilizacin

Fuente: DANE, Dirpen; Coordinacin de Calidad Estadstica.

18 Herramientas estadsticas para una gestin territorial ms efectiva

Para seleccionar las operaciones estadsticas que van a ser vinculadas
al proceso de evaluacin de la calidad, se toma como insumo principal
el inventario de oferta del Plan Estadstico Nacional (PEN) 2. Luego, con
base en los parmetros establecidos por este Plan, se determina la prio-
ridad de las operaciones estadsticas que son evaluadas de acuerdo con
los siguientes criterios:

Tabla 21. Criterios de priorizacin de operaciones estadsticas a evaluar

Referentes y mandatos internacionales

Cuentas Nacionales

Normatividad

Poltica sectorial

PND- Visin Colombia 2019

Fuente: DANE, Dirpen; Coordinacin de Calidad Estadstica.

2.3.2 Recoleccin. El objetivo de esta etapa es reunir la informacin y

documentacin, temtica, tcnica y operativa propia de las operaciones
estadsticas con el fin de obtener una caracterizacin tcnica para ser
evaluada y desarrollada mediante dos actividades:

i) Socializacin tcnica de la metodologa de evaluacin y certificacin a

los productores responsables de las operaciones estadsticas a evaluar ;
de igual forma se establece el plan de trabajo.
2
PEN: Es un instrumento tcnico permanente de planificacin que analiza la informacin estadstica produ-
cida y requerida a nivel nacional, identificando los vacos de informacin prioritarios para el pas, con el fin
de trazar estrategias encaminadas hacia el fortalecimiento de las estadsticas existentes y la generacin de
nuevas estadsticas que atiendan la demanda priorizada, facilitando el seguimiento y la evaluacin de las
polticas pblicas, planes y programas de impacto nacional.

EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA

19
 ii) Obtencin de la informacin, a travs de la aplicacin del Formulario
de caractersticas tcnicas de la operacin estadstica y el acopio de los
soportes documentales.

Diagrama 5. Proceso de recoleccin

INSUMOS Recoleccin PRODUCTOS

Formulario de
Socializacin tcnica caractersticas tcnicas
diligenciado.
O.E Documentacin de
SENSIBILIZADAS soporte acopiada
Obtencin de Base de datos
informacin Formulario encuesta a
usuarios

Formulario de caractersticas
tcnicas de OE
Metodologas, manuales,
instructivos, modelos
Evidencias documentales y entidad relacin , reglas de
soportes validacin y diccionario de
datos.

Fuente: DANE, Dirpen; Coordinacin de Calidad Estadstica.

2.3.3 Evaluacin. En la etapa de evaluacin, la Comisin de Expertos

Independientes (CEI) analiza la informacin y documentacin recolec-
tada de las operaciones estadsticas, con el propsito de establecer el
grado de cumplimiento de los requisitos de calidad.

Diagrama 6. Proceso de evaluacin del cumplimiento de los requisitos

INSUMOS Evaluacin PRODUCTOS

Formulario de Cumplimiento de los

Matriz de calicacin
caractersticas tcnicas requisitos de calidad
diligenciada
diligenciado.
Informe evaluacin
Documentacin de
expertos: concepto
soporte acopiada
previo de certicacin
Base de datos
Medicin de Informe: Plan de mejoramiento
Formulario encuesta a
calidad: Anlisis de formalizado
usuarios
Calicacin expertos

Formulacin del Plan

de Mejoramiento

Fuente: DANE.

20 Herramientas estadsticas para una gestin territorial ms efectiva

La evaluacin de la calidad de las operaciones estadsticas se enmarca
en tres componentes: entorno de la operacin estadstica (OE), proceso
estadstico y base de datos. De acuerdo con el tipo de operacin es-
tadstica, dichos componentes se relacionan con una serie de requisitos
de calidad para el desarrollo de la calificacin como se sintetiza ense-
guida:

Cuadro 1. Nmero de requisitos de calidad segn el tipo de

operacin estadstica establecidos para la evaluacin de cada
componente
Registros
Componente a evaluar Muestreos Censos
Administrativos

Entorno de la Operacin
5 5 5
Estadstica

Proceso Estadstico 32 44 33

Base de datos 9 9 9

TOTAL 46 58 47

Fuente: DANE.

Qu se evala dentro de cada componente?

Componente entorno de la operacin estadstica (OE): Evala el

respaldo legal que soporta una operacin estadstica, la disponibilidad
de recursos financieros, humanos y tecnolgicos, y el compromiso de la
calidad, que son las acciones que ejecuta la entidad responsable para
mantener la calidad de la informacin a travs de controles en las dife-
rentes etapas del proceso.

Componente de proceso estadstico: Evala la planeacin, el dis-

eo, la ejecucin, el anlisis y la difusin de los resultados en relacin
con la documentacin de la operacin estadstica, as como el acceso a
los microdatos. Esta evaluacin permite establecer el grado de confor-
midad, confianza y transparencia en las estadsticas producidas, debido
a que se realiza la inspeccin de los requisitos de la calidad estadstica
establecidos.

EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA

21
 Componente base de datos: Evala el entorno de la base de datos
y el componente tecnolgico que se utiliza en la operacin estadstica.
Esto se hace a partir de la documentacin del sistema (diccionario de
datos, documentacin del procesamiento de datos y el modelo Entidad
Relacin, el registro de eventos, las variables de inters estadstico y las
reglas de validacin).

Productos que se obtienen en la evaluacin

La etapa de evaluacin tiene dos productos: el informe de evaluacin,

que incluye el concepto previo de certificacin, y el plan de mejoramiento.

i) Matriz de calificacin diligenciada: Esta matriz es el instrumento prin-

cipal para la construccin del informe de evaluacin y la formulacin
del plan de mejoramiento. En esta se registra la calificacin cuantitativa
y cualitativa de cada uno de los requisitos de calidad segn tipo de op-
eracin estadstica.

Diagrama 7. Ejemplo de matriz de calificacin

Anlisis de la informacin Revisin y anlisis de las evidencias y

Revisin de las pginas Web
obtenida a partir del formulario soportes documentales suministrados
y otros medios de difusin.
de caractersticas tcnicas. por la entidad.

La comisin de expertos independientes emite su concepto a partir de:

Evaluacin de
Responsables OE Entrevistas con: la calidad de
y de procesos las bases de
tercerizados o Usuarios DANE y datos
compartidos Usuarios externos

Fuente: DANE.

ii) Informe de evaluacin y concepto previo de certificacin: El informe

de evaluacin registra los resultados de la evaluacin en cinco aspectos:

a. las principales caractersticas tcnicas de la operacin estadstica evaluada,

b. el alcance tcnico de la evaluacin realizada,

22 Herramientas estadsticas para una gestin territorial ms efectiva

c. los hallazgos positivos y negati-
vos evidenciados,
d. las recomendaciones para el
mejoramiento del proceso es-
tadstico3 y
tiempo esperado para la ejecucin
y los responsables. El plan de me-
joramiento es el resultado final
de la evaluacin realizada por la
Comisin de Expertos Independi-
entes.

e. el concepto previo de certifi- 2.3.4 Certificacin. Esta etapa

cacin, el cual puede ser favorable
o no, segn las fortalezas y/o de-
bilidades que se evidenciaron en el
proceso de evaluacin de la oper-
acin estadstica4.
tiene como objetivo certificar las
operaciones estadsticas que ob-
tuvieron concepto favorable por
parte de la CEI a partir de la eva-
luacin de calidad realizada.

iii) Plan de mejoramiento: A par- Los productos generados en la

tir de los hallazgos y recomenda-
ciones, la CEI formula un plan de
mejoramiento en el que se establ-
ece la implementacin de las ac-
ciones de mejora para fortalecer el
proceso de produccin estadstica
desde cada uno de los tres com-
ponentes evaluados (entorno de
la operacin estadstica, proceso
estadstico y base de datos). Para
la implementacin de estas accio-
nes de mejoramiento se define el
etapa de evaluacin (informe de
evaluacin, la medicin del nivel
de cumplimiento de los requisitos
de calidad en la matriz de califi-
cacin y los planes de mejora-
miento) son presentados ante el
comit certificador del DANE, que
estudia los resultados de la evalu-
acin y realiza tres actividades
para la aprobacin del concepto
previo de certificacin:

3
Estas recomendaciones son emitidas por los ex-
pertos evaluadores y pueden ser generadas a par-
tir de las falencias encontradas en la produccin
estadstica, o corresponder a sugerencias dadas a
partir de la experticia y conocimientos de los eval-
uadores.
4
Si el concepto previo de certificacin emitido por
la CEI no es favorable para la certificacin de la
operacin estadstica evaluada, dicha operacin no
contina a la siguiente etapa del proceso de evalu-
acin y certificacin de la calidad del proceso de
produccin estadstica. Sin embargo, la CEI formula
un plan de mejoramiento y el DANE procede a re-
alizar un acompaamiento peridico a la entidad
productora de la operacin con el fin de que esta
lleve a cabo la implementacin de dicho plan.

EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA

23
 Tabla 3. Actividades para la aprobacin previa de certificacin

1. Aclarar dudas con entrevistas personales a los miembros de la CEI, si se requiere

complementar la informacin

2. Emitir el concepto de aprobacin de la evaluacin por parte de la comisin de expertos para

cada operacin estadstica

3. Tomar la decisin nal de certicacin de la calidad de la operacin estadstica evaluada,

quien en su criterio adoptar o no el concepto de certicacin y el grado propuesto por la CEI

Fuente: DANE, Dirpen.

Una vez el comit interno aprueba el concepto de certificacin realizado

por la CEI, el equipo base gestiona ante la direccin del DANE el trmite
de generacin del registro de calidad5 y la elaboracin de los certificados
para las operaciones estadsticas evaluadas.

2.3.5 Seguimiento integral. El seguimiento integral es la etapa me-

diante la cual se realiza la verificacin y evaluacin de la implementa-
cin de las acciones establecidas en el plan de mejoramiento propuesto
por la CEI, con el fin de fortalecer la implementacin y el cumplimiento
de los requisitos de calidad y el Cdigo de Buenas Prcticas, en las dife-
rentes etapas del proceso de produccin estadstica, de las operaciones
que han sido objeto de evaluacin.

5
En el registro de calidad, la entidad firma los compromisos referidos a la implementacin de las ac-
ciones de mejora establecidas en el Plan de mejoramiento, ratificando su inters en fortalecer la operacin
estadstica que lidera.

24 Herramientas estadsticas para una gestin territorial ms efectiva

Diagrama 8. Proceso de seguimiento integral

Seguimiento
integral
INSUMOS PRODUCTOS
Implementacin del
plan de mejoramiento:

Informe evaluacin Recoleccin de Formato de

expertos: concepto evidencias documentacin y control
previo de certicacin de seguimiento
Plan de mejoramiento Registro de evidencias
Buenas Prcticas
formalizado Matriz de monitoreo
Metodologas
Vericacin del
cumplimiento de los Estandarizacin
de Conceptos
requisitos de calidad
Nomenclaturas y
Clasicaciones

Informe nal de seguimiento

Fuente: DANE, Dirpen.

El seguimiento integral vela por el cumplimiento peridico de la imple-

mentacin del Plan de Mejoramiento suscrito con cada entidad que par-
ticipa del proceso de evaluacin, y generar nuevas recomendaciones
que permitan continuar con el mejoramiento y la promocin de la cali-
dad estadstica.

EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA

25

Aseguramiento de la calidad:
Conjunto de acciones sistemticas
que conducen a que el proceso
de produccin de una operacin
estadstica cumpla con determina-
dos requisitos de calidad, adapta-
dos y/o adoptados de estndares
nacionales e internacionales, los
cuales son verificados y validados
por el DANE, para mantener o el-
evar la calidad de las estadsticas,
garantizando as una mejora con-
tinua que permita a las entidades
productoras de estadsticas gen-
erar confianza en los usuarios6.
Base de datos: Conjunto o col-
eccin de datos interrelacionados
entre s, que se utilizan para la
obtencin de informacin de acu-
erdo con el contexto de los mismos
y que son almacenados sistemti-
camente para su posterior uso.
Calidad: Grado en el que un con-
junto de caractersticas inherentes
cumple con los requisitos . Nota 1.
El trmino calidad puede utilizarse
acompaado de adjetivos tales
como pobre, buena o excelente.
Nota 2. Inherente , en contra-
posicin a asignado , significa que
6
Algunas definiciones no tienen notas a pie de p-
gina ya que fueron generadas por el grupo tcnico
de aseguramiento de la calidad de la informacin
estadstica.
EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA
GLOSARIO
existe en algo, especialmente como
una caracterstica permanente7.
Calidad estadstica: Es el con-
junto de propiedades que debe ten-
er el proceso y el producto estadsti-
co, para satisfacer las necesidades
de informacin de los usuarios.
Censo: Procedimiento estadstico
mediante el cual se investiga la
totalidad del universo de estudio8.
Certificacin de calidad es-
tadstica: Evaluacin realizada
por el DANE, mediante la cual
se respalda que el proceso de
produccin de una operacin es-
tadstica cumple con los requisitos
de calidad establecidos.
Encuesta: Mtodo estadstico por
el cual se investiga y analiza un
fenmeno mediante la seleccin
de una muestra, para luego inferir
sobre el total de la poblacin. Esta
puede ser de dos tipos:
7
Norma Internacional ISO 9000:2005. Sistemas
de Gestin de la Calidad. Fundamentos y Vocabu-
lario. Traduccin certificada. Ginebra, Suiza.
8
Definicin utilizada por el DANE, basada en la
definicin dada por la Comisin Econmica para
Europa de las Naciones Unidas (Unece), Terminol-
ogy on Statistical Metadata, Conference of Euro-
pean Statisticians Statistical Standards and Studies,
nm. 53, Geneva, 2000, censo: Una encuesta
realizada en el conjunto de la observacin de ob-
jetos pertenecientes a una determinada poblacin
o universo.
27
 Por muestreo probabilstico: M-
todo estadstico especfico de se-
leccin de muestra, que cumple
las siguientes condiciones:
Se puede definir el conjunto de
muestras posibles que se de-
riven del proceso de seleccin
propuesto.
A cada muestra posible le cor-
responde una probabilidad de
seleccin conocida.
El proceso de seleccin garan-
tiza que todo elemento del uni-
verso tiene una probabilidad
positiva, diferente de cero, de
ser incluida en una muestra.
El proceso de seleccin propues-
to consiste en un mecanismo
aleatorio en el que cada mues-
tra recibe exactamente la proba-
bilidad de ser seleccionada.
Por muestreo no probabilstico:
Mtodo estadstico especfico de
seleccin de muestra donde las
unidades de la muestra tienen una
probabilidad desconocida de ser
seleccionadas y donde algunas
unidades de la poblacin objetivo
pueden no tener ninguna proba-
bilidad de ser seleccionadas en la
muestra9.
9
Fuente: DANE. Sistema Estadstico Nacional
SEN. Estandarizacin de Conceptos. Ao 2010.
http://190.25.231.249/aplicativos/sen.
28 Herramientas estadsticas para una gestin territorial ms efectiva
Evidencias: Registros, declara-
ciones de hechos o cualquier otra
informacin que son pertinentes
para los criterios de auditora y
que son verificables10.
Evaluacin: Anlisis de la in-
formacin recolectada y la docu-
mentacin acopiada de las op-
eraciones estadsticas, con los
propsitos de establecer el grado
de cumplimiento de los requisitos
de calidad y de formular un plan
de mejoramiento de la calidad es-
tadstica de estas operaciones.
Gestor de bases de datos:
Tipo de software muy especfico,
dedicado a servir de interfaz entre
la base de datos, el usuario y las
aplicaciones que la utilizan. Los
ms conocidos comercialmente
son: Oracle, Sybase, SQLServer,
Informix y Mysql.
Hallazgos: Resultados de la evalu-
acin de la auditora recopilada fr-
ente a los criterios de la auditora11.
Herramientas informticas
para anlisis estadstico: Soft-
ware especfico para la explotacin
de la informacin estadstica, gen-
eralmente est basado en anlisis
10
Norma Internacional ISO 9000:2005. Sistemas
de Gestin de la Calidad. Fundamentos y Vocabu-
lario. Traduccin certificada. Ginebra, Suiza.
11
Norma Internacional ISO 9000:2005. Sistemas
de Gestin de la Calidad. Fundamentos y Vocabu-
lario. Traduccin certificada. Ginebra, Suiza.
predictivo. Aunque hay muchas
herramientas en el mercado con
estas caractersticas, las ms co-
munes son: IBM SPSS Statistics,
SAS, EViews, GAUSS y LIMDEP.
Mejoramiento continuo: Ac-
cin realizada permanentemente
con el fin de aumentar la capa-
cidad para cumplir los requisitos y
optimizar el desempeo12.
Microdatos: Son los datos sobre
las caractersticas de las unidades
de estudio de una poblacin (in-
dividuos, hogares, establecimien-
tos, entre otros), que constituyen
una unidad de informacin en una
base de datos y que son recogidos
por medio de una operacin es-
tadstica13.
Operacin estadstica: Con-
junto de procesos y actividades
que, partiendo de la recoleccin
sistemtica de datos, conduce a la
produccin de resultados agrega-
dos14.
Registros administrativos:
Serie de datos sobre una accin
sujeta a regulacin o control ob-
tenida por una entidad pblica o
privada como parte de su funcin
y que resulta de necesidades fis-
cales, tributarias u otras, creada
12
Cdigo Nacional de Buena Prcticas.
13
Resolucin 1503 del 16 de noviembre de 2011.
14
Resolucin 1503 del 16 de noviembre de 2011.
EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA
con la finalidad de viabilizar la
administracin de los programas
de gobierno o para fiscalizar el
cumplimiento de obligaciones le-
gales de la sociedad (CEA-II, CE-
PAL 2003, INEGI 2004).
Reglas de validacin: Son
aquellas que prueban la integ-
ridad y consistencia de los datos.
Los modelos de datos, cuando
existen, ayudan a localizar dichas
reglas. Las reglas de validacin
se pueden utilizar para evaluar la
calidad de los datos y/o, para fil-
trarlos y/o, para corregirlos.
Requisitos de calidad: Con-
junto de propiedades establecidas
por organismos internacionales
que han sido adaptadas y/o adop-
tadas por el DANE para evaluar el
nivel de calidad del proceso de
produccin de una operacin es-
tadstica.
Seguimiento: Actividad en la
cual se verifica y evala la imple-
mentacin de las acciones sugeri-
das en el plan de mejoramiento.
29

Divisin Estadstica de las Naciones
Unidas (UNSD) (1993). Principios
Fundamentales de las Estadsticas
Oficiales.
Eurostat (2007). Development of a
Self Assessment Programme DESAP.
(2007). Handbook on data qual-
ity assessment methods and Tools.
European Commission, Wiesbaden.
Departamento Administrativo
Nacional de Estadstica, DANE
(agosto de 2012). Metodologa
de Evaluacin y Certificacin de la
Calidad Estadstica.
Fondo Monetario Internacional,
FMI (julio de 2003). Marco para
Evaluar la Calidad de las Cuentas
Nacionales, MECAD.
INE de Chile (noviembre de 2007).
Dimensiones de la Calidad segn
OECD y Eurostat. Nm. 4.
Instituto Colombiano de Normas
Tcnicas y Certificacin, Icontec
(2003). Una introduccin bsica
a la planificacin y realizacin de
auditoras de sistemas de gestin
en las organizaciones. Traduccin
al espaol realizada por Icontec,
autorizada por Standards Austra-
lia. Bogot, D. C., Colombia, .
ISO (2002). Norma Internacional
ISO 19011: Directrices para la audi-
EVALUACIN Y CERTIFICACIN DE LA CALIDAD ESTADSTICA
BIBLIOGRAFA
tora de los sistemas de gestin de la
calidad y/o ambiental. Ginebra, Sui-
za: Derechos reservados de la ISO .
(2005). Norma Internacional ISO
9000:2005. Sistemas de Gestin
de la Calidad. Fundamentos y Vo-
cabulario. Traduccin certificada.
Ginebra, Suiza.
(2006). Norma Internacional
ISO 20252: Mercado, opinin e
investigacin social Vocabulario y
requisitos de servicio. Ginebra, Sui-
za: Derechos reservados de la ISO .
Naciones Unidas, Cepal (2003).
Registros administrativos, calidad
de los datos y credibilidad pblica:
presentacin y debate de los temas
sustantivos de la segunda reunin
de la Conferencia estadstica de las
Amricas de la Cepal. Impreso en
Naciones Unidas, Santiago de Chile
Organisation for Economic Coop-
eration and Development, OECD
(2003). Quality framework and
guidelines for OECD statistical ac-
tivities. Versin 1.
Reino Unido (january 2009). Code
of Practice for Official Statistics,
UK Statistics Authority .
Statistics Canada (2002). Statistics
Canadas Quality Assurance Frame-
work. Ontario: Minister of Industry.
31