Guia Construccion Interpretacion Indicadores

Gua para Diseo,
Construccin e
Interpretacin
de Indicadores
2
Estrategia para el Fortalecimiento
Estadstico Territorial
Herramientas estadsticas para una
gestin territorial ms efectiva
Gua para

Diseo,
Construccin e
Interpretacin
de Indicadores
Para tomar decisiones
DEPARTAMENTO ADMINISTRATIVO
NACIONAL DE ESTADSTICA (DANE)
HCTOR MALDONADO GMEZ
Director
CARLOS EDUARDO SEPLVEDA RICO
Subdirector
ALFREDO VARGAS ABAD
Secretario General
Directores Tcnicos
EDUARDO EFRAN FREIRE DELGADO
Metodologa y Produccin Estadstica
BERNARDO GUERRERO LOZANO
Censos y Demografa
JAVIER ALBERTO GUTIRREZ LPEZ
Regulacin, Planeacin, Estandarizacin y Normalizacin
NELCY ARAQUE GARCA
Geoestadstica
ANA VICTORIA VEGA ACEVEDO
Sntesis y Cuentas Nacionales
CAROLINA GUTIRREZ HERNNDEZ
Difusin, Mercadeo y Cultura Estadstica
Direccin de Regulacin, Planeacin,
Estandarizacin y Normalizacin (DIRPEN)
Javier Alberto Gutirrez Lpez
Coordinacin tcnica: Ana Zoraida Quintero Gmez
Equipo tcnico: Melba Rubiano Brez, Andrs Felipe Salazar Cuellar,
Ana Mara Arias Daz, Ricardo Valenzuela Gutirrez

Diseo y diagramacin: Sandra Ximena Gallego Torres
Edicin: Direccin de Difusin, Mercadeo y Cultura Estadstica
CONTENIDO
Pg.
PRESENTACIN
INTRODUCCIN
1. IMPORTANCIA Y USOS DE LA INFORMACIN
2. INDICADORES: GENERALIDADES
2.1 Defnicin
2.2 Objetivos de un indicador
2.3 Tipologa de indicadores
2.3.1 Indicadores segn medicin
2.3.2 Indicadores segn nivel de intervencin
2.3.3 Indicadores segn jerarqua
2.3.4 Indicadores segn calidad
3. CONSTRUCCIN DE INDICADORES
3.1 Formulacin del problema: qu se quiere medir?
3.2 Defnicin de las variables
3.3 Seleccin de indicadores y calidad de los datos
3.3.1 Criterios para la seleccin de indicadores
3.3.2 Criterios relacionados con la calidad estadstica
3.3.3 Criterios relacionados con la utilidad y comprensin de
los indicadores para el usuario
3.4 Diseo del indicador
3.4.1 Identifcacin del contexto
3.4.2 Determinacin de usos y actores
7
9
11
13
13
14
15
15
16
17
18
21
22
22
23
24
25
25
25
25
Gua para Diseo, Construccin e Interpretacin de Indicadores
3.4.3 Identifcacin de fuentes de informacin y procedimientos
de recoleccin y manejo de la informacin
3.4.4 Defnicin de responsabilidades
3.4.5 Documentacin del indicador
4. ELEMENTOS PARA LA INTERPRETACIN DE INDICADORES
4.1 Las variables que estn en el numerador y en el
denominador
4.2 Las defniciones y contenidos
BIBLIOGRAFA
ANEXO
26
28
29
31
31
32
35
37
7
2
PRESENTACIN
El Departamento Administrativo
Nacional de Estadstica (DANE),
como coordinador del Siste-
ma Estadstico Nacional (SEN)
y en el marco del proyecto de
Planifcacin y Armonizacin
Estadstica, dise la Estrate-
gia para el Fortalecimiento Es-
tadstico Territorial (EFET), que
busca mejorar el conocimiento
de la actividad estadstica y as
de los procesos de produccin
autnoma de estadsticas terri-
toriales bajo estndares DANE
basados en referentes interna-
cionales y en la aplicacin de
los principios fundamentales de
Naciones Unidas para las esta-
dsticas ofciales.
Esta iniciativa promueve la ca-
pacidad tcnica de los entes
territoriales, desde la organi-
zacin y la produccin de in-
formacin estratgica de ca-
lidad, mediante acciones que
permitan articular esfuerzos,
empoderar actores territoriales
y fomentar la participacin en
la produccin y difusin de las
estadsticas de los municipios y
departamentos, y as dar a cono-
cer instrumentos para la gestin
y el fortalecimiento de la capa-
cidad tcnica que contribuye al
desarrollo de la actividad esta-
dstica y a una mejor compren-
sin de la realidad econmica,
social, demogrfca y ambiental.
Su metodologa se basa en la
divulgacin, sensibilizacin y
capacitacin en instrumentos
que apoyan la produccin es-
tadstica con calidad y permi-
ten un mejor aprovechamiento
de las estadsticas territoriales.
La estrategia capacita y brinda
material pedaggico, a travs
de la realizacin de seminarios
a diversos funcionarios de go-
bernaciones y alcaldas. Estas
acciones contribuyen al desa-
rrollo de la informacin estra-
tgica territorial y por tanto del
Sistema Estadstico Nacional.
8 Herramientas estadsticas para una gestin territorial ms efectiva Gua para Diseo, Construccin e Interpretacin de Indicadores
En este contexto y consciente
de la necesidad de brindar a
los usuarios los mejores pro-
ductos, el DANE, a travs de la
EFET, desarroll una serie de
cuadernillos denominados He-
rramientas estadsticas para una
gestin territorial ms efectiva.
Estos documentos favorecen
la transparencia y credibilidad
en la calidad tcnica de las en-
tidades para un mejor entendi-
miento, comprensin y aprove-
chamiento de las estadsticas
producidas en el contexto de
los principios de coordinacin
nacional, pertinencia, imparcia-
lidad y acceso equitativo.
Herramientas estadsticas para una gestin territorial ms efectiva Gua para Diseo, Construccin e Interpretacin de Indicadores
9
La informacin estadstica es un
elemento fundamental para la
toma acertada de decisiones,
por tanto, es imprescindible con-
tar con informacin de calidad
que permita valorar y medir la
realidad econmica y social. Por
esta razn, es cada vez ms ne-
cesaria la elaboracin de conjun-
tos de indicadores que ayuden al
anlisis del comportamiento de
todas las variables de estudio. En
este sentido, se debe entender el
proceso de produccin de indi-
cadores bajo un esquema estra-
tgico, que implica un proceso
dinmico, donde se mantiene un
balance adecuado entre los dife-
rentes tipos de indicadores, con
el fn de determinar la relacin
entre los medios y los fnes.
En este sentido, segn Llano y
Moreno (1995), pretender ela-
borar sistemas de indicadores
que slo sirvan para dar cuenta
del estado de la sociedad, es in-
terpretar a los procesos sociales
INTRODUCCIN
como estticos, sin involucrar el
dinamismo natural de la socie-
dad. Segn este lineamiento, un
sistema de indicadores debe bus-
car dar cuenta de ambos sucesos,
permitiendo en una primera ins-
tancia extraer una foto del estado
del fenmeno en un momento
del tiempo, a partir del cual se
elabore un diagnstico que sirva
para la formulacin de polticas,
planes, programas y proyectos, a
las cuales se les haga permanen-
te seguimiento y evaluacin.
De esta manera, un sistema de
seguimiento y evaluacin basa-
do en indicadores, es una he-
rramienta que permite valorara
el nivel de cumplimiento de los
objetivos propuestos de un plan,
programa o proyecto, para lo
cual identifca y selecciona la
informacin que permita tomar
decisiones, aplicar correctivos
y sistematizar experiencias. A
su vez, este sistema permite
entender y valorar todos los
pasos estructurales en el pro-
ceso decisorio de una poltica
pblica (Quintero, 2000).
El presente documento aborda
los elementos metodolgicos
bsicos que se deben tener en
cuenta en el diseo, construc-
cin e interpretacin de indi-
cadores, con el fin de mejorar
el entendimiento del criterio
de calidad que presupone el
manejo de informacin estads-
tica para la toma de decisiones.
11
1
IMPORTANCIA Y USOS DE LA INFORMACIN
Al introducir este tema, es til
abordar las diferencias que exis-
ten entre los trminos datos e in-
formacin. Los datos son simple-
mente unidades de informacin
que incluyen percepciones, n-
meros, observaciones, hechos
y cifras, pero que al estar desli-
gadas de un contexto particular,
carecen de sentido informativo.
La informacin, es un conjunto
organizado de datos procesa-
dos, que constituyen un mensa-
je sobre un determinado fen-
meno y proporciona signifcado
o sentido a una situacin en par-
ticular. Los datos se convierten
en informacin cuando aportan
signifcado, relevancia y enten-
dimiento, en un tiempo y lugar
especfco. Lo que puede ser in-
formacin para una persona o
entidad puede ser simplemente
irrelevante para otra. El principal
desafo de la evaluacin y plani-
fcacin es separar los datos que
tienen sentido y aportan infor-
macin, para asegurarse de que
el anlisis se realice basado en la
mejor informacin disponible.
Diagrama 1. Datos e informacin
Datos Informacin
Es necesario cuantifcar las ac-
tividades que se realizan en el
interior de una organizacin, di-
cha cuantifcacin se denomina
medicin. Medir es comparar
una magnitud con un patrn
preestablecido, lo que permi-
tir observar el grado en el que
se alcanzan las actividades pro-
puestas dentro de un proceso
especfco. Este proceso permite,
entre otras cosas, planifcar con
mayor certeza y confabilidad,
discernir con mayor precisin las
oportunidades de mejora de de-
terminados procesos y explicar y
analizar el curso de los hechos.

Existe la tendencia generalizada a
medirlo todo en pro de minimi-
zar la incertidumbre; sin embar-
go, esto es entender la medicin
como un simple proceso de reco-
leccin de datos, la clave consiste
en elegir las variables adecuadas
y sufcientes que permitan medir
y transmitir informacin respecto
al objeto de estudio.
En tal sentido, una adecuada
medicin deber contar con las
siguientes caractersticas:
Ser pertinente, es decir, que
las mediciones que se lleven a
cabo sean relevantes y tiles en
el tiempo para facilitar las deci-
siones que sern tomadas sobre
la base de tales mediciones.
Ser precisa, es decir, que debe
refejar felmente la magnitud
que se quiere analizar, lo cual
puede conseguirse a travs
de una buena defnicin de
las caractersticas de las uni-
dades a medir y una adecua-
da eleccin del instrumento
de medicin.
Ser oportuna, es decir, que se
encuentre disponible en el
periodo de tiempo en que la
informacin es importante y
es relevante para la toma de
decisiones, tanto para corregir
como para prevenir.
Ser econmica, esto se refe-
re al hecho fundamental de
que debe existir una propor-
cionalidad entre los costos in-
curridos en la medicin y los
benefcios y la relevancia de
la medicin.
13
2
INDICADORES: GENERALIDADES
2.1 DEFINICIN
Un indicador es una expresin
cualitativa o cuantitativa obser-
vable, que permite describir ca-
ractersticas, comportamientos o
fenmenos de la realidad a travs
de la evolucin de una variable
o el establecimiento de una rela-
cin entre variables, la que com-
parada con perodos anteriores,
productos similares o una meta
o compromiso, permite evaluar el
desempeo y su evolucin en el
tiempo. Por lo general, son fciles
de recopilar, altamente relaciona-
dos con otros datos y de los cua-
les se pueden sacar rpidamente
conclusiones tiles y fdedignas.
Un indicador debe cumplir con
tres caractersticas bsicas:
Simplifcacin: la realidad en la 1.
que se acta es multidimensio-
nal, un indicador puede consi-
derar alguna de tales dimensio-
nes (econmica, social, cultural,
poltica, etc.), pero no puede
abarcarlas todas.
Medicin: permite comparar la si- 2.
tuacin actual de una dimensin
de estudio en el tiempo o respec-
to a patrones establecidos.
Comunicacin: todo indicador 3.
debe transmitir informacin
acerca de un tema en particular
para la toma de decisiones.
Por ejemplo, el pulso y la tem-
peratura corporal describen
el estado de la salud de un
individuo; cuando se tiene un
registro de estos indicadores
que est por fuera de los nive-
les considerados como nor-
males, es necesario tomar
medidas externas para contro-
lar su comportamiento. Este
indicador cumple con las tres
caractersticas mencionadas:
Simplifca, puesto que un va-
lor nico de la temperatura
corporal, que puede ser to-
mado en distintas partes del
cuerpo, ser un indicio de una
situacin general del orga-
nismo, de forma rpida an
cuando no identifca especf-
camente la dolencia o el tipo
de enfermedad.
Mide, dado que se establece
un valor de referencia, per-
mite, si se encuentran valores
por encima o por debajo del
de referencia, decidir si en el
cuerpo se presenta alguna si-
tuacin anmala.
Comunica, debido a que pre-
senta un claro indicio de una
variacin con respecto a una
situacin inicial; evidentemen-
te, el resultado de la medicin
de la temperatura a travs de
un instrumento como el ter-
mmetro, ser entendible si
se conocen los principios de
su medicin (calor del cuerpo,
capacitacin de la temperatu-
ra en una barra con mercurio,
etc.). Por lo tanto, un indica-
dor es una seal de cambios
en una realidad para determi-
nados actores; adems siem-
pre todo actor puede valorar
por igual un indicador.
2.2 OBJETIVOS DE UN
INDICADOR
Los indicadores son herramien-
tas tiles para la planeacin y
la gestin en general, y tienen
como objetivos principales:
Generar informacin til para
mejorar el proceso de toma
de decisiones, el proceso de
diseo, implementacin o eva-
luacin de un plan, progra-
ma, etc.
Monitorear el cumplimiento
de acuerdos y compromisos.
Cuantifcar los cambios en
una situacin que se conside-
ra problemtica.
Efectuar seguimiento a los di-
ferentes planes, programas y
proyectos que permita tomar
los correctivos oportunos y
15
mejorar la efciencia y efcacia
del proceso en general.
2.3 TIPOLOGA DE
INDICADORES
Existen cuatro tipos de clasif-
caciones comunes en la teora
sobre indicadores (segn medi-
cin, nivel de intervencin, je-
rarqua y calidad). Sin embargo,
se debe tener en cuenta que es-
tas clasifcaciones no son exclu-
yentes y que en muchos casos se
pueden agrupar de formas dife-
rentes dependiendo de las nece-
sidades del proceso estadstico.
Como lo explica Vos (1995), en
muchos casos es difcil hacer
una distincin muy exacta y r-
gida entre los diferentes tipos
de indicadores, y es preferible
interpretarlos como una cade-
na de indicadores que permitan
relacionar insumos con resulta-
dos en trminos de los objetivos
inmediatos de los programas y
proyectos y con los efectos l-
timos en trminos del impacto
sobre un conjunto ms amplio
de objetivos en el desarrollo.
2.3.1 Indicadores segn
medicin
Indicadores cuantitativos: es-
te tipo de indicadores son
una representacin numri-
ca de la realidad; su carac-
terstica ms importante es
que, al encontrarse valores
diferentes, estos pueden or-
denarse de forma ascenden-
te o descendente.
Ejemplo: el promedio de hijos
de un ncleo familiar de es-
trato 2 en el municipio X para
2001 fue 2,8 hijos y para 2002
fue 2,9.
Indicadores cualitativos: es
otro instrumento que permite
tener en cuenta la heteroge-
neidad, amenazas y oportu-
nidades del entorno organiza-
cional y/o territorial. Adems,
permiten evaluar, con un en-
foque de planeacin estrat-
gica, la capacidad de gestin
de la direccin y dems nive-
les de la organizacin. Su ca-
racterstica principal es que
su resultado se refere a una
escala de cualidades. Los in-
dicadores cualitativos pueden
expresarse as:
Categricos: por ejemplo, bue- -
no, aceptable, regular, malo.
Binarios: por ejemplo, s, no. -
2.3.2 Indicadores segn nivel
de intervencin. Hacen refe-
rencia a la cadena lgica de in-
tervencin, es decir, a la relacin
entre los insumos, los resultados
y los impactos; tratan de medir
en cunto se acerca a las metas
esperadas con los insumos dis-
ponibles. Para esto se dispone
de cinco tipos de indicadores:
Indicadores de impacto: se refe-
ren a los efectos, a mediano y
largo plazo, que pueden tener
uno o ms programas en el
universo de atencin y que re-
percuten en la sociedad en su
conjunto.
Ejemplos: crecimiento del PIB,
tasa de desempleo, ingreso na-
cional per cpita, proporcin de la
poblacin en pobreza extrema.
Indicadores de resultado (out-
come): se referen a los efectos
de la accin institucional y/o de
un programa sobre la sociedad.
Ejemplos: porcentaje de ni-
os de 0 a 6 aos vacunados,
porcentaje de nios inscri-
tos en educacin primaria,
porcentaje de viviendas con
conexin a servicio de acue-
ducto, nmero de habitantes
benefciados con la construc-
cin de un nuevo sistema de
agua potable.
Indicadores de producto (out-
puts): se referen a la cantidad
y calidad de los bienes y servi-
cios que se generan mediante
las actividades de una institu-
cin o de un programa.
Ejemplos: nmero de techos
construidos en viviendas con
relacin al total programado,
nmero de tomas de agua po-
table por cada 1000 habitantes.
Indicadores de proceso: se re-
feren al seguimiento de la
realizacin de las actividades
1.
2.
3.
4.
17
programadas, respecto a los
recursos materiales, personal
y/o presupuesto. Este tipo de
indicadores describe el esfuer-
zo administrativo aplicado a los
insumos para obtener los bie-
nes y servicios programados.
Ejemplos: tiempo de espera
para atencin mdica pblica,
nmero de alumnos por maes-
tro en escuelas pblicas, nme-
ro de desayunos distribuidos a
nios en localidades rurales.
Indicadores de insumo: se re-
fere al seguimiento de todos
los recursos disponibles y uti-
lizados en una intervencin.
Ejemplos: gasto en atencin
mdica bsica, porcentaje de
computadores disponibles para
uso del programa X, variacin
de recursos fsicos.
2.3.3 Indicadores segn
jerarqua
Indicadores de gestin: este tipo
de indicadores tambin son
denominados indicadores in-
ternos y su funcin principal es
medir el primer eslabn de la
cadena lgica de intervencin,
es decir, la relacin entre los
insumos y los procesos. Aun-
que este tipo de indicadores se
usan cuando se da comienzo al
cronograma, se conciben en la
etapa de planeacin, cuando
para cada situacin plateada
se programan tareas, activida-
des y recursos fsicos, fnancie-
ros, as como talento humano.
Dentro de esta categora, se
tienen en cuenta los indica-
dores administrativos y ope-
rativos, esto es, aquellos que
miden el nivel o cantidad de
elementos requeridos para la
obtencin del producto, ser-
vicio o resultado.
Indicadores estratgicos: per-
miten hacer una evaluacin
de productos, efectos e im-
pactos, es decir, la forma,
mtodo, tcnica, propuesta,
solucin y alternativa son ele-
mentos que pertenecen, bajo
el criterio de estrategia, a todo
el sistema de seguimiento y
evaluacin. En este sentido,
5.
los indicadores estratgicos
permiten medir los temas de
mayor incidencia e impacto.
Estas dos ltimas tipologas se
complementan como se obser-
va en el diagrama 2.
Objetivos
generales de la entidad
Objetivos
especfcos de la entidad
Objetivos de las
ofcinas o dependencias
Pas
Visin
institucional
De
impacto
De
resultado
De
producto
De
proceso
Ms
estratgico
Menos
estratgico
Tipologa
de indicadores
Jerarqua de objetivos
I
n
d
i
c
a
d
o
r
e
s

e
s
t
r
a
t
g
i
c
o
s
I
n
d
i
c
a
d
o
r
e
s

d
e

g
e
s
t
i
n
Diagrama 2. Interrelacin entre indicadores, segn nivel de resultados
y jerarqua
2.3.4 Indicadores segn cali-
dad. Dan cuenta de la dinmica
de actividades especfcas; stos
debern medir la efciencia y ef-
cacia, de modo que permitan
introducir los correctivos nece-
sarios o los cambios requeridos
dentro del transcurso del proce-
so, ya que informan sobre reas
crticas del mismo.
Indicadores de efcacia: expre-
san el logro de los objetivos,
metas y resultados de un plan,
programa, proyecto o poltica.
Ejemplo: el gobierno del de-
partamento X tiene proyectado
ofrecer 8 000 nuevos subsidios
de vivienda para el ao 2004;
al fnalizar el ao se hizo un
19
inventario y se encontr que
efectivamente se entregaron
6 500 subsidios. El indicador
de cumplimiento es:
Meta alcanzada
Meta planeada
IC = * 100
6 500
8 000
IC =
*100 = 81,25 %
Logro alcanzado
Recursos disponibles
IE =
* 100
5 220
6 500
IE = * 100 = 80,3%
Interpretacin: las metas pro-
puestas en la entrega de sub-
sidios de vivienda del depar-
tamento X, en el ao 2004, se
cumplieron en un 81,25%.
Indicadores de efciencia: per-
miten establecer la relacin
de productividad en el uso de
los recursos.
Ejemplo: el departamento X
desea saber cuntos de los
subsidios otorgados para
vivienda fueron entregados
para vivienda de inters social
(VIS) durante el ao 2004. Al
fnalizar el ao se hizo un in-
ventario y se encontr que
efectivamente se entregaron
6 500 subsidios, de los cuales
5 220 fueron entregados en el
segmento VIS. El indicador de
efciencia es:
Interpretacin: el 80,3% de los
subsidios otorgados para vi-
vienda en el departamento X,
durante el ao 2004, se entre-
garon para el segmento de vi-
vienda de inters social (VIS).
Indicadores de efectividad: este
concepto involucra la efciencia
y la efcacia, es decir, el logro de
los resultados programados en
el tiempo y con los costos ms
razonables posibles. Es la me-
dida del impacto de nuestros
productos en el objetivo y el lo-
gro del impacto est dado por
los atributos que tienen los pro-
ductos lanzados al objetivo.
Ejemplo: El departamento X
ha invertido parte de su pre-
supuesto en la inclusin de
Personas mayores de 15 aos que saben leer y escribir
Total poblacin mayor de 15 aos
TA= * 100
2 593 400
2 824 560
TA= * 100 = 91,8%
saber el impacto de esta medi-
da en la poblacin, para lo cual
se mide la tasa de alfabetismo.
Interpretacin: el 91,8% de la
poblacin mayor de 15 aos en
el departamento X es alfabeta,
es decir, sabe leer y escribir.
nios y nias a la educacin
bsica. Para saber la efectivi-
dad de este programa se busca
21
3
CONSTRUCCIN DE INDICADORES
Construir indicadores presupone,
ante todo, tratamiento responsa-
ble de la informacin relaciona-
da con el tema objeto de estudio.
El proceso de elaboracin de un
indicador est constituido, en lo
fundamental, por cuatro etapas
bien defnidas, que se describen
a continuacin.
3.1 FORMULACIN DEL PRO-
El segundo paso consiste en
determinar cul es el aspecto
especfco que interesa evaluar
de dicho objeto de medicin, el
cual puede estar relacionados
con la formulacin, los insumos,
los procesos, los resultados, los
impactos, la gestin o los pro-
ductos. Esta actividad no permi-
te crear dudas frente a lo que se
pretende medir y facilita la cons-
truccin de un indicador ade-
cuado para aclarar o disminuir
las incertidumbres que rodean
los problemas planteados.
Por ejemplo, si el mercado la-
boral es el objeto de estudio,
el problema planteado puede
obedecer al nivel de desempleo
y se puede obtener como uno
de los resultados, un indicador
que observe la baja ocupacin
de la poblacin joven. Si el ob-
jeto fuera el sector salud y se
construye un indicador por
causas especfcas de enferme-
dad, el resultado puede ser la
BLEMA: QU SE QUIERE
MEDIR?
La identifcacin del objeto de
medicin (poltica, programa, pro-
yecto o problemtica) es el primer
aspecto que se debe establecer
en un estudio determinado. Los
indicadores deben, en principio,
proporcionar informacin con-
creta acerca de dicho objeto; por
lo tanto, la informacin y su modo
de recoleccin alrededor de l tie-
nen que ser cuidadosamente es-
cogidos, y en el evento en que se
realicen preguntas, stas deben
ser muy bien formuladas.
enfermedad que est causando
el mayor nmero de muertes.
3.2 DEFINICIN DE LAS
Una vez defnido qu se quiere
medir, puede procederse a la
elaboracin del indicador, para
lo cual se establecen las variables
que lo conforman y la relacin
entre ellas para que produzcan
la informacin que se necesita.
Lo que se investiga en una unidad
de anlisis
1
son sus caractersticas
(cualidades), denominadas varia-
bles, las cuales pueden modifcar-
se o variar en el tiempo y en el es-
pacio; por ejemplo: edad, gnero,
aos de educacin formal, nivel
socioeconmico, etc.
Las variables, una vez identifca-
das, deben ser defnidas con la
mayor rigurosidad posible asig-
1
La unidad de anlisis se entiende como el
elemento mnimo de estudio, observable o
medible, en relacin con un conjunto de otros
elementos que son de su mismo tipo; por
ejemplo, si el tema es anlisis de gestin, la
unidad de anlisis es cada uno de los objetivos
establecidos seleccionados como estratgicos
para el cumplimiento de las metas y objetivos
globales de la gestin.
VARIABLES
nndole un sentido claro, para
evitar que se originen ambige-
dades y discusiones sobre sus
resultados. As mismo, se debe
tener claridad de quin y cmo
produce dicha informacin para
de esta forma mejorar el criterio
de confabilidad.
3.3 SELECCIN DE INDICADO-
RES Y CALIDAD DE LOS
DATOS
De modo general, un indicador
debe ser de fcil comprensin e
interpretacin y debe permitir
establecer relaciones con otros
indicadores utilizados para medir
la situacin o fenmeno en estu-
dio, es decir, debe ser compara-
ble en el tiempo y en el espacio.
Metodolgicamente, debe ser e-
laborado de forma sencilla, auto-
mtica, sistemtica y continua.
El proceso de seleccin de indi-
cadores depende del contexto
terico en el que se les requie-
ra, es decir, dependen en buena
medida de las caractersticas del
proyecto a evaluar o rea de es-
tudio que se vaya a emprender.
23
El inicio de tal proceso compren-
de una refexin terica, concep-
tual y metodolgica que se cons-
tituyen en la base de las etapas
subsiguientes de produccin y
anlisis. Existen unos criterios ge-
nerales para la seleccin de indi-
cadores, que tienen en cuenta las
caractersticas de los datos que
se van a utilizar como soporte, su
relacin con el problema de an-
lisis y la utilidad para el usuario.
Criterio de
seleccin
Pregunta a tener en
cuenta
Objetivo
Pertinencia El indicador expresa
qu se quiere medir de
forma clara y precisa?
Busca que el indicador permita des-
cribir la situacin o fenmeno deter-
minado, objeto de la accin.
Funcionalidad El indicador es monito-
reable?
Verifca que el indicador sea medible,
operable y sensible a los cambios re-
gistrados en la situacin inicial
Disponibilidad La informacin del in-
dicador est disponible?
Los indicadores deben ser construi-
dos a partir de variables sobre las
cuales exista informacin estadstica
de tal manera que puedan ser con-
sultados cuando sea necesario.
Confabilidad De donde provienen
los datos?
Los datos deben ser medidos siem-
pre bajo ciertos estndares y la in-
formacin requerida debe poseer
atributos de calidad estadstica.
Utilidad El indicador es relevan-
te con lo que se quiere
medir?
Que los resultados y anlisis permi-
tan tomar decisiones.
Tabla 1. Criterios para seleccin de indicadores
3.3.1 Criterios para la seleccin
de indicadores. Es importante
realizar un control de calidad del
indicador, respondiendo a las
preguntas planteadas en cada
uno de los criterios fundamen-
Fuente: Metodologa lnea base de indicadores, DANE 2009
2
Estos criterios de calidad estadstica estn ba-
sados en lo propuesto por la OECD en el docu-
mento OECD, Quality framework and guideli-
ne for OECD statistical activities. 2003.
Criterio de
seleccin
Objetivo
Relevancia Depende del grado de utilidad para satisfacer el propsito por el cual fue bus-
cada por los usuarios.
Credibilidad Evala si los indicadores estn soportados en estndares estadsticos apro-
piados y que las polticas y prcticas aplicadas sean transparentes para los
procedimientos de recoleccin, procesamiento, almacenaje y difusin de da-
tos estadsticos (INE, 2007).
Accesibilidad Evala la rapidez de localizacin y acceso desde y dentro de la organizacin.
[] La accesibilidad incluye la conveniencia de la manera en que los datos
estn disponibles, los medios de divulgacin, la disponibilidad de metadatos
y servicios de apoyo al usuario (OECD, 2003, p. 9)
Oportunidad Evala el cumplimiento del tiempo transcurrido entre su disponibilidad y el
evento o fenmeno que ellos describan, pero considerado en el contexto del
periodo de tiempo que permite que la informacin sea de valor y todava se
puede actuar acorde con ella (OECD, 2003).
Coherencia Evala que el proceso estadstico posea una adecuada consistencia y cohe-
rencia y est sujeta a una poltica de revisin previsible.
tales o bsicos que se deben te-
ner en cuenta para la seleccin
de indicadores (tabla 1). Si se
responde de forma afrmativa a
todas las preguntas, el indicador
ser adecuado, de lo contrario
se debe considerar la posibili-
dad de construir indicadores
adicionales y someterlos al mis-
mo control de calidad.
3.3.2 Criterios relacionados con
la calidad estadstica. La calidad
estadstica es fundamental para
obtener buenos indicadores; por
tal razn, es importante hacer un
anlisis previo de la calidad de los
datos que van a ser utilizados, para
lo cual se toman como referencia
el cumplimiento de los criterios
2

que se presentan en la tabla 2.
Tabla 2. Criterios de seleccin relacionados con la calidad estadstica
25
3.3.3 Criterios relacionados con
la utilidad y comprensin de los
indicadores para el usuario. Un
indicador debe responder a una
necesidad social real que haga
necesaria su generacin y su utili-
zacin; como tal, debe cumplir con
requisitos mnimos para su enten-
dimiento e interpretacin por par-
te de los usuarios (tabla 3).
Criterio de seleccin Objetivo
Aplicabilidad Debe responder a una necesidad real que haga nece-
saria su generacin y su utilizacin.
No redundancia Debe expresar por s mismo al fenmeno sin ser redun-
dante con otros indicadores. Existe la posibilidad que dos
indicadores se encuentren altamente correlacionados,
esto hace que la informacin contenida en estos sea muy
similar, lo cual indicara la posibilidad de utilizar uno de
ellos. En lo posible, se debe construir un solo indicador
por proceso objeto de medicin.
Interpretabilidad Debe ser fcil de entender para todos, especialistas y no
especialistas.
Comparabilidad Debe ser comparable en el tiempo siempre y cuando uti-
lice como base la misma informacin. Tambin debe ser
comparable con otras regiones o pases. La evolucin de
un indicador est determinada por los cambios que ocu-
rran en la informacin que la sustenta.
Oportunidad Debe ser mensurable inmediatamente se tiene disponi-
ble los datos que interrelaciona. Debe construirse en el
corto plazo para facilitar la evaluacin y el reajuste de los
procesos para alcanzar las metas.
3.4 DISEO DEL INDICADOR
3.4.1 Identifcacin del con-
texto. Se debe tener un conoci-
miento actualizado del contexto
social, poltico, jurdico y econ-
mico de la unidad de anlisis.
3.4.2 Determinacin de usos
y actores. Se deben determinar
Tabla 3. Criterios de seleccin relacionados con utilidad y comprensin
los usos especfcos que tendr
el indicador y sealar los actores
que requieren esa informacin.
3.4.3 Identifcacin de fuentes
de informacin y procedimien-
tos de recoleccin y manejo
de la informacin. Se deben
identifcar las fuentes de infor-
macin y sus caractersticas, as
como los procedimientos ms
adecuados de recoleccin y ma-
nejo de la informacin (La in-
formacin est disponible? En
qu formato se encuentra o cul
sera el formato en el que desea-
ra que se encontrara? Qu m-
todos utilizara para recolectar
la informacin?).
Dichas fuentes pueden ser
el sistema de informacin de
la entidad, registro de infor-
macin sobre la implementa-
cin de procesos para el lo-
gro de metas y cumplimento
de compromisos, informacin
estadstica, instrumentos de
medicin elaborados especial-
mente para medir resultado o
estudios de tipo cuantitativo
o cualitativo.
Para poder realizar el anlisis y
seguimiento adecuado de las
situaciones mediante la utili-
zacin de los indicadores, se
requiere tener acceso y dispo-
nibilidad a datos econmicos,
sociales, polticos y ambien-
tales de alta calidad. Por con-
siguiente, se deben tener en
cuenta tres aspectos funda-
mentales durante el proceso
de recoleccin de datos:
Dnde se producen los datos?
Cmo se captan o recolectan?
Cmo fuyen?
No basta con tener una base
de datos, pues en su esencia,
una base de datos no necesa-
riamente representa la informa-
cin, pero s constituye el mejor
concepto para su materia prima.
Para que la materia prima se
convierta en informacin, sta
tiene que ser revisada, depu-
rada, procesada, organizada y
analizada para un fn especifco.
Por ser la recoleccin un aspec-
to crtico, se recomienda tener
en cuenta, para el desarrollo de
su actividad, los aspectos que se
relacionan a continuacin.
1.
2.
3.
27
a. Actividades previas a la
recoleccin:
Evaluacin de la informacin
actualmente disponible: una
vez defnidas las caracters-
ticas de la informacin que
se utilizar en la construccin
del indicador, el paso a seguir
requiere una revisin de los
datos disponibles tanto en
la propia entidad, como en
aquellas entidades que por su
naturaleza sean generadoras
de los mismos. Tambin es re-
comendable el mismo proce-
dimiento para la informacin
secundaria o aquella que se
procesa para obtener los da-
tos necesarios.
Se deben establecer y ubicar
las fuentes primarias de los
datos y las fuentes encarga-
das de suministrar informa-
cin secundaria, para lo cual
se sugiere elaborar un direc-
torio de fuentes, donde se
describan claramente los da-
tos de identifcacin de cada
una y la informacin disponi-
ble (variables).
Es importante que durante el
proceso de construccin del
indicador se prevea y evale la
existencia de los datos que ser-
virn de base; si no existen al-
gunos de ellos, se debe evaluar
la conveniencia de reformular
el indicador utilizando otra in-
formacin disponible, o la de
asegurar la produccin de los
datos para su construccin.
Recopilacin y evaluacin de
la informacin secundaria pro-
cedente de diversas entidades
que tengan que ver con el
tema: la informacin secunda-
ria es aquella que se obtiene
con base en otra informacin,
como proyecciones de pobla-
cin, ndices de precios y otros.
Determinacin de la infor-
macin primaria que debe
ser recopilada directamente
de las fuentes: esta informa-
cin puede obtenerse como
resultado de una operacin
estadstica: censo, encuesta
por muestreo probabilstico
o no probabilstico o un re-
gistro administrativo.
Defnicin de los mtodos de
recoleccin, de acuerdo con
atributos particulares: existen
diversos mtodos de reco-
leccin de datos: entrevista o
consulta directa (en la fuente
o a travs de Internet), autodi-
ligenciamiento, correo, telef-
nicamente, etc.
b. Requisitos para la obten-
cin de datos: en el momento
de captar u obtener los datos es
necesario tener en cuenta las si-
guientes recomendaciones:
Recolectar los datos de la mis-
ma fuente para evitar sesgos
causados por efectos de cam-
bios en la metodologa de la
medicin.
Verifcar en la fuente habitual
que los datos suministrados
sigan la misma metodologa.
Los cambios metodolgicos
pueden hacer incomparables
los resultados estadsticos.
Aclarar si los datos en cada
periodo recolectado son pro-
visionales o defnitivos, de tal
forma que se entiendan los
resultados derivados de estos.
Cuando los datos constituyen
series temporales de infor-
macin, se deben evaluar los
cambios signifcativos entre
un periodo y otro, con el fn de
establecer la causa o justifca-
cin que sustente el cambio,
con el propsito de disponer
de elementos de juicio que
faciliten la realizacin de an-
lisis sobre su evolucin y com-
portamiento en el tiempo.
3.4.4 Defnicin de responsa-
bilidades. Es necesario defnir o
verifcar los responsables de:
La produccin de la informa-
cin asociada al indicador.
La recoleccin de la
informacin.
El anlisis de dicha
informacin.
La administracin de las ba-
ses de datos asociadas a di-
cha informacin.
29
La preparacin de los reportes
y la presentacin de la infor-
macin con el indicador.
3.4.5 Documentacin del in-
dicador. Una vez agotadas las
fases anteriores, lo que sigue se
refere a la documentacin del
indicador. Lo primero es defnir
de manera concreta y cohe-
rente con la unidad de anlisis,
todos los elementos que con-
fguran el indicador. Con base
en lo anterior, el segundo paso
es construir, como instrumen-
to metodolgico de resumen,
la fcha tcnica del indicador o
metadato
3
, optimizando el uso
y aprovechamiento de la infor-
macin disponible por parte de
los usuarios.
Los elementos que conforman
una ficha tcnica se describen
a continuacin:
Nombre del indicador: es la ex-
presin verbal, precisa y concre-
ta que identifca el indicador.
Sigl a: trmi no abreviado
que representa el nombre
del indicador.
Objetivo: propsito que se per-
sigue con su medicin, es decir,
describe la naturaleza y fnali-
dad del indicador.
Defniciones y conceptos: ex-
plicacin conceptual de cada
uno de los trminos utilizados
en el indicador.
Mtodo de medicin: corres-
ponde a la explicacin tcnica
sobre el proceso para la ob-
tencin de los datos utilizados
y la medicin del resultado
del indicador.
Unidad de medida: es en la
que se mide el indicador; por
ejemplo; porcentaje, hect-
reas, pesos, etc.
Frmula: expresin matemti-
ca mediante la cual se calcula el
indicador. La frmula se debe
presentar con siglas claras y
que, en lo posible, den cuenta
del nombre de cada variable.
3
Registro que informa sobre las propiedades
y caractersticas de la informacin estadstica,
en este caso, de los indicadores.
Variables: descripcin de cada
variable de la frmula: especi-
fcacin precisa de cada una
de las variables con su respec-
tiva sigla.
Limitaciones del indicador: Qu
no mide el indicador? Las limi-
taciones que el indicador tiene
como modelo para medir una
realidad a la que es imposible
acceder directamente.
Fuente de los datos: nombre
de las entidades encargadas
de la produccin y/o suminis-
tro de la informacin que se
utiliza para la construccin del
indicador y operacin estads-
tica que produce la fuente.
Desagregacin temtica: se re-
fere al nivel de detalle temtico
hasta el cual se puede obtener
informacin estadsticamente
signifcativa a partir de los da-
tos disponibles.
Desagregacin geogrfca: se
refere al nivel geogrfco has-
ta el cual se puede obtener
informacin estadsticamente
signifcativa; por ejemplo, na-
cional, departamental, muni-
cipal, entre otras.
Periodicidad de los datos: fre-
cuencia con que se hace la
medicin del indicador en su
expresin total.
Fecha de informacin dispo-
nible: se refere a la fecha ini-
cial y fnal de la informacin
disponible.
Responsable: entidad(es) y de-
pendencia(s) que tendr(n)
a su cargo la elaboracin del
indicador.
Observaciones: incluye las re-
fexiones y recomendaciones
que se consideren pertinen-
tes para la conceptualizacin
y comprensin del indicador,
adems de sealar la biblio-
grafa de referencia o docu-
mentales utilizados para la e-
laboracin de los conceptos.
En el anexo encontrar un ejem-
plo prctico de documentacin
de indicadores (fcha tcnica).
31
4
ELEMENTOS PARA LA INTERPRETACIN DE
INDICADORES
Para la interpretacin de los in-
dicadores, se deben tener en
cuenta entre otros los siguien-
tes elementos:
4.1 LAS VARIABLES QUE ESTN
EN EL NUMERADOR Y EN
EL DENOMINADOR
Nombre del
indicador
Variables
que
relaciona
Frmula
de clculo
Unidad
de
medida
Operacin
estads-
tica
Fuente
de informa-
cin
ndice de
utilizacin
vehicular
general:
muestra
la forma
en que se
utilizan, los
vehculos
dentro del
proceso de
moviliza-
cin de
mercancas
en el
departa-
mento A
Cantidad
de carga
movilizada
Nmero de
vehculos
por confgu-
racin
por ao
Cantidad de
carga movi-
lizada / N-
mero total
de vehculos
de carga por
confgura-
cin
Tonela-
das / ao
Registro
del
trans-
porte de
carga por
carretera
en el
departa-
mento A.
Grupo de
Estudios
de Carga
Subdirec-
cin Ope-
rativa de
Transporte
Automotor.
Ministerio
de Trans-
porte.
Tabla 4. Caractersticas del ndice de utilizacin vehicular general
a. Cuando el indicador es el re-
sultado de la relacin de dos va-
riables que estn expresadas en
mediciones diferentes: ejemplo:
la Secretara de Obras Pblicas
y Transporte de la Gobernacin
del departamento A desea co-
nocer la utilizacin de los ve-
hculos de carga con los que
cuenta el departamento en un
ao; entonces, el indicador se-
ra ndice de utilizacin vehcu-
lar general y sus caractersticas
seran las que se muestran en
la tabla 4.
b. Cuando el indicador se expresa
en variables que estn expresadas
en la misma unidad de medicin:
por ejemplo, el porcentaje de las
reas recreativas con respecto al
total del rea construida en las
instituciones educativas, se ob-
tiene por medio del indicador:
Porcentaje del rea recreativa:
este indicador establece la re-
lacin entre el rea recreativa
con respecto al total del rea
construida en las instalacio-
nes educativas.
Variables:
Tm -
2
ar: total de metros cua-
drados de rea recreativa
Tm -
2
: total de metros cuadra-
dos de rea construida
Frmula:
Tm
2
ar
Tm
2
PAR = = *100
15 050
180 000
PAR = = *100 =8,36%
En otras palabras, el 8,36% del
rea total construida es para reas
recreativa en las instalaciones
educativas del departamento.
4.2 LAS DEFINICIONES Y
CONTENIDOS

Las defniciones cambian en
el tiempo.
Las defniciones cambian en
el espacio: mientras en nues-
tro pas se considera analfa-
beta a la persona mayor de
15 aos que no sabe leer y
escribir, en Suecia se conside-
ra a una persona analfabeta
cuando tiene 11 aos o ms,
lo cual hace que el porcentaje
de analfabetismo no sea es-
trictamente comparable.
De dnde proceden las ci-
fras? Qu entidad las recoge?:
los objetivos y la metodologa
seguida para su recoleccin,
depuracin, procesamiento y
presentacin.
La clasifcacin que se d a los
indicadores no es excluyente,
porque en algunos casos un in-
dicador demogrfco se puede
33
tomar como social, uno social
como econmico o viceversa.
Las unidades de medida: ki-
logramos, kilmetros, metros,
hectreas, metros cuadrados,
galones, litros, porcentaje, mi-
les, millones, etc.
Por ltimo, debe tenerse en
cuenta que el proceso de se-
leccin de indicadores relevan-
tes no slo se basa en el diseo,
construccin e interpretacin del
indicador, sino que tambin pre-
supone un proceso ms extenso
en donde se deben evaluar los
indicadores, teniendo en cuenta
los planes y programas a los cu-
les se quiere tener referencia, y
de esta forma poder decidir cu-
les indicadores son estratgicos
y cules no. El diagrama 3 mues-
tra este proceso.
Plan Nacional de
Desarrollo
Programas sectoriales
de desarrollo
Programas especfcos
Programas operativos
anuales y planes
de accin
Objetivos del
programa
Seleccin de
dimensiones de
medicin
Componentes
crtcos de xito

(consensos)
Construccin de la
forma del indicador
y fcha tcnica
de metadato
Misin, participantes,
benefcios, xitos obtenidos,
obstculos para el
desarrollo integracin
con otros programas
Defnicion de objetivos
Evaluacin de planes
y programas
Adems, para cada indicador:
estado actual, metas y
rangos de gestin para
su cumplimiento
Construccin del indicador
Validacin
No
S
Aplicacin prctica
Verifcar si han
cubierto las
dimensiones de
evaluacin de inters
Diagrama 3. Proceso para el diseo y construccin de indicadores
estratgicos
Fuente: DANE
El primer paso para disear un
indicador estratgico es evaluar
los planes y programas de refe-
rencia, y con ello verifcar la per-
tinencia de construir el indicador.
Despus, es necesario defnir los
objetivos que se quieren medir.
El tercer paso es seleccionar las
dimensiones de medicin bus-
cando un consenso respecto a
que dicho indicador sea el mejor
para medir las dimensiones esta-
blecidas. El siguiente paso es la
construccin del indicador con
su respectiva fcha tcnica. Por
ltimo, se debe validar este pro-
ceso para poder llevar a la prcti-
ca la medicin del indicador.
35
BIBLIOGRAFA
CEPAL. 2003. Gestin orientada
a asegurar la calidad de los da-
tos en los institutos nacionales de
estadstica. Segunda reunin de
la Conferencia Estadstica de las
Amricas, Chile.
Charry, J. 1996. Los indicadores de
gestin y de resultados en las en-
tidades del Estado. 1. Edicin. Bi-
blioteca Jurdica Dike. Bogot.
DANE. 2002. Elementos metodo-
lgicos bsicos para la seleccin,
construccin, interpretacin y an-
lisis de indicadores. SNIE. Bogot.
Instituto Nacional de Estadsticas
de Chile (INE Chile) 2007. Dimen-
siones de la calidad segn OECD
y Eurostat. Serie Estudios, Nro. 4,
Santiago de Chile, noviembre.
Llano, A., y Moreno, H. 1995. Me-
todologa para la conformacin de
la lnea de base del programa BID-
Plan Pacfco. Departamento Na-
cional de Planeacin. Bogot.
LORA, E. 1987. Tcnicas de medi-
cin econmica, Siglo XXI editores.
OECD. 2003. Quality Framework
and Guidelines for OECD Statistical
Activities, Version 2003/1.
Pfenniger, Mariana. 2004. Indica-
dores y estadsticas conceptuales:
un breve repaso conceptual. Portal
Iberoamericano de Gestin Cul-
tural. Espaa. http://www.ges-
tioncultural. org/gc/boletin/pdf/
Indicadores/MPfenniger.pdf
PODION. 2000. Planifcacin de
proyectos y diseo de indicado-
res. Bogot.
Quintero, Vctor M. 2000. Evalua-
cin de proyectos sociales: construc-
cin de indicadores, FES, Bogot.
VOS, Rob. 1995. Hacia el mejora-
miento del sistema de indicadores so-
ciales para Amrica Latina. Institute of
Social Studies y Banco Interamerica-
no de Desarrollo BID, Washington.
37
Nombre del indicador Tasa Especfca de Fecundidad por Edad
Sigla TEFE
Objetivo Medir el patrn de fecundidad por edad, o sea, de
la frecuencia relativa de los hijos dados a luz por
mujeres de diferentes edades durante sus aos
reproductivos.
Defniciones y conceptos Mujeres en edad reproductiva. Mujeres entre
15 y 49 aos. Se pueden conformar grupos por
edades simples o quinquenales, ejemplo: de 15 a
19; de 20 a 24, etc.
Nmero de hijos nacidos vivos. Nmero de
nacimientos por cada grupo de mujeres en edad
reproductiva.
Mtodo de medicin Divisin entre el nmero de hijos nacidos vivos
de mujeres de un grupo de edad especfco entre
el nmero de mujeres del mismo grupo de edad,
por 1000.
Unidad de medida Nmero de hijos nacidos vivos por cada 1000
mujeres
Frmula
Variables NHV
i
: Nmero de hijos vivos de mujeres en el ran-
go de edad i , durante el periodo de referencia.
NMi
i
: Nmero de mujeres por rango de edad i,
durante el periodo de referencia.
Limitaciones del indicador No mide los hijos nacidos vivos por las mujeres
menores de 15 aos o mayores de 49.
Fuente de los datos NHV
i
: Estadsticas vitales - DANE
NMi
i
: Censos nacionales de poblacin DANE
Desagregacin temtica i : rango de edad. Puede ser por edades simples
o quinquenales.
TEFE
i
= *1000
NHV
i
NMi
i
Ficha tcnica. Tasa especfca de fecundidad por edad
ANEXO
Desagregacin geogrfca Nacional, departamental, municipal
Periodicidad de los datos Perodo intercensal, aproximadamente cada 10
aos
Fecha de informacin dispo-
nible
1964, 1973, 1985, 1993, 2005.
Responsable DANE - Direccin de Censos y Demografa
Observaciones Bibliografa: Resultados de los censos nacionales
de poblacin en Colombia. ltimos censos: 1964,
1973, 1985, 1993 y 2005.
Ficha tcnica. Tasa especfca de fecundidad por edad
(conclusin)
Fuente: DANE
Gua para Diseo,
Construccin e
Interpretacin
de Indicadores
2
Herramientas estadsticas para una
gestin territorial ms efectiva

Guia Construccion Interpretacion Indicadores

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Guia Construccion Interpretacion Indicadores

Загружено:

Авторское право:

Доступные форматы

Gua para Diseo,

Вам также может понравиться