Академический Документы
Профессиональный Документы
Культура Документы
Establecer datos
bsicos sobre
indicadores.
Situacin actual
6
Hacer seguimiento
para obtener
resultados
8
Presentar
informes
sobre
hallazgos
10
Sustentar SyE en
la organizacin
958-97647-4-6
Utilizar los
hallazgos
Determinar el
papel de las
evaluaciones
Planificar para
mejorar. Seleccionar
objetivos
de resultados
Seleccionar
indicadores clave
para monitorear
los efectos
Hacer una
estimacin de
la preparacin
29672
Diez pasos
hacia un
sistema de
seguimiento
y evaluacin
basado en
resultados
System
preliminar00.p65
The findings, interpretations, and conclusions expressed herein are those of the author(s) and
do not necessarily reflect the views of the Executive Directors of The World Bank or the
governments they represent.
The World Bank does not guarantee the accuracy of the data included in this work. The
boundaries, colors, denominations, and other information shown on any map in this volume
do not imply any judgment concerning the legal status of any territory or the endorsement or
acceptance of such boundaries.
Los resultados, interpretaciones y conclusiones expresados aqu son los del (los) autor (es) y no
reflejan necesariamente las opiniones de los Directores del Banco Mundial, o de los gobiernos
que ellos representan.
El Banco Mundial no garantiza la exactitud de los datos incluidos en este trabajo. Las fronteras,
los colores, los nombres y otra informacin expuesta en cualquier mapa de este volumen no
denotan, por parte del Banco, juicio alguno sobre la condicin jurdica de ninguno de los territorios, ni aprobacin o aceptacin de tales fronteras.
Publicado originalmente en ingls como: Ten Steps to a Results-Based Monitoring and Evaluation System:
A Handbook for Development Practitioners, por el Banco Mundial. La traduccin al castellano fue hecha
por Mayol Ediciones, editorial que es responsable de su precisin. En caso de discrepancias, prima el
idioma original.
preliminar00.p65
CONTENIDO
PREFACIO
ACERCA DE LOS AUTORES
xv
xix
INTRODUCCIN
CONSTRUCCIN DE UN SISTEMA DE SEGUIMIENTO Y EVALUACIN (SyE)
BASADO EN RESULTADOS
Parte 1.
Nuevos retos en la gestin del sector pblico
Iniciativas internacionales y externas, y factores de cambio
Enfoque de la Estrategia Nacional de Reduccin de la Pobreza
Iniciativas internas y factores de cambio
Parte 2.
Sistemas de SyE basados en resultados. Poderosa herramienta
de gestin pblica
Seguimiento y evaluacin: de qu se trata?
Rasgos clave de sistemas de SyE tradicionales basados en resultados
con un enfoque en la ejecucin
Muchas aplicaciones para sistemas de SyE basados en resultados
Retos polticos y tcnicos a la construccin de un sistema de SyE
basado en resultados
Introduccin del modelo de diez pasos para construir un sistema
de SyE basado en resultados
Dnde comenzar: enfoque de La totalidad del gobierno, de enclave
o enfoque mixto
Parte 3.
La experiencia de sistemas de SyE en pases industrializados
y en pases en desarrollo
La experiencia de sistemas de SyE en pases industrializados
y en pases miembros de la OCDE
Retos particulares del SyE que enfrentan los pases en desarrollo
Experiencia del sistema de SyE en pases en desarrollo
preliminar00.p65
1
2
3
8
10
11
12
15
18
20
22
25
27
27
32
35
vi
CAPTULO 1
PASO 1: HACER UNA ESTIMACIN DE LA PREPARACIN
39
Parte 1.
Por qu realizar una estimacin de la preparacin
Parte 2.
La estimacin de la preparacin: ocho preguntas clave
Parte 3.
Estimaciones de la preparacin en pases en desarrollo:
Bangladesh, Egipto y Rumania
Parte 4.
Lecciones aprendidas
CAPTULO 2
PASO 2. ELEGIR LOS EFECTOS PARA MONITOREARLOS
La importancia de los efectos
Aspectos que se deben considerar en la eleccin de los efectos para
hacerles seguimiento y evaluarlos
La importancia de construir un proceso participativo y consultivo
involucrando a las principales partes interesadas
El proceso general de fijar efectos y llegar a un acuerdo
sobre los mismos
Ejemplos y posibles enfoques
CAPTULO 3
PASO 3. SELECCIONAR INDICADORES CLAVE PARA MONITOREAR
LOS EFECTOS
44
50
54
57
Y EVALUARLOS
preliminar00.p65
40
58
58
59
60
62
67
68
68
70
73
74
76
78
vii
Contenido
CAPTULO 4
PASO 4: ESTABLECER Y RECOLECTAR DATOS BSICOS SOBRE
INDICADORES
CAPTULO 5
PASO 5: PLANIFICAR PARA MEJORAR. SELECCIONAR OBJETIVOS
DE RESULTADOS
Definicin de objetivos
Factores que deben considerarse en la seleccin de objetivos
de indicadores de desempeo
Ejemplos de objetivos relacionados con aspectos del desarrollo
El contexto global basado en el desempeo
CAPTULO 6
PASO 6: HACER SEGUIMIENTO PARA OBTENER RESULTADOS
Parte 1.
Tipos y niveles clave de seguimiento
Nexos entre seguimiento de la ejecucin y seguimiento
de los resultados
Parte 2
Principios clave de la construccin de un sistema de seguimiento
Logro de resultados por medio de alianzas
Necesidades de todos los sistemas de seguimiento basados en resultados
El tringulo de la calidad de los datos: confiabilidad, validez
y oportunidad
Anlisis de datos de desempeo
Prueba preliminar de instrumentos y procedimientos
de recoleccin de datos
preliminar00.p65
83
84
85
86
87
90
91
95
96
96
99
99
101
101
103
107
109
109
110
111
113
115
116
viii
CAPTULO 7
PASO 7: UTILIZAR INFORMACIN DE EVALUACIN
PARA RESPALDAR UN SISTEMA DE GESTIN BASADO EN RESULTADOS
Usos de la evaluacin
El momento oportuno de las evaluaciones
Tipos de evaluaciones
Caractersticas de las evaluaciones de calidad
Ejemplos de evaluaciones en el mbito de las polticas,
de los programas y de los proyectos
CAPTULO 8
PASO 8: PRESENTAR INFORMES SOBRE HALLAZGOS
CAPTULO 9
PASO 9: UTILIZAR LOS HALLAZGOS
134
136
136
139
143
145
CAPTULO 10
PASO 10: SUSTENTAR EL SISTEMA DE SyE DENTRO
145
147
152
159
DE LA ORGANIZACIN
121
124
127
132
135
preliminar00.p65
119
160
166
167
168
168
169
ix
Contenido
CAPTULO 11
HACER QUE EL SISTEMA DE SyE BASADO
EN RESULTADOS FUNCIONE PARA USTED Y PARA SU ORGANIZACIN
171
171
173
179
ANEXO I
181
ANEXO II
Estimacin de la preparacin:
Hacia el SyE basado en resultados en Egipto
187
ANEXO III
215
ANEXO IV
219
ANEXO V
229
ANEXO VI
Glosario
Trminos clave de la OCDE de evaluacin y gestin basada
en resultados (2002)
REFERENCIAS BIBLIOGRFICAS
ENLACES TILES EN INTERNET
OTRAS LECTURAS
preliminar00.p65
247
255
260
260
RECUADROS
Recuadro I.I.
Recuadro I.II.
4
4
6
11
16
29
30
31
36
37
51
73
78
79
80
81
Recuadro 4.2
92
93
Recuadro 5.1
99
Recuadro 6.1
Recuadro 6.2
105
106
Recuadro 7.1
123
Recuadro 1.3
Recuadro 3.1
Recuadro 3.2
Recuadro 3.3
Recuadro 3.4
Recuadro 3.5
Recuadro 3.6
Recuadro 4.1
preliminar00.p65
10
52
53
81
xi
Contenido
Recuadro 9.1
Recuadro 9.2
Recuadro 9.3
Recuadro 9.4
Recuadro 9.5
Recuadro 9.6
Recuadro 9.7
Recuadro 9.8
Recuadro 10.1
Recuadro 10.2
Recuadro 10.3
Recuadro 10.4
Recuadro 10.5
146
148
149
151
152
153
154
156
163
164
166
167
169
CUADROS
Cuadro I.I. Funciones complementarias de sistemas de SyE basados en
resultados
13
85
89
preliminar00.p65
11
139
142
165
xii
GRFICOS
Grfico I.I Modelo ilustrativo lgico para una meta nacional de desarrollo
Grfico I.II Diez pasos para disear, construir y sustentar un sistema de seguimiento
y evaluacin basado en resultados
24
39
Grfico 2.1 Ponerse de acuerdo sobre los efectos para hacerles seguimiento
y evaluarlos
Grfico 2.2. Desarrollo de declaraciones de efectos
Grfico 2.3 Declaraciones de efectos derivados de problemas o temas
identificados
Grfico 2.4 Cmo no elaborar declaraciones de efectos
Grfico 2.5 Desarrollo de efectos para un rea de las polticas
17
57
61
64
65
66
Grfico 3.1 Seleccionar indicadores clave para hacer seguimiento a los efectos
Grfico 3.2 Desarrollo de un conjunto de indicadores de efectos para un rea
de las polticas
Grfico 3.3 Listado de control para estimar indicadores propuestos
67
83
84
88
95
Grfico 6.1
Grfico 6.2
Grfico 6.3
Grfico 6.4
Grfico 6.5
preliminar00.p65
12
70
73
96
100
101
102
104
104
107
108
110
111
113
114
114
xiii
Contenido
preliminar00.p65
115
116
119
125
127
132
134
135
144
145
159
13
124
preliminar00.p65
14
PREFACIO
prefacio01.p65
15
xvi
El objetivo primario del presente manual son los funcionarios pblicos que
enfrentan el reto que plantea la gestin por resultados. Los pases en desarrollo
en especial enfrentan muchsimos obstculos que deben salvar en la construccin
de sistemas de SyE. Sin embargo, como lo veremos ms adelante, tanto para los
pases industrializados como para los pases en desarrollo, los sistemas de SyE
basados en resultados son un trabajo continuo en curso. Como ya lo hemos aprendido, cuando se ejecutan de la manera apropiada, estos sistemas proporcionan
un flujo continuo de retroinformacin al sistema, la cual puede orientar a los
encargados de formular las polticas hacia el logro de los resultados esperados.
Con el nimo de llegar a comprender mejor el desempeo de sus propias organizaciones, estn utilizando este enfoque directivos experimentados de programa
en los pases industrializados y de organismos internacionales donde ya funcionan sistemas de SyE basados en resultados.
Este Manual no tiene paralelo como gua para el diseo y construccin de un
sistema de SyE basado en resultados en el sector pblico. As mismo, se puede
utilizar conjuntamente con un taller que ha desarrollado el Banco Mundial, conocido como Diseo y construccin de un sistema de seguimiento y evaluacin
basado en resultados: Herramienta de gestin del sector pblico. la meta que
pretende lograr el Manual es ayudar al lector a planificar, disear y ejecutar en su
organizacin un sistema de SyE basado en resultados. Adems, el Manual tambin va a demostrar la forma en que un sistema de SyE puede convertirse en herramienta valiosa de respaldo de una administracin pblica eficiente.
El enfoque del Manual est dirigido a un modelo integral de diez pasos que le
servir de gua al lector a lo largo del proceso de diseo y construccin de un
sistema de SyE basado en resultados. Una estimacin de la preparacin ser el
primer paso que llevar al lector a travs del diseo, la gestin y, lo ms importante, la sostenibilidad del sistema de SyE propio. El Manual hace una descripcin
detallada de estos diez pasos, de las tareas que va a ser necesario emprender para
cumplir esos pasos y de las herramientas disponibles que le sern de ayuda al
lector a lo largo del camino.
Sugerimos tomar atenta nota de otros materiales disponibles que se relacionan en el anexos y se pueden utilizar para perfeccionar la comprensin del lector
de la estrategia descrita, tendiente a ayudarle a construir su propio sistema de SyE
basado en resultados.
Debemos una nota especial de gratitud al Departamento de Examen de Polticas y Operaciones, del Ministerio de Relaciones Exteriores de los Pases Bajos, en
particular a Rob D. Van den Berg y Hans Slot. Por medio del apoyo financiero
prestado (a travs del Fondo Holands de Fideicomiso en el Banco Mundial) y de
su estmulo intelectual, han sido los principales promotores de esta iniciativa.
Que este manual se haya convertido en realidad se debe principalmente a su consistencia y visin.
prefacio01.p65
16
xvii
Prefacio
prefacio01.p65
17
prefacio01.p65
18
autores02.p65
19
autores02.p65
20
INTRODUCCIN
CONSTRUCCIN DE UN SISTEMA DE SEGUIMIENTO Y
EVALUACIN BASADO EN RESULTADOS
En tanto, durante la historia reciente, el papel del Estado ha cambiado y evolucionado, hoy da se ha hecho fcilmente aparente que la gobernabilidad resulta
clave para lograr un desarrollo socioeconmico sostenible. Como nunca, los Estados confrontan el reto de las demandas de la economa global, de las nuevas tecnologas y de la informacin y de los llamados a favor de mayor participacin y
democracia.
Gobiernos y organizaciones del mundo entero se ven enfrentados a demandas y presiones internas y externas de mejoras y reformas de la administracin
pblica. Estas demandas surgen de diversas fuentes, entre ellas, las instituciones
multilaterales de desarrollo, gobiernos donantes, parlamentos, el sector privado,
ONG, grupos de ciudadanos y la sociedad civil, los medios, y muchos otros.
Sea que se trate de llamados a favor de mayor rendicin de cuentas y transparencia, mayor eficacia de los programas de desarrollo a cambio de ayuda extranjera, o de resultados reales de promesas polticas hechas, los gobiernos y las
organizaciones deben ser cada vez ms receptivos a partes interesadas internas y
externas y demostrar resultados tangibles. El clamor a favor de mayor eficacia
del gobierno ha alcanzado proporciones de crisis en muchos pases en desarrollo,
donde el Estado ha fracasado en el intento de suministrar aun bienes pblicos tan
fundamentales como derechos de propiedad, vas y salud y educacin bsicas
(Banco Mundial 1997, p. 2). En resumen, el desempeo del gobierno se ha convertido hoy da en un fenmeno global.
El sistema de SyE basado en resultados constituye una poderosa herramienta
de gestin pblica utilizable para ayudar a los encargados de formular las polticas y del proceso decisorio a rastrear los avances de un proyecto, programa o
polticas determinadas y demostrar su impacto. El sistema de SyE basado en resultados difiere de sistemas de SyE tradicionales con un enfoque en la ejecucin,
introduccion.p65
en cuanto trasciende el nfasis en insumos y productos, haciendo mayor hincapi en efectos e impactos.
No resulta tarea fcil construir sistemas de SyE basados en resultados. Hacerlo
exige un compromiso continuo, tiempo, esfuerzo, recursos y defensores, pero se
puede hacer. Una vez se ha creado el sistema, el reto consiste en sustentarlo. Son
muchos los retos polticos, organizativos y tcnicos que pases industrializados y
pases en desarrollo por igual deben vencer para construir estos sistemas. Construir y sustentar estos sistemas no es tanto un proceso tcnico, cuanto un proceso
poltico. No existe un mtodo correcto nico para construir estos sistemas, y muchos pases y organizaciones se van a encontrar en etapas diferentes de desarrollo con respecto a buenas prcticas de gestin pblica en general y de sistemas de
SyE en particular. Es importante reconocer que los sistemas de SyE basados en
resultados son obras permanentes en curso.
Los pases industrializados, en especial los pases de la Organizacin para la
Cooperacin y el Desarrollo Econmicos (OCDE), cuentan con ms de veinte aos
de experiencia en sistemas de SyE, en tanto muchos pases en desarrollo apenas
estn comenzando a utilizar esta herramienta clave de gestin pblica. Las experiencias de los pases industrializados son esclarecedoras y son muchas las lecciones importantes que pueden ofrecer a los pases en desarrollo. Los pases
industrializados han elegido diversos puntos de partida para ejecutar los sistemas de SyE basados en resultados, entre ellos enfoques de la totalidad del gobierno, de enclave o mixtos, los que tambin son aplicables a pases en desarrollo. Por
su parte, los pases en desarrollo confrontan diversos retos nicos a medida que
intentan resolver la pregunta y qu?: cules son los resultados e impactos de
las acciones del gobierno?
La Introduccin se divide en tres partes. Primero, hace nfasis en los nuevos
retos de la gestin del sector pblico, a saber, las muchas presiones internas y
externas que enfrentan los gobiernos y las organizaciones para que hagan una
gestin en bsqueda de resultados. Segundo, examina la utilizacin de sistemas
de SyE como herramienta de gestin pblica que se puede utilizar para rastrear
resultados y demostrarlos. Tercero, documenta la experiencia de sistemas de SyE
en los pases industrializados, as como los retos particulares que enfrentan los
pases en desarrollo.
PARTE 1
Nuevos retos en la gestin del sector pblico
En la gestin del sector pblico han ocurrido muchsimos cambios globales en la
medida en que diversas fuerzas internas y externas han convergido para hacer
ms responsables a los gobiernos y a las organizaciones frente a las partes interesadas. A los gobiernos se les exige, cada vez ms, demostrar resultados. A las par-
introduccion.p65
Introduccin
Los ODM se encuentran entre las iniciativas globales ms ambiciosas para acoger un enfoque basado en resultados hacia la reduccin de la pobreza y la mejora
de las condiciones de vida. Ciento ochenta y nueve pases miembro de las Naciones Unidas y numerosas organizaciones internacionales adoptaron en 2000 los
ocho Objetivos integrales de Desarrollo del Milenio (recuadro I.I). Estn compuestos de una serie de metas que la comunidad internacional pases industrializados y naciones en desarrollo por igual debe lograr para el ao 2015.1
Una leccin de gestin pblica derivada de ms de 25 aos de experiencia en los pases
de la OCDE y los pases industrializados, es que la construccin de mayor rendicin
de cuentas dentro del gobierno va a mejorar su funcionamiento en general.
Lo mismo debera ser aplicable al mundo en desarrollo.
introduccion.p65
OBJETIVOS
1.
2.
3.
4.
5.
6.
7.
8.
RECUADRO I.I.
DE DESARROLLO DEL MILENIO
Esta nueva agenda para el desarrollo hace nfasis en la necesidad de medir los
resultados de la financiacin de la ayuda. Las iniciativas para el desarrollo estn
marcando una diferencia y tienen un impacto? De qu manera los gobiernos van
a saber si han progresado y han logrado esas metas? Cmo van a poder distinguir
el xito del fracaso, o el avance de los reveses? Cmo van a identificar obstculos y
barreras? Y, en el plano ms elemental, conocen por lo menos sus puntos de partida y bsicos respecto a cun lejos deben avanzar para lograr sus metas?
Los ODM contienen algunos elementos de un enfoque del sistema de SyE basado en resultados. Por ejemplo, las metas de los ODM se han vertido en un conjunto de indicadores que pueden medir los avances logrados. En el recuadro I.II
aparece un ejemplo de una de las tantas maneras en las cuales los objetivos se
han articulado en una serie de indicadores y metas.
EJEMPLO DE OBJETIVO
RECUADRO I.II
DE DESARROLLO DEL MILENIO, SUS METAS
E INDICADORES
introduccion.p65
Introduccin
Los ODM tambin estn planteando retos especiales de evaluacin a la comunidad internacional. Cada vez es ms evidente la necesidad de una nueva arquitectura de evaluacin. Es indispensable sentar las bases para construir sistemas
de SyE basados en resultados que trasciendan el plano de pas ponindolos de
acuerdo y coordinndolos en el mbito internacional con organismos de la ONU,
donantes multilaterales y bilaterales, la sociedad civil y similares. ste va a ser el
reto futuro para expandir la esfera del sistema de SyE.
Ahora, muchos pases, en especial los pases en desarrollo, deben pugnar por
convertirse en parte de iniciativas internacionales, organizaciones y bloques, con
el fin de cosechar los beneficios esperados en trminos socioeconmicos, polticos y de seguridad. Es inevitable que parte del trato conlleve adherir a un conjunto de requerimientos, condiciones y metas especficas entre ellas, seguimiento y
evaluacin. Si estos gobiernos van a convertirse en parte de la comunidad global,
deben abrirse a un mayor escrutinio y ser ms transparentes y responsables ante
las partes interesadas. En este contexto, deben aprender a hacer gestin por resultados. En el recuadro I.III se describe el impacto que Transparencia Internacional (TI), una organizacin externa, tiene en el avance hacia la rendicin de cuentas.
A continuacin aparecen algunos ejemplos de los tipos de iniciativas internacionales y de requerimientos estipulados para convertirse en miembro de organizaciones y bloques internacionales y para cosechar los beneficios de esa
membresa y de la inclusin. Juntos, han creado una fuerza global de rendicin
pblica de cuentas y de resultados comprobados:
introduccion.p65
RECUADRO I.III
TRANSPARENCIA INTERNACIONAL
Transparencia Internacional es la nica organizacin internacional dedicada exclusivamente a
frenar la corrupcin (TI 1997).
Medios de comunicacin del mundo entero citan al ndice de Percepcin de la Corrupcin, publicado cada ao por TI, el cual califica a 102 pases segn niveles percibidos de corrupcin entre
funcionarios pblicos, como el ndice ms importante en el campo. El ndice de TI de Pagos de
Sobornos califica a los principales pases exportadores segn la propensin que muestren a pagar
sobornos.
TI no est afiliada a ningn partido poltico, y cuenta con sucursales en 88 pases que desarrollan
una misin contra la corrupcin en el mbito nacional, ayudando a acrecentar la conciencia pblica sobre problemas de corrupcin y el impacto perjudicial concomitante sobre el desarrollo. La
corrupcin socava el buen gobierno, fundamentalmente distorsiona las polticas pblicas, conduce a una asignacin inadecuada de recursos, perjudica al sector privado y al desarrollo del sector
privado y lastima a los pobres en especial (TI 2002).
TI construye coaliciones con instituciones y actores regionales institucionales con miras a luchar
contra la corrupcin. En el mbito nacional, TI tambin trabaja en la construccin de coaliciones
entre todos los grupos de la sociedad para fortalecer sistemas de integridad gubernamental.
As mismo, TI tiene impacto en el seguimiento del desempeo en el plano corporativo multinacional.
El auge de Transparencia Internacional ha coincidido con el descubrimiento que han hecho muchas
compaas en el sentido que deben mejorar su imagen siendo socialmente responsables en muchos
pases. Este hecho ha ayudado a reforzar la prosperidad de la organizacin empresarial, convirtindola en actor importante de la batalla global contra la corrupcin (Crawford 2003, p. 1).
Con su gran alcance global y su acceso a los medios, TI contina siendo otro factor global importante para presionar a los gobiernos y a las corporaciones multinacionales para ser ms responsables, y producir resultados tangibles para sus partes interesadas.
Fuente: TI, 1997, 2002.
Iniciativa de Pas Pobre Muy Endeudado (PPME). En 1996, el Banco Mundial y el Fondo Monetario Internacional (FMI) propusieron la Iniciativa de
Pas Pobre Muy Endeudado, el primer enfoque integral a la reduccin de la
deuda externa de los pases ms pobres del mundo y los ms endeudados.
Otro objetivo de la PPME consiste en apoyar la reduccin de la pobreza,
estimular el crecimiento liderado por el sector privado y la mejora de los
indicadores sociales de un pas. Como condicin para el alivio de la deuda
y anlogo a los ODM los gobiernos receptores deben contar con la capacidad para hacer seguimiento, evaluar e informar sobre empeos de reforma
y los avances logrados hacia la reduccin de la pobreza. Por ejemplo, Uganda
logr avanzar en sistemas de SyE y calific para un alivio mejorado bajo la
iniciativa PPME. En otros casos, sin embargo, la falta de capacidad para construir y mantener sistemas de SyE basados en resultados ha representado un
problema especial para pases PPME participantes, como Albania, Madagascar
y Tanzania.
introduccion.p65
Introduccin
introduccion.p65
introduccion.p65
Introduccin
mensurables y un sistema de seguimiento y evaluacin para medir los avances. Especficamente, un DERP va a definir metas a mediano y largo plazos
para efectos de reduccin de la pobreza (monetarios y no monetarios), establecer indicadores de avances y fijar objetivos anuales y a mediano plazo.
Los indicadores y objetivos deben ser apropiados, teniendo en cuenta la estimacin de la pobreza y la capacidad institucional para hacer seguimiento ...
un DERP contendra [tambin] una estimacin de los sistemas de seguimiento
y evaluacin del pas... (Banco Mundial 2003b).
Por consiguiente, los pases que pugnan por convertirse en parte de la iniciativa PPME deben comprometerse con un proceso que conlleva rendicin
de cuentas y transparencia a travs del seguimiento, la evaluacin y el logro de resultados mensurables.
Marco Integral de Desarrollo. El Marco Integral de Desarrollo (MID) est
compuesto de cuatro principios bsicos: un marco de desarrollo holstico a
largo plazo; orientacin a los resultados; apropiacin de pas; y alianza dirigida por pas. El MID y las Estrategias de Reduccin de la Pobreza se refuerzan entre s; y ambos recalcan la rendicin de cuentas de los resultados.
La adopcin y aplicacin del MID un enfoque sistmico, a largo plazo (diez
aos, por lo general) al desarrollo que involucra a todos las partes interesadas tambin ha tenido como resultado presiones a favor del seguimiento
y la evaluacin de la participacin de partes interesadas y de los avances
del desarrollo econmico. En una estrategia nacional de desarrollo de pas,
el MID incluye una descripcin clara de metas a mediano y largo plazos de
reduccin de la pobreza, con indicadores para medir los avances, garantizando de este modo que las polticas estn bien formuladas, se ejecuten
con eficacia y se les haga el debido seguimiento.
Por ejemplo, partes interesadas como ONG que han estado involucradas en
el proceso y estn a la bsqueda de maneras para hacer seguimiento a su
propio desempeo en trminos de la Estrategia Nacional de Reduccin de
la Pobreza y del Plan Nacional de Desarrollo. En varios pases se ha comenzado a ejecutar el Plan Nacional de Desarrollo y se espera que el enfoque
produzca informacin valiosa sobre cmo establecer puntos de referencia y
cmo medir los efectos del desarrollo. Por ejemplo, el Plan Nacional de Desarrollo se ha convertido en un factor trascendental para establecer en la Repblica Kirguisa un sistema de SyE basado en resultados.
Segn los hallazgos de una estimacin reciente del MID, son indispensables investigaciones adicionales y un mayor intercambio de experiencias
entre pases receptores sobre cmo construir sistemas de seguimiento y evaluacin de apropiacin de cada pas... (Banco Mundial 2003a, p. 4).
introduccion.p65
10
introduccion.p65
10
11
Introduccin
PARTE 2
Sistemas de Seguimiento y Evaluacin (SyE) basados en resultados.
Poderosa herramienta de gestin pblica
En la presente seccin se examina el poder de medir el desempeo (recuadro
I.IV), la historia y definiciones de sistemas de SyE, las diferencias entre un sistema
de SyE tradicional basado en la ejecucin y los sistemas de SyE ms novedosos
basados en resultados, y los papeles complementarios del seguimiento y la evaluacin. As mismo, en la presente seccin se exploran las muchas aplicaciones de
sistemas de SyE basados en resultados. Tambin se abordan los retos tcnicos,
organizativos y sobre todo polticos que conlleva la construccin de un sistema
de SyE basado en resultados. Por ltimo, se introduce el modelo de diez pasos
para disear, construir y sustentar tales sistemas, junto con algunos comentarios
sobre cmo abordar la garanta de sostenibilidad de estos sistemas en un pas
determinado.
EL
RECUADRO I.IV
PODER DE MEDIR RESULTADOS
introduccion.p65
11
12
introduccion.p65
12
13
Introduccin
Seguimiento
Evaluacin
introduccion.p65
13
14
introduccion.p65
14
15
Introduccin
introduccion.p65
15
16
ASPECTOS
RECUADRO I.V
CLAVE DEL SEGUIMIENTO DE LA EJECUCIN VS. SEGUIMIENTO
DE LOS RESULTADOS
muestra la manera en que los sistemas basados en resultados se nutren de sistemas tradicionales con un enfoque en la ejecucin y los complementan.
En el grfico I.I se observa que al dejar la generacin de productos como una
tarea de ejecucin antes que como un resultado, existe, hasta cierto punto, una
divergencia respecto del glosario de la OCDE, segn el cual la definicin de resultados incluye productos junto con efectos e impactos. Lo anterior se hace para
resaltar el enfoque en la respuesta de la pregunta y qu?. En opinin de los
autores, construir una escuela, pavimentar una va o capacitar a trabajadores rurales de la salud no responde la pregunta y qu?. Estos son productos y ahora
se va a explicar y qu? Cules son los resultados de construir esta escuela, de
pavimentar esta va, de capacitar a estos trabajadores de la salud?
Como se puede observar en el grfico I.I, hacer seguimiento a los avances hacia metas nacionales exige que, en el modelo lgico, la informacin se derive de
todos los niveles de resultados, en marcos temporales diferentes y para necesida-
introduccion.p65
16
17
Introduccin
GRFICO I.I
MODELO ILUSTRATIVO
des de diferentes partes interesadas. Una estrategia comn consiste en medir productos (nmero de trabajadores capacitados de la salud) mas no as mejoras de
desempeo (utilizacin mejorada de la terapia de rehidratacin oral [TRO] para
tratar la diarrea infantil). Si bien se supone un mejor desempeo institucional,
introduccion.p65
17
18
rara vez se comprueba. Sin resultados medidos, no hay forma de determinar con
exactitud si el esfuerzo est logrando en realidad los efectos esperados (utilizacin mejorada de TRO) y, en ltimas, la meta nacional asociada (reduccin de la
mortalidad infantil).
Entonces, qu significa lo anterior en un contexto gubernamental de SyE basado en resultados? Conforme los gobiernos tratan de ajustar el marco de gastos
con los efectos de las polticas, es importante medir el desempeo de la organizacin como apoyo al logro de los efectos. La eficiencia de la prestacin de servicios,
la calidad de la ejecucin de programas y de las polticas y la gestin eficaz de los
recursos constituyen justo unos pocos ejemplos. Por ejemplo, en Filipinas, el gobierno se encuentra en las etapas iniciales de definicin de indicadores en el plano organizativo para disear efectos mayores en comparacin con los cuales se
puedan tomar decisiones de gastos (Banco Mundial 2001e).
introduccion.p65
18
19
Introduccin
nen que ser idnticas. Una vez ms, los indicadores especficos pueden ser necesariamente diferentes, ya que tambin van a ser diferentes las necesidades de informacin de las partes interesadas para cada nivel de gobierno.
Adems, es necesario observar que un sistema de SyE operativo ofrece un flujo
continuo de informacin que resulta til tanto en el plano interno como en el
externo. Los usos internos juegan un papel a medida que la informacin que
suministra el sistema de SyE se utiliza como herramienta crucial de gestin para
que el gestor del sector pblico obtenga resultados y cumpla los objetivos especficos. Toda la informacin sobre avances, problemas y desempeo resulta clave
para un gestor pblico que se esfuerza por obtener resultados. De igual manera,
la informacin de un sistema de SyE es importante para aquellos que sin pertenecer al sector pblico estn a la espera de resultados, deseando ver impactos
demostrables de la accin del gobierno (y los recaudos tributarios) y a la expectativa de crear confianza en un gobierno que se esfuerza por mejorar la vida de los
ciudadanos.
Bsicamente, el sistema de SyE ayuda a pensar sobre metas y objetivos y a
hacer claridad sobre ellos. Gobiernos y partes interesadas tambin pueden utilizar los sistemas de SyE para formular solicitudes presupuestarias y justificarlas. A
diferencia del anterior enfoque basado en la ejecucin, el sistema de SyE basado
en resultados centra la atencin en el logro de efectos importantes para la organizacin y sus partes interesadas internas y externas.
Los sistemas de SyE pueden servir para identificar programas o prcticas potencialmente prometedores. As mismo pueden identificar resultados de proyectos,
programas o polticas no deliberados pero quizs tiles. Al contrario, sistemas de
SyE pueden ayudar a los gestores a identificar las debilidades de un programa y
emprender acciones para corregirlas. Se puede utilizar una estrategia de sistema de
SyE para apaciguar los temores dentro de organizaciones y gobiernos y, en su lugar,
se pueden idear formas de inculcar un clima abierto en el cual la gente pueda aprender de los errores, mejorar y crear conocimientos al mismo tiempo.
Capital de conocimientos. Los sistemas de SyE adecuados son igualmente fuente
de capital de conocimientos. Permiten a gobiernos y organizaciones crear una
base de conocimientos de las clases de proyectos, programas y polticas que tienen xito y, en trminos ms generales, qu funciona, qu no funciona y por qu.
As mismo, los sistemas de SyE pueden ofrecer retroinformacin continua en el
proceso de gestin de los avances del seguimiento y la evaluacin hacia el logro
de una meta dada. En este contexto, fomentan el aprendizaje organizativo.
Tambin resulta importante un acceso pblico amplio a la informacin derivada
de sistemas de SyE basados en resultados, para ayudar a impulsar el desarrollo econmico, tanto dentro de un pas como entre pases. El acceso a la informacin
constituye un componente esencial de una estrategia exitosa de desarrollo. Si estamos hablando en serio acerca de reducir la pobreza global, debemos liberar el
introduccion.p65
19
20
introduccion.p65
20
21
Introduccin
Los sistemas de SyE basados en resultados constituyen componentes fundamentales de la estructura de gobernabilidad y, por tanto, estn bsicamente relacionados con los sistemas polticos y de poder del gobierno. Los sistemas de SyE proporcionan informacin crtica y habilitan a los encargados de formular las polticas
para tomar decisiones mejor informadas. A la vez, ofrecer este tipo de informacin
puede disminuir o de otro modo restringir el nmero de opciones disponibles a los
polticos permitindoles menor libertad de accin en sus polticas.
En las democracias, resulta cada vez ms esencial la informacin sobre resultados de proyectos, programas y polticas y lo menos que se espera es que se la d a
conocer en el transcurso normal de las operaciones del gobierno. Se supone que
informacin de esta ndole puede ayudar en la formulacin de las polticas y a
orientarla. Sin embargo, los sistemas de SyE pueden plantear retos particulares para
los pases que en el pasado han sido gobernados por regmenes polticos centralizados y autoritarios. Para esta clase de pases puede resultar particularmente desafiante y hasta extrao crear sistemas de SyE que van a poner de relieve los efectos
tanto xitos como resultados y van a ofrecer mayor transparencia y responsabilidad. Es posible que hacerlo requiera de un periodo ms prolongado para que se
adapten y cambien la clase poltica, los ciudadanos y la cultura.
Por ltimo, resulta imposible construir economas fuertes sobre gobiernos dbiles. Los sistemas de SyE basados en resultados pueden servir para fortalecer a los
gobiernos reforzando el nfasis en efectos demostrables. Comprender mejorar el
funcionamiento y los efectos de programas y polticas econmicas y gubernamentales puede significar un aporte a la reduccin de la pobreza, a un mayor crecimiento econmico y al logro de una gran variedad de objetivos de desarrollo.
En comparacin con la poltica de crear sistemas de SyE basados en resultados,
los problemas tcnicos son relativamente menos complejos de abordar y de solucionar.
introduccion.p65
21
22
introduccion.p65
22
23
Introduccin
Teniendo en cuenta el acuerdo sobre lo que debera contener un sistema adecuado, por qu estos sistemas no forman parte de las prcticas comerciales normales de los organismos del gobierno, de partes interesadas, de prestamistas y de
prestatarios? Una razn evidente es que quienes disean los sistemas de SyE a
menudo pasan por alto las complejidades y sutilezas del contexto de pas, gobierno o sector. Es ms, con frecuencia quienes estn listos para comenzar el proceso
de construccin del sistema de SyE apenas s entienden vagamente las necesidades de los usuarios finales. Es muy escaso el nfasis que se pone en factores
organizativos, polticos y culturales.
En el contexto anterior, el modelo de diez pasos que presentamos en esta seccin (grfico I.II) difiere de otros porque proporciona muchos detalles sobre cmo
construir, mantener y tal vez lo ms importante sustentar un sistema de SyE
basado en resultados. Tambin difiere de otros enfoques en cuanto contiene una
estimacin nica de la preparacin. Una estimacin de este tipo debe hacerse
antes de la creacin real de un sistema. En esencia, la estimacin de la preparacin
es la base del sistema de SyE. As como la construccin de un edificio debe comenzar por los cimientos, la construccin de un sistema de SyE debe comenzar por una
estimacin de la preparacin. En ausencia de una comprensin de esos cimientos, el avance va a estar plagado de dificultades y, en ltimas, de fracasos. Se trata
del Paso 1.
En toda su extensin, el modelo resalta los procesos polticos, participativos y
asociativos involucrados en construir y sustentar sistemas de SyE, es decir, pone
de relieve la necesidad de consultar a partes interesadas internas y externas y de
comprometerlas en la tarea de fijar efectos, indicadores, objetivos, y as sucesivamente. El Paso 2 del modelo conlleva la eleccin de efectos para hacerles seguimiento y evaluarlos. Los efectos sealan la va que se debe seguir.
El Paso 3 implica confeccionar indicadores clave de desempeo para hacer
seguimiento a los avances logrados respecto de insumos, actividades, productos,
efectos e impactos. Los indicadores pueden proporcionar retroinformacin continua y un acervo de informacin de desempeo. Existen varias pautas para elegir indicadores que puedan ayudar en el proceso. En ltimas, confeccionar
indicadores adecuados va a ser un proceso iterativo.
El Paso 4 del modelo se relaciona con la creacin de informacin bsica de
desempeo cuantitativa o cualitativa que se pueda utilizar al comienzo de un
perodo de seguimiento. La informacin bsica de desempeo establece un pun-
introduccion.p65
23
24
GRFICO I.II
DIEZ PASOS PARA
introduccion.p65
24
25
Introduccin
introduccion.p65
25
26
programas de gastos del gobierno (Lee 1999). Para algunos pases en desarrollo,
el enfoque mixto tambin puede convertirse en una alternativa posible.
Independientemente de cul sea el enfoque que se adopte, a menudo se recomienda realizar pilotos de sistemas de SyE. La mejor estrategia para introducir un
sistema de SyE en un pas consiste, primero que todo, en poner a prueba un programa en dos o ms ministerios piloto. Albania, por ejemplo, est haciendo concordar un programa de SyE basado en resultados con un marco de gastos a mediano
plazo recin establecido, y est haciendo pruebas piloto de este trabajo en cuatro
ministerios clave. Antes de aplicar el enfoque al gobierno en su totalidad, Egipto
ha escogido seis pilotos de desempeo, con el objeto de explorar la forma en que
podra funcionar la confeccin de presupuestos orientada al desempeo.
Todava una tercera estrategia para aplicar un programa orientado a resultados consiste en un enfoque en un grupo particular de consumidores. El gobierno
de Egipto quera mejorar sus programas y servicios para promover aspectos de
gnero. Se esperaba que cada uno de los ministerios sectoriales identificara los
programas actuales relacionados con aspectos de gnero y evaluara su desempeo. Adems, el Consejo Nacional para la Mujer, una organizacin gubernamental
de reciente creacin dirigida a mejorar el apoyo del gobierno a la mujer, estaba
encargado de identificar un conjunto de indicadores clave de desempeo que
luego el gobierno pudiera rastrear y hacerles seguimiento para lograr las metas
propuestas relacionadas con el gnero. Es responsabilidad de los ministerios relacionados rastrear y hacer seguimiento a indicadores de programas bajo su control ministerial y hacer seguimiento y evaluar de cerca los programas relacionados
del gobierno para lograr resultados (Banco Mundial 2001c).
En la medicin del desempeo radica una fuente de poder. Los sistemas de
SyE basados en resultados constituyen una poderosa herramienta de gestin pblica al ayudar a gobiernos y organizaciones a demostrar impactos y efectos a sus
respectivas partes interesadas y para conseguir el respaldo pblico. Si bien los
sistemas basados en resultados son similares a los sistemas de SyE, stos van ms
all en su enfoque en efectos e impactos antes que simplemente terminar con un
enfoque en la ejecucin, es decir, en insumos, actividades y productos.
En resumen, estos sistemas tienen muchas aplicaciones y se pueden utilizar en
el mbito de proyecto, programa o polticas. Existen muchos retos polticos, institucionales y tcnicos en la construccin de sistemas de SyE basados en resultados.
Es ms, los pases deberan elegir si adoptar un enfoque de gobierno en su totalidad a la creacin de tales sistemas o comenzar por ejecutar un enfoque de enclave slo a un nivel en un gobierno, o dentro de un ministerio nico o dentro de un
pequeo conglomerado de ministerios. Entre pases industrializados y pases en
desarrollo difiere la experiencia sobre la manera en que todos han optado por
abordar el diseo y la construccin de sistemas de SyE basados en resultados.
introduccion.p65
26
27
Introduccin
PARTE 3
La experiencia de sistemas de SyE en pases industrializados
y en pases en desarrollo
La presente seccin contiene informacin de antecedentes sobre experiencias con
sistemas de SyE basados en resultados en pases industrializados y en pases en
desarrollo. No existe una manera correcta para construir sistemas como estos.
Pases diferentes industrializados y pases en desarrollo por igual se van a encontrar en etapas diferentes respecto de la construccin de sistemas de SyE. Dentro de los pases, diferentes ministerios o niveles de gobierno, pueden encontrarse
en etapas diferentes de la construccin de su capacidad de SyE. En la presente
seccin se analizan algunos de los retos particulares que enfrentan los pases en
desarrollo a medida que intentan construir, operar y sustentar sistemas de SyE
basados en resultados.
Resulta ms fcil decir que se va a construir un sistema eficaz de SyE que hacerlo.
Existen varios sistemas que funcionan bien en los pases industrializados y menos
en los pases en desarrollo. No se trata de que los gobiernos no lo estn intentando
muchos lo estn haciendo. Pero crear un sistema de esta ndole toma tiempo,
recursos y un clima poltico estable y defensores fuertes que no se vuelvan timoratos.
introduccion.p65
27
28
introduccion.p65
28
29
Introduccin
MODELO
RECUADRO I.VI
AUSTRALIANO DE LA TOTALIDAD DEL GOBIERNO
Comenzando en 1987, Australia fue uno de los pioneros tempranos del desarrollo de sistemas de
SyE. El pas contaba con varias ventajas intrnsecas propicias a la construccin de una cultura
slida y una estructura de evaluacin:
introduccion.p65
29
30
FRANCIA:
RECUADRO I.VII
REZAGADOS PERO AHORA AVANZANDO EN LA REFORMA
GUBERNAMENTAL
En comparacin con otros pases de la OCDE, Francia hizo parte del grupo que ms tard en
cambiar al sistema de SyE basado en resultados. En efecto, Francia hasta qued rezagada de
muchas economas en transicin y en desarrollo. A finales de la dcada de los ochenta y a lo largo
de la dcada de los noventa, se hicieron varios intentos de reformas progresivas.
En 2001, sin embargo, el gobierno francs promulg una legislacin arrolladora remplazando los
estatutos financieros institucionales de 1959 que eliminaban la confeccin de presupuestos de
partidas presupuestarias e instituyendo un nuevo enfoque de programa. Los nuevos estatutos
constitucionales, los cuales se van a escalonar durante un periodo de cinco aos (2001-2006),
tienen dos propsitos fundamentales: reformar el marco de la gestin pblica para orientarlo hacia
resultados y desempeo, y fortalecer la supervisin parlamentaria. Como anotaba el anterior primer ministro, Lionel Jospin, La presentacin del presupuesto en forma de programas agrupando
el gasto segn las principales polticas pblicas, debe dar, tanto a los miembros del Parlamento
como a los ciudadanos, una visin clara de las prioridades del gobierno y el costo y los resultados
de sus acciones.
Se identificaron aproximadamente de 100 a 150 programas y en el presupuesto se asignaron
recursos financieros a todos ellos. Todos los presupuestos de programa que se someten al Parlamento deben incluir una declaracin de objetivos precisos y de indicadores de desempeo. Los
gestores pblicos cuentan con mayor libertad y autonoma con respecto a la asignacin de recursos pero, a cambio, se les imputa mayor responsabilidad de los resultados. Por tanto, el nuevo
proceso presupuestario est motivado en su totalidad por los resultados.
Proyectos futuros de ley presupuestaria incluirn planes anuales de desempeo, detallando los
resultados esperados de cada programa y comparndolos con resultados reales. En las revisiones
presupuestarias tambin se incluyen informes anuales de desempeo. En consecuencia, los miembros del Parlamento cuentan con la posibilidad de evaluar el desempeo de estos programas
gubernamentales.
En consonancia con las anteriores observaciones sobre el carcter poltico del sistema de SyE, la
anterior iniciativa de reforma alter algunas de las relaciones polticas e institucionales dentro del
gobierno francs. En este contexto, al Parlamento se le han otorgado mayores poderes de confeccin de presupuestos. El artculo 40 de la Constitucin prohiba anteriormente que los miembros
del Parlamento sometieran a aprobacin enmiendas que aumentaran el gasto y reduciran las
rentas. Ahora ellos podrn cambiar la distribucin de apropiaciones entre programas en una misin dada. El Parlamento est habilitado para votar sobre estimaciones de rentas, apropiaciones
para cada misin, los lmites al nmero de cargos pblicos, y cuentas especiales y presupuestos
especficos. Adems, los comits de finanzas del Parlamento tienen responsabilidades de seguimiento y de supervisin relacionadas con el presupuesto.
Fuente: Republique Franaise 2001.
introduccion.p65
30
31
Introduccin
REPBLICA DE COREA:
RECUADRO I.VIII
GRANDES AVANCES EN EL CAMINO A SISTEMAS DE SyE
introduccion.p65
31
32
introduccion.p65
32
33
Introduccin
introduccion.p65
De acuerdo con el Comit de Ayuda para el Desarrollo (CAD) de la OCDE, los gastos de cooperacin tcnica ascendieron en 1999 a 14.3 mil millones de dlares. Se trata de un monto enorme,
que casi duplica el de 1969. Si se incluye al personal y a la capacitacin en inversiones y otros
proyectos, la cifra sera todava ms abultada: 24.6 mil millones de dlares (Baris et al., 2002)
(Fukuda-Parr, Lopes y Malik 2002, pp. 3-4).
33
34
Los pases en desarrollo van a tener que crear una cultura poltica y administrativa caracterizada por la rendicin de cuentas y la transparencia, preocupacin
por la tica y evitar de conflictos de intereses. No obstante, los encargados de las
reformas deben ser conscientes de la posibilidad de que cualquier intento por
arrojar luces sobre asignacin de recursos y resultados reales a travs de la adopcin de un sistema de SyE encuentre resistencia poltica, hostilidad y oposicin.
Adems, considerando el carcter de los gobiernos de muchos pases en desarrollo, la construccin de un sistema de SyE podra conducir a una reforma considerable de las relaciones polticas.
La creacin de un sistema ms maduro de SyE requiere de interdependencia,
concordancia y coordinacin entre mltiples instancias gubernamentales. Lo anterior puede representar un reto porque, en muchos pases en desarrollo, los gobiernos guardan ciertas interconexiones y todava continan trabajando en la
construccin de culturas administrativas slidas y sistemas financieros transparentes. Como resultado, algunos gobiernos tal vez dispongan apenas de informacin vaga sobre el monto y la asignacin de recursos disponibles, y sobre si, de
hecho, los recursos se utilizan para los fines propuestos. Medir el desempeo del
gobierno en un entorno como el descrito, resulta ser un ejercicio aproximado.
Pases industrializados y en desarrollo por igual continan trabajando en la
creacin de un nexo entre el desempeo y un marco o estrategia de gasto pblico.
Si no se crean estos nexos, no hay forma de determinar si las asignaciones presupuestarias en apoyo de programas, en ltimas, lo que estn haciendo es apoyar
un xito o un fracaso. Es ms, no existiran los medios para proporcionar
retroinformacin en etapas provisionales para averiguar si se podran hacer ajustes fiscales para modificar proyectos o programas y, as, acrecentar la probabilidad de lograr los resultados esperados.
Algunos pases en desarrollo estn comenzando a lograr avances en este campo. Por ejemplo, Indonesia comenz en la dcada de los noventa a crear un nexo
entre evaluacin y el proceso anual de asignacin presupuestaria. A la evaluacin se le considera como una herramienta para corregir las polticas y los programas de gasto pblico a travs de nexos ms directos con el Plan Nacional de
Desarrollo y el proceso de asignacin de recursos (Guerrero 1999, p. 5).
Adems, algunos pases en desarrollo Brasil, Chile y Turqua- han logrado
avanzar en la creacin de nexos entre el gasto y objetivos de producto y consecuencia. El gobierno de Brasil tambin expide informes gubernamentales por separado sobre objetivos de efectos (OCDE 2002b).
Muchos pases en desarrollo continan funcionando con dos sistemas de presupuesto uno para gastos ordinarios y otro para gastos de inversin de capital.
Hasta hace poco tiempo, el Ministerio de Hacienda de Egipto supervisaba el presupuesto ordinario y el Ministerio de Planeacin supervisaba el presupuesto de
capital. La consolidacin dentro de un ministerio de estos presupuestos facilit al
introduccion.p65
34
35
Introduccin
introduccion.p65
35
36
RECUADRO I.IX
CONFECCIN DE PRESUPUESTOS BASADA EN RESULTADOS,
CONSTRUCCIN DE NACIN Y COMPETITIVIDAD GLOBAL
MALASIA:
Entre los pases en desarrollo, Malasia ha estado a la vanguardia de las reformas a la administracin pblica, en particular en el campo de las finanzas y el presupuesto. En la dcada de los
sesenta se dio inicio a estas reformas como parte de los planes del gobierno de desarrollar estratgicamente al pas. Como al sector pblico se le consideraba el instrumento de desarrollo ms
importante, en consecuencia el nfasis se puso en la necesidad de fortalecer la administracin
pblica a travs de la reforma administrativa.
El enfoque de la reforma presupuestaria fue mayor responsabilidad y disciplina financiera entre los
distintos rganos del gobierno encargados de llevar a cabo los planes de desarrollo socioeconmico
para el pas. Adems de la mayor responsabilidad del sector pblico y de un mejor desempeo del
sistema presupuestario, el gobierno emprendi varias reformas adicionales, entre ellas mejor cumplimiento financiero, mejor calidad de gestin, productividad, eficiencia de las operaciones gubernamentales y gestin de esfuerzos nacionales para el desarrollo.
En pocas ms recientes, el plan de reforma presupuestaria de Malasia ha estado estrechamente
vinculado con esfuerzos de construccin de nacin y de competitividad global asociados con
Visin 2020: un programa dirigido a convertir a Malasia en un pas plenamente desarrollado para el
ao 2020.
Con respecto a los esfuerzos de reforma presupuestaria, en 1969 Malasia adopt el Sistema de
Confeccin de presupuesto basado en desempeo (PPBS, por sus iniciales en ingls) y continu
utilizndolo hasta la dcada de los noventa. El PPBS remplaz la confeccin de presupuestos de
partidas presupuestarias por un sistema de confeccin de presupuestos basada en efectos. En
tanto los organismos del gobierno utilizaban la estructura de actividad-programa, la ejecucin en
la prctica continuaba asemejndose a la confeccin de presupuestos de partidas presupuestarias y en un enfoque progresivo.
En 1990, el gobierno introdujo el Sistema de Confeccin Modificada de Presupuesto (MSB) para
remplazar el PPBS. Se hizo mayor nfasis en productos e impacto de programas y actividades del
gobierno. Segn el PPBS, existan nexos mnimos entre productos e insumos. Se continu financiando las polticas aun cuando no se midiera ningn resultado de manera sistemtica.
Luego, en 2001, se volvi a modificar el enfoque de MSB, cuando el pas se embarc en otra
reforma complementaria mediante la adopcin de un sistema de confeccin bianual de presupuestos. En algunos aos se conocern los efectos de este sistema.
Si bien Malasia ha estado a la vanguardia de las reformas a la administracin pblica y al presupuesto, estas tentativas de reforma no han sido fciles ni consistentes a travs de los aos. No
obstante, el MSB represent una iniciativa osada por parte del gobierno malayo, demostrando previsin, inventiva, dinamismo y compromiso para asegurar que ha valido la pena el dinero invertido
en los proyectos y las polticas que se estn ejecutando.
Fuente: Banco Mundial 2001b.
introduccion.p65
36
37
Introduccin
UGANDA Y LA
RECUADRO I.X
REDUCCIN DE LA POBREZA. MPETU HACIA SyE
introduccion.p65
37
introduccion.p65
38
CAPTULO 1
PASO 1: HACER UNA ESTIMACIN DE LA PREPARACIN
GRFICO 1.1
cap1.p65
39
40
PARTE 1
Por qu hacer una estimacin de la preparacin
Los expertos han ideado diferentes modelos para construir sistemas de SyE, aunque a menudo omiten las complejidades y los matices del contexto ms amplio
de pas. Con frecuencia, en su empeo por tratar de ofrecer asistencia tcnica,
estos expertos apenas s alcanzan a comprender vagamente las necesidades del
pas receptor. A pesar de todas las buenas intenciones para promover el diseo, la
creacin y la utilizacin de sistemas SyE basados en resultados, es muy poco el
nfasis que se pone en factores polticos, culturales y organizativos y en los contextos existentes.
La mayor parte de los modelos existentes comienzan saltando directamente
hacia la construccin de un modelo de SyE basado en resultados sin ni siquiera
saber cul es la situacin actual de un pas determinado respecto de diversos factores crticos, entre los cuales se incluyen papeles organizativos, responsabilidades y capacidades; incentivos y demandas de un sistema de esta ndole; habilidad
de una organizacin para sustentar sistemas, y as sucesivamente. Existen unos
pocos modelos que plantean preguntas clave respecto de la preparacin (vase
Mackay 1999 y Banco Mundial 2003a).
Un tema constante del Manual va a ser que, primero que todo, y antes que lo contrario,
la construccin de un sistema de SyE basado en resultados constituye una actividad
poltica con dimensiones tcnicas.
cap1.p65
40
41
La mayora de los expertos analizan las preguntas cul?: cules son las metas?, cules son los indicadores? y no las preguntas por qu?: por qu queremos
medir algo?, por qu en un pas en particular existe una necesidad de pensar
sobre estos aspectos?, por qu queremos embarcarnos en la construccin de sistemas sostenibles de SyE basados en resultados?
Para poder contestar estas preguntas por qu? es necesario hacer un gran
volumen de trabajo preparatorio previo a la construccin real de un sistema de
SyE basado en resultados. Ese trabajo asume la forma de la estimacin de la preparacin que se presenta en el Manual. Antes de embarcarse en la construccin
de un sistema de SyE basado en resultados es necesario avanzar, paso a paso, a
travs de algunos de los aspectos, preocupaciones y preguntas importantes que
se deben resolver para hacerlo.
Algunos tambin podran plantearse la pregunta, en qu forma una estimacin de la preparacin difiere de una estimacin de necesidades? Acaso no son
la misma cosa? De hecho, no lo son. Una estimacin de las necesidades supone la
existencia de alguna pregunta fundamental y bsica sobre si los gobiernos necesitan este tipo de sistemas. Una estimacin de la preparacin supone que los gobiernos s necesitan contar con estos sistemas y abordan la pregunta de si los
gobiernos en realidad se sienten preparados para construir, utilizar y sustentar
los sistemas y son capaces de hacerlo. Por ejemplo, cul es la capacidad del gobierno con respecto al sistema de SyE en general? Simplemente mide productos
o se encuentra el gobierno en una situacin de avanzar ms all de medir producto a medir efectos? (Tambin es indispensable recordar que no es suficiente
estudiar la capacidad organizativa. Estas son apenas algunas de las preguntas
clave y de las preocupaciones que nicamente puede abordar y resolver una estimacin de la preparacin). Una estimacin de la preparacin brinda el contexto
analtico para calificar la habilidad de un pas para hacer seguimiento y evaluar
sus avances en el logro de objetivos de desarrollo propuestas. Lo hace mediante
una estimacin de la comprensin, la capacidad y la utilizacin actuales de sistemas existentes de seguimiento y evaluacin.
Una estimacin de la preparacin se parece a la construccin de los cimientos de un
edificio. Unas buenas bases proporcionan apoyo a todo lo que est sobre ellas.
Son subterrneas, no se ven, pero son vitales.
cap1.p65
41
42
cap1.p65
En tanto en el presente contexto se hace referencia al pas como a la unidad de anlisis, de inmediato se pone de relieve que el mismo concepto de estimacin de la presentacin se podra aplicar
a un sector, una regin, un programa, o hasta a un proyecto individual. Tambin es aplicable en la
sociedad civil y en el sector privado.
42
43
cap1.p65
43
44
PARTE 2
La estimacin de la preparacin: ocho preguntas clave
La estimacin de la preparacin constituye una herramienta de diagnstico utilizable para determinar si se dispone de los requisitos previos para construir un
sistema de SyE basado en resultados. Su propsito es el de ayudar y beneficiar a
gobiernos individuales, a la comunidad de donantes y a sus muchos asociados en
el desarrollo involucrados en la reforma del sector pblico.2
La estimacin de la preparacin ofrece orientacin a travs de los ocho campos, la cual es necesario analizar y estudiar para poder determinar la habilidad y
la disposicin de un pas o de una organizacin cualquiera para adoptar un sistema de SyE basado en resultados y avanzar a partir de l.
cap1.p65
44
45
cap1.p65
45
46
Entender la motivacin poltica resulta vital para comprender la forma en que las partes
interesadas van a percibir el sistema de SyE, cmo y por qu ciertas personas u organizaciones van a asumir el riesgo poltico en tanto otros no lo van a hacer, y qu van a
necesitar los adalides de un sistema de esta ndole para defender la iniciativa y triunfar.
cap1.p65
46
47
para recabar y analizar datos, producir informes, administrar y mantener el sistema de SyE y utilizar la informacin producida.
Por tanto, la estimacin de la preparacin va a suministrar informacin importante y datos bsicos en comparacin con los cuales se puedan disear y ejecutar
actividades de construccin de capacidad en caso de ser necesario.
Es ms, existe un requisito absoluto de reunir nicamente la informacin que
se necesita. De nuevo, los sistemas de SyE se disean y de inmediato se los inunda
con un exceso de datos recabados con demasiada frecuencia sin mucha reflexin
ni previsin sobre cmo y si en realidad se van a utilizar esos datos. Una preocupacin constante son la complejidad y el diseo excesivo. Tambin se va a presentar una erosin continua del sistema que va a ser necesario resolver. Y es probable
que partes interesadas intenten tirar del sistema en demasiadas direcciones diferentes a la vez. En resumen, en la arena poltica pocas cosas permanecen iguales.
Mantener vigente y funcionando el sistema de SyE va a requerir de vigilancia y de
cuidado (una razn ms todava de por qu son necesarios los defensores).
cap1.p65
47
48
cap1.p65
48
49
cap1.p65
49
50
PARTE 3
Estimaciones de la preparacin en pases en desarrollo:
Bangladesh, Egipto y Rumania
La estimacin de la preparacin puede ayudar a gobiernos, donantes y a sus asociados a confrontar el reto de la formacin, construccin de capacidad organizativa
y secuenciacin de esfuerzos que se van a necesitar para disear y construir sistemas de SyE basados en resultados. Proporciona las bases de un plan de accin
para avanzar en el pas.
Una estimacin de la preparacin debe comenzar por estudiar los datos que
en la actualidad presentan los sistemas de SyE tradicionales con un enfoque en la
ejecucin, y averiguar si se han hecho revisiones sobre gasto pblico, datos financieros o adquisiciones. Est el pas avanzando hacia una reforma econmica, legal
y poltica; mayor democracia y apertura; mayor rendicin de cuentas y transparencia? (En ocasiones, ocurre que se estn realizando varios estudios diferentes de diagnstico al mismo tiempo. Por ejemplo, en la Repblica Kirguisa, a comienzos de
2002, simultneamente se estaban realizando un Examen de Pas del Desempeo
de la Cartera de Inversiones, un Examen del Gasto Pblico y un Examen de Seguimiento y Evaluacin). Una vez se haya determinado la situacin del pas con
respecto a las reformas de la gestin pblica, se debe emprender una misin de
pas o de campo.
Mientras se lleva a cabo la misin en el pas, se recoge informacin de campo
proveniente de informantes clave, entre ellos funcionarios del gobierno, miembros de la sociedad civil y ONG. Es importante hablar con ministros y con diversos
funcionarios sectoriales. Nunca se sabe dnde se va a encontrar un adalid interesado en disponer de un sistema de datos basado en desempeo que vaya a perfeccionar la formulacin de las polticas. Lo ideal sera que alguna persona
familiarizada con la construccin de capacidad en sistemas de SyE se encargara de
realizar la estimacin de la preparacin.
cap1.p65
50
51
EL
CASO DE
RECUADRO 1.1
BANGLADESH. CONSTRUCCIN
DESDE LA BASE
cap1.p65
51
52
RECUADRO 1.2
EL CASO DE EGIPTO. AVANCES LENTOS Y SISTEMTICOS
DE SyE
HACIA SISTEMAS
Uno de los componentes ms importantes para estimar la preparacin de un pas para introducir
un sistema de SyE basado en resultados consiste en la posibilidad de encontrar a un defensor que
est dispuesto a apropiarse del sistema. La realizacin de la estimacin de la preparacin en
Egipto puso al descubierto un gran inters por parte de muchos funcionarios de alto rango del
gobierno de avanzar hacia un clima de evaluacin del desempeo. El mismo presidente ha pedido
mejor informacin para respaldar la toma de decisiones econmicas.
El ministro de Hacienda result ser un defensor a ultranza para que el gobierno de Egipto avanzara
a un enfoque en resultados. Este ministro es una persona muy versada en la experiencia internacional de otros pases, como Malasia y los pases miembros de la OCDE. El ministro subray la
importancia de prestar mayor atencin a mejorar la gestin del gasto pblico avanzando con un
conjunto de pilotos con el fin de demostrar la manera en que se podra utilizar el sistema de SyE
basado en resultados para lograr una mejor gestin de las asignaciones presupuestarias. El ministro de Hacienda va a jugar un papel clave de liderazgo en cualquier empeo por introducir en
Egipto un sistema de SyE basado en resultados.
Se identificaron otros funcionarios de alto rango que podran desempear papeles importantes. La
primera dama de Egipto, quien preside el Consejo Nacional para la Mujer, est desarrollando un
sistema para hacer seguimiento y evaluar los esfuerzos que se hacen en muchos ministerios para
mejorar la situacin y la condicin de la mujer. Sin embargo, para que un sistema de SyE tenga
xito y sea sostenible, debe existir aceptacin (o un sentido de apropiacin) por parte de ministros
sectoriales, que sean responsables del gasto de recursos y de la supervisin de la ejecucin de
programas especficos. El grupo de trabajo encontr mucho inters por parte de varios ministros
sectoriales en hacer seguimiento y evaluacin para obtener resultados, entre ellos el ministro de
Electricidad y Energa y el ministro de Salud.
La estimacin de la preparacin evidenci as mismo en Egipto un alto grado de capacidad para
avanzar hacia una estrategia basada en resultados. En la Universidad de El Cairo, en la Universidad
Americana de El Cairo y en organizaciones privadas de investigacin, se identificaron varias personas con formacin en evaluacin. Adems, la Oficina Central para la Movilizacin Pblica y Estadsticas, y el Centro de Apoyo de Informacin para la Toma de Decisiones del Gabinete cumplen funciones
clave en la recoleccin, anlisis y divulgacin de datos que van a ser utilizados por investigadores y
encargados de formular las polticas tanto gubernamentales como no gubernamentales.
El desarrollo de una estrategia bien comunicada y ejecutable constituye un criterio clave para un
viraje exitoso hacia resultados. El diagnstico identific una estrategia fragmentada para hacer
avanzar este empeo. Tentativamente se haba identificado un conjunto de pilotos, sin embargo,
apenas s existan unos cuantos criterios, si acaso, para establecer estos estudios como pilotos de
desempeo. Tampoco dentro del gobierno se haba establecido una estructura de gestin para
administrar de manera eficaz este esfuerzo en su totalidad. Sin embargo, el ministro de Hacienda
haba comenzado a definir un enfoque que, si se ejecutaba, proporcionara el liderazgo necesario
para hacer avanzar este esfuerzo. El ministro se mostr muy definitivo en su deseo de avanzar
despacio y de nutrir los pilotos, para aprender a lo largo del camino.
Los resultados de esta estimacin de la preparacin indican que el gobierno de Egipto est preparado para apropiarse del esfuerzo y para comenzar a introducir los conceptos de la gestin por
resultados, de manera sistemtica y lenta. Existe capacidad visible, la cual se puede aprovechar
para sustentar este esfuerzo. Resulta muy significativo que exista un respaldo poltico obvio para
ofrecer el liderazgo necesario (en el anexo II se encuentra la estimacin completa de la preparacin de Egipto).
Fuente: Banco Mundial 2001c.
cap1.p65
52
53
EL
CASO DE
RUMANIA. ALGUNAS
RECUADRO 1.3
cap1.p65
53
54
PARTE 4
Lecciones aprendidas
Qu lecciones se pueden derivar de estos tres ejemplos de estimacin de la preparacin del mundo en desarrollo?
cap1.p65
54
55
cap1.p65
55
56
cap1.p65
56
CAPTULO 2
PASO 2. ELEGIR LOS EFECTOS PARA MONITOREARLOS
Y EVALUARLOS
GRFICO 2.1
Fijar metas hace parte del proceso decisorio gubernamental en todos los mbitos. Todos los gobiernos tienen metas si bien no todos cuentan con la capacidad
de SyE. Suponiendo que, de hecho, un pas o una organizacin se encuentre en
una situacin que le permita avanzar hacia la construccin de un sistema de SyE
basado en resultados, el paso siguiente consiste en elegir los efectos (derivados de
las metas) y ponerse de acuerdo sobre los efectos para hacerles seguimiento y
evaluarlos (grfico 2.1). La clave consiste en saber dnde est usted antes de empezar a moverse.
En trminos concretos, el presente captulo aborda: a) la importancia de los
efectos; b) los aspectos que se deben considerar en la eleccin de efectos para
hacerles seguimiento y evaluarlos; c) la importancia de construir un proceso
participativo y consultivo que involucre a las principales partes interesadas; y d)
Si no sabe a dnde va, todos los caminos lo llevarn all.
(Alicia en el pas de las maravillas, Lewis Carroll, 1865)
cap2.p65
57
58
el proceso general de fijar los efectos y ponerse de acuerdo sobre ellos. Tambin
se incluyen ejemplos para anlisis y debate.
cap2.p65
58
59
Existen muchos aspectos que es necesario considerar para elegir efectos para
hacerles seguimiento y evaluarlos. Por ejemplo, los efectos podran estar ligados
a aspectos del desarrollo econmico internacional y crediticios, entre ellos una
Estrategia Nacional de Reduccin de la Pobreza, un Plan Nacional de Desarrollo,
la Iniciativa de PPME, o los ODM.
Si para el pas existe un plan de ingreso a la UE, con la finalidad de unir formalmente a este bloque regional tan importante, los encargados del proceso decisorio deben examinar una multitud de estndares socioeconmicos y polticos, y
deben articular efectos especficos deseados para satisfacerlos.
En el mbito de pas, ya podran existir algunas metas nacionales, regionales o
sectoriales declaradas. Igualmente, es posible que ya se hayan hecho promesas
polticas y electorales que especifican un desempeo mejorado del gobierno en
un campo determinado. Adems, es posible que existan datos de sondeos de opinin pblica que indican preocupaciones sociales particulares. Las acciones parlamentarias y la legislacin facultativa son otros campos que se deben examinar
para determinar metas nacionales deseadas. Tambin puede existir un conjunto
de metas simples para un proyecto o programa determinado o para una regin
determinada de un pas. A partir de estas metas es posible determinar efectos
especficos deseados.
Se debe recordar que los pases en desarrollo pueden confrontar retos particulares en la formulacin de efectos nacionales. Para los pases en desarrollo puede
resultar difcil fijar un orden de prioridades gubernamentales por algunas de las
razones a las que ya se hizo referencia, entre ellas la falta de voluntad poltica, la
carencia de capacidad de planeacin y de anlisis, o un organismo central dbil.
A la vez, no obstante, todos los gobiernos necesitan tener metas, y existen maneras para crear un consenso nacional para desarrollar la capacidad necesaria para
fijar un orden de prioridades y determinar los efectos deseados. Lo anterior implica emprender un proceso participativo que involucre a grupos clave de inters. La ayuda de donantes en la construccin de instituciones y de capacidad
tambin puede representar un aporte al inicio del proceso tcnico y analtico de
formular efectos nacionales deseados.
cap2.p65
59
60
indicadores no se le debe encargar a los tcnicos simplemente, porque es necesario consultar el aparato poltico y tiene que estar de acuerdo tanto con las metas
como con los indicadores. En el Paso 3: Seleccin de indicadores, se har un anlisis ms detenido sobre el tema).
Las nuevas realidades de gobernabilidad, globalizacin, concesin de prstamos de ayuda y expectativas de los ciudadanos exigen un enfoque consultivo, de
cooperacin y comprometido con la creacin de consenso. Se deben solicitar las
opiniones y los puntos de vista de las partes interesadas. Involucrar de manera
participativa a grupos clave de inters ayuda a crear consenso y a lograr un compromiso para alcanzar los efectos deseados.
Cuando se eligen efectos, el viaje se debe hacer acompaado.
cap2.p65
60
61
los efectos habilita a las personas para que identifiquen la ruta y el destino que las
espera. Los efectos se deben enmarcar de manera positiva antes que de manera
negativa (grfico 2.2). As, las partes interesadas van a responder y a dar mayor
apoyo a declaraciones positivas, por ejemplo: queremos una mejor atencin en
salud para la infancia y la niez, en vez de queremos que menos nios se enfermen. Parece que las declaraciones positivas a las cuales puedan aspirar las partes
interesadas pueden contener un mayor grado de legitimidad. Resulta ms fcil
convocar un consenso poltico hablando de manera positiva respecto de los efectos deseados de las partes interesadas.
GRFICO 2.2
DESARROLLO DE
DECLARACIONES DE EFECTOS
cap2.p65
para quin?
dnde?
cunto?
para cundo?
61
62
Lo anterior no significa que las actividades no sean importantes. Para el proceso resultan cruciales las acciones para manejar y ejecutar programas, utilizar recursos y prestar servicios del gobierno.
Estar ocupado no es lo mismo que lograr resultados.
cap2.p65
62
63
Situacin
Despus de consultas amplias con partes interesadas clave, un presidente ha fijado algunas metas nacionales y
sectoriales importantes para incluirlas en un plan quinquenal de desarrollo econmico. A su vez, el presidente
ha solicitado al primer ministro convertir estas metas en
un conjunto de efectos alcanzables y demostrar avances hacia la visin estratgica.
Acciones
El primer ministro solicita al ministro de Hacienda dirigir una misin de diez semanas para identificar efectos
deseados.
El ministro de Hacienda conforma un grupo de trabajo
que incluye representantes de las partes interesadas existentes en el pas.
Partes interesadas
incluidas
Justificacin
Tres
responsabilidades
clave
Para el proceso resulta crucial convertir los problemas en declaraciones de efectos positivos. Se debe comenzar con los problemas de un pas determinado, para
luego reformularlos en un conjunto de efectos deseables. En otras palabras, los
temas y los problemas se deben representar en un conjunto de soluciones. Los
grficos 2.3 y 2.4 ofrecen ejemplos prcticos para ilustrar el proceso, tanto de manera correcta (grfico 2.3) como incorrecta (grfico 2.4).
cap2.p65
63
64
GRFICO 2.3
DECLARACIONES
cap2.p65
64
65
GRFICO 2.4
CMO NO ELABORAR
DECLARACIONES DE EFECTOS
do. Por ltimo, la cuarta declaracin tambin se puede traducir en dos efectos:
los nios ms necesitados estn recibiendo ayuda educativa y los nios ms
necesitados estn recibiendo ayuda nutricional.
Elegir efectos es el primer paso en la construccin de la matriz de desempeo.
En el grfico 2.5 aparecen ejemplos de posibles efectos del desarrollo educativo.
Todos ellos, indicadores, datos bsicos y objetivos van a fluir de este paso inicial
de establecer efectos. A medida que se avanza a travs de los pasos del modelo en
los captulos siguientes, se analizar la forma de confeccionar indicadores, datos
bsicos y objetivos.
cap2.p65
65
66
GRFICO 2.5
DESARROLLO DE
cap2.p65
66
CAPTULO 3
PASO 3. SELECCIONAR INDICADORES CLAVE
PARA MONITOREAR LOS EFECTOS
GRFICO 3.1
Cmo se sabe cundo se han logrado los efectos deseados? Despus de haber
analizado la importancia de fijar efectos alcanzables y bien definidos y los aspectos
y el proceso involucrados en la aceptacin de esos efectos, a continuacin se hace
hincapi en la seleccin de indicadores clave (grfico 3.1). Los indicadores de efectos no significan lo mismo que efectos. Los indicadores son las variables cuantitativas o cualitativas que ofrecen un medio sencillo y confiable para medir el logro,
para reflejar los cambios conexos a una mediacin o para ayudar a estimar el desempeo de una organizacin segn el efecto propuesto. Para todos los niveles del
sistema de SyE basado en resultados se deben desarrollar indicadores, lo que significa que los indicadores se necesitan para hacer seguimiento a los avances respecto
de insumos, actividades, productos, efectos y metas. Es necesario hacer seguimiento a los avances en todos los niveles del sistema para poder proporcionar retroinformacin a reas de xito y a reas en las cuales se pueda requerir mejora.
Los indicadores de efectos sirven para resolver dos preguntas fundamentales:
cmo se va a distinguir el xito o el logro cuando ocurra? Se estn haciendo
progresos hacia el logro de los efectos deseados? Estas son las preguntas que cada
cap3.p65
67
68
vez ms se le plantean a gobiernos y organizaciones del mundo entero. Por consiguiente, la confeccin de indicadores apropiados para resolver estas preguntas
se convierte en un aspecto crucial del modelo de diez pasos.
Desarrollar indicadores clave para hacer seguimiento a efectos habilita a los
gestores para estimar el grado al cual se estn logrando efectos deseados o prometidos. El desarrollo de indicadores es una actividad vital en la construccin de
un sistema de SyE basado en resultados. Impulsa todas las actividades posteriores
de recoleccin, anlisis y presentacin de informes de datos. En la creacin de
indicadores adecuados y efectivos tambin existen consideraciones polticas y
metodolgicas importantes.
El presente captulo considera: a) indicadores necesarios para todos los niveles del sistema de SyE basado en resultados; b) la conversin de efectos en
indicadores de efectos; c) la CREMA de indicadores adecuados de desempeo; d)
la utilizacin de indicadores sustitutos; e) las ventajas y las desventajas de utilizar
indicadores diseados de antemano; f) confeccionar indicadores y seguir la pista
a informacin de desempeo; y g) confeccionar indicadores utilizando la experiencia de los pases en desarrollo.
cap3.p65
68
69
cap3.p65
69
70
GRFICO 3.2
DESARROLLO DE
Preciso e inequvoco
Apropiado al tema en cuestin
Disponible a un costo razonable
Se aviene a validacin independiente
Ofrece una base suficiente para estimar el desempeo
cap3.p65
Existen otros modelos para confeccionar indicadores adecuados de desempeo. Por ejemplo, el
PNUD utiliza otra frmula, el principio SMART; las caractersticas de indicadores adecuados son: S =
especficos, M = mensurables, A = alcanzables, R = relevantes y T = rastreables (Kahn 2001, p. 24).
70
71
cap3.p65
71
72
Por ejemplo, el Documento Nacional de Estrategia de Reduccin de la Pobreza para la Repblica Kirguisa, contiene cerca de cien indicadores nacionales y
subnacionales que abarcan ms de una docena de reas de reforma de las polticas. Como quiera que cada indicador involucra la recoleccin, la presentacin y el
anlisis de datos, el gobierno de este pas va a tener que disear y construir cien
sistemas individuales de SyE slo para estimar los avances hacia la estrategia de
reduccin de la pobreza. Para un pas pobre con recursos limitados, hacerlo va a
representar todo un esfuerzo. De igual manera, en Bolivia, en un principio el
DERP contena 147 indicadores de orden nacional. Muy pronto se hizo evidente
que no sera sostenible la construccin de un sistema de SyE para seguirle la pista
a tantos indicadores. Ahora, el borrador del DERP para Bolivia contiene solamente
17 indicadores de orden nacional.
Los indicadores debieran ser adecuados. No deberan ser demasiado indirectos, demasiado sustitutos, o tan abstractos que estimar el desempeo se convierta
en una tarea complicada y problemtica.
Los indicadores deben ser mensurables, lo que significa la posibilidad de validarlos o de verificarlos de manera independiente, lo cual representa un argumento adicional a favor de comenzar con indicadores cuantitativos y no con indicadores
cualitativos. Los indicadores deben ser confiables y vlidos para garantizar que lo que
se est midiendo en un momento dado sea lo que tambin se va a medir en un momento posterior y lo que se est mediando sea, en realidad, lo que se buscaba medir.
Segn la facilidad con que se recaben los datos, se hace necesario tener precaucin para confeccionar indicadores. Con demasiada frecuencia, los organismos basan la seleccin de indicadores en la facilidad de acceso a los datos, no en
cun importante sea el indicador del efecto para medir el grado al cual se debera
intentar lograr los efectos (Hatry 1999, p. 55).
En el grfico 3.3 aparece otro listado de control para estimar indicadores propuestos.
Es mejor estar aproximadamente en lo cierto que precisamente equivocado
(Annimo).
cap3.p65
72
73
GRFICO 3.3
LISTADO DE CONTROL
una reflexin tan directa como sea posible del efecto mismo?
suficientemente preciso para garantizar una medicin objetiva?
exige la recoleccin ms practica de los datos y con mayor eficiencia de costos?
sensible al cambio en el efecto, pero relativamente insensible a otros cambios?
desagregado segn se necesita cuando se presenten informes sobre los efectos?
_________
_________
_________
_________
_________
RECUADRO 3.1
DILEMAS DE LOS INDICADORES
El Museo de Ciencia e Industria de Chicago un museo grande y cavernoso con muchas colecciones de tamao monumental, entre ellas un submarino completo y una mina de carbn quera
realizar un estudio para determinar cules de todas las colecciones en exhibicin despertaban
mayor inters en los visitantes. Las autoridades del museo se dieron cuenta de la imposibilidad de
contar el nmero de visitantes que vean cada una de las colecciones, de manera que decidieron
utilizar un indicador sustituto. Lo hicieron determinando los lugares donde con ms frecuencia se
vean obligados a cambiar las losas del piso. Y dnde encontraron las losas del piso ms gastadas que haba que cambiar? Frente a la coleccin donde aparecan unas gallinas con sus pollitos.
Fuente: Webb et al., 1966.
cap3.p65
73
74
cap3.p65
74
75
tos se miden por una combinacin de la tasa de alfabetismo de adultos y la relacin bruta combinada de matrcula primaria, secundaria y terciaria; y el nivel de
vida, se mide por el PIB per cpita (PNUD 2001).
El Manual del Banco Mundial de Indicadores de Desarrollo Rural, basado en
los Indicadores del Desarrollo Mundial, define y divulga estadsticas internacionales sobre un conjunto amplio de indicadores rurales para el bienestar rural, la
mejora de la economa rural, el desarrollo de mercados rurales, la mejora de la
accesibilidad y de las comunicaciones, la gestin sostenible de la base de recursos
y el marco institucional y de las polticas. Entre los indicadores especficos se incluye, por ejemplo, la poblacin rural por debajo del umbral de la pobreza, el
producto agrcola interno bruto, exportaciones agrcolas, vas pavimentadas, potencial de tierra arable y rentas tributarias locales.
Por tanto, el Manual de Indicadores de Desarrollo Rural ayuda a desarrollar
un enfoque comn al seguimiento y a la evaluacin de los avances logrados tanto
dentro de los pases como de un pas a otro, por medio de un conjunto comn,
claramente definido, de indicadores. El Manual tambin contiene una Tarjeta de
Puntaje Rural un indicador compuesto que se puede utilizar para, por ejemplo,
estimar el avance general de un pas (o la falta de avance) hacia el logro de la
reduccin de la pobreza rural (Banco Mundial 2000).
A la luz de las crisis financieras regionales en varias partes del mundo, el FMI se
encuentra en el proceso de idear un conjunto de Indicadores de Solidez Financiera. Se trata de indicadores de la salud financiera y de la solidez actual de las instituciones financieras, corporaciones y hogares de un pas. Se incluyen indicadores
de suficiencia patrimonial, calidad de activos, utilidades y rentabilidad, liquidez
y sensibilidad a los riesgos del mercado (FMI 2003).
En un plano ms general, el FMI tambin hace seguimiento y publica una serie
de indicadores macroeconmicos que pueden ser de utilidad para gobiernos y organizaciones. Entre estos se incluyen indicadores de produccin, indicadores fiscales y monetarios, balanza de pagos, indicadores de deuda externa y similares.
Existen algunas ventajas y desventajas asociadas a la utilizacin de indicadores
diseados de antemano:
Ventajas:
Se pueden totalizar entre proyectos, programas y polticas similares.
Reducen los costos de construir sistemas nicos de medicin.
Facilitan una mayor coordinacin de los requerimientos de los donantes.
Desventajas:
Con frecuencia no abordan metas especficas de pas.
A menudo se considera que son impuestos, como que provienen de la cspide.
cap3.p65
75
76
Construccin de indicadores
Construir indicadores demanda mucho trabajo. Reviste particular importancia
que en el proceso de construccin de indicadores participen expertos competentes tcnicos, independientes y expertos en las polticas igualmente competentes.
Se deben tener en cuenta todos los puntos de vista independientes, tcnicos y
de polticas en el momento de considerar los indicadores. Son los indicadores
factibles independientemente, tcnicamente posibles de hacer y pertinentes en
trminos de las polticas? Regresando al ejemplo de un efecto que busca mejorar
el aprendizaje de los estudiantes, es muy importante asegurarse de que en los
debates sobre cules indicadores se deberan seleccionar se incluya a los profesionales de la educacin, a los tcnicos que pueden construir indicadores del aprendizaje y a expertos de polticas que puedan validar la pertinencia de los indicadores
en trminos de las polticas.
Los indicadores se deben construir para satisfacer necesidades concretas. Tambin deben ser una reflexin directa del efecto mismo. Y en el tiempo, probablemente se van a adoptar nuevos indicadores y otros se van a descartar. Es de
esperarse. Sin embargo, se debe ejercer precaucin para descartar o para modificar indicadores solamente despus de que se hayan hecho, por lo menos, tres
mediciones.
cap3.p65
76
77
Hacer tres mediciones por lo menos ayuda a establecer datos bsicos y una
tendencia en el tiempo. Antes de cambiar o de descartar un indicador se deben
plantear dos preguntas importantes: Se ha probado minuciosamente este indicador para saber si est proporcionando informacin para hacer una medicin
efectiva contra el efecto deseado? Est este indicador proporcionando informacin que lo hace til como herramienta de gestin?
Tambin es necesario observar que cuando se cambian indicadores, tambin
se cambian los datos bsicos contra los cuales se miden los avances. Todo indicador nuevo necesita tener establecidos su propios datos bsicos la primera vez que
se estn recolectando datos para ese indicador. (En el captulo 4 se analiza con
mayor detenimiento el tema de confeccionar datos bsicos).
En resumen, los indicadores deben ser bien pensados en toda su extensin.
No se deben cambiar ni intercambiar con frecuencia (y nunca por capricho), ya
que hacerlo podra llevar al caos en el sistema general de recoleccin de datos. En
el sistema de SyE debe existir claridad y acuerdo sobre la lgica y la justificacin
de cada indicador, desde los encargados del proceso decisorio en la cspide hasta
las personas responsables de la recoleccin de los datos en el campo.
Los indicadores de desempeo se pueden y se deben utilizar para hacer seguimiento a efectos y proporcionar retroinformacin continua y flujos de datos permanentes a lo largo de la totalidad del ciclo del proyecto, del programa o de las
polticas. Adems de utilizar indicadores para hacer seguimiento a insumos, actividades, productos y efectos, los indicadores pueden producir un caudal de informacin sobre el proceso para lograr estos efectos y los alcances de esos efectos.
La informacin proveniente de indicadores puede ayudar a alertar a los gestores
sobre discrepancias en el desempeo, insuficiencias en el logro de objetivos, y
otras variabilidades o desviaciones del efecto deseado.
Por tanto, los indicadores ofrecen a organizaciones y gobiernos la oportunidad
de hacer correcciones a medio camino, segn se considere apropiado, a la gestin
hacia los efectos deseados. Utilizar indicadores para seguir la pista y los avances
representa una demostracin ms de las maneras en que un sistema de SyE basado
en resultados puede ser una poderosa herramienta de gestin pblica.
La funcin medular de cualquier proceso de medicin de desempeo es proporcionar
datos regulares y vlidos sobre indicadores de efectos del desempeo.
(Hatry 1999, p. 17).
cap3.p65
77
78
INDICADORES
RECUADRO 3.2
BSICOS DE BIENESTAR DE LA REGIN DE
FRICA
En todo frica se ha emprendido una campaa para crear los componentes estadsticos y tcnicos
bsicos de sistemas de SyE. Entre estos componentes bsicos se encuentran las encuestas de
indicadores clave realizadas en varios pases de frica, entre ellos Ghana, Malawi, Mozambique,
Nigeria y Lesotho. El Banco Mundial, el PNUD y Unicef crearon conjuntamente el Cuestionario de
Indicadores Bsicos del Bienestar (CIBB) para hacer seguimiento a objetivos del desarrollo por
medio de la utilizacin de indicadores principales en general, e indicadores sociales en particular.
Los indicadores principales son indicadores que dan aviso anticipado de un impacto futuro, cuyo
surgimiento puede demorarse o ser difcil de medir (http://www4.worldbank.org/afr/stats/pdf/
cwiq.pdf).
En trminos concretos, el CIBB ha servido a los gobiernos para recabar indicadores relacionados
con el bienestar de los hogares, e indicadores anuales de acceso a, uso de y satisfaccin con
servicios bsicos.
Los rasgos distintivos del CIBB incluyen:
cap3.p65
78
79
POLTICAS
RECUADRO 3.3
NACIONALES DE EVALUACIN DE
SRI LANKA
Las Polticas Nacionales de Evaluacin del gobierno de Sri Lanka buscan: a) crear una cultura de
evaluacin y utilizar las evaluaciones para hacer gestin por resultados; b) promover la evaluacin
a travs de la construccin de capacidad con respecto a personal, instituciones, herramientas y
metodologas; c) habilitar el aprendizaje de lecciones de experiencias anteriores; d) mejorar el
diseo de las polticas y programas de desarrollo por medio de la integracin de los hallazgos de
las evaluaciones; y e) establecer la rendicin de cuentas, la transparencia y la gobernabilidad.
Como parte de las polticas de evaluacin, el gobierno ha ordenado la utilizacin de indicadores de
desempeo para todas las iniciativas de formulacin de las polticas y de preparacin de programas y proyectos. Con este fin, el gobierno estimula la creacin de alianzas con organizaciones de
la sociedad civil (por ejemplo, la Asociacin para la Evaluacin) y ONG para introducir evaluaciones
participativas en el sector pblico. As mismo, el gobierno alienta a las universidades y a las instituciones de formacin del sector pblico a incluir mdulos de evaluacin y compartir conocimientos
sobre tcnicas y metodologas de evaluacin.
Vase tambin anexo IV: El Plan Nacional de Desarrollo de Sri Lanka para hacer seguimiento y
evaluacin.
Fuente: Asociacin de Sri Lanka para la Evaluacin y Ministerio de Desarrollo Pblico y Ejecucin 2003.
cap3.p65
79
80
RECUADRO 3.4
PLAN DE ACCIN DE ALBANIA A TRES AOS
El gobierno de Albania va a poner en marcha sistemas de seguimiento y evaluacin basados
tanto en la ejecucin como en el desempeo para utilizarlos en retroinformacin de los principales programas que conforman el Plan de Accin a Tres Aos (incluyendo todas las principales
iniciativas estratgicas que en la actualidad se llevan a cabo en el sector pblico de Albania: la
Estrategia Nacional para el Desarrollo Social y Econmico (Nssed, por sus iniciales en ingls); el
Marco de Gastos a Mediano Plazo; el Acuerdo de Estabilizacin y Asociacin; el Plan de Accin
contra la Corrupcin; y la Estrategia para la Descentralizacin y la Autonoma Local). El gobierno
ha encargado al Departamento de Coordinacin, adscrito al Consejo de Ministros, supervisar y
coordinar el seguimiento de la ejecucin del Plan de Accin a Tres Aos. Al Departamento de
Nssed, adscrito al Ministerio de Hacienda, se le asignarn responsabilidades similares para hacer
seguimiento al desempeo de Nssed.
Se espera que el Ministerio de Hacienda supervise la gestin global del desempeo y de la ejecucin por parte de los doce ministerios sectoriales incluidos en la Nssed. Algunas de las responsabilidades son las siguientes: a) procedimientos para confeccionar indicadores a los que se les va a
hacer seguimiento y sobre los cuales se van a presentar informes; b) instrucciones a los ministerios sectoriales sobre cmo seleccionar indicadores; c) procesos para seleccionar indicadores
con el fin de garantizar que midan los resultados que importan a las partes interesadas clave; y d)
procedimientos para definir la forma en que se va a recabar la informacin segn los indicadores y
as garantizar la consistencia de la verificacin y de la presentacin de informes.
En el Ministerio de Educacin tambin se han registrado avances. Hace poco el Ministerio cre
una matriz borrador de seguimiento de avances de la Nssed y se cre una nueva unidad de SyE
dentro del Ministerio, con seis representantes de diferentes departamentos. Se van a confeccionar
diversos indicadores de educacin conjuntamente con las iniciativas del gobierno: Estrategia de
Crecimiento y Reduccin de la Pobreza, el Crdito de Apoyo a la Reduccin de la Pobreza, el Proyecto de Educacin y Educacin para Todos. Algunos indicadores de educacin son, entre otros, asistencia a la escuela segn nivel educativo, salarios de docentes, participacin del PIB asignada a la
educacin, relacin estudiante-docente, porcentaje del cuerpo docente que cumple los estndares
del ministerio para docentes calificados, tamao promedio de la clase, tasas generales de terminacin de estudios, y tasas de educacin desagregadas para familias rurales y pobres.
En trminos ms amplios, el gobierno de Albania dispone de capacidad estadstica bsica (aunque queda espacio para mejorar), y hace poco cre una unidad de anlisis de las polticas. El
gobierno tambin cuenta con los indicadores para los ODM.
Fuente: Banco Mundial 2002a.
cap3.p65
80
81
INDICADORES
Nombre del Proyecto:
Metas del proyecto:
RECUADRO 3.5
DE RESULTADOS DE PROGRAMA Y DE PROYECTO:
EJEMPLO DEL SECTOR DE RIEGO
Fortalecer el riego en una zona determinada del pas
Mejorar la productividad agrcola
Indicadores:
Indicadores de efectos:
IFAD
2002, p. 19.
EFECTOS:
RECUADRO 3.6
MAYOR PARTICIPACIN DE LOS AGRICULTORES EN MERCADOS LOCALES
cap3.p65
81
cap3.p65
82
CAPTULO 4
PASO 4: ESTABLECER Y RECOLECTAR DATOS BSICOS
SOBRE INDICADORES
GRFICO 4.1
cap4.p65
83
84
indicadores; d) disear y comparar mtodos de recoleccin de datos; e) la importancia de realizar pilotos; y f) recoleccin de datos, con base en las experiencias de
algunos pases en desarrollo.
cap4.p65
84
85
El reto estriba en obtener datos bsicos adecuados sobre cada uno de los
indicadores de desempeo para cada efecto. Lo anterior puede convertirse en un
proceso complejo. Es importante ser acertado en el nmero de indicadores elegidos, porque cada indicador va a requerir para su sustentacin de recoleccin de
datos, de anlisis y de presentacin de informes.
DE DATOS BSICOS
Costo y
Mtodo de
Quin va Frecuencia dificultad
Quin
Fuente de recoleccin a conseguir
de
para
los va a
Indicador los datos de los datos los datos? recoleccin obtenerlos analizar?
1
2
3
cap4.p65
85
86
los aproximados. Otros pases en desarrollo quizs conozcan las tasas de utilizacin de camas de hospitales, y otros puede que no.
Los indicadores seleccionados de desempeo y las estrategias de recoleccin
de datos utilizados para seguir la pista a estos indicadores deben basarse en las
realidades de los sistemas de datos existentes, de los datos que se pueden producir actualmente, y de la capacidad existente para expandir el alcance y el detenimiento de la recoleccin y el anlisis de los datos.
Existen ventajas y desventajas asociadas con la utilizacin de datos secundarios para establecer tendencias o indicadores de desempeo. Por el lado positivo,
los datos secundarios pueden ser ms eficientes en trminos de costos. Tambin
se pueden utilizar en instancias en las cuales no resulta prctico ni posible reunir
con frecuencia datos primarios, como sucede con encuestas de hogares a gran
escala y costosas.
Sin embargo, por diversas razones, se debe ejercer precaucin para utilizar
datos secundarios. Estos ltimos habrn sido recolectados teniendo en cuenta las
metas o las agendas de otra organizacin. Surgen entonces otras preguntas sobre
cap4.p65
86
87
la utilizacin de datos secundarios: Son los datos vlidos? Son confiables? Con
qu frecuencia se validan los instrumentos de recoleccin de datos? Es ms, utilizar datos secundarios significa utilizar los datos de alguien ms para informar
sobre los progresos y el xito para avanzar hacia los efectos esperados por uno
mismo. Como gestor, se siente cmodo con este arreglo, considerando todas las
ventajas y las desventajas de hacerlo?
Registros administrativos (por escrito o computarizados) de organizaciones
gubernamentales o no gubernamentales; entrevistas y encuestas con grupos objetivo clientes; funcionarios de programa y proveedores de servicios; informes de
observadores capacitados; y mediciones y pruebas mecnicas pueden constituir
ejemplos de fuentes de datos reales.
En las organizaciones del sector pblico del mundo entero comienza a despertarse una comprensin cada vez mayor de la necesidad de flujos de informacin,
no de estudios discontinuos que son episdicos y espaciados en el tiempo. Los
gestores estn a la bsqueda de informacin ya sea sobre estrategias de las polticas, utilizacin de clnicas de salud, mtodos agrcolas o patrones de emigracin en la que puedan confiar y utilizar en tiempo real. No sirve esperar a que se
concluya un estudio durante meses hasta un ao o ms. El nuevo enfoque a la
construccin de sistemas de SyE basados en resultados se inclina cada vez ms
hacia la construccin de aquellos sistemas que ofrezcan flujos ms o menos continuos de informacin.
cap4.p65
87
88
DE DATOS
cap4.p65
88
89
En el cuadro 4.2 se hace una comparacin ilustrativa de cuatro mtodos principales de recoleccin de datos a lo largo de cuatro dimensiones. Se ponen de
relieve algunas de las concesiones entre diferentes estrategias. Es importante comprobar con los usuarios antes de tomar cualquier decisin sobre las estrategias
que se van a utilizar. Se debe tratar de determinar el grado de comodidad que
sienten los usuarios con las concesiones y con los tipos de informacin de desempeo que va a recibir.
CUADRO 4.2
COMPARACIN
Cuestionario
para resolver
personalmente
Costo
Poco
Moderado
Moderado
o alto
Depende de
la disponibilidad
de observadores
a bajo costo
Grado de
capacitacin
requerida para
los recolectores
de datos
Algo
De ninguno
a alto
Moderado
a alto
Moderado
a alto
Tiempo para
finalizacin
Depende de la
cantidad de datos
que se necesitan
Moderado
Moderado
Poco a
moderado
Tasa de respuesta
Depende de la
forma en que
se distribuya
Por lo general,
de moderado a
adecuado
Alto
Caracterstica
Entrevista
Calificacin por
observador
capacitado
Necesariamente, las estrategias de recoleccin de datos conllevan algunas concesiones respecto de costo, precisin, credibilidad y oportunidad. Por ejemplo,
los mtodos ms estructurados y formales de recoleccin de datos tienden, por lo
general, a ser ms precisos, costosos y dispendiosos. Si los datos se necesitan con
frecuencia y rutinariamente para informar la toma de decisiones de gestin, puede ser preferible adoptar estrategias de recoleccin de datos menos precisas, menos estructuradas y menos costosas.
cap4.p65
89
90
cap4.p65
90
91
cap4.p65
91
92
ESTRATEGIA
DE
ALBANIA
RECUADRO 4.1
PARA FORTALECER LA CAPACIDAD DE RECOLECCIN
DE INFORMACIN
El gobierno de Albania est emprendiendo varias iniciativas de las polticas, como la Estrategia de
Crecimiento y de Reduccin de la Pobreza, que van a necesitar informacin adecuada para los
encargados de formular las polticas a medida que vayan avanzando en el diseo, ejecucin y
evaluacin de programas socioeconmicos. Con la ayuda y el apoyo de algunos donantes internacionales, el gobierno est tratando de mejorar las prcticas de datos del pas para producir informacin estadstica confiable de manera regular para medir y hacer seguimiento a la pobreza, a la
desigualdad y a otros indicadores sociales. En trminos concretos, el proyecto va a asistir al gobierno en cuatro campos: a) recoleccin de datos; b) procesamiento y anlisis de datos; c) divulgacin y utilizacin de los datos; y d) organizacin y administracin de encuestas.
Con respecto a la recoleccin de datos, el proyecto va a ofrecer asistencia tcnica y capacitacin
prctica para fortalecer la capacidad del Instituto Albans de Estadstica (INSTAT, por sus iniciales
en ingls). La meta es ayudar al INSTAT a producir de manera regular varias encuestas, como la
Encuesta de Medicin de Nivel de Vida, un Censo de Poblacin y de Hogares, Encuestas de
Presupuesto de Hogares y Encuestas anuales de Fuerza Laboral. Con varios ministerios sectoriales se estn haciendo planes para trazar un mapa de la pobreza, entre otros trabajos.
Respecto del procesamiento y anlisis de datos, el proyecto va a apoyar mejoras de la eficiencia y
la utilizacin de la informacin, as como de la capacidad institucional para procesar informacin
de hogares. Tambin se va a ofrecer asistencia tcnica y capacitacin prctica en el campo de
ingreso, limpieza y edicin de datos, con el fin de ayudar a garantizar la calidad y la oportunidad de
la informacin producida. El campo de anlisis de datos incluye el uso de software de Sistemas
Geogrficos de Informacin y estadsticos, metodologa de anlisis de la pobreza, recoleccin y
anlisis de datos de grupo, tcnicas de encuesta de hogares y desarrollo de cuestionarios, muestreo
y trazado de mapas de pobreza.
La divulgacin y el uso de los datos van a contar con apoyo con el fin de reforzar un proceso
participativo para la generacin de informacin estadstica. La construccin de capacidad se va a
dirigir tanto a productores como a usuarios de informacin estadstica sobre hogares. Se va a
conformar un grupo de usuarios de datos el cual va a estar presidido por INSTAT. Del grupo de
usuarios van a formar parte representantes de ministerios sectoriales, donantes y ONG. Se va a
desarrollar una estrategia integral para publicar y divulgar los datos.
Por ltimo, la organizacin y administracin de encuestas va a recibir apoyo del proyecto por
medio de un examen de la organizacin de INSTAT, con un enfoque especial en las unidades de
INSTAT con una participacin directa en el trabajo de encuesta de hogares. El examen va a estimar
opciones para fortalecer la capacidad organizativa de INSTAT para dirigir y administrar encuestas
regulares de hogares y va a desarrollar un plan relacionado de contratacin de personal. El examen tambin va a estimar los procedimientos organizativos internos para administrar la encuesta,
incluyendo las jerarquas de subordinacin administrativa y financiera y va a desarrollar un conjunto de procedimientos administrativos internos relacionados.
Fuente: Banco Mundial 2002d.
cap4.p65
92
93
RECUADRO 4.2
LBANO: INGRESO AL SISTEMA DE DATOS DEL
FMI
El gobierno de Lbano est haciendo esfuerzos para poner a la altura de estndares internacionales a su sistema de recoleccin de datos estadsticos. Hace poco ingres al Sistema General de
Divulgacin de Datos (DDGS, por sus iniciales en ingls) del FMI. Los propsitos del DDGS son:
alentar a los pases miembro a mejorar la calidad de los datos; ofrecer un contexto para evaluar las
necesidades de mejorar los datos y de fijar prioridades...; y orientar a los pases miembro en la
divulgacin al pblico de estadsticas econmicas, financieras y sociodemogrficas integrales
oportunas, accesibles y confiables... [El] sistema se construye alrededor de cuatro dimensiones
caractersticas, calidad, acceso e integridad de los datos y su finalidad es la de ofrecer orientacin
para el desarrollo general de datos macroeconmicos, financieros y sociodemogrficos (FMI 2001).
Se espera que el ingreso de Lbano al sistema de datos del Fondo Monetario Internacional
fomente la gobernabilidad del pas... Al elegir el DDGS como un marco para desarrollar los sistemas
nacionales estadsticos del pas, las autoridades han subrayado su compromiso para mejorar la
produccin de datos econmicos y sociodemogrficos... lo anterior va a ayudar a aumentar el
reconocimiento internacional del compromiso de Lbano con estadsticas de mejor calidad, afirm
el director de estadsticas del FMI... (The Daily Star 2003). Las estadsticas se van a publicar en tres
idiomas en la pgina web del Banco Central de Lbano, donde van a estar al acceso del pblico, y
el Banco Central y los ministerios sectoriales las van a actualizar con regularidad.
Fuente: The Daily Star 2003;
cap4.p65
93
FMI
2002.
cap4.p65
94
CAPTULO 5
PASO 5: PLANIFICAR PARA MEJORAR. SELECCIONAR
OBJETIVOS DE RESULTADOS
GRFICO 5.1
Despus de reunir los datos bsicos sobre indicadores, el paso siguiente consiste
cap5.p65
95
96
Definicin de objetivos
Un objetivo es ...una meta determinada que indica el nmero, el momento y el
lugar de aquello que se debe llevar a cabo1 (IFAD 2002, p. A-11). En esencia, objetivos son los niveles cuantificables de los indicadores que pretende alcanzar un
pas, una sociedad o una organizacin dentro de un perodo de tiempo determinado. Por ejemplo, un objetivo podra ser para el ao 2015, todas las familias
deben tener la capacidad para comer dos veces al da, todos los das.
Un mtodo para establecer objetivos es comenzando con el nivel de datos bsicos del indicador e incluir el nivel deseado de mejora (teniendo en cuenta los
recursos disponibles durante un determinado periodo de tiempo, por ejemplo,
24 a 35 meses), para llegar al objetivo de desempeo. Al hacerlo de este modo, se
va a conocer el punto de partida as como los recursos disponibles para avanzar
hacia el objetivo durante un perodo de tiempo particular. Este mtodo va a producir el desempeo objetivo.
La frmula que aparece en el grfico 5.2 muestra el proceso para confeccionar
objetivos de desempeo.
GRFICO 5.2
IDENTIFICAR EL
DE DESEMPEO
cap5.p65
Vase tambin el anexo VI para un glosario completo de trminos clave de evaluacin y gestin
basada en resultados.
96
97
punto de partida de los datos bsicos; por ejemplo, un promedio del desempeo
de los ltimos tres aos, el desempeo del ao pasado, tendencia promedio, datos de los ltimos seis meses, etctera. En otras palabras, es necesario tener en
cuenta el desempeo previo para poder proyectar nuevos objetivos de desempeo. Antes de proyectar objetivos futuros de comportamiento, se podra analizar
qu comportamiento ha tenido una organizacin o las polticas durante los ltimos aos.
Los datos bsicos son la situacin existente antes del comienzo de un programa o
de una actividad: son el punto de partida para el seguimiento de resultados.
El objetivo es lo que se espera que sea la situacin al final de un programa o de una
actividad... Un anlisis detenido de los factores clave que influyen en un problema de
desarrollo complementan el desarrollo de datos bsicos y la confeccin de objetivos.
(PNUD 2002, pp. 66-67).
Los niveles de financiacin y de recursos esperados representan una consideracin ms para confeccionar objetivos capacidad existente, presupuestos,
personal, recursos de financiacin, instalaciones, y similares a lo largo de todo el
perodo del objetivo. Lo anterior puede incluir fuentes internas de financiacin
as como financiacin externa de donantes bilaterales y multilaterales. Dadas todas las consideraciones de recursos as como la capacidad organizativa para realizar actividades y productos, los objetivos deben ser factibles.
La mayora de objetivos se establecen con una proyeccin anual; algunos para
un trimestre, otros para perodos ms largos. Sin embargo, no es aconsejable confeccionar objetivos con una proyeccin mayor a tres o cuatro aos. Existen demasiadas incgnitas y riesgos respecto a recursos e insumos como para intentar
proyectar un desempeo objetivo ms all de tres o cuatro aos. En resumen,
cuando se confeccionan objetivos, se debe ser realista.
Tambin influye el carcter poltico del proceso. Las preocupaciones polticas
son importantes. Qu ha prometido cumplir el gobierno o la administracin?
Los ciudadanos han votado por un gobierno en particular con base en prioridades y polticas articuladas que el proceso poltico debe reconocer y legitimar. Confeccionar objetivos hace parte de este proceso poltico y van a haber ramificaciones
polticas para cumplir o no con los objetivos.
Confeccionar objetivos realistas implica la aceptacin que los efectos ms deseados son a ms largo plazo, complejos y no se logran fcilmente. Por tanto, en la ruta
al logro de un efecto, es necesario establecer objetivos como metas a corto plazo.
Los objetivos se basan en recursos conocidos (financieros y organizativos), adems de una
proyeccin razonable de la base de recursos disponibles durante un perodo fijo de tiempo.
cap5.p65
97
98
cap5.p65
98
99
a cumplir con toda seguridad. Otro juego que a menudo se juega en las burocracias es mover al objetivo segn se necesite para que encaje en la meta de desempeo. Mover los objetivos ocasiona problemas porque ya no es posible discernir
ni medir las tendencias de los indicadores. En otros casos, es posible elegir los
objetivos porque no son sensibles polticamente.
EJEMPLO
RECUADRO 5.1
DE OBJETIVOS DE DESARROLLO
cap5.p65
99
100
resultados tambin necesitan objetivos; en este punto se hace hincapi en que los
efectos ahora tambin necesitan objetivos.
El marco de desempeo se convierte en la base de planeacin con implicaciones concomitantes para la confeccin de presupuestos, la asignacin de recursos, la contratacin de personal, etctera. El contexto puede y debe ser una gua
pertinente para los gestores. Se debe consultar y tener en cuenta con frecuencia
durante el proceso de gestin hacia los efectos esperados.
Estos contextos de desempeo tienen aplicaciones ms amplias y se pueden
emplear de manera til como formato para estrategias nacionales de reduccin
de la pobreza, as como para formular los efectos de proyecto, programa y de las
polticas.
La confeccin de objetivos de desempeo resulta vital para el proceso de lograr los efectos. La frmula para llegar al desempeo objetivo es sencilla e implica
niveles de datos bsicos de indicadores y niveles deseados de mejora durante un
periodo determinado de tiempo. Resulta clave un proceso participativo, en colaboracin con partes interesadas y de asociados pertinentes.
GRFICO 5.3
DESARROLLO DE
cap5.p65
100
CAPTULO 6
PASO 6: HACER SEGUIMIENTO PARA OBTENER
RESULTADOS
GRFICO 6.1
PARTE 1
cap6.p65
101
102
MUESTRA
cap6.p65
102
103
cap6.p65
103
104
GRFICO 6.3
SEGUIMIENTO BASADO
EN RESULTADOS
GRFICO 6.4
EJEMPLOS DE
cap6.p65
SEGUIMIENTO DE RESULTADOS
104
105
RECUADRO 6.1
SEGUIMIENTO DE RESULTADOS
EN
MXICO
Mxico cuenta con procesos de planeacin y de presupuesto por separado. Cada seis aos se
elabora un Plan Nacional de Desarrollo, el cual concluye aproximadamente en la fecha en que lo
hace el periodo presidencial. Por medio de este proceso se fijan metas, se formulan polticas y se
confeccionan objetivos de desempeo. Del plan se derivan programas (el modo para lograr los
objetivos). El proceso de confeccin de presupuestos anuales toma los objetivos y programas
como aparecen en el Plan. Una vez se definen las restricciones de recursos anuales, se asignan
fondos a programas y proyectos. En los documentos del presupuesto anual se incluye informacin
sobre desempeo: cerca de 10.000 indicadores que bsicamente miden el desempeo relativo a
objetivos del Plan. Pero estas medidas de desempeo no se utilizan en las decisiones de gestin
de los organismos del gobierno, ni tampoco en las decisiones de asignacin de recursos. Aunque
el Despacho del Presidente s hace seguimiento a estos indicadores, es poco claro y no se hacen
revisiones formales. Tampoco en la remuneracin se tiene en cuenta el desempeo. Es ms, durante los ltimos aos, la estructura del programa ha cambiado todos los aos, lo que sugiere que
no est ligada a una estructura organizativa ni a un gestor de programa; por consiguiente, es dbil
el marco de rendicin de cuentas.
Fuente: Dorotinsky 2003b.
cap6.p65
105
106
RECUADRO 6.2
SEGUIMIENTO DE RESULTADOS
EN
BRASIL
Los pases se esfuerzan por integrar informacin sobre desempeo y supervisin de gestin por
hacer que la informacin sobre desempeo en realidad se utilice en el proceso decisorio. Algunos
pases intentan hacer seguimiento al desempeo actual relativo a datos bsicos de desempeo
previos, en tanto otros buscan hacer seguimiento al desempeo relativo a objetivos o planes determinados de antemano. El grado al cual se integran los procesos nacionales de planeacin y confeccin de presupuestos influencia el enfoque escogido y los mecanismos de ejecucin.
Brasil cuenta con un plan nacional aparte del proceso de presupuesto. El Ministerio de Planeacin,
Presupuesto y Gestin es responsable del desarrollo del plan quinquenal (el cual concluye aproximadamente en la fecha en que lo hace el periodo presidencial). El proceso de planeacin se utiliza
para fijar el orden de prioridades, metas y objetivos de desempeo. (A diferencia de Mxico, la
estructura del programa es fija, y comprende todas las actividades del gobierno. Tambin, a diferencia de Mxico, el plan nacional incluye la asignacin de recursos para programas, por ao,
durante el periodo de planeacin). Pero, considerando el carcter fijo, de muchos aos, del plan,
son muy inciertas las asignaciones de recursos objetivo ms all del primer ao. Los nuevos gobiernos ponen la impronta de sus polticas, segn las cuales eligen programas como programas
prioritarios, con objetivos y asignaciones de recursos designados para los programas. Por ejemplo, el gobierno de Cardoso design ochenta programas prioritarios.
Se desarroll un sistema de manejo de informacin con el propsito de enlazar la financiacin de
programas con informacin sobre desempeo con un enfoque en desempeo relativo a objetivos
del Plan. Los programas se definieron entre muchas organizaciones atravesando ministerios y
organismos de ejecucin y se nombraron gestores de programa. Sin embargo, los gestores de
programa no tenan autoridad formal, no controlaban recursos y, en realidad, no podran influir en
las actividades de los ministerios que participan en sus programas (excepto por unos pocos casos
en los cuales al jefe de una actividad ministerial tambin era nombrado gestor del programa). De
acuerdo con esta estructura, el gestor de actividades no puede utilizar la informacin sobre desempeo para dirigir el trabajo y los gestores de programa no tienen influencia sobre la gestin real.
Existe un desequilibrio entre autoridad y responsabilidad que impide la rendicin de cuentas.
En Brasil, la informacin sobre desempeo no se incluye en los documentos formales del presupuesto, pero la base de datos en la internet s permite equiparar parcialmente objetivos, desempeo y recursos recursos marginales. Cuando desarroll el concepto del programa, Brasil cre
programas individuales para abarcar los gastos de personal, de manera que todos los dems
programas solamente contienen el costo marginal de la actividad.
Pese a las fallas estructurales del sistema, Brasil s intent alentar a la administracin para que
utilizara la informacin sobre desempeo. La oficina de planeacin del Ministerio de Planeacin,
Presupuesto y Gestin utiliz el sistema de informacin para hacer actualizaciones trimestrales del
desempeo. La oficina de planeacin utiliz esta informacin para evaluar cada programa prioritario con respecto al desempeo financiero y de objetivos del plan nacional relativos al presupuesto
de un ao determinado. Los programas con un desempeo inadecuado o que probablemente no
utilizaran todos los recursos de ese ao, perderan los recursos que entonces se transferiran a
otros programas prioritarios que se considerara que tenan un mejor desempeo. Se trat de un
intento por utilizar la informacin sobre desempeo en las decisiones de gestin y de recursos y
hacer ms imperativa la mejora del desempeo.
Fuente: Dorotinsky 2003b.
cap6.p65
106
107
Entre las lecciones que se pueden derivar de estas experiencias diversas estn
las siguientes:
Si se van a crear nexos fuertes entre seguimiento del desempeo y asignacin de recursos, una sola unidad debe ser responsable de ambos.
Si se pretende que el desempeo influya en la gestin, una sola unidad
debe ser responsable de llevar a cabo las actividades y de hacer seguimiento al desempeo.
Las unidades responsables de hacer seguimiento al desempeo, a la gestin y a la asignacin de recursos deben coincidir en hacer posible la rendicin de cuentas y en posibilitar mejoras en la eficiencia y en la eficacia (o aun
posibilitar el seguimiento de la eficiencia o de la eficacia).
cap6.p65
107
108
la organizacin utiliza para emplear los insumos con eficacia hacia el logro de
productos y, en ltimas, de efectos e impactos. En el captulo 5 qued claro que
cada objetivo constituye un esfuerzo provisional hacia el logro de un efecto. Por
tanto, para ayudar a lograr cada objetivo, se debe poner en marcha un medio y
una estrategia.
El ejemplo de morbilidad infantil que aparece en el grfico 6.6 ilustra los nexos
entre medios y estrategias, objetivo, efecto e impacto, es decir, los nexos especficos entre seguimiento de la ejecucin y seguimiento de los resultados. En este
ejemplo, se ha identificado un objetivo reducir en veinte por ciento la incidencia
de las enfermedades gastrointestinales en tres aos para ayudar a alcanzar el
efecto de mejorar la salud infantil. En seguida, un gestor identificara una estrategia anual dirigida a reducir la incidencia de las enfermedades gastrointestinales
en el porcentaje objetivo. Al hacerlo, el gestor tendra que tener en cuenta los
insumos disponibles durante tres aos presupuestarios, y decidir sobre la manera de planificar el trabajo de la organizacin para alcanzar el objetivo propuesto.
GRFICO 6.6
VNCULOS ENTRE EL
RESULTADOS
cap6.p65
108
109
PARTE 2
Principios clave de la construccin de un sistema de seguimiento
En la construccin de un sistema de seguimiento basado en resultados existen
varios principios clave, a saber:
Existen necesidades de informacin sobre resultados en el mbito de proyecto, programa y de las polticas.
La informacin sobre resultados debe desplazarse tanto horizontal como verticalmente en la organizacin (planteando a veces un reto de las polticas).
Se debe identificar la demanda de informacin sobre resultados en cada
nivel.
La responsabilidad en cada nivel debe ser clara con respecto a:
Qu datos se recogen (fuente)
Cundo se recogen los datos (frecuencia)
Cmo se recogen los datos (metodologa)
Quin rene los datos
Quin presenta los datos
Para quin se reunen los datos.
La informacin sobre resultados debe desplazarse tanto horizontal como verticalmente dentro de la organizacin y entre organizaciones. Resulta crucial que la
informacin se comparta horizontalmente. La gente debe saber y entender qu
informacin est recolectando su propia organizacin y otras. Por ejemplo, podra
haber una organizacin que est reuniendo datos supuestamente adecuados para
otra. Adems, si cada organizacin comienza a montar su propio sistema de informacin, tal vez no exista capacidad suficiente para sustentar todos los sistemas.
Para muchas organizaciones resulta difcil compartir la informacin de manera horizontal. Dentro de un sistema, la informacin se puede desplazar con facilidad de manera vertical, pero con frecuencia existen fuertes muros polticos y
organizativos entre una parte del sistema y otra. A menudo la causa son las batallas burocrticas y polticas por el coto de caza. Igualmente, casi siempre son verticales los incentivos burocrticos; rara vez existen incentivos para compartir
informacin de manera horizontal.
Lo ideal sera que todas las organizaciones y los organismos involucrados coordinen y colaboren en compartir informacin sobre desempeo, sobre todo en
las instancias en las que se han creado alianzas entre instituciones para lograr
objetivos especficos.
Es importante tener tanta claridad como sea posible respecto de las respuestas
a las seis preguntas sobre a quin le compete la responsabilidad del sistema. Si no
se pueden contestar estas seis preguntas, probablemente van a existir vacos y el
cap6.p65
109
110
sistema puede fallar. Se trata de una razn ms para comenzar por un piloto de la
iniciacin de un sistema de SyE basado en desempeo.
Dados los escasos recursos y los objetivos ambiciosos de desarrollo, los asociados en el desarrollo deben apalancar recursos para lograr la meta deseada. Por
consiguiente, muchos asociados van a determinar conjuntamente los medios y
las estrategias. Cuando se consideran insumos disponibles, se debe buscar ms
all de la unidades de la organizacin propia. Las alianzas se pueden crear en
cualquier parte de la organizacin propia o aun con otras organizaciones dentro
o fuera del gobierno.
Cuando se recortan o se disminuyen los recursos, gobiernos y organizaciones
tal vez puedan necesitar alianzas con otros o verse obligados a entrar en alianzas
cap6.p65
110
111
con otros para alcanzar metas que pueden ser similares. Entre las instancias de
colaboracin se incluyen, entre otros, la conformacin de alianzas con el sector
privado, ONG y la comunidad internacional de donantes. Los efectos se hacen
ms alcanzables cuando se combinan recursos aun en pocas de restricciones de
insumos.
DE SEGUIMIENTO NECESITAN
Apropiacin
A la apropiacin se la puede considerar como la parte de la demanda de la ecuacin. La apropiacin debe surgir de quienes en todos los mbitos utilizan el sistema, y, en cada mbito, se debe identificar la demanda de informacin sobre
desempeo. Resulta crucial la apropiacin por parte de las partes interesadas de
los datos en todos los mbitos nacional, regional y local. Si existen mbitos en los
cuales la gente no ve la necesidad de los datos recolectados o no tiene en qu
utilizarlos, van a surgir problemas con control de calidad y con apropiacin. Se va
a romper el circuito de informacin. Sin apropiacin, las partes interesadas no
van a estar dispuestas a invertir tiempo y dinero en el sistema. En ltimas, el
sistema se va a degenerar y va a disminuir la calidad de los datos.
Un defensor poltico fuerte puede ayudar a garantizar la apropiacin del sistema. Se necesita un defensor para que reafirme la necesidad de generar y compartir datos adecuados sobre desempeo y de presentarlos de manera apropiada.
cap6.p65
111
112
Gestin
Quin va a estar a cargo del sistema, cmo y dnde resulta crucial para la sostenibilidad del mismo. El traslapo de informacin proveniente de diferentes organismos puede tambin obstaculizar la recoleccin de datos, al igual que lo hacen la
duplicacin de datos en ministerios y en la oficina nacional de estadsticas; las
demoras para recibir los datos, es decir, los datos se reciben demasiado tarde para
tener impacto en el proceso decisorio; y que la gente no sepa qu datos se encuentran disponibles.
Mantenimiento
Para impedir que el sistema decaiga o colapse, el mantenimiento de los sistemas
de seguimiento resulta esencial. Es importante saber quin va a recabar qu tipo
de informacin y cundo, y asegurarse de que la informacin fluya horizontal y
verticalmente en el sistema. Al igual que otros sistemas oficiales de informacin
(como de auditora o de confeccin de presupuestos), los sistemas de seguimiento deben contar siempre con mantenimiento continuo.
Para que las organizaciones, los gestores y el personal puedan llevar a cabo las
tareas de seguimiento, la gestin y el mantenimiento de sistemas de SyE exige la
creacin de los incentivos correctos y el suministro de suficientes recursos financieros, humanos y tcnicos. Se deben estipular las responsabilidades individuales
y corporativas, y establecer una visibilidad directa clara lo que quiere decir que
el personal y las organizaciones deben entender los nexos que tienen con metas
comunes. Se deben establecer relaciones claras entre acciones y resultados. Las
personas y las organizaciones deben comprender la manera en que las tareas especficas a su cargo hacen un aporte a la gran imagen.
El mantenimiento adecuado de sistemas de seguimiento tambin debe tener
en cuenta los nuevos adelantos en gestin y tecnologa. Quizs sea necesario perfeccionar y modernizar sistemas, procedimientos o tecnologas. Tambin al personal y a los gestores se les debe ofrecer capacitacin peridica para que se
mantengan al da en sus conocimientos.
Si los sistemas no se mantienen bien, se deterioran. Al igual que cualesquiera
otros sistemas, a travs de una gestin adecuada, los sistemas de seguimiento
requieren de reconstruccin, renovacin y fortalecimiento.
Credibilidad
La credibilidad tambin resulta esencial para cualquier sistema de seguimiento.
Datos vlidos y confiables ayudan a garantizar la credibilidad del sistema. Para
ser crebles, los sistemas de seguimiento deben contar con la posibilidad de informar todos los datos buenos y malos. Si de manera deliberada no se presentan
cap6.p65
112
113
noticias malas, o informacin que demuestre no lograr satisfacer efectos y objetivos esperados, el sistema no va a ser creble.
En algunos casos, se puede llegar a ejercer presin poltica sobre las oficinas
nacionales de estadstica para, por ejemplo, minimizar las malas noticias o para
no informar ciertos datos. Si las restricciones polticas son de tal magnitud que no
se permita publicar noticias o datos negativos, o se castiga al mensajero, va a quedar comprometido el sistema de seguimiento. En resumen, si la gente cree que la
informacin tiene una motivacin o un cariz poltico, no va a confiar en ella y no
la va a utilizar.
La confiabilidad es el grado al cual el sistema de recoleccin de datos se mantiene estable y consistente en el tiempo y en el espacio. En otras palabras, todas
las veces la medicin de los indicadores se realiza de la misma manera (grfico
6.10).
La validez es importante: los indicadores deben medir los niveles de desempeo reales y esperados (grfico 6.11).
cap6.p65
113
114
GRFICO 6.10
EL TRINGULO DE
GRFICO 6.11
EL TRINGULO DE LA CALIDAD
cap6.p65
114
115
GRFICO 6.12
EL TRINGULO DE
Cuanto mayor sea la frecuencia con que se tomen medidas, tanto menos conjeturas se van a hacer respecto a lo que sucedi entre intervalos especficos de
medicin (grfico 6.13). Un mayor nmero de puntos de datos posibilita a los
gestores rastrear tendencias y comprender la dinmica de proyecto, programa y
las polticas. Cuanto ms tiempo transcurra entre mediciones, tanto mayor la posibilidad de que pudieran ocurrir hechos y cambios en el sistema que pueden
pasar inadvertidos. Por ejemplo, si pasa un ao entre mediciones, pueden pasar
muchas cosas y resultar ms difcil atribuir causalidad. Mejor el indicador? Empeor? Hubo un avance directo o una oleada repentina?
En efecto, la estrategia del sistema de seguimiento debe contener un plan claro de recoleccin y anlisis de datos con detalles sobre:
Unidades de anlisis (por ejemplo, distrito escolar, hospital comunitario,
poblado, regin)
cap6.p65
115
116
Procedimientos de muestreo
Instrumentos de recoleccin de datos que se van a utilizar
Frecuencia de recoleccin de datos
Mtodos esperados de anlisis e interpretacin de datos
Personas responsables de la recoleccin de datos
Asociados en la recoleccin de datos, si los hay
Personas responsables de analizar, interpretar y presentar los datos
Para quin se necesita la informacin
Procedimientos de divulgacin
Seguimiento a los hallazgos.
En ocasiones ocurre una concesin explcita entre frecuencia de la medicin y precisin
de la medicin. El costo y la capacidad tambin influyen en la toma de decisiones
sobre la frecuencia y la precisin con que se deben medir los indicadores.
GRFICO 6.13
ANLISIS DE DATOS
DE LOS RESULTADOS
cap6.p65
116
117
Por ejemplo, los datos bsicos van a ser el primer conjunto de mediciones y
tal vez no sea exactamente lo que se debera medir. Si los datos bsicos estn errados porque los datos equivocados (o incompletos) apenas se estn recolectando y
se han establecido objetivos contra estos datos bsicos los cimientos del sistema
de seguimiento van a ser defectuosos.
En resumen, hacer seguimiento para obtener resultados acarrea tanto hacer seguimiento a la ejecucin como a los resultados. Implica la conformacin de alianzas
con el fin de lograr efectos comunes. Todos los sistemas de seguimiento requieren
de apropiacin, gestin, mantenimiento y credibilidad. Hacer seguimiento para
lograr resultados tambin exige la recoleccin de datos y el anlisis de datos de
desempeo. Confiabilidad, validez y oportunidad son los criterios clave para recolectar datos calificados de desempeo. Por ltimo, en cada sistema de seguimiento
es importante realizar una prueba preliminar de instrumentos y procedimientos
de recoleccin de datos.
cap6.p65
117
cap6.p65
118
CAPTULO 7
PASO 7: UTILIZAR INFORMACIN DE EVALUACIN
PARA RESPALDAR UN SISTEMA DE GESTIN BASADO
EN RESULTADOS
GRFICO 7.1
cap7.p65
119
120
Se ha definido la evaluacin como una estimacin de una mediacin planificada, en curso o concluida, para determinar su pertinencia, eficiencia, eficacia,
impacto y sostenibilidad. El propsito es incorporar en el proceso decisorio las
lecciones aprendidas.
Es entonces apropiado centrar la atencin en un examen de la funcin evaluadora que cumplen los sistemas de SyE. Es indispensable reafirmar la complementariedad entre evaluacin y seguimiento. Se apoyan mutuamente aun cuando
cada uno plantee preguntas diferentes y probablemente vaya a utilizar la informacin y los anlisis de manera diferente. La implicacin inmediata es que el
cambio a un sistema de SyE basado en resultados exige la construccin de un
sistema de informacin y anlisis con dos componentes: seguimiento y evaluacin. Al final, ninguno de los dos es suficiente por s solo.
Hay diversas complementariedades del seguimiento y la evaluacin. En primer lugar, existe la complementariedad secuencial, segn la cual la informacin
de seguimiento puede dar origen a preguntas que la evaluacin debe responder
posteriormente, o al contrario, cuando la informacin de evaluacin genera nuevos campos o dominios en los cuales se debe hacer seguimiento. En segundo lugar
est la complementariedad de la informacin en la cual, tanto el seguimiento como
la evaluacin pueden utilizar los mismos datos, aunque planteen preguntas diferentes y formulen anlisis diferentes. En tercer lugar, existe la complementariedad
entre acciones, segn la cual, para ayudar a orientar sus iniciativas, los gestores
utilizan conjuntamente el seguimiento y la evaluacin.
Vale la pena recalcar en este punto que la funcin que cumple la evaluacin en
el sistema de SyE ampla de manera significativa lo que se entiende como el enfoque posterior al hecho a la evaluacin y trasciende a esta ltima. La evaluacin no
se restringe a estimar las causas y cambios posteriores una vez llega a su fin una
mediacin o una iniciativa. El enfoque posterior al hecho es restrictivo debido a
que este tipo de informacin de evaluacin no se reutiliza en la gestin en curso
de las organizaciones y unidades del gobierno, encaminada a lograr resultados
en el sector pblico. Necesariamente, el nfasis en evaluaciones ulteriores al hecho como el medio para tratar de obtener las respuestas definitivas sobre atribucin y causalidad, excluye los usos en tiempo real de la evaluacin por parte de
los gestores del sector pblico.
Lo que sigue no es cmo disear y realizar evaluaciones. Existen muchos
textos y manuales que llevan al lector paso a paso a travs de todo el proceso de
una evaluacin: desde el diseo, los mtodos de seleccin, recoleccin y anlisis,
hasta presentacin y divulgacin de los datos. El Programa Internacional para el
Fomento de la Formacin en Evaluacin (IPDET, por sus iniciales en ingls) ofrece
una fuente electrnica para estos materiales y orientaciones, la cual se encuentra
disponible en la direccin electrnica: http://www.worldbank.org/oed/ipdet/ (Banco
Mundial 2001a).
cap7.p65
120
121
Usos de la evaluacin
Es deliberado el nfasis en la construccin de fuentes de informacin de evaluacin en curso en comparacin con estudios espordicos e individuales de evaluacin espaciados a lo largo de periodos generalmente prolongados. Los sistemas
de SyE deben ofrecer informacin til y oportuna a los funcionarios del gobierno
para administrar y orientar los recursos y las mediaciones del gobierno. El valor
de una evaluacin surge del uso que se le d.
cap7.p65
121
122
cap7.p65
122
123
LA
RECUADRO 7.1
EVALUACIN OFRECE INFORMACIN SOBRE:
cap7.p65
123
124
cap7.p65
124
125
cap7.p65
125
126
una ejecucin exitosa, pero escasos resultados. Las preguntas de evaluacin van a
recurrir a la fortaleza y a la lgica del diseo. Por ejemplo, fue adecuado el modelo
causal? Fue lo suficientemente robusto para que, si se ejecutaba bien, provocara el
cambio deseado? Se entendi bien el problema y se defini con claridad? La estrategia de cambio propuesta especific directamente las causas del problema?
En trminos del desempeo con respecto a indicadores de efectos, tambin el
cuadrado 3 genera gran ambigedad. En esta situacin existe un diseo bien hecho
que est mal ejecutado una vez ms, con escasos resultados evidentes, o ninguno.
Se trata de una situacin contraria al cuadrado 2, pero con el mismo efecto esencial:
sin resultados claros. Las preguntas de evaluacin se centran en los procesos y
procedimientos de ejecucin: ocurri en realidad lo que se supona que iba a
ocurrir? Cundo, y en qu secuencia? Con qu grado de apoyo? Con cules
conocimientos especializados entre el personal? El nfasis se hace en tratar de
averiguar qu ocurri durante la ejecucin que ech abajo e hizo ineficaz las polticas, el programa o el proyecto potencialmente exitosos.
El cuadrado 4 no es un buen lugar para estar uno. Lo nico que deja un diseo
dbil mal ejecutado son las ruinas de las buenas intenciones. La informacin de
evaluacin puede validar tanto el diseo dbil como la mala ejecucin. Para el
gestor, el desafo estriba en averiguar la manera de finiquitar rpidamente este
empeo, de modo de no prolongar para todos los involucrados su ineficacia ni
sus efectos negativos.
Asignacin de recursos
La informacin de evaluacin puede ayudar a los gestores a analizar qu funciona
y qu no funciona con eficiencia y eficacia cuando se estn haciendo asignaciones
de recursos entre polticas, programas y proyectos. Son muchas las concesiones en
las asignaciones de presupuesto y personal. Las discrepancias polticas entre demandas en competencia son reales. La informacin de evaluacin puede ayudar
en el proceso, en particular cuando el gobierno est trabajando para establecer un
sistema presupuestario basado en desempeo. Pero igualmente es importante y
realista aceptar que la informacin de evaluacin no puede ni pasar por encima
ni invalidar las agendas polticas, institucionales o personales que juegan, inevitablemente, un papel.
cap7.p65
126
127
cin: Existen en la ejecucin variaciones fuertes que estn produciendo la divergencia? O personas clave no entienden las intenciones o la razn del ser de la
divergencia y, por tanto, estn dando orientaciones diferentes que llevan a enfoques bsicamente distintos? O, como tercera posibilidad, las medidas de presentacin de informes son tan diferentes que invalidan las comparaciones?
Tipos de evaluaciones
Para resolver diversos tipos de preguntas son apropiados diferentes tipos de evaluacin. No existe una plantilla de evaluacin de talla nica para compararla con
la variedad de preguntas. Para los gestores es importante comprender lo que quieren saber a partir de las evaluaciones. De igual manera, es importante para quienes producen la informacin de evaluacin entender qu necesita el gestor. Para
ninguno de los involucrados resulta beneficioso encontrarse con un desequilibrio entre la pregunta planteada y la informacin recibida.
En el grfico 7.4 aparecen siete estrategias amplias de evaluacin que se pueden utilizar para producir informacin de evaluacin. Cada estrategia es apropiada a clases especficas de preguntas de evaluacin, y cada una de ellas ser
objeto de un breve examen. (Observar que slo una de estas siete estrategias es la
clsica evaluacin posterior al hecho: la evaluacin de impacto).
GRFICO 7.4
SIETE TIPOS DE
EVALUACIONES
cap7.p65
127
128
cap7.p65
128
129
lo largo de toda la fase el nfasis sera estudiar el proceso de ejecucin. Los gestores pueden utilizar esta informacin para averiguar si van a tener que hacer correcciones sobre la marcha para poder avanzar hacia los efectos deseados.
La anterior estrategia de evaluacin se asimila al seguimiento. El valor agregado consiste en que no simplemente se documenta la ejecucin (se le hace seguimiento). Se pueden estudiar efectos no previstos cuando se est evaluando la
ejecucin. Adems, es posible abordar algunos de los aspectos ms intangibles de
la ejecucin, como el apoyo poltico, la preparacin institucional para el cambio y
la confianza en que los encargados de la gestin van a liderar con xito una campaa de cambio. Por ltimo, tener algn grado de comprensin de por qu la
ejecucin est en la senda correcta o no, ofrece cimientos slidos para emprender
medidas contrarias.
cap7.p65
129
130
Estudio de caso
El estudio de caso es la estrategia apropiada de evaluacin que se debe utilizar
cuando un gestor necesite informacin detenida para comprender con mayor
claridad lo que haya podido suceder con un proyecto, un programa o con unas
polticas. Los estudios de caso conllevan una concesin entre envergadura y profundidad a favor de esta ltima. Son seis las formas en que, para informarse a s
mismos, los gestores pueden aprovechar informacin de estudios de caso: a) los
estudios de caso pueden ilustrar una situacin ms general; b) pueden hacer una
labor de exploracin cuando es poco lo que se sabe sobre un rea o problema; c)
pueden centrarse en situaciones crticas (gran xito o fracaso terrible de un programa); d) pueden analizar con detenimiento instancias escogidas de ejecucin;
e) pueden examinar efectos de programa que surgen de una iniciativa; y, por
ltimo, f) pueden ofrecer comprensin ms amplia de una situacin cuando, en
el tiempo, los resultados de estudios mltiples de caso se resumen y surge una
comprensin acumulativa.
cap7.p65
130
131
Evaluaciones de impacto
Una evaluacin de impacto es la evaluacin clsica (si bien no solamente ulterior
al hecho) que intenta averiguar los cambios que han ocurrido y a qu se pueden
atribuir. La evaluacin trata de determinar qu parte de los impactos registrados
caus la mediacin y que podra haber surgido de otros sucesos o situaciones. La
finalidad es la atribucin del cambio registrado. Debido a que, especficamente,
surge despus de terminada la mediacin (de modo que si se espera que surjan
efectos, habrn tenido tiempo de surgir), este tipo de evaluacin resulta difcil. Es
obvio que, cuanto ms prolongado sea el tiempo entre la mediacin y el intento
de atribuir el cambio, tanto mayor ser la probabilidad de que vayan a interferir
otros factores de manera ya sea positiva o negativa para cambiar el efecto deseado, que sea incorrecto el marco temporal (demasiado pronto o demasiado tarde)
en el cual se trataba de medir el cambio, y que el resultado vaya a involucrarse en
otras situaciones que surjan y se pierda.
Otra forma para abordar el tema de la atribucin es plantear la pregunta hipottica, es decir, qu habra sucedido si no hubiera ocurrido la mediacin? Resulta
difcil contestar esta pregunta. Pero existen estrategias para hacerlo, utilizando
propuestas tanto experimentales como cuasiexperimetales. El medio bsico para
resolver esta pregunta es utilizar asignaciones aleatorias y grupos de control o de
comparacin.
En la medida de lo posible, lo mejor es planificar evaluaciones de impacto
antes de que siquiera comience la mediacin. Apenas dos de las razones para
planificar la evaluacin del impacto consisten en averiguar cules unidades van a
recibir la mediacin y cules no, y establecer informacin de referencia bsica
sobre todas las unidades.
Meta evaluacin
Si se han realizado varias evaluaciones de una iniciativa o de iniciativas similares,
una meta evaluacin establece los criterios y los procedimientos para explorar
sistemticamente a travs de las evaluaciones existentes para hacer un resumen
de las tendencias y para crear confianza (o precaucin) en los hallazgos de estudios transversales. La meta evaluacin puede representar una va razonablemente rpida para aprender qu se sabe acerca del tema en este momento y cul es
el grado de confianza con que se sabe?. Leeuw y Cooksy (2003), utilizaron un
enfoque de meta evaluacin para hacer un resumen de los hallazgos de tres evaluaciones de tres organismos para el desarrollo: el Departamento para el Desarrollo Internacional (DDI), el PNUD y el Banco Mundial.
cap7.p65
131
132
DE EVALUACIONES DE CALIDAD
Imparcialidad: La informacin de evaluacin debe estar libre de sesgos polticos o de otra ndole y de distorsiones deliberadas. La informacin se debe
presentar con una descripcin de sus fortalezas y debilidades. Se debe presentar toda la informacin pertinente, no justo la que refuerza las opiniones del gestor.
Utilidad: La informacin de evaluacin debe ser pertinente, oportuna y escrita de manera comprensible. Tambin debe abordar las preguntas que se
plantean y presentarse en un formato que desee el gestor y que mejor comprenda.
Suficiencia tcnica: La informacin debe satisfacer estndares tcnicos pertinentes: diseo apropiado, procedimientos correctos de muestreo, redaccin precisa de los textos de cuestionarios y pautas de entrevistas, anlisis
cap7.p65
132
133
estadstico o de contenido apropiado, y respaldo adecuado para las conclusiones y las recomendaciones, para nombrar slo unos cuantos.
Participacin de partes interesadas: Deben existir garantas suficientes en el
sentido que a las partes interesadas pertinentes se las ha consultado e involucrado en la evaluacin. Si las partes interesadas van a confiar en la
informacin, a apropiarse de los hallazgos y a estar de acuerdo en integrar
en polticas, proyectos y programas en curso, y nuevos, lo que han aprendido, deben quedar incluidas como asociadas activas en el proceso poltico.
Las maneras ms seguras para producir hostilidad y resentimiento hacia la
evaluacin y aun hacia el gestor que en primer lugar solicit la evaluacin son crear una fachada de participacin o negarla a las partes interesadas.
Retroinformacin y divulgacin: Compartir informacin de manera apropiada,
dirigida y oportuna constituye una caracterstica distintiva frecuente de la
utilizacin de la evaluacin. Habr interrupciones en la comunicacin, prdida de confianza y hasta indiferencia o suspicacia acerca de los mismos
hallazgos, si: a) la informacin de evaluacin no se comparte de manera
apropiada y se suministra a aquellos para quienes esa informacin resulta
pertinente; b) el evaluador no planifica divulgar sistemticamente la informacin y, en su lugar, supone que el trabajo ha quedado terminado cuando
se presenta el informe o cuando se proporciona la informacin; c) no se
hace el ms mnimo esfuerzo para dirigir la informacin de manera apropiada hacia las audiencias para quienes se supone debe dirigirse.
Valor por dinero: Se debe gastar lo que sea necesario para adquirir la informacin deseada, pero no ms. No es apropiado recabar datos costosos que
no se van a utilizar como tampoco lo es utilizar estrategias costosas para
recabar datos cuando se dispone de medios menos costosos. El costo de la
evaluacin debe ser proporcional al costo general de la iniciativa.
En el presente captulo se ha hecho hincapi en el papel que puede y debe
desempear la evaluacin en el desarrollo de un sistema de SyE basado en resultados. La informacin de evaluacin puede tener pertinencia para todas las fases
de un ciclo de las polticas, de un proyecto o de un programa. Si se produce de
manera oportuna, se presenta de manera apropiada, es tcnicamente adecuada,
resuelve directamente las preguntas y es confiable, la informacin de evaluacin
puede ser til a las necesidades del gestor del sector pblico. La evaluacin y el
seguimiento son complementarios y se necesitan mutuamente en un sistema de
gestin basado en resultados.
cap7.p65
133
134
cap7.p65
EVALUACIN
134
CAPTULO 8
PASO 8: PRESENTAR INFORMES SOBRE HALLAZGOS
GRFICO 8.1
cap8.p65
135
136
cap8.p65
136
137
sus medios de comunicacin preferidos. Se debe disear una estrategia de comunicaciones que aborde las preguntas siguientes:
cap8.p65
137
138
cap8.p65
138
139
Resultan cruciales las comparaciones en el tiempo de los datos sobre desempeo. No sirve proporcionar datos para un solo trimestre o para un solo ao determinado. Se debe comenzar con datos bsicos para poder distinguir entre tendencias.
Para determinar si los avances han sido constantes, si solamente ocurri una racha
corta de mejora o si han desaparecido todas las mejoras anteriores, los informes
siempre se deben presentar con base en datos bsicos y mediciones intermedias.
La comparacin entre efectos reales y objetivos resulta vital a los resultados
del informe. En el cuadro 8.1 se presentan datos bsicos de indicadores, mediciones actuales y proyectadas, as como diferencias porcentuales relativas a efectos
esperados.
CUADRO 8.1
FORMATO DE PRESENTACIN DE INFORMES
EFECTOS ACTUALES VS. OBJETIVOS
Indicador de efectos
SOBRE EFECTOS:
Datos
Diferencia
bsicos
Actual
Objetivo
(puntos
(porcentaje) (porcentaje) (porcentaje) porcentuales)
30
25
20
-5
20
20
24
-4
50
65
65
80
85
83
+2
cap8.p65
139
140
Pruebas estadsticas
Unidades organizativas
Localizacin geogrfica
Demografa
Escalas de satisfaccin de cliente: alta, media, baja.
Los datos se deben presentar de manera clara, simple y fcilmente comprensible. Slo se deben presentar los datos ms importantes. Se debe evitar el uso de
siglas y de jerga. Para poder establecer el contexto, se debe proporcionar un mnimo de informacin. Los puntos principales deben aparecer al comienzo. Los hallazgos y las recomendaciones se deben organizar en torno a efectos clave y sus
indicadores. Para transmitir datos detallados, se puede utilizar un anexo o un
informe por separado.
Son cuatro las dimensiones de la presentacin de informes: resmenes por
escrito, resmenes ejecutivos, presentaciones orales y presentaciones visuales.
Resmenes ejecutivos
Los resmenes ejecutivos deben ser breves (de una a cuatro pginas). Los principales hallazgos y recomendaciones se deben presentar en formato de punto negro. Para mayores detalles, el resumen puede referir a los lectores al informe o a
los anexos. El resumen ejecutivo debe contener una breve perspectiva general,
incluyendo los antecedentes y los fines del estudio. As mismo debe incluir una
cap8.p65
140
141
Presentaciones orales
Tambin se pueden utilizar las presentaciones orales, por s solas o acompaadas
de un informe por escrito. Adems de ensayar y obtener retroinformacin, en la
preparacin de una presentacin oral, se deben considerar los siguientes puntos:
Quin es la audiencia
Qu deben recordar de la presentacin
Cules son los recursos de entrega disponibles
Qu tipo de informacin impresa (folletos, plegables) se deben ofrecer, si es
del caso.
Presentaciones visuales
Las presentaciones visuales diagramas, grficas y mapas tambin son tiles para
resaltar los puntos y los hallazgos clave del desempeo. Pueden ilustrar de un
vistazo las direcciones y las tendencias. Existen diversos tipos de diagramas (diagrama de sectores, diagrama de flujo, de series temporales, de dispersin de movimientos, de barras, de recorrido, etctera) y grficos (de lneas, de barras, de sectores,
de superficie, pictogrfica, de contorno, histograma, de zona, de crculo, de superficie) que se deben considerar para presentar datos a la audiencia objetivo.
La finalidad de los diagramas y de los cuadros es describir, explorar, tabular y
comparar. stos pueden ofrecer impacto e inters visual, alentar la aceptacin por
parte de la audiencia y la retencin en la memoria y mostrar la gran imagen. Los
diagramas y los cuadros deben presentar los datos de manera simple y exacta, y
hacerlos coherentes. Deben atraer la atencin de la audiencia.
Los cuadros son muy tiles para presentar datos y para resaltar cambios, comparaciones y relaciones. Los diagramas son ms tiles para transmitir el mensaje.
Sirven para describir estructuras organizativas, demostrar flujos, presentar datos
como smbolos, transmitir conceptos e ideas, y presentar datos numricos de
manera visual.
cap8.p65
141
142
Simplicidad y exactitud
Hileras y columnas claramente rotuladas sin abreviaturas
Porcentajes redondeados al siguiente nmero entero
Nmeros totales
Fuentes de los datos.
No
75
55
25
45
cap8.p65
142
143
Los diagramas eficaces habilitan a los encargados de la formulacin de las polticas y del proceso decisorio para ver rpidamente la situacin actual de un determinado proyecto, programa o polticas incluyendo tendencias, direcciones,
demoras, problemas, logros y perspectivas. Los diagramas tambin se deben utilizar para proporcionar ayudas visuales informativas y tiles para una presentacin continua de hallazgos.
Ya sea en formato de diagrama o de grfico, la representacin grfica constituye una parte importante de la presentacin de informes de la informacin. En el
grfico 8.2 se incluyen pautas para utilizar diagramas.
Existen muchos formatos de presentacin de informes, entre ellos informes
por escrito y presentaciones visuales. Es importante averiguar con usuarios y partes interesadas sobre preferencias de presentaciones de datos. Se debe ejercer precaucin para no utilizar diagramas inapropiados simplemente porque pueden
ser populares.
cap8.p65
143
144
GRFICO 8.2
PRINCIPIOS DE
cap8.p65
EXCELENCIA GRFICA
144
CAPTULO 9
PASO 9: UTILIZAR LOS HALLAZGOS
GRFICO 9.1
cap9.p65
145
146
cin a los usuarios apropiados de manera oportuna, de modo que sea posible
utilizar la retroinformacin de desempeo en mejor gestin de las organizaciones y de los gobiernos.
Como se indica en el recuadro 9.1, son diversas las formas en que se pueden
utilizar los hallazgos.
DIEZ
RECUADRO 9.1
USOS DE LOS HALLAZGOS DE LOS RESULTADOS
cap9.p65
146
147
Si no se dispone de datos en los cuales basar las decisiones, es posible que esas
decisiones sean arbitrarias. Al mismo tiempo, los encargados del proceso decisorio siempre tienen la potestad para tomar sus propias decisiones. Sin embargo, de
dedicar el tiempo a hacer seguimiento, medir y evaluar y de incorporar los hallazgos en el proceso decisorio va a resultar un mejor proceso decisorio. Un corolario interesante a lo anterior es que se va a lograr un mejor desempeo si se
comienza por pedir informacin de desempeo.
Entre otros usos de los hallazgos de resultados se pueden mencionar: identificacin de mejores prcticas, apoyo a economas de escala, impedimento de traslapo y duplicacin, y coordinacin de programas similares de un organismo a
otro (Wye 2002, p. 49).
Existen muchos ejemplos de la utilizacin de hallazgos. En los recuadros 9.2 y
9.3 se ilustran algunos de los usos diferentes de los hallazgos del rendimiento.
cap9.p65
147
148
USO
RECUADRO 9.2
DE DATOS DE DESEMPEO PARA RASTREAR Y REDUCIR EL DELITO
EN LA CIUDAD DE NUEVA YORK
El Departamento de Polica de la ciudad de Nueva York utiliz durante las dos dcadas pasadas un
sistema de SyE basado en resultados para trazar el mapa de la incidencia diaria del delito violento.
CompStat constituye un sistema complejo de medicin del desempeo que reordena las operaciones diarias de una organizacin, as como su orientacin general hacia su misin medular y sus
metas. CompStat se basa en la recopilacin, distribucin y utilizacin de datos en tiempo real con
el fin de permitir a los gestores de campo tomar decisiones ms informadas y ms eficaces
(OConnell 2001, p. 6).
Como observaba Rudolph Giuliani, anterior alcalde de Nueva York, tenemos 88 distritos policiales.
Todas las noches cada distrito registra todos los delitos indexados que han ocurrido en la zona
bajo su control as como muchos otros datos. Registramos el nmero de quejas de la ciudadana.
Registramos el nmero de arrestos por delitos graves y por delitos menos graves. Todo esto hace
parte de CompStat, un programa mandado por computador que ayuda a garantizar la responsabilidad ejecutiva. Y el propsito de este programa es averiguar si ha aumentado o ha disminuido el
delito, no solamente en toda la ciudad, sino vecindario por vecindario. Y si el delito va en aumento,
le permite a uno hacer algo al respecto ahora no dentro de ao y medio, cuando el FBI publica las
estadsticas del delito... Ahora tenemos esa informacin hoy mismo. Y, en efecto, podemos tomar
decisiones estratgicas (OConnell 2001, p. 9).
En consecuencia y durante un periodo de cinco aos, en Nueva York se registr un descenso
vertiginoso (53%) de la tasa de robo con allanamiento de morada; la tasa de robos reportados
disminuy en 54%, y se registr un increble descenso de 67% en la tasa de asesinatos ... En gran
medida, estos extraordinarios logros se debieron al modelo innovador de la gestin policaca, a la
cual se la conoce como CompStat (OConnell 2001, p. 8).
El resultado global del uso de este sistema en tiempo real basado en resultados ha sido que
ahora, la ciudad de Nueva York ostenta el ttulo indiscutible de la metrpolis ms segura de la
nacin... (NYC.gov 2003).
Fuente: OConnell, 2001, NYC.gov 2003.
La utilizacin de hallazgos de SyE puede fomentar el conocimiento y el aprendizaje de gobiernos y organizaciones. En la comunidad internacional de ayuda ahora
el nfasis se pone cada vez ms en la adquisicin local de conocimientos, no en la
transferencia de conocimientos del donante al receptor. A qu se refiere exactamente el trmino aprendizaje en un contexto de seguimiento y evaluacin basado en
resultados? Se ha descrito al aprendizaje como un proceso continuo dinmico de
investigacin cuyos componentes clave son la experiencia, los conocimientos, el acceso y la pertinencia. Requiere una cultura de indagacin e investigacin, antes que
una cultura de respuesta y de presentacin de informes (PNUD 2002, p. 77).
Por derecho propio, un contexto de seguimiento y evaluacin que genere conocimientos,
fomente el aprendizaje y oriente la accin, representa un medio importante
de construccin de capacidad y de sostenibilidad de los resultados nacionales.
(PNUD 2002, p. 76).
cap9.p65
148
149
RECUADRO 9.3
DOL DE ESTADOS UNIDOS. UNA ORGANIZACIN
CON UN SISTEMA MADURO Y OPERATIVO DE SyE BASADO EN RESULTADOS
EL
El Departamento del Trabajo de Estados Unidos (DOL, por sus iniciales en ingls) es ejemplo de
una organizacin con un sistema maduro y operativo de SyE basado en resultados. La Ley de 1993
de Resultados del Desempeo del Gobierno de Estados Unidos fue la fuerza motriz de esta campaa.
El DOL estableci una misin, una visin, un plan estratgico y tres metas estratgicas principales:
fuerza laboral capacitada; fuerza laboral protegida; y lugares de trabajo de calidad. Trabajando a
partir de estas tres metas, DOL estableci a continuacin tres efectos concomitantes para cada una
de estas metas estratgicas de mayor envergadura.
Meta estratgica:
Efectos:
Meta estratgica:
Efectos:
Meta estratgica:
Efectos:
A cada una de las metas estratgicas se le asigna un presupuesto anual, que posteriormente se
mide con los desembolsos presupuestarios.
Luego, DOL hace revisiones semestrales de cada una de las metas y incluye la informacin siguiente:
Resultados:
Indicador:
cap9.p65
149
150
Los conocimientos y la gestin de los conocimientos son otros dos componentes clave de la utilizacin de hallazgos de desempeo. A travs de la utilizacin
de hallazgos es posible generar nuevos conocimientos de manera permanente.
La gestin de los conocimientos significa apropiarse de los hallazgos, institucionalizar el aprendizaje y organizar el acervo de informacin producida continuamente por el sistema de SyE.
Los sistemas y las unidades de seguimiento y evaluacin basadas en resultados tienen una capacidad particular para ampliar el proceso de aprendizaje y de
conocimientos. Cuando se usan de manera eficaz, los sistemas de SyE pueden
constituir una forma institucionalizada de aprendizaje y de conocimientos. Por
consiguiente, se debe incorporar el aprendizaje en el ciclo general de programacin por medio de un sistema eficaz de retroinformcin. Para que se pueda convertir en conocimientos aplicados, la informacin se debe divulgar y poner al
alcance de usuarios potenciales... El aprendizaje tambin es una herramienta clave de gestin y, como tal, la estrategia para la aplicacin de conocimientos de
evaluacin constituye un medio importante para avanzar hacia los efectos... Los
efectos presentan ms variables en torno a las cuales puede y debe ocurrir el aprendizaje (PNUD 2002, pp. 75-76).
El aprendizaje institucional es importante para los gobiernos y las organizaciones. Antes que un papel ad hoc, la evaluacin de las polticas y programas debe
cumplir un papel sistemtico en el proceso de aprendizaje organizativo. Es indispensable crear un entorno poltico que estimule la presentacin continua de informes, as como la utilizacin de los resultados. Los anterior implica que debe
ocurrir algn grado de institucionalizacin antes de que se puedan utilizar los
hallazgos en la gestin de las instituciones del gobierno. Un campo provechoso y
prometedor del compromiso con el sector pblico lo constituye un nfasis en el
aprendizaje organizativo como mecanismo para realzar el desempeo organizativo.
En el recuadro 9.4 aparece un ejemplo de la manera en que los organismos alemanes de ayuda cada vez ms se desplazan en direccin del aprendizaje basado en
la evaluacin.
Es posible que todava muchos gobiernos y organizaciones se muestren renuentes
a aprender, interiorizar y compartir los hallazgos de desempeo dentro de ministerios, organizaciones, organismos y departamentos, y entre ellos. Son varios los
retos organizativos, conductuales y polticos que es necesario aceptar. En el recuadro 9.5 se analizan algunos de los obstculos al aprendizaje.
Los sistemas de SyE adecuados pueden ayudar a superar estos obstculos al
aprendizaje. Al producir un flujo continuo de retroinformacin y de datos, los
sistemas de SyE pueden ayudar a los encargados del proceso decisorio a hacer
una gestin ms eficaz. A travs de la utilizacin de sistemas de SyE es posible
transformar las culturas organizativas. Quizs existan menores presiones que
agotar conforme los gobiernos reciben datos que les ayudan a manejar los flujos
cap9.p65
150
151
RECUADRO 9.4
PARA MEJORAR LAS CONDICIONES PARA EL APRENDIZAJE BASADO
EN LA EVALUACIN EN LOS ORGANISMOS ALEMANES DE AYUDA
SEALES
La estructura diversificada de cooperacin para el desarrollo que tiene Alemania ha comenzado a desplazarse gradualmente hacia una mayor concentracin en temas puntuales, reas
prioritarias y pases. Existe igualmente una tendencia paralela hacia mayor descentralizacin.
Ms que nunca, los organismos alemanes de ayuda oficial se consideran a s mismos como
organizaciones de aprendizaje y, en efecto, estn comenzando a reestructurar los sistemas de
gestin. Se pretende que sistemas de evaluacin cumplan una funcin clave en todo esto y se
les est asignando mayor prioridad y mayor independencia institucional.
Est mejorando la calidad de la evaluacin. Todos ellos: mtodos ms complejos y ms orientacin de impacto y mayor nmero de evaluaciones de base amplia (no confinadas a un proyecto nico) ofrecen la perspectiva de que, en el futuro, se van a generar mayores conocimientos
de los necesarios, tanto para mejorar la calidad como para el avance conceptual del trabajo de
cooperacin para el desarrollo, como para mayor rendicin externa de cuentas.
Los mismos organismos de ayuda consideran que es importante ampliar el grado al cual
sistematizan e institucionalizan sus sistemas de retroinformacin para el aprendizaje y la rendicin de cuentas basados en la evaluacin.
Los organismos de ayuda son conscientes de la urgente necesidad de hacer ms para promover la interiorizacin de las lecciones de evaluacin, asumiendo un enfoque ms sistemtico e
innovador. Algunos de ellos actualmente estn haciendo una evaluacin inicial para incluir este
proceso en un sistema general de gestin de los conocimientos.
En aos recientes, entre los organismos alemanes de ayuda [se ha dado]... un impulso significativo al aprendizaje horizontal.
Fuente:
OCDE
2001, p. 19
cap9.p65
151
152
RECUADRO 9.5
OBSTCULOS AL APRENDIZAJE
La OCDE ha identificado varios obstculos capaces de impedir el aprendizaje:
Cultura organizativa. Algunas organizaciones poseen una cultura en la cual a la rendicin de cuentas se la puede asociar con la culpa. Lo anterior tiene el efecto de desalentar la apertura y el
aprendizaje. En otras [organizaciones], resulta ms aceptable confesar francamente los errores y
verlos como oportunidades de aprendizaje, aceptando que a veces hay tanto para aprender de
proyectos con un mal desempeo como lo hay de historias de xito.
Presin para gastar. Aprender toma tiempo, y la presin para cumplir objetivos de desembolsos
puede conducir a que se tomen atajos durante las etapas de planificacin y aprobacin de proyectos, que se haga caso omiso de lecciones de experiencias anteriores o solamente se aplican de
manera selectiva en la prisa por que las decisiones se hagan realidad.
Falta de incentivos para aprender. A menos que en el ciclo del proyecto se incorpore una rendicin
apropiada de cuentas..., es posible que existan escasos incentivos para aprender. Se trata del
caso en particular cuando el personal o los consultores pasan de una tarea a otra y, por lo general,
han continuado adelante antes de que se hagan sentir los efectos del fracaso.
Visin de tnel. La tendencia de algunos empleados o de unidades operativas de quedar atrapados en una rutina, continuando con lo que saben, aun cuando se aceptan ampliamente las desventajas de los viejos esquemas conocidos.
Prdida de memoria institucional. Causada por la frecuente rotacin del personal o la demasiada
dependencia de consultores a corto plazo o el debilitamiento o la desbandada de departamentos
especializados.
Inseguridad y el ritmo de cambio. Si el personal se siente inseguro o no tiene claridad sobre cules
son sus objetivos, o si las prioridades de los distintos departamentos cambian frecuentemente,
esto puede tener un efecto negativo en el aprendizaje.
El carcter desigual de la relacin de ayuda. El cual tiende a poner a los donantes al volante,
inhibiendo por tanto las alianzas reales e impidiendo que se comparta el conocimiento en ambas
direcciones.
Fuente:
OCDE
cap9.p65
152
153
RECUADRO 9.6
PARA EL APRENDIZAJE, LA CONSTRUCCIN DE CONOCIMIENTOS
Y LA MAYOR UTILIZACIN DE HALLAZGOS DE DESEMPEO
INCENTIVOS
Gobiernos y organizaciones pueden estimular de manera proactiva al personal a aprender, construir conocimientos y utilizar los hallazgos de desempeo. He aqu algunos ejemplos:
Disear materiales de orientacin sobre el uso de la informacin de efectos.
Ofrecer capacitacin sobre cmo utilizar la informacin de efectos a gestores y otros empleados, que puedan utilizar esa informacin.
Convocar a sesiones regulares de cmo nos va? con el personal tan pronto como se presente el informe de efectos.
Identificar y recompensar a oficinas, adjudicatarios e instalaciones con efectos adecuados.
Disear pautas de asignacin de subvenciones que premien el mejor desempeo.
Utilizar los datos de efectos para identificar prcticas (mejores) exitosas dentro del organismo...
Utilizar datos de efectos para identificar problemas comunes y, de ser posible, soluciones comunes.
Utilizar informacin de efectos para identificar necesidades de capacitacin del personal o de
asistencia tcnica...
Utilizar informacin de efectos para ayudar a priorizar el uso de los recursos.
Fuente: Hatry, Morley, Rossman y Wholey 2003, pp. 16-17.
grupos. En este contexto, sirve de ayuda tratar de adaptar a nuevos usos y formatos
los requerimientos actuales de presentacin de informes y los recursos (Wye 2002,
p. 55).
Utilizar la informacin de resultados puede asumir formas pasivas y activas
(recuadro 9.7).
Resulta clave entender a la audiencia objetivo. Las estrategias de comunicaciones se deben adaptar para ajustarlas a una audiencia objetivo en particular;
Parlamento, ministros, los medios, el sector privado, ONG y organizaciones de la
sociedad civil y el pblico en general. Obviamente, la divulgacin de hallazgos
negativos o controvertidos de una evaluacin puede crear dificultades a los organismos... Pero... los beneficios a largo plazo de la divulgacin hacen que valga la
pena... Una mayor divulgacin puede igualmente acrecentar la presin a favor de
un seguimiento ms sistemtico de las recomendaciones, motivando al mismo tiempo a quienes participan en las evaluaciones para que produzcan un resultado mejor, ya que ellos saben que los informes que presenten se van a hacer pblicos y no
van a quedar sepultados en alguna parte (OCDE 2001, p. 26).
Gobiernos y organizaciones pueden utilizar una gran variedad de estrategias
para compartir informacin con partes interesadas internas y externas. Estas estrategias tambin comprenden diversos medios diferentes que se pueden utilizar
para compartir la informacin de desempeo.
cap9.p65
153
154
ENFOQUES
RECUADRO 9.7
ACTIVOS Y PASIVOS A LA UTILIZACIN DE INFORMACIN
DE RESULTADOS
Si se comunica de manera efectiva a las partes interesadas, entre ellas los ciudadanos,
la informacin de desempeo puede hacer un aporte impresionante a mejorar
el desempeo del gobierno.
(Wye 2002, p. 53).
cap9.p65
154
155
cap9.p65
155
156
INFORMES
RECUADRO
DEL GOBIERNO CANADIENSE AL
9.8
PARLAMENTO
SOBRE DESEMPEO
Todos los aos, a partir de 1997, el gobierno ha sometido a aprobacin del Parlamento dos conjuntos de informes departamentales. Departamentos y organismos producen, hacia el mes de
marzo, Informes sobre Planes y Prioridades para el siguiente ao fiscal. Hacia el mes de septiembre presentan a los parlamentarios los informes de Desempeo Departamental, en el cual se informa sobre los logros obtenidos durante el ao fiscal anterior. Para el Parlamento se produce un
informe anual titulado Desempeo de Canad. El informe contiene diecinueve indicadores sociales agrupados en cuatro temas principales: oportunidades econmicas e innovacin en Canad; la salud de los canadienses; el medio ambiente canadiense; y la fortaleza y la seguridad de las
comunidades canadienses. Los parlamentarios han hecho hincapi en la necesidad de que estos
indicadores de hallazgos de resultados sean pertinentes, temporales, disponibles, comparables y
comprensibles.
Fuente: Presidente de la Junta del Tesoro de Canad 2002, pp. 2-3.
cap9.p65
156
157
cap9.p65
157
cap9.p65
158
CAPTULO 10
PASO 10: SUSTENTAR EL SISTEMA DE SyE EN
LA ORGANIZACIN
GRFICO 10.1
cap10.p65
159
160
Demanda
Si la demanda es episdica o aleatoria, no se van a utilizar ni a sustentar los sistemas de SyE basados en resultados. A una demanda sostenida y consistente de tales
sistemas le van a ser de gran ayuda requerimientos estructurados de presentacin
de informes sobre resultados, incluyendo leyes, normatividad y requerimientos
internacionales para el desarrollo (por ejemplo, PPME y acceso a la Unin Europea).
Cada vez ms, los gobiernos, la sociedad civil y los donantes estn demandando
resultados a los que sistemas de SyE les puedan seguir la pista, hacer seguimiento y
medirlos.
La demanda tambin se puede estimular en muchos casos, cuando las metas
estratgicas del gobierno se traducen en sistemas de SyE basados en resultados,
como por medio de Estrategias Nacionales de Reduccin de la Pobreza y otras
iniciativas. No se trata simplemente de iniciativas dirigidas a la actividad, ms
bien tratan de resolver la pregunta y qu? Cules son las consecuencias de los
esfuerzos de polticas y programas para reducir la pobreza y abordar a los grupos
ms vulnerables?
cap10.p65
160
161
cap10.p65
161
162
Rendicin de cuentas
Ninguna instancia del gobierno debe quedar exenta de la rendicin de cuentas a
las partes interesadas. Organizaciones de la sociedad civil y ONG (como Transparencia Internacional) pueden cumplir un papel clave alentando la transparencia
y la rendicin de cuentas y hasta pueden colaborar en la recoleccin de los datos.
Por ejemplo, debido a que la capacidad del gobierno de Bangladesh para recabar
y presentar informes sobre esos datos es muy dbil, las ONG ayudan a reunir datos educativos locales. Los medios, el sector privado y el parlamento tambin tienen funciones que cumplir con la finalidad de garantizar que la informacin
producida sea oportuna, exacta, est disponible y aborde el desempeo del gobierno. No recompensar el fracaso es igualmente importante. La rendicin de
cuentas significa que se deben reconocer y resolver los problemas.
Capacidad
La sostenibilidad del sistema requiere de slidas destrezas tcnicas en recoleccin
y anlisis de datos. As mismo se necesitan destrezas en gestin para fijar metas
estratgicas y para el desarrollo organizativo. Los sistemas de recoleccin y recuperacin de datos deben estar a punto y en perfecto funcionamiento y se deben
modernizar. Los gobiernos van a tener que comprometer recursos financieros
permanentes en el mantenimiento y la gestin de sistemas de SyE basados en
resultados. Para la sostenibilidad a largo plazo de estos sistemas tambin son tiles la experiencia y la memoria institucionales.
Incentivos
Es indispensable introducir incentivos para alentar la utilizacin de informacin
de desempeo. Lo anterior significa la necesidad de reconocer y recompensar el
xito, de resolver los problemas, de no castigar a los mensajeros, de valorar el
aprendizaje organizativo y de compartir los ahorros presupuestarios. No se puede contar con sistemas corruptos o ineficaces para producir informacin y anlisis de calidad.
En los recuadros 10.1 y 10.2 aparecen ejemplos de las maneras en que los gobiernos han tratado de introducir y sustentar entornos basados en resultados. La
Carta ciudadana del Reino Unido y la Ley de Desempeo y Resultados del Gobierno de Estados Unidos (GPRA), respectivamente, incorporan los componentes
cruciales de la sostenibilidad. La Carta Ciudadana resulta pertinente a la
sostenibilidad del sistema de SyE en cuanto establece un contrato en curso entre
el gobierno y los ciudadanos estipulando las expectativas del desempeo, y las
responsabilidades. Por su parte, la Ley GPRA tambin institucionaliza legalmente
cap10.p65
162
163
CARTA
RECUADRO 10.1
CIUDADANA DEL REINO
UNIDO
En el Reino Unido existen contratos ejecutados entre el gobierno y grupos de ciudadanos, denominados Cartas Ciudadanas, las cuales estipulan que el gobierno ser responsable de un determinado grado de desempeo ante el pblico.
La Carta Ciudadana, puesta en marcha en 1991, tiene como finalidad mejorar los servicios pblicos y hacerlos ms receptivos a los usuarios. Hoy da existen cuarenta captulos principales que
cobijan servicios pblicos clave y estipulan los estndares de servicios que puede esperar la gente. Tambin existen ms de diez mil captulos locales que cubren a los proveedores de servicios
locales, como escuelas, la polica y los bomberos.
Adems, se reemprendieron Redes de Calidad de la Carta Ciudadana como una red de gestores
de servicios pblicos para compartir ideas sobre el programa, sobre servicio al cliente y problemas
de calidad y para compartir mejores prcticas. En la actualidad son veintids las Redes de Calidad
distribuidas en el Reino Unido, con participacin de ms de mil quinientas personas.
Como parte de la iniciativa Buen Gobierno, la Unidad de la Carta ha creado un Comit de Personas, compuesto por cerca de cinco mil personas en todo el Reino Unido. El Comit tiene como
finalidad consultar con los ciudadanos acerca de sus actitudes hacia los servicios pblicos y generar ideas sobre las maneras de mejorar los servicios. Adems de la Oficina del Gabinete, otros
departamentos, organismos y entes pblicos utilizan al comit para fines de investigacin y consulta.
Fuente: Oficina del Gabinete del Reino Unido.
Los pases en desarrollo tambin trabajan en la creacin de capacidad de evaluacin, en la institucionalizacin de la evaluacin y en la utilizacin de hallazgos
de resultados dentro del gobierno: en sistemas de SyE sostenibles, en resumen.
En el cuadro 10.1 se hace una comparacin de estos empeos en Colombia, China
e Indonesia.
cap10.p65
163
164
LEY
RECUADRO 10.2
DE DESEMPEO Y RESULTADOS DEL GOBIERNO DE
ESTADOS UNIDOS
En la dcada de los setenta, las primeras mediciones del desempeo en Estados Unidos se iniciaron con los gobiernos locales, para luego propagarse a los gobiernos estatales y, con el tiempo, al
mbito del gobierno federal con la promulgacin en 1993 de la Ley de Desempeo y Resultados
(GPRA). El gobierno federal de Estados Unidos adopt un sistema de medicin del desempeo
tiempo despus de que lo hicieran otras instancias y, en realidad, mucho despus de algunos
gobiernos extranjeros.
Los propsitos de la Ley GPRA son: (1) mejorar la confianza del pueblo estadounidense en la
capacidad del Gobierno Federal, haciendo sistemticamente responsables a los organismos federales del logro de resultados de programa; (2) iniciar la reforma del desempeo de programa
mediante una serie de proyectos piloto en la fijacin de metas de programa, midiendo el desempeo de programa comparndolo con esas metas y presentando pblicamente informes sobre los
avances de esas metas; (3) mejorar la efectividad del programa federal y la rendicin pblica de
cuentas fomentando un nuevo enfoque en resultados, calidad del servicio y satisfaccin del cliente; (4) ayudar a los gestores federales a mejorar la prestacin de servicios, exigindoles planificar
para cumplir los objetivos de programa y proporcionndoles informacin sobre resultados de programa y calidad de los servicios; (5) mejorar el proceso decisorio del Congreso ofreciendo informacin ms objetiva sobre el logro de objetivos estatutarios y sobre la efectividad y la eficacia
relativas de los programas y del gasto federal; y (6) mejorar la gestin interna del Gobierno Federal (Oficina de Gestin y Presupuesto de Estados Unidos 1993).
Segn una encuesta reciente de diecisis programas de doce oficinas del gobierno de Estados
Unidos, muchos programas federales ya han utilizado datos de efectos recolectados con regularidad para ayudarles a mejorar sus programas... Los gestores federales han utilizado datos de
efectos de diversas maneras [entre ellas], para provocar acciones correctivas; identificar y estimular el uso de mejores prcticas; motivar [y recompensar al personal]; y planificar y confeccionar
presupuestos, ... A la vez, la encuesta identific obstculos continuos de hecho, obstculos que
pueden afectar a cualquier organizacin a la utilizacin de datos de efectos: a) falta de autoridad
o de inters para hacer cambios; b) comprensin escasa del uso de datos de efectos; c) problemas de datos de efecto (como datos obsoletos, datos no desagregados, falta de especificidad,
necesidad de datos intermedios, etctera); y d) temor de echar a pique el barco (Hatry, Morley,
Rossman y Wholey 2003, pp. 11-13).
En pocas ms recientes, el mandato de la Ley GPRA se ha extendido a la integracin de las reas
de desempeo y presupuesto. Tambin se est trabajando en todas las instancias del gobierno
para agrupar ms estrechamente la planificacin estratgica y anual y la presentacin de informes.
En trminos generales, la GPRA es simplemente un buen negocio. Los requerimientos de esta ley
han proporcionado a los departamentos del gobierno las herramientas bsicas para trabajar de
manera sensata: fijar metas de desempeo y medir efectos tanto a largo como a corto plazo.
Cualquier organizacin que busque ofrecer una mejor calidad de vida, mayor cantidad de servicios y mejor calidad general de los servicios al cliente debe tener una visin y una misin, fijar
metas y objetivos y debe medir resultados (ChannahSorah 2003, pp. 5-6).
cap10.p65
164
165
CUADRO 10.1
DESARROLLO DE CAPACIDAD DE EVALUACIN E INSTITUCIONALIZACIN. PROBLEMAS
RESUELTOS EN COLOMBIA, CHINA E INDONESIA
Problema
Colombia
China
Indonesia
Sustentar el
rgimen de
evaluacin
La Constitucin faculta al
Ejecutivo para asumir
esta tarea
El Consejo Estatal
redacta convocatorias
de resolucin a los
Organismos Centrales
del Ejecutivo para que
se encarguen.
La responsabilidad se le
asigna al Ejecutivo por
medio de un decreto
ministerial.
Posicionar la
funcin de
evaluacin
Centralizada en el
Departamento Nacional
de Planeacin (DNP).
Organismos sectoriales
clave ofrecen insumos.
Descentralizado en
organismos centrales
clave.
Centralizado en la Oficina
Nacional de Planeacin
para el Desarrollo
(Bappenas, por sus siglas
en indonesio). Los
organismos sectoriales
ofrecen insumos.
Evaluar la cobertura
Polticas pblicas y
principales programas
del sector pblico.
No se han establecido
vnculos formales. La
Comisin Estatal de
Planeacin participa en
la asignacin de
recursos pblicos y en
el seguimiento de esos
recursos.
Utilizar la evaluacin
en el proceso
decisorio
Seguimiento y
evaluacin para
informar la gestin del
organismo central.
Asignarle estatus
profesional a la
funcin de
evaluacin
La evaluacin es una
disciplina transversal que
atraviesa destrezas
profesionales especficas.
A la evaluacin se la
considera principalmente como anlisis
socioeconmico
aplicado.
A la evaluacin no se la
considera una profesin
por separado, sino como
una disciplina complementaria.
Recursos para
evaluacin
La evaluacin debe
quedar establecida en los
presupuestos de los
diversos organismos.
La evaluacin queda
establecida en los
presupuestos de los
organismos centrales.
La evaluacin queda
establecida en los
presupuestos de los
organismos.
cap10.p65
CLAVE
165
DNP
166
RECUADRO 10.3
DE CONTROL PARA INCENTIVOS AL PERSONAL QUE ESTIMULAN
UN SISTEMA DE SyE PARTICIPATIVO Y ORIENTADO AL APRENDIZAJE
LISTADO
cap10.p65
IFAD
2002.
166
167
LISTADO
RECUADRO 10.4
DE CONTROL DE ELEMENTOS DISUASORIOS QUE IMPIDEN UN SISTEMA
DE SyE PARTICIPATIVO Y ORIENTADO AL APRENDIZAJE
Del proyecto, programa de las polticas se han eliminado los siguientes elementos disuasorios?
Utilizar la unidad de SyE para asignar al personal degradado o no calificado
No dejar claro la forma en que se van a utilizar los datos o en que fueron utilizados
Castigar a quienes innovan dentro de los lmites de los proyectos a su cargo o a quienes comenten errores
Poner el enfoque de las evaluaciones iniciales de desempeo solamente en las actividades
emprendidas (productos)
Rotacin frecuente del personal a cargos diferentes
El personal se siente aislado o impotente en trminos del reconocimiento de sus aportes al
logro de la meta del proyecto (el problema de la visibilidad directa)
Actitudes poco constructivas hacia lo que constituye participacin o hacia las principales partes
interesadas.
Fuente:
IFAD
2002.
Los retos en el campo de recursos humanos constituyen algunos de los aspectos ms cruciales de la ejecucin y la sustentacin de sistemas de SyE. Tal vez estos
retos no sean tan diferentes de todos los aspectos de recursos humanos del sector
pblico. En primer lugar, existen problemas en contratar y retener personal calificado capaz de construir y administrar un nuevo sistema de informacin. Es po-
cap10.p65
167
168
cap10.p65
168
169
UNA
RECUADRO 10.5
CULTURA DE EVALUACIN Y ALIANZAS DE COOPERACIN AYUDA A CONSTRUIR
LA CAPACIDAD DE UN ORGANISMO
En un estudio reciente se hizo un anlisis del desarrollo de una cultura de evaluacin en cinco
organismos diferentes del gobierno de Estados Unidos: la Administracin para Nios y Familias; la
Guardia Costera; el Departamento de Vivienda y Urbanismo; la Administracin Nacional de Seguridad del Trfico Vial; y la Fundacin Nacional de la Ciencia. Estos cinco organismos utilizaban
diversas estrategias para desarrollar y mejorar la evaluacin. Se desarroll la cultura organizativa
de la evaluacin y un compromiso institucional con el aprendizaje a partir de la evaluacin, para
apoyar los debates sobre las polticas y las demandas de rendicin de cuentas.
El estudio encontr que los elementos clave de la capacidad de evaluacin eran una cultura de
evaluacin, datos de calidad, experiencia analtica y alianzas de cooperacin. Los organismos
demostraron su cultura de evaluacin evaluando regularmente el buen funcionamiento de los programas. Los gestores valoraron y utilizaron esta informacin para poner a prueba nuevas iniciativas o para estimar los avances hacia el cumplimiento de las metas de los organismos. Los
organismos hicieron hincapi en el acceso a datos que fueran crebles, confiables y consistentes
entre jurisdicciones con el fin de garantizar que los hallazgos de la evaluacin fueran confiables.
Tambin los organismos necesitaban tener acceso a experiencia analtica y a conocimientos especializados en investigacin. Por ltimo, los organismos conformaron alianzas de cooperacin con
asociados de programa y otros con el fin de apalancar recursos y conocimientos especializados
para obtener informacin de desempeo.
Fuente:
GAO
ltimos recordatorios
La demanda de construccin de capacidad nunca termina. La nica manera en que una organizacin puede deslizarse es cuesta abajo.
A los defensores se les debe mantener del lado de uno y se les debe ayudar.
cap10.p65
169
170
cap10.p65
170
CAPTULO 11
HACER QUE EL SISTEMA DE SyE BASADO
EN RESULTADOS FUNCIONE PARA USTED Y PARA SU
ORGANIZACIN
cap11.p65
171
172
cap11.p65
172
173
cap11.p65
173
174
cap11.p65
174
175
cap11.p65
175
176
justo antes de este perodo. Los datos bsicos se utilizan como punto de partida
para hacer seguimiento al desempeo futuro. O, para expresarlo de una manera
algo diferente, los datos bsicos son las primeras mediciones de los indicadores.
El reto estriba en obtener informacin adecuada de datos bsicos sobre cada uno
de los indicadores de desempeo para cada efecto.
Se plantearon ocho preguntas con respecto a la construccin de informacin
de datos bsicos: fuentes de los datos, mtodos de recoleccin de los datos, quin
rene los datos, con qu frecuencia se recaban, costo y dificultad para recogerlos,
quin analiza los datos, quin presenta informes sobre ellos, y quin los utiliza.
Las fuentes son quin o qu suministra los datos: no los mtodos para recogerlos.
Las fuentes de datos pueden ser primarias o secundarias.
A lo largo del continuo existen diversos mtodos de recoleccin de datos que
van desde mtodos informales y menos estructurados hasta mtodos ms
estructurados y formales. Los mtodos de recoleccin de datos incluyen conversacin con personas interesadas, entrevistas con la comunidad, exmenes de registros oficiales, entrevistas con informantes clave y observacin de participante,
entrevistas con grupos de estudio, observaciones directas, cuestionarios, encuestas nicas, encuestas de grupo, censos y experimentos de campo. Necesariamente las estrategias de recoleccin de datos conllevan algunas concesiones con
respecto a costos, precisin, credibilidad y oportunidad.
Establecer datos bsicos sobre indicadores resulta crucial para determinar la
situacin actual y para medir el desempeo futuro. Mediciones posteriores a partir de los datos bsicos van a proporcionar datos importantes sobre direcciones o
tendencias y pueden ayudar a los encargados del proceso decisorio a averiguar si
marchan por la senda correcta respecto de las metas que se han trazado.
El Paso 5 es seleccionar objetivos de resultados. Los objetivos son los pasos
provisionales a lo largo del camino hacia un efecto a ms largo plazo. Una vez ms,
est implicado un proceso de razonamiento deductivo, en el cual los objetivos se
basan en efectos, indicadores y datos bsicos. Elegir los objetivos tambin debe acarrear un proceso consultivo, poltico y participativo con partes interesadas clave.
Los objetivos se pueden identificar incorporando niveles deseados de mejora en el
mbito de datos bsicos de indicadores (suponiendo un nivel finito y esperado de
insumos y de actividades). Teniendo en cuenta todos los aspectos de recursos
(insumos), los indicadores deben ser factibles. Se espera que cada indicador tenga
solamente un objetivo durante un periodo de tiempo especificado.
La confeccin de objetivos es el paso final de la construccin del marco de
desempeo. A la vez, el marco de desempeo se convierte en la base de la planificacin: con implicaciones concomitantes de confeccin de presupuestos, asignacin de recursos, contratacin de personal, etctera. Los marcos de desempeo
tienen gran aplicacin y se pueden utilizar con eficiencia como formato para Estrategias Nacionales de Reduccin de la Pobreza, planes de proyectos, programas
y polticas.
cap11.p65
176
177
El Paso 6, hacer seguimiento para obtener resultados, conlleva tanto el seguimiento de la ejecucin (medios y estrategias) como el seguimiento de los resultados. Los principios clave de la construccin de un sistema de seguimiento incluyen
reconocer las necesidades de informacin de desempeo en el mbito de las polticas, de programa y de proyecto; la necesidad de informacin de desempeo
para desplazarse horizontal y verticalmente en la organizacin; identificar la demanda de informacin de desempeo en todos los mbitos; e identificar las responsabilidades en todos los niveles.
Confiabilidad, validez y oportunidad de los datos constituyen los criterios ms
importantes para recabar datos calificados de desempeo. Todo sistema de seguimiento requiere de apropiacin, gestin, mantenimiento y credibilidad. Hacer
seguimiento para obtener resultados tambin exige la recoleccin de datos y el
anlisis de datos de desempeo. La construccin de sistemas de seguimiento implicar retos de aseguramiento de la calidad. Es necesario prever estos retos y por
tanto es importante realizar pruebas preliminares de instrumentos y procedimientos de recoleccin de datos.
Construir el marco del sistema de seguimiento significa que cada efecto va a
requerir un indicador, datos bsicos, objetivo, estrategia de recoleccin de datos,
anlisis de datos, plan de presentacin de informes y usuarios identificados.
Resulta esencial lograr resultados por medio de alianzas. Mltiples asociados
tendrn que determinar los medios y las estrategias. Cuando se consideren insumos
disponibles se debe buscar ms all de la unidad organizativa. Dentro de la propia organizacin se pueden crear alianzas en otros lugares o aun con otras organizaciones dentro o fuera del gobierno.
El Paso 7 implica utilizar la informacin de evaluacin para apoyar a un sistema
de SyE basado en resultados. El seguimiento y la evaluacin son complementarios y
se necesitan en estos sistemas. La informacin de evaluacin se puede utilizar para
muchos fines: tomar decisiones sobre asignacin de recursos; repensar la causalidad
de los problemas; identificar problemas nacientes; apoyar el proceso decisorio para
elegir entre alternativas antagnicas; apoyar la reforma del sector pblico, etctera.
La informacin de evaluacin tambin puede ser pertinente en todas las fases de
un ciclo determinado de polticas, programa o proyecto.
Otra consideracin importante es el momento oportuno de las evaluaciones.
La informacin de evaluacin es fundamental cuando: a) las mediciones regulares
de indicadores clave sugieren una divergencia aguda entre el desempeo proyectado y el real; b) los indicadores de desempeo sugieren consistentemente resultados de una iniciativa dbiles o inexistentes; c) las asignaciones de recursos se estn
efectuando a travs de polticas, programas o proyectos; y d) proyectos, programas
o polticas similares estn presentando evidencias divergentes de los efectos.
Existen siete tipos de evaluacin diferentes: cadena de desempeo lgico, estimacin previa a la ejecucin, evaluacin inicial rpida, estudio de caso, evaluacin meta, evaluacin de impacto y ejecucin de proceso. Cada una de ellos resulta
cap11.p65
177
178
cap11.p65
178
179
Recapitulacin
Los sistemas de SyE basados en resultados representan una poderosa herramienta
de gestin pblica que pueden utilizar gobiernos y organizaciones para demostrar
responsabilidad, transparencia y resultados. Tambin pueden servir para construir
y fomentar el apoyo y la consonancia poltica y financiera a polticas, programas y
proyectos comunes. Y pueden ayudar al gobierno a construir una base slida de
conocimientos.
Lo que es ms importante, los sistemas de SyE basados en resultados tambin
pueden provocar cambios polticos y culturales significativos a la manera en que
funcionan los gobiernos y las organizaciones: conduciendo a mejor desempeo,
mayor rendicin de cuentas y transparencia, aprendizaje y conocimientos.
A los sistemas de SyE basados en resultados se les debe considerar una obra en
curso. Se necesita atencin, recursos y compromiso poltico continuos para garantizar la viabilidad y sostenibilidad de estos sistemas. Crear el cambio cultural necesario para que una organizacin avance hacia una orientacin a resultados
toma tiempo, compromiso y voluntad poltica. Cuando falta el empeo para emprender tal transformacin, la nica manera en que una organizacin puede
deslizarse es cuesta abajo!
Construir y sustentar un sistema de SyE basado en resultados implica tiempo
y esfuerzo. Ningn sistema es perfecto y existen muchos enfoques diferentes,
pero el viaje vale la pena y pueden ser muchas las recompensas.
cap11.p65
179
cap11.p65
180
ANEXO I
Introduccin
Pases del mundo entero enfrentan presiones para reformar las polticas y las prcticas del sector pblico. Resulta vital que un sector pblico eficaz y eficiente haga un
aporte al desarrollo sostenible, al crecimiento econmico y al bienestar de los ciudadanos. Por tanto, hacer nfasis en el desempeo del gobierno se convierte en un factor importante de la capacidad de lograr las metas deseadas de crecimiento y desarrollo
social y econmico.
Conforme los gobiernos comienzan a abordar estos retos, tratarn de validar los
resultados que obtengan con el fin de ofrecer informacin creble y confiable, tanto
para sus ciudadanos como para utilizarla en gestin de sus propios gobiernos. Un
sistema de SyE basado en resultados representa una herramienta importante que
permitir a los gobiernos obtener esas evidencias.
La encuesta
La encuesta de estimacin es una herramienta de diagnstico con un enfoque en la
capacidad actual de un gobierno para disear y construir un sistema de SyE basado
en resultados. La intencin es determinar qu grado de capacidad e infraestructura
existe en la actualidad y qu capacidad e infraestructura nuevas se deben construir.
La encuesta se divide en tres secciones: Incentivos, Funciones y responsabilidades, y
Construccin de capacidad.
La encuesta se ha creado como herramienta de ayuda para gobiernos individuales, la comunidad de donantes y sus muchos asociados en el desarrollo tambin
involucrados en la reforma del sector pblico para abordar de manera sistemtica los
requisitos previos (presentes o no) de un sistema de SyE de esta ndole. Contando con
este tipo de informacin, el gobierno, los donantes y los asociados pueden, entonces,
resolver los retos que plantean el grado de capacitacin, de construccin de capacidad organizativa y de secuenciacin de esfuerzos que se va a necesitar para disear y
construir la infraestructura necesaria para producir, recabar, analizar y presentar informacin pertinente de desempeo. En resumen, esta encuesta ofrece las bases de
un plan de accin para avanzar dentro del pas. Es ms, esta encuesta puede ayudar
a asegurarse de que las metas estratgicas estn bien formuladas, que se comprenda
Anexos1.p65
181
182
que los objetivos y los datos bsicos son cruciales, y que en el contexto de construccin del sistema de SyE se deben identificar los indicadores pertinentes.
La informacin se debe recabar de informantes clave en el pas (funcionarios del
gobierno, miembros de la sociedad civil, ONG, etctera). Se sugiere que alguien familiarizado con la construccin de capacidad en SyE administre personalmente la encuesta,
ya que hay varias preguntas abiertas donde va a ser muy til contar con preguntas de
seguimiento y aclaracin. La encuesta est conformada por cuarenta preguntas y se
calcula (de acuerdo con el piloto) que su diligenciamiento requerir de cerca de sesenta y cinco minutos.
Informacin de antecedentes:
Nombre de persona entrevistada _________________________________________
Cargo _________________________________________________________________
Organizacin __________________________________________________________
Aos en cargo actual ____________________________________________________
Aos en organizacin actual _____________________________________________
Fecha de entrevista _____________________________________________________
Nombre de quien realiza la entrevista _____________________________________
1. Cmo describira el proceso de fijar metas y objetivos prioritarios en los ministerios centrales? En los ministerios sectoriales u operativos?
2. Puede identificar alguna organizacin que acostumbre solicitar informacin sobre cun bien se desempea el gobierno?
- Ministerio de Hacienda
- Ministerio de Planeacin
- Despacho del Primer Ministro
- Despacho del Presidente
- Ministerios individuales sectoriales u operativos
- Parlamento
- Organizacin Nacional de Auditora
- Donantes
- Sector privado
- Los medios
- Las ONG
- Los ciudadanos.
3. El Ministerio de Hacienda o el Ministerio de Planeacin requiere que los ministerios sectoriales y otros organismos suministren algn tipo de informacin basa-
Anexos1.p65
182
183
Anexo I
4.
5.
6.
7.
8.
9.
10.
11.
12.
Anexos1.p65
183
184
13. Con qu facilidad (o dificultad) los miembros de la sociedad civil han obtenido
informacin sobre el desempeo del gobierno?
14. ONG u otros en la sociedad civil han recolectado datos para su uso privado o
como vigilantes externos de cun bien se desempea el gobierno? Si es as, favor
explicar.
15. Existe en la actualidad algn tipo de legislacin sobre libertad de informacin?
Si no es as, se proyecta la promulgacin de leyes de esta ndole?
16. Qu informacin solicitan al gobierno los donantes sobre cun bien se desempean los proyectos y programas individuales que ellos auspician?
17. Los donantes tambin solicitan al gobierno cualquier otra informacin de desempeo? Si es as, favor explicar.
18. Cmo describira la funcin de auditora para el gobierno nacional? Existe en el
gobierno una organizacin de auditora independiente y cul es su funcin? Cada
uno de los ministerios cuenta con una funcin de auditora interna y cul es su
funcin?
19. Existe algn ministerio sectorial que, segn su sugerencia, representa un modelo para utilizacin de informacin basada en desempeo para administrar las
actividades y los programas?
20. Existe alguna reforma del sector pblico (con o sin apoyo de donantes) que se
est llevando a cabo en el gobierno nacional y que incluya una campaa para
fortalecer sistemas para recabar y manejar informacin relacionada con el desempeo del gobierno?
21. Cmo estimara los documentos de Iniciativa de Estrategia para la Reduccin de
la Pobreza y la Estrategia para la Reduccin de la Pobreza, que adelanta el gobierno (as como el Marco Integral para el Desarrollo, si es del caso) en trminos de la
inclusin de un sistema para hacer seguimiento e informar sobre las metas del
DERP?
22. Puede describir la situacin actual de los esfuerzos del gobierno para implantar
un sistema de SyE dentro de la iniciativa de DERP (y de MID, si es el caso).
23. Estn los niveles regionales y locales del gobierno reuniendo informacin sobre
su desempeo para soportar decisiones presupuestarias de gastos o para perfeccionar la gestin de sus programas?
24. Existen vnculos evidentes entre las asignaciones presupuestarias del ao fiscal
del Ministerio de Hacienda y del Ministerio de Planeacin y el desempeo de
ministerios sectoriales u operativos?
25. Existen funciones o responsabilidades formales para la sociedad civil en los procesos de planificacin del gobierno nacional?
Anexos1.p65
184
185
Anexo I
26. Existen funciones o responsabilidades formales para la sociedad civil en los procedimientos del gobierno para decisiones de asignaciones presupuestarias del
ao fiscal?
27. Existe en el proceso nacional de planeacin y en la fijacin de metas estratgicas
alguna funcin evidente para los organismos de ayuda para el desarrollo o para
los organismos donantes? Y en las decisiones de asignaciones presupuestarias
nacionales para el ao fiscal?
28. Cmo describira el seguimiento del presupuesto para el ao fiscal que hace el
Ministerio de Hacienda o el Ministerio de Planeacin de los ministerios sectoriales u operativos: ninguno, escaso, mediano, fuerte? Puede dar algunos ejemplos
para apoyar la opcin escogida por usted?
29. Existe alguna evidencia de que los requerimientos de los donantes para presentacin de informes o bien se contradicen entre s o bien imponen la duplicacin
para el gobierno para satisfacer esos requisitos?
30. Qu tipo de datos de gastos financieros se recaban sobre los costos y productos
de las funciones y actividades del gobierno nacional? Y quin los obtiene?
31. Puede describir qu datos de gastos financieros se recaban sobre los costos y los
productos de las funciones y actividades de gobiernos regionales o locales? Y
quin los obtiene?
32. Qu tan accesibles son los datos de gastos a personas y organizaciones ajenas al
gobierno? A la sociedad civil, a los medios, a las ONG, a otros?
33. Quin en el gobierno es responsable de reunir datos socioeconmicos y sobre
pobreza para el pas? Con quin se comparten estos datos?
34. Cules son las funciones y las responsabilidades de la oficina nacional de estadstica?
- En qu zonas se recogen estadsticas?
- En qu mbitos del pas (ciudad, regional, nacional)?
- A quin se suministran los datos estadsticos?
- Qu informacin se hace o no se hace pblica?
- Qu organizaciones colaboran en la recoleccin de informacin estadstica?
- Qu encuestas especiales se realizan, por ejemplo, Encuestas de Ingreso y
Gastos de Hogares, VIH/SIDA, y otras?
35. Cules son las funciones y las responsabilidades de la Oficina Nacional de
Auditora?
- Qu autoridad detenta para auditar a los ministerios centrales y sectoriales u
operativos?
- Detenta alguna autoridad en el mbito regional y local del gobierno?
- A quin se informan los hallazgos?
- Se hacen pblicos estos hallazgos?
- La Oficina Nacional de Auditora ejerce alguna supervisin sobre la calidad
de la informacin que produce el gobierno?
Anexos1.p65
185
186
36. Existe en el gobierno nacional alguna unidad organizativa que tenga experiencia de evaluacin y emprenda evaluaciones?
37. De qu sistemas de datos disponen las unidades de planificacin dentro de los
ministerios centrales y sectoriales u operativos?
- datos sobre presupuesto
- datos sobre resultados
- datos sobre efectos o impactos
- auditoras de desempeo
- auditoras financieras
- informes de terminacin de proyecto y programa
- sistemas de datos de donantes
- otros.
38. Cmo estimara las destrezas de los empleados pblicos en el gobierno nacional
en cada uno de los seis campos siguientes?
- gestin de proyecto y de programa
- anlisis de datos
- anlisis de las polticas
- fijacin de metas de proyecto y de programa
- gestin de presupuestos
- auditora de desempeo.
39. Est al tanto de alguna asistencia tcnica, construccin de capacidad o capacitacin en SyE actualmente en curso o que haya ocurrido en los dos aos pasados
para cualquier nivel del gobierno (nacional, regional o local)? Favor describir quin
suministr esta ayuda. Ha estado relacionado con:
- el proceso de MID o de DERP
- el fortalecimiento de sistemas presupuestarios
- la descentralizacin del gobierno
- la reforma de la administracin pblica
- la reforma de ministerios centrales o sectoriales?
40. Conoce alguna institucin, centros de investigacin, organizaciones privadas o
universidades que dispongan de alguna capacidad para ofrecer asistencia tcnica
y capacitacin a empleados pblicos y a otros en sistemas de SyE basados en desempeo?
Anexos1.p65
186
ANEXO II
ESTIMACIN
DE LA PREPARACIN:
Contenido
Resumen ejecutivo
Antecedentes
La experiencia internacional
Metodologa
Resumen de hallazgos
Actividades representativas de la asistencia tcnica actual
Avance hacia el seguimiento y la evaluacin basados en resultados: recomendaciones
Actividades a corto plazo que van a tener el respaldo del Banco Mundial
Anexos
Resumen ejecutivo
Antecedentes. En septiembre de 2000, la Junta Directiva Ejecutiva del Banco Mundial aprob un programa dirigido a fortalecer el seguimiento y la evaluacin basados
en resultados en las operaciones del Banco y de sus prestatarios. Para poder asignar
recursos con la debida prudencia, disear y ejecutar eficazmente proyectos y programas y evaluar los efectos de las actividades que desarrollan en el logro de los objetivos del desarrollo, tanto los prestatarios como el Banco Mundial necesitan informacin
adecuada sobre desempeo.
Para el Banco Mundial, este programa, denominado el Programa de Mejoramiento del Seguimiento y la Evaluacin, reviste importancia especial en un momento en el
cual el Banco est dando un viraje hacia operaciones crediticias ms pragmticas y
estimulando mayor transparencia y rendicin de cuentas respecto de los resultados
por parte de los prestatarios. Dentro del Marco Integral para el Desarrollo y de los
Documentos de Estrategia para la Reduccin de la Pobreza dirigidos por cada pas,
las inversiones dependen del seguimiento que se haga a los resultados (o a los efectos
del gobierno), antes que de enfoques tradicionales de seguimiento y evaluacin, los
Anexos2.p65
187
188
cuales, usualmente rastrean insumos y procesos. El seguimiento y la evaluacin basados en resultados centran la atencin de la gestin en el desempeo y en los avances
hacia estos efectos deseados de desarrollo. Por tanto, este programa tambin respalda la estrategia del Banco de alentar a los pases a hacer seguimiento a los avances
respecto de metas internacionales de desarrollo.
A travs del ministro de Hacienda, el gobierno de Egipto ha expresado su deseo
de participar en este programa. El ministro se ha mostrado dispuesto a reformar el
presupuesto con el fin de lograr un mayor enfoque en el mejoramiento del desempeo del gobierno, tanto en trminos de medidas de eficiencia como de eficacia. El ministro y otros miembros del gobierno de Egipto son conscientes de la necesidad de un
nuevo enfoque en resultados que sea consistente con los muchos esfuerzos que se
hacen actualmente en el mundo entero para reformar los sistemas de gestin pblica.
Metodologa. La primera actividad que emprende el Banco Mundial para los pases
participantes en el Programa de Mejoramiento del Seguimiento y la Evaluacin consiste en realizar un breve estudio de diagnstico con el fin de evaluar la situacin en
ese pas, del seguimiento y la evaluacin basados en resultados e identificar las oportunidades para fortalecer los esfuerzos en curso y proyectados basados en el desempeo. A travs de la Organizacin Operativa de las Polticas y de Servicios de Pas, el
Banco Mundial llev a cabo una misin de diagnstico a Egipto del 1 al 9 de junio de
2001 (vase anexo A).
El equipo de diagnstico se reuni con muchos funcionarios clave del gobierno,
acadmicos, donantes y otros ajenos al gobierno, y examin diversos informes y documentos con el objeto de determinar la manera en que un vuelco al seguimiento y la
evaluacin basados en resultados podra fortalecer en Egipto una gestin pblica eficaz (vase anexo B). El equipo emprendi la bsqueda de organizaciones y partes de
organizaciones que han comenzado a avanzar hacia el seguimiento y la evaluacin
con el propsito de lograr los objetivos del desarrollo. El equipo traz un mapa de los
esfuerzos de seguimiento y evaluacin que se han emprendido en la actualidad y
realiz una estimacin de la capacidad de investigacin y recoleccin de datos dentro
y fuera del gobierno. Con la idea de encontrar oportunidad para fortalecer el seguimiento y la evaluacin, el equipo busc en estas instancias evidencias de la confeccin de presupuestos basada en el desempeo y en la innovacin. Atendiendo la
solicitud del ministro de Hacienda, el equipo trat de identificar pasos prcticos para
estimular el desarrollo de un entorno de desempeo en el gobierno de Egipto.
Las siguientes son algunas de las reflexiones del equipo:
Anexos2.p65
Cul es la motivacin de la necesidad de sistemas de seguimiento y evaluacin basados en resultados en Egipto (incentivos/demandas)?
En qu instancia del gobierno radica la responsabilidad de la prestacin efectiva (y eficiente) de programas?
Existe en el gobierno una estrategia o una organizacin codificada (por medio
de estatuto o mandato) para hacer seguimiento a los objetivos de desarrollo?
188
189
Anexo II
Anexos2.p65
189
190
Anexos2.p65
190
191
Anexo II
Antecedentes
En septiembre de 2000, la Junta Directiva Ejecutiva del Banco Mundial aprob un
programa dirigido a fortalecer el seguimiento y la evaluacin basados en resultados
en las operaciones del Banco y de sus prestatarios. Para poder asignar recursos con la
debida prudencia, disear y ejecutar eficazmente proyectos y programas, y evaluar
los efectos de las actividades que desarrollan en el logro de los objetivos del desarrollo, tanto los prestatarios como el Banco Mundial necesitan informacin adecuada
sobre desempeo.
Para el Banco Mundial, este programa, denominado el Programa de Mejoramiento
del Seguimiento y la Evaluacin, reviste importancia especial en un momento en el
cual el Banco est dando un viraje hacia operaciones crediticias ms pragmticas y
estimulando mayor transparencia y rendicin de cuentas respecto de los resultados
por parte de los prestatarios. Dentro del Marco Integral para el Desarrollo y de los
Documentos de Estrategia para la Reduccin de la Pobreza dirigidos por cada pas, las
inversiones dependen del seguimiento que se haga a los resultados (o a los efectos
del gobierno), antes que de enfoques tradicionales de seguimiento y evaluacin, los
cuales usualmente rastrean insumos y procesos. El seguimiento y la evaluacin basados en resultados centran la atencin de la gestin en el desempeo y en los avances
hacia estos efectos deseados de desarrollo. Por tanto, este programa tambin respalda la estrategia del Banco de alentar a los pases a hacer seguimiento a los avances
respecto de metas internacionales de desarrollo.
A travs del ministro de Hacienda, el gobierno de Egipto ha expresado su deseo
de participar en este programa. El ministro se ha mostrado dispuesto a reformar el
presupuesto con el fin de lograr un mayor enfoque en el mejoramiento del desempeo del gobierno, tanto en trminos de medidas de eficiencia como de eficacia. El ministro y otros miembros del gobierno de Egipto son conscientes de la necesidad de un
nuevo enfoque en resultados que sea consistente con los muchos esfuerzos que se
hacen actualmente en el mundo entero para reformar los sistemas de gestin pblica.
La experiencia internacional
Durante las dos dcadas pasadas, los gobiernos de los pases industrializados y, ms
recientemente, de los pases en desarrollo, han emprendido la bsqueda de resultados. Segn un estudio reciente de la OCDE, el desempeo mejorado del sector pblico es un factor fundamental para mantener el bienestar de las personas y la
competitividad de la economa. La gestin del desempeo es el aspecto clave de las
reformas del sector pblico de muchos de los pases miembro de la OCDE.
Las estrategias utilizadas para lograr un mayor desempeo varan de un pas a
otro; sin embargo, parecen existir elementos similares que ayudan a dar un vuelco
exitoso hacia una cultura basada en resultados. Algunos de estos elementos son los
siguientes:
Anexos2.p65
191
192
No parece existir una manera correcta para introducir la gestin basada en el desempeo en las muchas instituciones del gobierno y sus actividades de formulacin de
las polticas. Con frecuencia los gobiernos ensayan una o ms de las estrategias siguientes, dependiendo de la presencia (o ausencia) de los elementos relacionados
antes: 1) enfoque integral o de todo el gobierno; 2) enfoque especfico a sector; o 3)
enfoque en el cliente.
En el enfoque integral, varios pases han incorporado planes estratgicos,
indicadores de desempeo y planes anuales de desempeo durante un periodo de
varios aos, integrndolos luego en documentos de presupuestos anuales (Australia,
Estados Unidos). Entre otros enfoques se incluye incorporar en los informes financieros anuales indicadores de desempeo de programa que se puedan auditar (Finlandia, Suecia, Estados Unidos) o utilizar acuerdos de desempeo entre ministros y jefes
de organismos del gobierno (Nueva Zelanda, Reino Unido). Argentina y Rumania
estn realizando programas piloto de estrategias de confeccin de presupuestos basada en desempeo. En este caso, los indicadores de desempeo para programas del
gobierno se vinculan con paquetes presupuestarios asignados; se presentan en informes de anexos presupuestarios al comienzo de cada ejercicio presupuestario; y se
auditan al final del ao. Y algunos pases, como Malasia, han acogido el enfoque de
gestin de calidad total, con un nfasis en la reingeniera de proceso y en el logro de
normas estrictas de calidad.
En tanto la mayora de los pases de la OCDE han adoptado un enfoque de todo el
gobierno para introducir la gestin basada en el desempeo, muchos pases, como
Estados Unidos, comenzaron con programas piloto de desempeo. Comenzando en
primer lugar con pilotos de unos cuantos programas y sectores, los gobiernos albergaban la esperanza de crear condiciones favorables para el aprendizaje del sector
pblico y la experimentacin antes de convertir este esfuerzo en una actividad central. Para otros pases avanzar en aquellos sectores donde actualmente se desarrolla
una labor de reforma (por ejemplo, el sector de la salud en Bangladesh, Ghana y la
Repblica Kirguisa), permite el avance de esfuerzos innovadores, independientemente
de si el presidente o el primer ministro han adquirido compromisos para ejecutar una
estrategia ms integral. Todava para otros pases ha resultado til un enfoque en los
Anexos2.p65
192
193
Anexo II
consumidores o en los beneficiarios de los servicios del gobierno o en un grupo cliente, como las mujeres, las nias o los nios. La anterior estrategia implica el desarrollo
de indicadores clave de desempeo dentro de ministerios sectoriales con un enfoque
particular en el mejoramiento de esos programas del gobierno para apoyar a un grupo particular de ciudadanos. Esta estrategia tambin puede ayudar a avanzar una
agenda nacional en un campo de programa, en vez de limitarse a esperar que la totalidad del gobierno adopte la gestin basada en el desempeo.
Entre otras estrategias que utilizan los gobiernos para introducir la gestin basada
en resultados estn las siguientes:
Seleccin de organismos pblicos independientes, otorgndoles mayor flexibilidad para utilizar los recursos y haciendo responsables de los resultados a los
jefes de esos organismos. Ejemplos: Oficinas Pasos Siguientes, Organizaciones
Basadas en Desempeo.
Estmulo y reconocimiento de actividades piloto dentro de muchas organizaciones que puedan liderar la marcha y duplicarse en otros lugares. Ejemplo:
Laboratorios de Reinvencin.
Introduccin de la gestin de la calidad total: este modelo, desarrollado por la
industria para mejorar los procesos de fabricacin se ha aplicado a la reforma
del sector pblico en algunos pases, por lo general, despus de que el proceso
de reforma ya lleva algn tiempo en curso. El enfoque de gestin de la calidad
en los requisitos de los consumidores es pertinente a todas las etapas de la
reforma. Ejemplo: Malasia.
Ninguna estrategia se puede trazar simplemente de un pas o de una situacin a
otra. Es ms, en la prctica, la estrategia que utiliza un pas determinado en un momento particular en el tiempo puede ser una combinacin de uno o ms enfoques
como los anteriores. Adems, las labores de reforma constituyen ocasiones plurianuales
y resulta inevitable que las estrategias evolucionen en el tiempo.
Metodologa
La primera accin emprendida por el Banco Mundial respecto de los pases participantes en el Programa de Mejoramiento del Seguimiento y la Evaluacin, consiste en
realizar un breve estudio de diagnstico con el fin de evaluar la situacin de ese pas
en seguimiento y evaluacin basados en resultados y de identificar las oportunidades para fortalecer los trabajos en curso y proyectados de seguimiento y evaluacin
basados en desempeo. El Banco Mundial (a travs de su Organizacin Operativa de
Polticas y Servicios de Pas, OPCS por sus iniciales en ingls), condujo en Egipto una
misin de diagnstico del 1 al 9 de junio de 2001 (vanse en el anexo A los Trminos
de Referencia para esta misin).
El equipo emprendi la bsqueda de organizaciones y partes de organizaciones
que han comenzado a avanzar hacia el seguimiento y la evaluacin con el propsito
Anexos2.p65
193
194
de lograr los objetivos del desarrollo. El equipo traz un mapa de los esfuerzos de
seguimiento y evaluacin actualmente en curso y realiz una estimacin de la capacidad de investigacin y recoleccin de datos dentro y fuera del gobierno. Con la idea
de encontrar oportunidad para fortalecer el seguimiento y la evaluacin, el equipo
busc en estas instancias evidencias de la confeccin de presupuestos basada en el
desempeo y en la innovacin. Atendiendo la solicitud del ministro de Hacienda, el
equipo trat de identificar pasos prcticos para estimular el desarrollo de un entorno de desempeo en el gobierno de Egipto.
Las siguientes son algunas de las reflexiones del equipo:
Cul es la motivacin de la necesidad de sistemas de seguimiento y evaluacin basados en resultados en Egipto (incentivos / demandas)?
En qu instancia del gobierno radica la responsabilidad de la prestacin efectiva (y eficiente) de programas?
Existe en el gobierno una estrategia o una organizacin codificada (por medio de estatuto o mandato) para hacer seguimiento a los objetivos de desarrollo?
En dnde en el pas piloto radica la capacidad con las destrezas requeridas para
disear y utilizar sistemas de seguimiento y evaluacin basados en resultados?
De qu manera esta capacidad (o la falta de ella) ha hecho un aporte a la utilizacin del seguimiento y la evaluacin en el contexto de pas?
Anexos2.p65
194
195
Anexo II
cin de mejor calidad para apoyar el proceso decisorio econmico. La Primera Dama
preside el Consejo Nacional para la Mujer, el cual est diseando un sistema para
hacer seguimiento y evaluar el trabajo de muchos ministerios, tendiente a mejorar la
situacin y la condicin de las mujeres en Egipto.
El ministro de Hacienda est cumpliendo una funcin clave de liderazgo. Se muestra profundamente interesado en reformar el presupuesto de Egipto con el fin de
ofrecer mejor respaldo al desempeo. En las reuniones con el equipo de diagnstico,
el ministro subray la importancia que otorga a prestar mayor atencin al mejoramiento de la gestin del gasto pblico, anotando que quiero poder decirle a los contribuyentes egipcios que el gobierno est gastando el dinero de sus impuestos de
manera ms eficiente y eficaz.
Para que un trabajo tenga xito, tambin es importante que los ministros sectoriales participen plenamente quienes son los responsables de los gastos de los recursos
y de supervisar la ejecucin de programas especficos. El equipo encontr gran inters por parte de varios ministerios sectoriales en el seguimiento y la evaluacin para
obtener resultados. El ministro de Energa Elctrica, quien lider un trabajo de reforma en la Agencia Internacional de Energa Atmica antes de asumir su cargo actual,
recomend que un grupo de ministros involucrados en el mejoramiento de la gestin
de infraestructura bsica y servicios pblicos clave asuma una funcin de liderazgo.
Un estudio reciente de la administracin pblica de Egipto pone de relieve la importancia del liderazgo de estos ministerios en algunos pases. El punto ms importante es el inters y el compromiso que demuestren los jefes de la organizacin el
ministro o el burcrata al nivel ms alto de la organizacin... los ministros de Egipto
gozan de altos grados de libertad y de influencia en sus ministerios respectivos para
introducir cambios en la organizacin y en el manejo del personal. En realidad, ejecutivos fuertes en el gobierno de Egipto practican el concepto de gestin prctica .1
Finalmente, la rama legislativa del gobierno en muchos pases ha jugado un importante papel de liderazgo, promulgando un marco de reforma (Nueva Zelanda),
legislacin clave (como la Ley de Desempeo y Resultados del Gobierno, en Estados
Unidos), permitiendo flexibilidades e incentivos, o realizando estudios, auditoras o
audiencias pblicas sobre desempeo del gobierno. Este ltimo aspecto trascendi el
alcance del estudio del equipo en ese momento; puede servir para abordar en un
futuro la funcin del legislativo egipcio, la Asamblea Popular, el Consejo Shura y la
Organizacin Central de Auditora, las cuales estn bajo su supervisin.
Anexos2.p65
Valsan, E.H. The Egyptian Civil Service and the Continuing Challenge of Reform. En Research in
Public Administration. Tomo 5: 223-226, 1999.
195
196
ingreso a la Unin Europea ofrece un incentivo para el cambio. En los pases que
buscan el alivio de la deuda, el dinamizador del cambio ha sido un requisito de crear
un Documento de Estrategia de Reduccin de la Pobreza, documento que incluye un
marco de indicadores y medidas de desempeo bien construido de seguimiento y
evaluacin basados en desempeo. Para algunos pases industrializados y en desarrollo, dficit significativos han producido recortes en el gasto del gobierno y obligado un mayor enfoque en la eficiencia del gobierno y en la asignacin efectiva de
recursos. Para otros, se ha convertido en un problema poltico la insatisfaccin pblica con el costo y el desempeo del gobierno, resultando en compromisos polticos
que han impulsado el cambio.
El equipo no encontr en Egipto ningn dinamizador convincente nico del cambio. El crecimiento econmico ha sido sostenido durante la segunda mitad de los
aos noventa. Si bien en 1998 el dficit lleg a tres por ciento del PIB y en el desempeo econmico existen otras debilidades cualitativas, los dinamizadores econmicos
no son suficientes para crear una necesidad convincente de cambio. Antes que un
dinamizador nico, sin embargo, las personas entrevistadas sealaron diversas razones que estn impulsando a actores diferentes del sector pblico para asignar mayor
atencin al desempeo:
Convenio de Alianza entre Egipto y la Unin Europea. El primer ministro recalc
hace poco la importancia de llevar a su conclusin los planes de modernizacin del Estado, conjuntamente con la firma del Convenio. Este acuerdo representa igualmente la razn de la urgencia de un programa de modernizacin
industrial para preparar a las industrias egipcias para competir con productos
extranjeros;
Decreto presidencial para convertir en sociedades annimas a las empresas econmicas del
Estado. Las entidades econmicas, como la Empresa de Ferrocarriles, la Empresa
de Acueducto de El Cairo y la de Energa Elctrica actualmente reciben tres mil
millones de libras egipcias en subsidios anuales y ms de 280 mil millones de
libras egipcias en inversiones acumulativas. El gobierno busca mejorar el desempeo de estas empresas e impulsarlas hacia una estrategia de privatizacin; y
Inters de donante. Varios donantes tienen un inters explcito en un mejor desempeo del sector pblico y estn ofreciendo capacitacin, tecnologa y asistencia tcnica relacionadas (vase a continuacin). El Banco Mundial la
identificado como una de sus prioridades la creacin de un proceso presupuestario con mayor nfasis en resultados.
Anexos2.p65
196
197
Anexo II
mer ministro u rdenes del ejecutivo. En algunos casos, los pases han sido conscientes de que existe la suficiente autoridad pero que los mandatos existentes no se han
ejecutado plenamente.
En Egipto existen varias organizaciones o grupos individuales con mandatos especficos. Por ejemplo, el Decreto Presidencial No. 90 cre en febrero de 2000 el Consejo Nacional para la Mujer, ordenando al Consejo hacer seguimiento y evaluar la
ejecucin de las polticas pblicas sobre asuntos de la mujer adems de prestar asesora sobre las polticas y otras responsabilidades. Presidido por la primera dama, este
Consejo lo componen treinta miembros procedentes del gobierno, la academia, los
miembros y otras organizaciones. En la actualidad trabaja con el Ministerio de
Planeacin y los ministros sectoriales en la preparacin del siguiente plan quinquenal
de Egipto con el fin de asegurarse que en el documento queden plasmados los problemas que ms afectan a las mujeres. El Consejo tiene como meta instaurar un sistema para hacer seguimiento y evaluar la ejecucin del plan con el nimo de cumplir el
mandado especificado en el Decreto Presidencial.
Al Centro de Informacin y Apoyo al Proceso Decisorio adscrito al Gabinete egipcio le ha sido asignado el mandato de crear y administrar centros de informacin en
todas las gobernaciones de Egipto para apoyar el proceso decisorio. La Organizacin
Central de Auditora (CAO, por sus iniciales en ingls) representa un ejemplo ms con
un mandato legal de vieja data para realizar auditoras de desempeo as como
auditoras financieras. En este caso, sin embargo, las personas con quienes se entrevistaron los miembros del equipo informaron que CAO est casi exclusivamente dedicada a aspectos financieros.
En resumen, el equipo no identific en Egipto ningn mandato dominante que
orientara un vuelco significativo hacia un sistema de seguimiento y evaluacin basado en resultados. Es ms, el equipo no identific actos jurdicos o decretos que proporcionen el marco y la autoridad para un cambio amplio.
Anexos2.p65
197
198
utilizar datos adecuados para hacer seguimiento y evaluar esta labor. Se trata de un
punto de partida excelente para desarrollar una estrategia eficaz.
El siguiente elemento crucial consiste en disear una estrategia ms amplia de
cambio que sea eficaz y osada, aunque tambin prctica y factible. Una estrategia as
debe proporcionar un contexto para diversos esfuerzos continuos tendientes a dar
un vuelco a un sistema basado en resultados para el uso del gasto pblico, as como
servir para estimular y orientar otras iniciativas. No existe una respuesta nica a qu
constituye la mejor estrategia. En su defecto, el equipo de liderazgo debe disear una
estrategia que refleje las restricciones y las oportunidades existentes en Egipto en este
momento y comenzar el proceso de cambio.
Es posible que, para disear su propia estrategia, Egipto quiera considerar varias
lecciones de la experiencia internacional mientras est construyendo su propia experiencia considerable y sus propios conocimientos especializados. Primero que todo, y
lo ms importante, una estrategia exitosa tendr que ser clara acerca de sus objetivos.
Debe ser simple y fcil de comunicar. Comprometer a los empleados del gobierno y
servirles de inspiracin para ayudar a provocar el cambio, ya que no va a ser posible
acrecentar la eficiencia y la eficacia del gobierno de Egipto mientras se hace caso omiso
de los millones de empleados pblicos que hacen el trabajo e interactan con los
ciudadanos. Una estrategia exitosa debe ser receptiva a las necesidades reales de los
ciudadanos cuando interactan con su gobierno. Y debe incluir seguimiento y ajuste
frecuentes para mantenerla en la senda correcta. Una estrategia exitosa debe respaldar a los lderes del cambio: ofrecindoles suficiente capacitacin e instruccin, permitindoles asumir riesgos y reconocindoles los xitos. Por ltimo, claro est,
una estrategia exitosa es aquella que se convierte en acciones, provoca cambios reales
en el desempeo del gobierno y acrecienta el uso eficiente y eficaz de los recursos.
reas de innovacin
El equipo encontr en Egipto varias reas de innovacin en medicin del desempeo, lo que demuestra la factibilidad de dar un vuelco en el contexto egipcio a un
enfoque basado en resultados y ofrecer puntos tiles de partida para un esfuerzo de
mayor envergadura. Varios ministerios estn realizando actividades piloto o cuentan
con centros de excelencia que incluyen un mayor nfasis en resultados. El equipo se
enter de iniciativas en el Ministerio de Electricidad y Energa y en la Empresa de
Petrleos as como en la Empresa de Radiodifusin. Tambin tuvo prolongadas reuniones con el ministro de Salud y Poblacin para analizar la estrategia del Ministerio
para recabar estadsticas de salud en tiempo real dirigidas a apoyar una mejor formulacin de las polticas de salud.
El mismo Ministerio de Hacienda ha identificado varias actividades piloto que
estn introduciendo nuevos enfoques a la gestin. Por ejemplo, el Centro Nacional
para Investigacin y Desarrollo en Educacin ha introducido en un programa varias
innovaciones para reducir las disparidades educativas y mejorar la calidad de la educacin. Con el respaldo de la Unin Europea, del Banco Mundial y del gobierno de
Anexos2.p65
198
199
Anexo II
Anexos2.p65
199
200
Anexos2.p65
Korayerm, Karima. The Research Environment in Egypt, en Research for Development in the Middle
East and North Africa, IDRC. Disponible en la direccin electrnica www.idrc.ca/books/focus/930/
15koraye.html
200
201
Anexo II
Anexos2.p65
201
202
tin de informacin del Ministerio el cual, una vez est concluido, va a integrar los
registros de salud de ms de 4.500 centros de atencin primaria en una base de datos
nacional. Otros rganos del gobierno proyectan crear nuevas medidas estadsticas,
las cuales no se encuentran disponibles en Capmas o en otras fuentes. Por ejemplo, el
Ministerio de Economa ha comenzado a trabajar en ndices de produccin y en un
conjunto de indicadores anticipados para la economa. La expansin de las actividades estadsticas ms all de los sistemas tradicionales de recoleccin y presentacin
de informes plantea nuevos retos para mantener los estndares y garantizar la capacidad de comparacin entre diferentes conjuntos de datos.
Calidad de las estadsticas. Durante el transcurso de las entrevistas, los miembros
del equipo escucharon sobre las muchas preocupaciones surgidas acerca de la
confiabilidad de las estadsticas en Egipto. Algunas de estas inquietudes se basaban
en insuficiencias muy bien documentadas: las estadsticas fiscales del Ministerio de
Hacienda no estaban completas (debido a numerosos rubros presupuestarios adicionales) y el cierre es muy lento; las estadsticas de cuentas nacionales (que ahora las
produce el Ministerio de Planeacin con insumos de Capmas) no se recaban segn
estndares actuales, no estn completas y se han revisado de manera arbitraria. En
ambos casos, con el apoyo de donantes se estn llevando a cabo proyectos de asistencia tcnica, los cuales deben producir mejoras significativas. En otros casos, las inquietudes se referan a las definiciones y a las metodologas apropiadas para calcular
las tasas de pobreza, analfabetismo y desempleo. La falta de fe en la calidad de las
estadsticas tiene un efecto corrosivo en el dilogo pblico: los debates sobre la manera de resolver los problemas graves del desarrollo se convierten en reclamos conflictivos sobre la actualidad de las estadsticas.
La funcin de Capmas. Tambin se plantearon inquietudes sobre el papel que cumple Capmas. Investigadores acadmicos y otros ajenos al gobierno consideraban que
la funcin como organismo autorizado para realizar investigacin de sondeo ejerce
una influencia debilitante en estudios independientes. Son ampliamente reconocidas las capacidades de Capmas, para realizar encuestas en particular, pero no se le
considera innovador ni fuente de liderazgo para fomentar el avance de las estadsticas en Egipto. No obstante la liberalizacin de las normas de divulgacin, todo parece
indicar que Capmas considera que, antes que crear informacin, su funcin principal
es reglamentarla. A pesar de su funcin principal como la oficina nacional de estadsticas de Egipto, Capmas no participa en foros internacionales sobre estadstica, como
la Comisin de las Naciones Unidas sobre Estadstica, ni tampoco ha expresado inters en formar parte del Sistema General del FMI sobre Divulgacin de Datos, ni de
trabajar con miras a las Normas Especiales de Divulgacin de Datos.
Medicin del desempeo organizativo. Lo que los miembros del equipo no encontraron fue algn sistema de recoleccin y utilizacin de datos para medir la satisfaccin del cliente. En tanto la recoleccin y la utilizacin de datos no son resultados
del desarrollo, se trata de medidas importantes del desempeo organizativo. La ex-
Anexos2.p65
202
203
Anexo II
Anexos2.p65
203
204
Incentivos para la prestacin eficiente de servicios. Ni en las negociaciones del presupuesto ni tampoco a travs de incentivos, como compartir los ahorros o permitir mayor flexibilidad en la forma en que se utilizan los recursos, el proceso
presupuestario recompensa la prestacin eficiente de servicios.
Transparencia. La informacin sobre el presupuesto egipcio es supremamente restringida. No se hace pblico el presupuesto que aprueba la Asamblea Popular;
de acuerdo con la necesidad de saber se publican secciones de los documentos
del presupuesto, no se publican estadsticas financieras bsicas, o se publican en
cifras totalizadas y los informes de auditora se distribuyen en un crculo muy
estrecho sin incluir informacin sobre la eficacia y la eficiencia del gasto.
Alcance. Entre los Ministerios de Hacienda y Planeacin se distribuye la responsabilidad de la preparacin y la ejecucin del presupuesto de Egipto (vase
cuadro). Este hecho dificulta la existencia de polticas fiscales responsables y
de una planeacin realista, debido a que los proyectos de inversin pueden
tener gran impacto en niveles del presupuesto general y hacer difcil proyectar
los requerimientos de costos peridicos.
GOBIERNO
DE
EGIPTO:
CATEGORAS PRESUPUESTARIAS
Ministerio de Hacienda
Captulo 1
Sueldos y salarios
(incluyendo subsidios)
Ministerio de Planeacin
Captulo 2
Captulo 3
Captulo 4
Materiales y
suministros
Gasto en
inversiones
Pago del
servicio de la deuda
Anexos2.p65
204
205
Anexo II
Anexos2.p65
205
206
Anexos2.p65
206
207
Anexo II
Anexos2.p65
207
208
Anexos2.p65
208
209
Anexo II
Anexos2.p65
209
210
ANEXOS
Anexo A.
Anexo B.
Anexo C.
Anexo D.
Trminos de referencia
Entrevistas realizadas
Egipto y los objetivos de desarrollo internacional
Notas finales, bibliografa y recursos
Anexo A
Trminos de referencia
Misin de diagnstico del seguimiento y la evaluacin basados en desempeo
Egipto, junio 2-6, 2001
Antecedentes
Egipto hace parte del grupo de ocho pases piloto seleccionados para tomar parte en
un programa del Banco Mundial, aprobado en septiembre por la Junta Directiva Ejecutiva. La meta principal de este programa, el Programa de Mejoramiento del SyE, es la de
ayudar tanto al personal del Banco como a los funcionarios del pas prestatario a hacer
un mejor seguimiento de los resultados del desarrollo, fortaleciendo la utilizacin por
parte de esos funcionarios de sistemas SyE basados en desempeo. Estos sistemas (bien
entendidos hoy da para respaldar la buena administracin pblica) pueden ayudar a
los funcionarios del gobierno a identificar y fijar metas y efectos realistas para programas del sector pblico. Dos requisitos clave de un sistema practicable de SyE basado en
resultados son: 1) la inclusin de indicadores de desempeo a los que con regularidad
se les har seguimiento para estimar los avances en el cumplimiento de los objetivos de
desarrollo, y 2) un sistema vlido y verificable de recoleccin y presentacin de datos
sobre esos indicadores.
Durante la prxima misin a Egipto, con la finalidad de determinar la manera en
que sistemas de SyE basados en desempeo podran apoyar una gestin pblica eficaz, el equipo de la misin se reunir con varios funcionarios del gobierno y con
organizaciones de donantes y de otras partes interesadas. El equipo comenzar por
trazar un mapa de las labores de SyE actualmente en curso y por hacer una estimacin
de si dentro y fuera del gobierno existe la capacidad para recoleccin y presentacin
de datos. As mismo, el equipo va a estimar la posibilidad de que existan oportunidades potenciales para disear y construir sistemas de SyE basados en desempeo y
barreras potenciales al logro de este propsito.
Anexos2.p65
210
211
Anexo II
Ministerio de Hacienda
- Ministro de Hacienda
- Personas involucradas en confeccin de presupuestos (si se ha creado la Unidad de Apoyo a las Decisiones de Polticas Fiscales, entonces al equipo le
gustara reunirse con el jefe de la unidad)
- Personas involucradas en la conversin en sociedades annimas de las 62 empresas pblicas
Ministerio de Planeacin
Personas directamente responsables de fijar prioridades sectoriales y planeacin general del desarrollo econmico
Jefe de la oficina o altos funcionarios a cargo del examen ex post de las cuentas del presupuesto
Ministerio de Agricultura y
Ministerio de Educacin
Organizacin de Seguridad de la
Salud
Funcionario
Jefe
Donantes
A continuacin aparece un listado de preguntas que se les podran plantear a estos funcionarios:
1. Qu est motivando en Egipto la necesidad de sistemas de seguimiento y evaluacin basados en resultados? (incentivos / demandas)
Anexos2.p65
211
212
Anexo B
Entrevistas realizadas
Foro de investigacin econmica
Centro de informacin y apoyo al proceso
decisorio del Gabinete egipcio
Fondo Monetario Internacional
Ministerio de Electricidad y Energa
Ministerio de Educacin
Ministerio de Hacienda
Ministerio de Salud
Ministerio de Industria y Tecnologa
Ministerio de Cooperacin Internacional
Ministerio de Planeacin
Capmas
Instituto de Planeacin Nacional
Consejo Nacional para la Mujer
Centro de Investigacin en Administracin
Pblica, Universidad de El Cairo
Fondo Social para el Desarrollo
Centro de Investigacin Social
Programa de las Naciones Unidas para el
Desarrollo
Agencia de Estados Unidos para el
Desarrollo Internacional
Anexo C
Egipto y los objetivos de desarrollo internacional
A partir de los convenios y resoluciones de las conferencias mundiales organizadas por las Naciones Unidas en la primera mitad de los aos noventa, se han identificado siete metas de desarrollo internacional, a saber:
Anexos2.p65
212
213
Anexo II
Anexos2.p65
213
214
Todo lo anterior sirve de evidencia en el sentido de que Egipto participa activamente en el seguimiento de los avances a lo largo de las mismas dimensiones del
bienestar humano como lo hacen los Objetivos del Desarrollo Internacional y requiere de datos de calidad para hacerlo.
Anexo D
Bibliografa y recursos
Bibliografa
Egypt: Human Development Report, Instituto de Planeacin Nacional, 1998, 2000.
El Saiedi, H.E. Dr. Ali, Restructuring of the Power Sector and Enhancement of Private Opportunities,
Presentacin ante la Cmara Americana de Comercio de Egipto, octubre 2000.
Healthy Egypcians 2010, Ministerio de Salud y Poblacin.
Korayerm, Karima, The Research Environment in Egypt, en Research for Development in the
Middle East and North Africa, CIID. Disponible en: www.idrc.ca/books/focus/930/15koraye.html
Public Debt Management Program, Repblica rabe de Egipto, Ministerio de Hacienda, presentacin ante la Conferencia Euromoney, Economas rabes Nacientes: Incursin en los
mercados globales, septiembre 2000.
The National Council for Women, folleto, n.d. vase tambin la direccin electrnica: http://ncw.gov.eg
Towards a More Result Oriented Budget Process, en Egypt: Public Expenditure Review of the Social Sectors, Banco Mundial, Grupo de Desarrollo Social y Econmico, Regin de Oriente Medio y norte de frica, enero 1999.
Valsan, E.H. The Egyptian Civil Service and the Continuing Challenge of Reform. En Research
in Public Adminitration. Tomo 5: 223-226, 1999.
www.IDSC.gov.eg (sitio en internet del Centro de Informacin y Apoyo al Proceso Decisorio del
Gabinete egipcio).
http://www.oecd.org/puma (sitio en internet del Programa de la OCDE sobre Gestin Pblica y
Gobernabilidad).
Anexos2.p65
214
ANEXO III
OBJETIVOS
DE
DESARROLLO
DEL
Indicadores
Meta 1: Entre 1990 y 2015, reducir a la mitad la proporcin de personas con un ingreso inferior a un dlar al da
1.
2.
3.
Anexos3.p65
MILENIO (ODM)
Meta 2: Entre 1990 y 2015, reducir a la mitad la proporcin de personas que padecen
hambre
4.
Indicadores
Meta 3: Garantizar que, para 2015, los nios de todas partes, nios y nias por igual,
tengan la posibilidad de terminar un curso
completo de escolaridad primaria
6.
Indicadores
Meta 4: Preferiblemente para 2005, eliminar la desigualdad de gnero en la educacin primaria y secundaria y, a ms tardar
en 2015, en todos los mbitos de la educacin
9.
215
5.
7.
8.
216
Indicadores
Indicadores
Meta 6: Entre 1990 y 2015, reducir en tres cuartos el coeficiente de mortalidad materna
Indicadores
VIH/SIDA,
la mala-
Meta 7: Para 2015, haber reducido a la mitad y comenzado a dar marcha atrs a la
propagacin del VIH/SIDA
Meta 8: Para 2015, haber reducido a la mitad la incidencia del paludismo y de otras
enfermedades importantes
18. Incidencia del VIH entre mujeres embarazadas con edades entre los 15 y los 24
aos
19. Tasa de incidencia de anticonceptivos
20. Nmero de nios a quienes el VIH/SIDA
ha dejado hurfanos
21. Tasas de incidencia y de muerte asociadas con el paludismo
22. Proporcin de la poblacin en zonas de
riesgo de paludismo que utiliza medidas eficaces de prevencin y tratamiento del paludismo
23. Tasas de incidencia y de muerte asociadas con la tuberculosis
24. Proporcin de casos de TB detectados y
curados segn el Curso Corto de Tratamiento Directamente Observado (DOTS,
por sus iniciales en ingls)
Indicadores
Meta 9: Integrar en las polticas y programas pas los principios de desarrollo sostenible y dar marcha atrs a la prdida de
recursos naturales
Anexos3.p65
216
217
Anexo III
Meta 10: Para 2015, reducir a la mitad la proporcin de personas sin acceso sostenible a
agua potable segura
Indicadores
Meta 12: Desarrollar an ms un sistema comercial y financiero abierto, regido por las
normas, predecible y no discriminatorio.
Algunos de los indicadores que se relacionan a continuacin van a ser objeto de seguimiento por separado
para los Pases Menos Desarrollados (PMD), frica, pases sin salida al mar y pequeos Estados isleos en desarrollo.
Meta 13: Resolver las necesidades especiales de los pases menos desarrollados.
Incluye acceso libre de aranceles y cuotas para las ex-
portaciones de los Pases Menos Desarrollados; programas mejorados de alivio de la deuda para Pases Pobres
Muy Endeudados y la cancelacin de la deuda oficial
bilateral; y una Ayuda Oficial para el Desarrollo ms generosa para pases comprometidos con la reduccin de
la pobreza.
Anexos3.p65
217
218
Acceso al mercado
37. Proporcin de exportaciones (por valor
y excluyendo armas) admitidas libres
de aranceles y cuotas
Meta 15: Tratar de manera integral los problemas de la deuda de los pases en desarrollo a travs de medidas nacionales e
internacionales con el fin de hacer sostenible la deuda en el largo plazo
[por medio del Programa Barbados y de las estipulaciones de la Vigsima segunda Asamblea General]
Sostenibilidad de la deuda
41. Proporcin de deuda oficial bilateral de
PPME cancelada
42. Servicio de la deuda como porcentaje
de las exportaciones de bienes y servicios
43. Proporcin de AOD prestada como alivio de la deuda
44. Nmero de pases que han alcanzado
puntos de decisin de PPME y de terminacin
Meta 16: En colaboracin con los pases en
desarrollo, desarrollar y ejecutar estrategias
para ofrecer a los jvenes empleos decentes y productivos
Indicadores
45. Tasa de desempleo de personas con
edades entre 15 y 24 aos
Meta 18: En colaboracin con el sector privado, poner al alcance de todos los beneficios de las nuevas tecnologas, en particular
las de la informacin y las comunicaciones
Anexos3.p65
218
ANEXO IV
POLTICAS
SRI LANKA
Diciembre de 2003
Polticas Nacionales de Evaluacin del Gobierno de Sri Lanka
Introduccin
El gobierno de Sri Lanka es plenamente consciente del creciente consenso internacional en el sentido que la evaluacin constituye un aspecto bsico de la gobernabilidad, la cual busca aumentar la efectividad del desarrollo, la transparencia, la
rendicin de cuentas y un proceso decisorio informado. A lo largo del presente documento, al trmino evaluacin se le entiende en el contexto del desarrollo y se utiliza
la definicin del Comit de Ayuda para el Desarrollo (DAC)/OCDE como la estimacin
sistemtica y objetiva de un proyecto, de un programa o de las polticas en curso o
concluidas, la formulacin de stos, su ejecucin y resultados con la finalidad de determinar la pertinencia y cumplimiento de los objetivos, la eficiencia del desarrollo,
su eficacia, impacto y sostenibilidad. Una evaluacin debe ofrecer informacin creble y til, que permita la incorporacin en el proceso decisorio de lecciones aprendidas. Para mejorar la rendicin de cuentas del desempeo, el aprendizaje de lecciones y el
perfeccionamiento de las polticas en el sector privado, resulta vital la evaluacin sistemtica de proyectos, programas instituciones y polticas.1 La evaluacin tambin es
una herramienta de reformas del sector pblico. El xito final de la evaluacin depende de cun adecuado sea el uso que los planificadores y los encargados del proceso
decisorio den a los hallazgos de la evaluacin y a las lecciones aprendidas para mejorar la
formulacin de las polticas y la planeacin. Es, por consiguiente, necesario crear vnculos
fuertes entre evaluacin, por una parte y formulacin de las polticas, reformas, planeacin y
confeccin del presupuesto, por la otra. La adopcin de polticas nacionales de evaluacin
Anexos4.p65
La utilidad de las evaluaciones tambin tiene aplicacin para otros sectores. El nfasis del presente documento, sin embargo, se pone en las polticas nacionales para el sector pblico. Segn
se desee, se puede aplicar en otros sectores.
219
220
Anexos4.p65
Informe de sntesis de pas del Banco Asitico para el Desarrollo sobre Evaluacin, 1999. Se sabe
que el desempeo de proyectos financiados por otros organismos donantes no es mejor.
220
221
Anexo IV
Anexos4.p65
Unidad Nacional de Operaciones (NOR), la cual ser el punto central encargado de recabar, analizar y presentar informacin econmica y sobre el desarrollo a los encargados de formular las
polticas, y hacer seguimiento y evaluar los trabajos y las inversiones para el desarrollo en el
plano subnacional.
221
222
Anexos4.p65
Las evaluaciones son estimaciones prcticas que sirven fines prcticos. No son estudios de investigacin cientfica emprendidos para el avance de los conocimientos, ni tampoco actos de vigilancia
A la evaluacin se la debe considerar bsicamente como instrumento de rendicin
de cuentas y aprendizaje de lecciones. Para los fines de objetividad y credibilidad de la
evaluacin, la independencia reviste importancia crucial. Sin embargo, para los
propsitos del aprendizaje de lecciones es necesario crear un sentido de participacin. Dependiendo de las necesidades y de las circunstancias, los gestores deben justificar la seleccin de evaluaciones externas, internas o conjuntas. A todas
las instituciones del sector pblico se las debe alentar a utilizar las evaluaciones
como instrumentos para responder por los resultados, as como por el aprendizaje de lecciones.
Es necesario estimular todos los tipos de evaluaciones: ex post, de impacto y de
mitad de periodo, que sirven diferentes propsitos y se realizan en fases distintas
del ciclo del proyecto. Se debe dar preferencia a las evaluaciones en curso y de
mitad de perodo. Con el nimo de contar con una perspectiva del desarrollo ms
amplia, el gobierno asigna atencin particular a la evaluacin de sectores, instituciones, polticas y reas temticas.
Es necesario crear un nexo entre los hallazgos y las lecciones de la evaluacin con la
formulacin de las polticas, las reformas, la planificacin y el proceso de confeccin de
presupuesto. El gobierno debe aprender de los hallazgos de la evaluacin y comunicar la informacin sobre la evaluacin, y compartirla con otras partes interesadas. Los hallazgos de la evaluacin de las polticas y de los programas para el
desarrollo se debe poner a disposicin inmediata del pblico y de los medios. Se
aconseja contar con un sitio en internet para este propsito.
En ciertas circunstancias, las evaluaciones deben ser de carcter obligatorio y desde
un comienzo se deben hacer las reservas adecuadas de fondos. Los proponentes
de las polticas, programa o proyecto deben garantizar la capacidad de evaluacin.
En el momento de hacer la planificacin, de disear los programas y de formular las polticas se deben incorporar las inquietudes que se van a evaluar. Los temas que se van a evaluar se deben elegir con base en el contenido de aprendizaje potencial que tengan y en su
pertinencia para el desarrollo. (Vanse los criterios de seleccin a continuacin).
222
223
Anexo IV
Se hace hincapi en la necesidad de que todas las instituciones del sector pblico
implanten la evaluacin en las prcticas de gestin para el desarrollo.
Operatividad
Criterios de seleccin para la evaluacin
Por razones tanto prcticas como financieras, tal vez no sea conveniente evaluar todos los programas para el desarrollo. Es indispensable que las autoridades responsables de la ejecucin de un programa o proyecto determinado inicien acciones para
realizar la evaluacin de proyectos, programas y polticas importantes. A este respecto, todos los ministerios sectoriales deben disear su propio plan de evaluacin. Es
ms, el Comit de Polticas Econmicas y/o NOR y/o los Comits de Seguimiento del
nivel Nacional, deben identificar las reas que se deben evaluar, de acuerdo con un
plan rotatorio bianual. Cuando seleccionen proyectos y programas para hacerles evaluaciones independientes, ministerios sectoriales pueden conformar un equipo compuesto por los siguientes miembros:
1. Un representante de la Divisin de Examen del Seguimiento y el Avance (MPDI,
por sus iniciales en ingls) del MPDI y del NOR.
2. Un representante del Departamento de Recursos Externos y del organismo donante, cuando se vayan a evaluar proyectos con financiacin extranjera.
3. Representantes del Departamento Nacional de Planeacin y del Departamento
de Presupuesto Nacional.
4. Representantes de la academia y/o de organizaciones de la sociedad civil, como la
Asociacin de Evaluacin de Sri Lanka (SLEva, por sus iniciales en ingls).
Este Comit debe examinar y seleccionar proyectos adecuados para evaluarlos,
permitiendo al MPRD/MPDI hacer seguimiento a los actuales estudios de evaluacin. El
comit de seleccin debe utilizar los siguientes criterios para escoger los proyectos o
programas que se van a evaluar.
Anexos4.p65
223
224
Anexos4.p65
224
225
Anexo IV
Anexos4.p65
225
226
debe integrar inquietudes sociales y ambientales. La estimacin de beneficiario debe formar parte integral de la evaluacin de programas sociales. Se debe prestar la atencin
debida al entorno poltico y de las polticas. En el momento de la planeacin y de la
formulacin del proyecto se deben integrar las inquietudes respecto de la evaluacin.
Para proyectos con un valor superior a los diez millones de dlares y en el momento
de la preparacin del proyecto, se debe utilizar la teora de programa, el modelo lgico del Anlisis de Marco Lgico (AML), con indicadores bien definidos de desempeo.
Para proyectos con un valor inferior a los diez millones de dlares se los debe alentar
a hacer uso de estos enfoques con indicadores de datos bsicos y de puntos de referencia cuando sea posible. Se alienta a la PCEU con SLEva y a otras organizaciones de la
sociedad civil a tener una participacin proactiva en la preparacin de proyectos importantes, examinando y confirmando los indicadores de desempeo, tanto datos
bsicos como objetivos. Comoquiera que las evaluaciones son investigaciones prcticas y no estudios de investigacin cientfica, tal vez sea preferible utilizar metodologas
de evaluacin inicial rpida participativa sencillas, con eficiencia de costos y menos
dispendiosas.
Es, as mismo, necesario disear metodologas, directrices, estndares, ticas y prcticas
locales que estn a la par de estndares internacionales aceptados. Es indispensable
crear metodologa, conocimientos y desarrollar idoneidad para tener en cuenta las
necesidades particulares de los sectores. Esta labor la debe emprender la Asociacin
de Evaluacin de Sri Lanka en colaboracin con la MPDI y otras organizaciones de la
sociedad civil.
Anexos4.p65
226
227
Anexo IV
donde sea apropiado en el proceso decisorio; c) fijar estndares, tica y mejores prcticas; y d) hacer seguimiento a la capacidad de evaluacin en el sector pblico.
Conjuntamente con organizaciones de la sociedad civil profesionales en evaluacin, la PCEU de la MPDI asistirn a los ministerios sectoriales en la construccin de
capacidad de evaluacin, en el desarrollo de estndares, metodologas y capacidad
mejorada de los funcionarios. Como parte de las labores para construir una industria
local de consultora de evaluacin, los ministerios sectoriales pueden contratar el trabajo de
evaluacin con proveedores externos del sector privado y de organizaciones de la sociedad civil. Con el fin de introducir las evaluaciones participativas en el sector pblico,
el gobierno alentar este tipo de colaboracin y de alianzas con ONG y OSC.
Los donantes han realizado muchas evaluaciones ex post financiadas por los mismos donantes, con escasa participacin de funcionarios del pas respectivo. Si bien
un enfoque unilateral como este ayuda a garantizar la objetividad de la evaluacin, no
ayuda al desarrollo de las capacidades de pas ni tampoco ayuda a crear un nexo
entre la evaluacin y el proceso de planeacin general. El gobierno debe animar a los
donantes a fortalecer la capacidad de evaluacin de pas. Ms an, con la finalidad de
garantizar una coordinacin central de la evaluacin, todas las misiones de evaluacin de proyectos con financiacin extranjera y las evaluaciones independientes deben tener nexos con la PCEU. En la PCEU debe existir un centro de documentacin para
poder tener acceso a todos los informes de evaluacin.
Consultores y contratacin
En la medida de lo posible, los ministerios sectoriales deben seleccionar empresas
locales o personas profesionales calificadas, competentes y experimentadas. El gobierno se ha comprometido con el empeo de promover la capacidad interna en evaluacin. As mismo, con el nimo de transferir conocimientos y destrezas en metodologas,
tcnicas y prcticas de la evaluacin, se debe estimular la conformacin de empresas
en participacin entre profesionales locales y consultores extranjeros.
Financiacin de la evaluacin
Para realizar evaluaciones de calidad aceptable, es necesario contar con recursos financieros suficientes. Los ministerios y los Consejos Provinciales deben hacer las reservas
necesarias para realizar las evaluaciones en las estimaciones presupuestarias anuales.
Adems del respaldo financiero en las reservas de fondos consolidados del gobierno,
tambin se hace necesario, para realizar las evaluaciones, contar con fondos incorporados en proyectos con ayuda extranjera. El gobierno debe ofrecer financiacin regular
para evaluaciones posteriores, ya que, por lo general, stas no se pueden incluir en
proyectos financiados desde el extranjero. Para evaluaciones institucionales, de las
polticas y temticas se deben hacer arreglos financieros similares. Para estos propsitos, debe existir un voto por separado en la MPDI y en otros ministerios sectoriales.
Anexos4.p65
227
228
Supervisin
La MPDI har seguimiento a la ejecucin de las anteriores polticas con el fin de garantizar el xito de las mismas en el cumplimiento de los objetivos propuestos. Previa
consulta con las organizaciones de la sociedad civil, como SLEva, Cmara de Comercio y Organizacin de Asociaciones Profesionales, la Secretara de la MPDI har seguimiento anual a la ejecucin de las polticas. Previa consulta con las partes interesadas,
la MPDI, desarrollar una modalidad consultiva y de supervisin la cual reflejara inter
alia, la creacin de la cultura de evaluacin en el sector privado.
Anexos4.p65
228
ANEXO V
Prlogo
Ley para reforzar la rendicin de cuentas, manejar Sistemas de Informacin, evaluar
el desempeo de las personas, Departamentos e Instituciones del Estado de Andhra
Pradesh y para todas las cuestiones vinculadas con estos aspectos y accesorias a ellos.
El estado de Andhra Pradesh est preparado para la gobernabilidad con una gestin eficiente de todos los recursos y avanza hacia convertirse en un Swarnandhrapradesh.
El desarrollo posible cientfico y sistemtico del Estado se puede dar de la mejor
manera posible a travs de la gestin eficiente de Sistemas de Informacin que surgen a nivel de las bases. Un desarrollo tal va en la bsqueda de una evaluacin basada en necesidades del desempeo de personas, departamentos e instituciones.
Las personas, los departamentos y las instituciones debern responder por su desempeo con incentivos y elementos disuasorios.
Tal sistema de rendicin de cuentas y de evaluacin deber crear una gobernabilidad SMART (Simple, Moral, Responsable (por accountable), Receptiva y Transparente).
Contenido
Captulo 1
Captulo 2
Captulo 3
Captulo 4
Captulo 5
Captulo 6
Captulo 7
Captulo 8
Captulo 9
Captulo 10
Captulo 11
Anexos5.p65
Ttulo abreviado
Hallazgos y propsito
Historia de las reformas administrativas en Andhra Pradesh
Sistema de Rendicin de Cuentas del Desempeo
Planeacin estratgica
Flujo de informacin
Medicin del desempeo y documentacin
Seguimiento y evaluacin
Incentivos y elementos disuasorios
Comits cumbre
Informes anuales de desempeo
229
230
Captulo 1
1. Ley
que estipula el establecimiento de la planeacin estratgica y de la medicin del
desempeo en el gobierno del Estado y sirve a otros fines.
Promlguese por la Asamblea Estatal Legislativa del Gobierno de Andhra Pradesh
(GDAP).
2. Ttulo corto
La presente ley puede ser citada como Ley de 2003 de Rendicin de Cuentas de
Andhra Pradesh.
Su observancia deber cubrir la totalidad del Estado de Andhra Pradesh, incluyendo:
a. Todos los departamentos bajo el gobierno del Estado;
b. Todos los rganos semigubernamentales, rganos locales, instituciones cooperativas, etc., bajo el control del gobierno;
c. Todas las instituciones del sector pblico bajo el control del gobierno;
d. Todas las organizaciones o instituciones o personas que reciban cualquier forma
de subvencin o asistencia o ayuda, ya sea monetaria o de cualquier otra forma,
del gobierno o del erario pblico.
(1) La vigencia de la presente Ley comenzar en la fecha que el gobierno estime
conveniente, mediante notificacin en la Gaceta Oficial de Andhra Pradesh.
Captulo 2
Hallazgos y propsito
1. Hallazgos
El gobierno ha determinado que:
a. la falta de eficiencia de los programas que opera el gobierno socava la confianza
de la gente y restringe la capacidad del gobierno para resolver problemas de inters pblico de manera adecuada;
b. debido a un flujo inadecuado de informacin, los funcionarios del gobierno se
encuentran en situacin de desventaja en sus intentos por mejorar la eficiencia y
la eficacia de los programas; y
c. la articulacin insuficiente con las metas y objetivos de los programas, el desempeo y los resultados perjudica gravemente la formulacin de polticas y las decisiones financieras.
Anexos5.p65
230
231
Anexo V
2. Propsitos
Los propsitos de la presente ley son:
a. Mejorar la confianza de la gente en la capacidad del gobierno estatal haciendo
sistemticamente responsables a los departamentos, instituciones y personas del
gobierno del logro de los resultados de los programas;
b. Iniciar una serie de reformas de desempeo fijando metas de programa, midiendo el desempeo frente a estas metas y presentando informes pblicos sobre los
avances de esas metas;
c. Mejorar la efectividad del gobierno y la rendicin pblica de cuentas poniendo el
nfasis en resultados, calidad del servicio y satisfaccin del cliente;
d. Motivar a los funcionarios del gobierno para mejorar el servicio orientndolos
hacia la planeacin para lograr los objetivos, suministrndoles informacin sobre
calidad del servicio y resultados;
e. Mejorar el proceso decisorio a distintas instancias ofreciendo informacin ms
objetiva sobre cmo alcanzar metas, mejorar la efectividad y la eficiencia de los
programas y el gasto del gobierno; y
f. Mejorar la gestin interna del gobierno estatal.
Captulo 3
Historia de las reformas administrativas en Andhra Pradesh
El Estado de Andhra Pradesh ha sido pionero en la iniciacin de Reformas Administrativas para mejorar el desempeo de los programas que opera el gobierno:
1.
2.
3.
4.
5.
6.
7.
8.
9.
Anexos5.p65
231
232
10. Subcomit del Gabinete sobre Reformas Administrativas presidido por Sri
Vidyadher Rao (2000)
11. Documento de estrategia sobre Gobernabilidad y Gestin Pblica (enero 2002)
Captulo 4
Sistema de Rendicin de Cuentas del Desempeo (SRCD)
En cada departamento o institucin se crear un sistema de rendicin de cuentas del
desempeo, compuesto por un marco integral de Actividades de Gestin del Desempeo, entre ellas las siguientes:
1.
2.
3.
4.
5.
Planeacin estratgica
Flujo de informacin
Medicin del desempeo
Seguimiento y evaluacin del desempeo
Confeccin de presupuestos basada en desempeo.
Captulo 5
Planeacin estratgica
1. Planeacin estratgica
Todos los departamentos e instituciones del gobierno formularn un plan estratgico, el cual deber ser congruente con la visin del gobierno del Estado.
(1) El enfoque del plan ser en: a) datos bsicos, b) Identificacin de puntos de
referencia, c) explicacin detallada de objetivos y estrategias;
(2) El plan estratgico deber cubrir un periodo de un ao a partir del ao fiscal
de su presentacin, y deber ser actualizado y revisado;
(3) Se consultar al gobierno durante el proceso de formulacin del plan estratgico, y tambin se tendrn en cuenta las opiniones y las sugerencias de todas
las personas posiblemente afectadas por el plan o con un inters en el mismo.
(4) Al comienzo de cada ao financiero, y previa consulta con la Secretara y con
el ministro interesado, los jefes de departamento prepararn un plan para el
ao siguiente. Este plan deber ser presentado al ministro quien, a su vez, lo
presentar ante la Asamblea.
(5) Las funciones y actividades del plan estratgico debern ser funciones
inherentemente gubernamentales y nicamente las podrn cumplir funcionarios del gobierno.
2. Contenido de un plan
El plan estratgico deber incluir:
(1) Una declaracin integral de misin que cobije a todas las funciones y operaciones principales del departamento con el fin de reforzar la capacidad del
gobierno en formulacin de polticas y de mejorar el desempeo de las partes
Anexos5.p65
232
233
Anexo V
(2)
(3)
(4)
(5)
(6)
(7)
(8)
clave del servicio pblico, que hagan un aporte significativo al desarrollo social y econmico del Estado;
Una declaracin de visin que indique la direccin en la cual pretende avanzar
el departamento y cules son los principales logros que proyecta alcanzar;
Metas y objetivos generales, incluyendo metas y objetivos relacionados con
los efectos respecto de las principales funciones del departamento;
La descripcin de la manera en que se van a alcanzar las metas y los objetivos
(Plan de Accin), incluyendo la descripcin de los procesos operativos, destrezas y tecnologas, y los recursos humanos, de capital, de informacin y
otros necesarios para cumplir esas metas y esos objetivos.
La descripcin de la manera en que las metas de desempeo incluidas en el
Plan se relacionarn con las metas departamentales.
La descripcin de los grados de responsabilidad; es decir, las metas mensurables;
La identificacin de aquellos factores clave externos al organismos que trasciendan las instancias de control y que podran afectar de manera significativa al logro de las metas y de los objetivos generales, y
La descripcin integral de las herramientas de evaluacin utilizadas para estimar o revisar los objetivos y la formulacin de metas compatibles.
Captulo 6
Flujo de informacin
1. Clasificacin de la informacin
(1) Toda la informacin solicitada, de cualquier fuente, deber ser o bien codificada, o verbal, o textual, o numrica, o audiovisual, o alfanumrica, o calificada
o porcentual o de cualquier otra clase, segn se requiera y deber presentarse
en los formatos prescritos especficos a cada instancia, en cada departamento
o en cada institucin.
(2) La informacin se clasificar como Ordinaria, Urgente y Prioridad Mxima y
en los formatos se designar como X, XX, XXX y la informacin confidencial
se designar como Confidencial.
2. Centros de informacin
(1) Para cada departamento o institucin habr tres instancias de centros de informacin, es decir: a) instancia del Estado, b) instancia de Distrito / instancia de
Unidad, y c) Instancia Mandal / instancia de Subunidad.
(2) Segn se especifica en la subseccin (1), cada departamento o institucin identificar y designar a los tres instancias para comunicar la informacin desde
las instancias inferiores hacia los superiores y en la Gaceta Oficial se har la
notificacin correspondiente.
(1) En cada nivel habr un funcionario de nodo (por nombramiento), quien estar a cargo de la oficina de esa unidad y ser personalmente responsable de la
recoleccin, recopilacin, anlisis, documentacin, recuperacin, conserva-
Anexos5.p65
233
234
Anexos5.p65
234
235
Anexo V
Captulo 5
Medicin del desempeo y documentacin
1. Medicin del desempeo
La medicin del desempeo deber conectar los planes estratgicos con los resultados y deber ser un proceso continuo de:
Anexos5.p65
235
236
Anexos5.p65
236
237
Anexo V
(2) Uno de los altos funcionarios del departamento o institucin dirigir la seccin, con la ayuda de personal adicional, y estar sujeto al control de la Secretara del departamento interesado.
(3) La seccin analizar peridicamente la informacin con el fin de extraer las
tendencias para formulacin de las polticas por parte del gobierno en cada
departamento sobre sus objetivos, segn lo indicado.
(4) Especialistas en el tema pueden asociarse con los funcionarios y el personal
del departamento en la Seccin de Investigacin y Anlisis.
(5) Los procedimientos y las funciones de la Seccin de Investigacin y Anlisis
sern las prescritas.
Captulo 8
Seguimiento y evaluacin
1. Evaluacin
(1) La evaluacin del desempeo se har a todas las personas que trabajan en la
jurisdiccin de los tres centros, es decir: a) centro de la instancia Estatal b)
Centro de Distrito/de Unidad, c) instancia de Mandal/Subunidad y en cada
departamento o institucin del Estado.
(2) Se confeccionarn indicadores de desempeo para cada instancia, segn se
especifica en la Seccin (1) relativos a su jurisdiccin en los formatos prescritos aprobados por el Comit Cumbre de cada departamento o institucin y
podrn ser revisados peridicamente por el gobierno, segn se requiera.
2. Parmetros de evaluacin
(1) Los parmetros de evaluacin de personas, departamentos o instituciones
sern los adecuados segn sea el caso y estarn sujetos a la aprobacin de los
Comits Cumbre interesados, o del gobierno.
(2) Los parmetros debern incluir una indicacin del desempeo de las personas, departamentos o instituciones para fines de recuperacin de rentas, economa del gasto, utilidad del gasto, capacidades en planeacin, manejo del
tiempo, logro de metas, rapidez para ponerse a disposicin de algo, competencias administrativas, seguimiento e inspeccin o cualesquiera otros parmetros, segn se especifique.
(3) Todos los parmetros debern ser graduables o cuantificables con tiempo, dinero, trabajo, etctera, y debern ser especficos de manera cientfica para las
personas, departamentos o instituciones.
(4) Segn lo apruebe el gobierno, habr cuatro grados para la evaluacin del
desempeo de cada departamento o institucin individual (ejemplo: A, B, C
y D).
Anexos5.p65
237
238
3. Autoridad de evaluacin
(1) Los siguientes funcionarios examinarn el desempeo de las personas que
trabajan en su jurisdiccin, valindose de los indicadores prescritos: instancia
de Mandal / Subunidad: funcionario a cargo de Mandal/Subunidad. Instancia de Distrito / Unidad; Recolector de Distrito/Funcionario de la Unidad. Instancia del Estado: Secretara o Jefatura de Departamento.
(2) Con la ayuda de uno o ms secretarios nombrados para este fin, el ministro
en jefe o el secretario en jefe del Estado deber examinar el desempeo de
todos los departamentos o instituciones del Gobierno.
(3) El organismo encargado de examinar el desempeo de todas las dems organizaciones o instituciones o personas que reciben cualquier tipo de subsidio o
asistencia o ayuda, ya sea sobresaliente o de otra forma, del gobierno o del
erario pblico, ser segn lo indicado.
4. Reuniones de examen
(1) El funcionario a cargo de Mandal / la Subunidad examinar el desempeo en
su jurisdiccin en los formatos prescritos una vez al mes (es decir) el primer
da de cada mes.
(2) El recolector de distrito o el funcionario de la unidad del departamento o la
institucin interesada examinar el desempeo en su jurisdiccin en los
formatos prescritos una vez al mes (es decir) el quinto da de cada mes.
(3) El secretario o el jefe del departamento, segn sea el caso, examinar el desempeo del departamento o departamentos o instituciones, segn sea el caso,
en los formatos prescritos una vez al mes (es decir) el dcimo da de cada mes.
(4) El ministro en jefe o el secretario en jefe examinar el desempeo de todos los
departamentos en la segunda semana de cada trimestre (es decir) durante el
mes de enero, abril, julio y octubre de cada ao.
(5) De vez en cuando, en cualquiera de las instancias mencionadas en la presente seccin, se realizarn reuniones especiales de examen para cualquier propsito, adems de las reuniones regulares de examen, segn orden del
gobierno.
Captulo 9
Incentivos y elementos disuasorios
1. Incentivos
(1) Se pueden crear incentivos para personas, departamentos o instituciones por
su elevado desempeo. como reconocimiento especial y deber ser segn lo
especificado.
(2) El Comit Cumbre deber ser el organismo encargado de otorgar estos incentivos a las personas en su jurisdiccin, segn las normas del gobierno.
(3) El gobierno ser el organismo encargado de otorgar estos incentivos a los
departamentos o instituciones.
Anexos5.p65
238
239
Anexo V
2. Elementos disuasorios
(1) Al tenor de la presente ley, en caso de falta de ejecucin o de incumplimiento,
las autoridades competentes debern iniciar accin disciplinaria por medio
de sanciones, segn lo prescrito bajo las Normas CCA para los siguientes:
a. No entrega de informacin
b. Demora consistente en entregas de informacin
c. Entrega de informacin falsa
d. Anlisis inexacto
e. Incumplimiento de las funciones oficiales en conexin con la responsabilidad fijada al tenor de la presente ley y de las normas.
f. Fallas de desempeo, segn lo prescrito
g. Irregularidades financieras
h. Uso indebido de almacenes, herramientas y planta
i. Inobservancia de la convocatoria a reuniones de examen, acciones de seguimiento, seguimiento de las inspecciones, etctera.
j. Incumplimiento en la documentacin y conservacin de registros.
3. Organismo con competencia de apelacin
El organismo con competencia de apelacin a las rdenes del Comit Cumbre o del
gobierno, segn sea el caso, al tenor de la presente ley, ser el Tribunal Superior de
Andhra Pradesh.
Captulo 10
Comits cumbre
1. Conformacin del Comit Cumbre
(1) Para cada departamento o institucin habr un Comit Cumbre presidido
por el ministro a cargo del departamento o institucin como presidente, y el
secretario o jefe del departamento interesado, como vicepresidente
(2) El Comit Cumbre ser un Comit de nuevos miembros, incluyendo el presidente y el vicepresidente, junto con otros siete miembros (por nombramiento), procedentes de actividades diferentes, como Administracin, Contabilidad,
Tcnico, etc., de ese departamento o institucin.
(3) El Comit Cumbre puede cooptar expertos, hasta un mximo de seis miembros o convocar a cualesquiera miembros invitados con el fin de escuchar sus
sugerencias.
(4) La membresa al Comit Cumbre tendr una duracin de tres aos y cualquier vacante casual ser ocupada mediante convocatoria del Comit Cumbre para cooptar nuevos miembros.
(5) La funcin del Comit Cumbre ser la prescrita y ser el organismo encargado de la ejecucin de la ley en la jurisdiccin del departamento o de la institucin.
Anexos5.p65
239
240
2. Reuniones
(1) El Comit Cumbre de cada departamento o institucin deber reunirse obligatoriamente el dcimo da de cada trimestre, es decir durante los meses de
enero, abril, julio y octubre de cada ao.
(2) El presidente, en ausencia del presidente, el vicepresidente deber presidir la
reunin.
(3) Segn su criterio, el presidente puede convocar especialmente a una reunin
del Comit Cumbre en cualquier momento, segn se requiera.
(4) Uno de los miembros del Comit Cumbre actuar como secretario de la reunin para organizar las reuniones, y ser nombrado por el presidente.
(5) El secretario ser personalmente responsable de convocar a las reuniones trimestrales y a las reuniones especiales en las fechas especificadas y documentar todas las actas de la reunin y los informes de acciones emprendidas.
(6) Todas las veces que sea necesario, el secretario emprender todas las acciones
requeridas para ejecutar lo dispuesto en las actas de la reunin e igualmente
pondr en conocimiento del Comit Cumbre todos los asuntos respecto de
las acciones emprendidas y que se deben realizar respecto de las actas del
Comit para accin futura.
Captulo 11
Informes anuales de desempeo
1. Libros de registro del desempeo
(1) En todas las tres instancias, para cada persona habr un libro de registro del
desempeo, el cual estar al cuidado del funcionario a cargo, quien lo entregar a su sucesor en el momento en que deje de cumplir esas funciones.
(2) El libro contendr las autoevaluaciones del funcionario contralor as como las
estimaciones de los subalternos sobre metas fijadas y los logros alcanzados
cada mes.
(3) El libro ser objeto de examen por parte de los comits departamentales de
ascensos o de los funcionarios en el momento del ascenso al siguiente peldao del escalafn. El libro no tendr carcter de confidencial y ser un libro
abierto.
2. Manuales de departamento y manuales de funciones
(1) Para cada departamento o institucin habr un manual de departamento con
el fin de orientar un trabajo uniforme hacia el logro de los objetivos.
(2) Tambin habr en cada departamento o institucin un manual de funciones
para todos los tipos de trabajo, con procedimientos detallados y la asignacin
de las responsabilidades de las diferentes instancias.
(3) Todas las personas que trabajen en el departamento o en la institucin se
debern regir por el Manual de departamento y por el Manual de funciones.
Anexos5.p65
240
241
Anexo V
Anexos5.p65
241
242
Captulo 12
Desarrollo de recursos humanos
1. Institutos de capacitacin
(1) En el mbito del Estado habr un instituto nodal de formacin para el desarrollo de recursos humanos, dirigido a funcionarios y al personal y se crearn
centros distritales de formacin bajo el control del instituto.
(2) El instituto nodal de formacin har seguimiento y coordinar las actividades de todos los dems institutos de formacin en varios departamentos, segn lo prescrito.
(3) Habr un presupuesto central de capacitacin el cual manejar el instituto
nodal de capacitacin para su distribucin entre los distintos departamentos,
como porcentaje de estimaciones presupuestarias, segn lo prescrito de vez
en cuando.
(4) El instituto nodal de capacitacin disear un plan estratgico para todos los
institutos de capacitacin con base en la estimacin de las necesidades de
capacitacin para los funcionarios y para el personal de los distintos departamentos e instituciones.
2. Capacitacin
(1) Para los funcionarios y el personal se impartir capacitacin en competencias
administrativas, competencias tcnicas, competencias de gestin y otras destrezas segn lo prescrito, con la finalidad de mejorar la eficiencia y la eficacia
para el logro de los objetivos del programa del Estado.
(2) Las actividades de capacitacin pueden ser de las categoras siguientes y se
pueden realizar durante el periodo de tenencia del cargo.
a) Capacitacin en orientacin;
b) Capacitacin en servicio;
c) Capacitacin especial; y
d) Otras actividades de capacitacin, segn lo prescrito.
(3) Los componentes de la capacitacin, su duracin, el nmero de sesiones, la
seleccin de los participantes y otras modalidades requeridas para organizar
los programas de capacitacin sern segn lo prescrito.
3. Anlisis de retroinformacin
Con base en el anlisis de retroinformacin de los aprendices, se har seguimiento a
la efectividad de la capacitacin y se asignar la responsabilidad en los aprendices
durante el periodo de capacitacin y despus de ste.
Anexos5.p65
242
243
Anexo V
Captulo 13
Gobernabilidad acertada
El gobierno de Andhra Pradesh trabaja con miras a un gobierno SMART:
S: Simplificacin del gobierno: para habilitar al gobierno para mejorar la calidad
del servicio al cliente y aumentar el valor del cliente en trminos monetarios
por medio de la simplificacin de procedimientos.
M: Gobierno moral: desarrollar un plan HRM eficaz implantando nuevas estructuras y enfoques al HRM
A: Gobierno responsable: mejorar la calidad y la oportunidad de la prestacin de
servicios y crear una cultura flexible de desempeo con un enfoque en resultados en todo el servicio pblico, por medio de sistemas que hagan seguimiento y midan eficazmente el desempeo.
R. Gobierno receptivo con un enfoque en los ciudadanos: asegurarse de que la gente
tenga gran participacin en la gobernabilidad del Estado, por medio de mecanismos participativos en la planeacin y el seguimiento de la prestacin de
servicios, reforzando la descentralizacin y garantizando la inclusin de los
pobres y los desfavorecidos.
T. Transparencia del gobierno: mejorar los sistemas de planeacin, de asignacin
de recursos, de seguimiento, de gestin y contables, y el acceso a la informacin de tal manera que sea clara la responsabilidad, y el gasto pblico sea
transparente y se controle con mayor efectividad.
Captulo 14
Varios
1. Autoridad para eliminar las dificultades
(1) Si surgiere alguna dificultad para dar efecto a las disposiciones de la presente
ley, segn lo demande la ocasin, segn providencia publicada en la Gaceta
de Andhra Pradesh, el gobierno har todo lo que parezca necesario para eliminar la dificultad.
(2) Tan pronto como sea posible, una vez dictadas, todas las providencias dictadas al tenor de la presente seccin se debern poner sobre la mesa de la Asamblea Legislativa del Estado y debern ser sometidas a tales modificaciones
por medio de enmiendas o revocacin, segn lo determine la Asamblea Legislativa en la misma sesin o en la siguiente.
2. Facultad normativa
(1) Mediante notificacin en la Gaceta oficial, el gobierno del Estado puede dictar normas para llevar a cabo los propsitos de la presente ley.
(2) Inmediatamente despus de que se dicten, todas las normas al tenor de la
presente ley debern ser sometidas ante la Asamblea Legislativa del Estado,
si se encuentra en sesin, y si no se encuentra en sesin, entonces en la sesin
Anexos5.p65
243
244
Anexos5.p65
244
245
Anexo V
8. Por sistemas de informacin se entienden los sistemas aprobados de recoleccin, recopilacin, anlisis, documentacin, recuperacin, conservacin y comunicacin de la informacin, desde el nivel de las bases hasta el nivel de Comit
Cumbre, segn lo prescrito.
9. Por desempeo se entienden todas las clases de desempeo graduable con respecto al logro de los objetivos de las metas fijadas, bien sea monetarias, de servicio, o de otra forma segn lo prescrito.
10. Por notificacin se entiende la notificacin publicada en la Gaceta de Andhra
Pradesh y el texto notificado se interpretar en consecuencia.
Anexos5.p65
245
Anexos5.p65
246
ANEXO VI
GLOSARIO
Actividad: Acciones emprendidas o trabajo realizado por medio del cual insumos, como
fondos, asistencia tcnica y otros tipos de recursos, se movilizan para producir productos especficos.
Trmino relacionado: mediacin para el desarrollo.
Anlisis de riesgo: Anlisis o estimacin de factores (llamados suposiciones en el marco
lgico) que afectan o probablemente puedan afectar el logro exitoso de los objetivos
de una mediacin. Examen detallado de los efectos potenciales no deseados y negativos para la vida humana, la salud, la propiedad o el medio ambiente representados
por mediaciones para el desarrollo; proceso sistemtico para proporcionar informacin respecto de tales efectos indeseados; el proceso de cuantificacin de las probabilidades e impactos esperados para riesgos identificados.
Aseguramiento de la calidad: El aseguramiento de la calidad abarca cualquier actividad
que tenga que ver con estimar y mejorar el mrito o la vala de una mediacin para el
desarrollo o su cumplimiento con estndares dados.
Nota: Entre los ejemplos de aseguramiento de la calidad se incluyen evaluaciones
iniciales, gestin basada en resultados (GBR), revisiones durante la ejecucin, evaluaciones, etc. As mismo, el aseguramiento de la calidad se puede referir a la estimacin
de la calidad de una cartera de inversiones y a su efectividad para el desarrollo.
Asociados: Las personas u organizaciones que colaboran para lograr objetivos acordados
mutuamente.
Nota: El concepto de asociado connota metas compartidas, responsabilidad comn de
los efectos, rendicin de cuentas por separado y obligaciones recprocas. Entre los
asociados se puede incluir a gobiernos, sociedad civil, organizaciones no gubernamentales, universidades, gremios profesionales e industriales, organizaciones
multilaterales, empresas privadas, etctera.
Atribucin: La imputacin de un nexo casual entre cambios observados (o que se espera
observar) y una mediacin especfica.
Nota: Atribucin se refiere a aquello a lo que se le van a atribuir los cambios observados o los resultados logrados. El trmino representa el grado al cual los efectos del
desarrollo observados se pueden atribuir a una mediacin especfica o al desempeo
de uno o ms asociados teniendo en cuenta otras mediaciones, factores desconcertantes (previstos o no previstos), o conmociones externas.
Anexos6.p65
247
248
Anexos6.p65
248
249
Glosario
Eficiencia: Una medida de cun econmicamente los recursos/insumos (fondos, conocimientos tcnicos especializados, tiempo, etc.) se convierten en resultados.
Estudio bsico: Un anlisis descriptivo de la situacin previo a una mediacin para el
desarrollo, en relacin con si hacer una estimacin de los avances o hacer comparaciones.
Evaluacin: La estimacin sistemtica y objetiva de un proyecto, programa o polticas en
curso o concluidos, de su diseo, ejecucin y resultados. La finalidad es determinar la
pertinencia y el logro de objetivos, eficiencia del desarrollo, efectividad, impacto y
sostenibilidad. Una evaluacin debe ofrecer informacin creble y til, que permita la
incorporacin de lecciones aprendidas en el proceso decisorio, tanto de receptores
como de donantes.
La evaluacin tambin se refiere al proceso de determinar la vala o significacin de
una actividad, polticas o programa. Una estimacin, tan sistemtica y objetiva como
sea posible, de una mediacin para el desarrollo planificada, en curso o concluida.
Nota: En algunos casos, el trmino evaluacin implica la definicin de estndares apropiados, el examen del desempeo comparado con esos estndares, una estimacin de
resultados reales y esperados y la identificacin de lecciones pertinentes.
Trmino relacionado: examen.
Evaluacin a mitad de camino: Evaluacin realizada hacia la mitad del periodo de ejecucin de la mediacin.
Trmino relacionado: evaluacin formativa.
Evaluacin conjunta: Evaluacin en la cual participan organismos y/o socios donantes
diferentes.
Nota: Dependiendo del grado al cual los asociados individuales cooperen en el proceso de evaluacin, fusionen sus recursos de evaluacin y combinen la presentacin de
informes sobre la evaluacin, existen varios grados de conjuncin. Las evaluaciones
conjuntas pueden servir para superar problemas de atribucin en la estimacin de la
efectividad de programas y estrategias, la complementariedad de los esfuerzos apoyados por diferentes asociados, la calidad de la coordinacin de la ayuda, etctera.
Evaluacin de conglomerado: Una evaluacin de un conjunto de actividades, proyectos
y/o programas relacionados.
Evaluacin de proceso: Evaluacin de la dinmica interna de las organizaciones ejecutoras,
sus instrumentos de las polticas, sus mecanismos de prestacin de servicios, sus prcticas de gestin y los nexos entre todos ellos.
Trmino relacionado: evaluacin formativa.
Evaluacin de programa de pas/Evaluacin de ayuda a pas: Evaluacin en un pas socio
de la cartera de mediaciones para el desarrollo de uno o ms donantes u organismos,
y la estrategia de ayuda que los respalda.
Evaluacin de programa: Evaluacin de un conjunto de mediaciones, reunidas para lograr objetivos de desarrollo globales, regionales, de pas o sectoriales especficos.
Nota: Un programa de desarrollo es una mediacin limitada en el tiempo, que involucra
actividades que pueden trascender sectores, temas y/o zonas geogrficas.
Trmino relacionado: evaluacin de programa/estrategia de pas.
Anexos6.p65
249
250
Evaluacin de proyecto: Evaluacin de una mediacin individual para el desarrollo diseada para lograr objetivos especficos dentro de programaciones de recursos y de ejecucin especificados, con frecuencia dentro del contexto de un programa ms amplio.
Nota: El anlisis de costos y beneficios es un instrumento principal de la evaluacin de
proyecto para proyectos con beneficios mensurables. Cuando no se pueden cuantificar los beneficios, la relacin eficiencia/costo representa un enfoque apropiado.
Evaluacin de recapitulacin: Estudio realizado al final de una mediacin (o de una fase
de esa mediacin) con el objeto de determinar la medida en la cual se produjeron los
efectos previstos. La finalidad de la evaluacin de recapitulacin es la de proporcionar informacin sobre la vala del programa.
Trmino relacionado: evaluacin de impacto.
Evaluacin ex ante: Una evaluacin que se realiza antes de la ejecucin de una mediacin
para el desarrollo.
Trmino relacionado: evaluacin inicial, calidad a la entrada.
Evaluacin ex post: Evaluacin de una mediacin para el desarrollo una vez ha concluido.
Nota: Esta evaluacin se puede realizar directamente despus o mucho despus de la
conclusin. El propsito es identificar los factores de xito o fracaso, con el fin de
estimar la sostenibilidad de los resultados e impactos y de sacar conclusiones que
puedan informar otras mediaciones.
Evaluacin externa: La evaluacin de una mediacin para el desarrollo realizada por entidades y/o personas ajenas a los donantes y a las organizaciones ejecutoras.
Evaluacin formativa: Una evaluacin que busca mejorar el desempeo, la cual casi siempre se realiza durante la fase de ejecucin de proyectos o programas.
Nota: Las evaluaciones formativas tambin se pueden realizar por otras razones, como
cumplimiento, requisitos legales o como parte de una iniciativa de evaluacin de mayor envergadura.
Trmino relacionado: evaluacin de proceso.
Evaluacin independiente: Una evaluacin que realizan entidades y personas no sometidas al control de las personas responsables del diseo y la ejecucin de la mediacin
para el desarrollo.
Nota: En parte, la credibilidad de una evaluacin depende del grado de independencia con que se haya realizado. Independencia implica libertad de influencia poltica y
de presin de una organizacin. Se caracteriza por el acceso pleno a la informacin y
por la autonoma plena para llevar a cabo investigaciones y para presentar los hallazgos.
Evaluacin inicial: Una estimacin global de la pertinencia, factibilidad y sostenibilidad
potencial de una mediacin para el desarrollo, anterior a una decisin de financiacin.
Nota: En los bancos, organismos para el desarrollo, etc., el propsito de una evaluacin inicial es el de permitir a los encargados del proceso decisorio tomar una decisin
sobre si la actividad representa un uso apropiado de recursos corporativos.
Trmino relacionado: evaluacin ex ante.
Evaluacin interna: Evaluacin de una mediacin del desarrollo realizada por una unidad y/o individuos adscritos a la organizacin donante, asociada o ejecutora.
Trmino relacionado: autoevaluacin.
Evaluacin participativa: Mtodo de evaluacin en el cual representantes de organismos
y partes interesadas (incluyendo los beneficiarios) trabajan juntos en el diseo, ejecucin e interpretacin de una evaluacin).
Anexos6.p65
250
251
Glosario
Anexos6.p65
251
252
Anexos6.p65
252
253
Glosario
Anexos6.p65
253
254
Anexos6.p65
OCDE
2002a.
254
REFERENCIAS
BIBLIOGRFICAS
Banco Mundial. Core Welfare Indicators Questionnaire. Washington, D.C. Disponible en la direccin electrnica http://www4.worldbank.org/afr/stats/pdf/cwiq.pdf
. Ghana Core Welfare Indicators. Washington, D.C. Disponible en la direccin electrnica http://www.worldbank.org/afr/stats/pdf/ghcoreinds.pdf
. Introducing the Core Welfare Indicators Questionnaire (CWIQ). Washington, D.C. Disponible en la direccin electrnica http://www4.worldbank.org/afr/
stats/pdf/cwiqloop.pdf
. 1997. World Development Report 1997: The State in a Changing World. Nueva
York: Oxford University Press.
. 2000. Rural Development Indicators Handbook. Segunda edicin. Washington, D.C. Disponible en la direccin electrnica http://www-wds.worldbank.org/
servlet/
WDS_IBank_Servlet?pcont=details&eid=000094946_01061604041624
. 2001a. International Program for Development Evaluation Training (Ipdet)
[Programa Internacional de Evaluacin y Formacin para el Desarrollo] . http:/
/www.worldbank.org/oed/ipdet/
. 2001b. Outcomes-Based Budgeting Systems: Experience from Developed and
Developing Countries. Washington, D.C.
. 2001c. Readiness AssessmentToward Results-Based Monitoring and Evaluation
in Egypt. Washington, D.C.
. 2001d. Readiness AssessmentToward Results-Based Monitoring and
Evaluation in Romania. Washington, D.C.
. 2001e. Readiness AssessmentToward Results-Based Monitoring and
Evaluation in the Philippines. Washington, D.C.
. 2002a. Documentos e informes de pas Albania. Washington, D.C. Disponible en la direccin electrnica http://lnweb18.worldbank.org/eca/albania.nsf
. 2002b. Heavily Indebted Poor Country Initiative (HIPC). Washington, D.C.
Disponible en la direccin electrnica http://www.worldbank.org/ug/hipc.htm
. 2002c. Readiness AssessmentToward Results-Based Monitoring and
Evaluation in Bangladesh. Washington, D.C.
bibliografia.p65
255
256
bibliografia.p65
256
257
Bibliografa
ECD,
bibliografia.p65
257
258
. 2003. Indicators for Monitoring the Millennium Development Goals. Nueva York, N.Y.
Naciones Unidas. Disponible en la direccin electrnica http://www.developmentgoals.org/
mdgun/MDG_metadata_08-01-03_UN.htm
NYC.gov. 2003. Nueva York City Continues to be the Nations Safest Large City.
http://www.nyc.gov/ html/om/html/2003a/crime_falls.html
OConnell, Paul E. 2001. Using Performance Data for Accountability: The Nueva
York City Police Departments CompStat Model of Police Management.
PricewaterhouseCoopers Endowment for The Business of Government:
Arlington, Va.
OCDE (Organizacin para la Cooperacin y el Desarrollo Econmicos). 2001.
Evaluation Feedback for Effective Learning and Accountability. Pars: OCDE/
DAC.
. 2002a. Glossary of Key Terms in Evaluation and Results-Based Management.
Pars: OCDE/DAC.
. 2002b. Public Management and Governance (PUMA). Overview of ResultsFocused Management and Budgeting in OECD Member Countries. Vigsima
tercera reunin anual de funcionarios fiscales senior de la OCDE. Washington,
D.C. Junio 3-4.
Oficina General de Contabilidad de Estados Unidos (GAO). 2002. Highlights of a GAO
Forum, Mergers and Transformation: Lessons Learned for a Department of
Homeland Security and Other Federal Agencies. Washington, D.C.
. 2003. Program Evaluation: An Evaluation Culture and Collaborative
Partnerships Help Build Agency Capacity. Washington, D.C.
Oficina de Gestin y Presupuesto de Estados Unidos. 1993. Government Performance
Results Act of 1993. Washington, D.C.
Osborne, David y Ted Gaebler. 1992. Reinventing Government. Boston, Mass.: AddisonWesley Publishing.
Picciotto, Robert. 2002. Development Cooperation and Performance Evaluation: The
Monterrey Challenge. Banco Mundial. Documento de trabajo preparado para
la mesa redonda sobre Mejor medicin, seguimiento y gestin de resultados
para el desarrollo, auspiciada por los bancos multilaterales para el desarrollo en
colaboracin con el Comit de Asistencia para el Desarrollo, de la Organizacin
para la Cooperacin Econmica y el Desarrollo. Washington, D.C., junio 5-6.
PNUD (Programa de las Naciones Unidas para el Desarrollo). 2001. Human
Development Report. Nueva York: Oxford University Press. Tambin disponible en la direccin electrnica http://www.undp.org/hdr2001/faqs.html##1
. 2002. Handbook on Monitoring and Evaluating for Results. Nueva York: Oficina
de Evaluacin de PNUD.
Presidente de la Junta del Tesoro de Canad. 2002. Canadas Performance 2002: Annual
Report to Parliament. Ottawa, Canad.
Reino Unido. Oficina del Gabinete. n.d. Disponible en la direccin electrnica http://
www.cabinet-office.gov.uk
bibliografia.p65
258
259
Bibliografa
bibliografia.p65
259
260
OTRAS
LECTURAS
Introduccin
Banco Mundial. 1994. Report of the Evaluation Capacity Task Force. Washington, D.C.
Kettl, Donald F. 2002. The Global Public Management revolution: A Report on the
Transformation of Governance. Washington, D.C.: Brookings Institution.
Kusek, J. Z. y R. C. Rist. 2000. Making M&E MatterGet the Foundation Right.
Evaluation Insights. 2(2):7-10.
. 2002. Building Results-Based Monitoring and Evaluation Systems: Assessing
Developing Countries Readiness. Zeitschrift fr Evaluation. (1): 151-158.
. 2003. Readiness Assessment: Toward Performance Monitoring and Evaluation
in the Kyrgyz Republic. Japanese Journal of Evaluation Studies. 3(1): 17-31.
Mayne, John and Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public
Sector: Future Directions from International Experience. New Brunswick, N.J.:
Transaction Publishers.
Picciotto, Robert y Eduardo D. Wiesner, eds. 1998. Evaluation and Development. New
Brunswick, N.J.: Transaction Publishers.
bibliografia.p65
260
261
Bibliografa
Captulo 1
Boyle, Richard y Donald Lemaire, eds. 1999. Building Effective Evaluation Capacity:
Lessons from Practice. New Brunswick, N.J.: Transaction Publishers.
Kusek, Jody Zall y Ray C. Rist. 2000. Making M&E MatterGet the Foundation Right.
Evaluation Insights. 2(2):7-10
. 2001. Building a Performance-Based M&E System: The Challenges Facing
Developing Countries. Evaluation Journal of Australasia. 1(2):14-23.
. 2002. Building Results-Based Monitoring and Evaluation Systems: Assessing
Developing Countries Readiness. Zeitschrift fr Evaluation, (1): 151-158.
. 2003. Readiness Assessment: Toward Performance Monitoring and Evaluation
in the Kyrgyz Republic. Japanese Journal of Evaluation Studies. 3(1):17-31.
Captulo 2
International Fund for Agricultural Development (IFAD). 2002. Managing for Impact
in Rural Development: A Guide for Project M&E. Roma: IFAD. Disponible en la
direccin electrnica http://www.ifad.org/evaluation/guide/
Khan, M. Adil. 2001. A Guidebook on Results Based Monitoring and Evaluation: Key
Concepts, Issues and Applications. Monitoring and Progress Review Division,
Ministry of Plan Implementation, Government of Sri Lanka. Colombo, Sri
Lanka.
International Development Association ( IDA ). 2002. Measuring Outputs and
Outcomes in IDA Countries. IDA 13. Banco Mundial, Washington, D.C.
Captulo 3
Departamento de Justicia de Estados Unidos. National Institute of Justice. Mapping
and Analysis for Public Safety. Washington, D.C.: Departamento de Justicia
de Estados Unidos. Disponible en la direccin electrnica http://www.ojp.usdoj.gov/
nij/maps/
Departamento del Tesoro de Estados Unidos, Servicio de Gestin Financiera. 1993.
Performance Measurement Guide. Washington, D.C.: Departamento del Tesoro de Estados Unidos.
Hatry, Harry P. 2001. What Types of Performance Information Should be Tracked,
en Dall W. Forsythe, ed., Quicker, Better, Cheaper? Managing Performance in
American Government. Albany, N.Y.: Rockefeller Institute Press.
Kusek, J. Z. y Ray C. Rist. 2000. Making M&E MatterGet the Foundation Right.
Evaluation Insights 2(2):7-10.
Mayne, John y Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public
Sector: Future Directions from International Experience. New Brunswick, N.J.:
Transaction Publishers.
bibliografia.p65
261
262
Captulo 5
Wye, Chris. 2002. Performance Management: A Start Where You Are, Use What You
Have Guide. Arlington, Va.: IBM Endowment for Business in Government.
Serie Gestin por Resultados.
Captulo 6
Mayne, John y Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public
Sector: Future Directions from International Experience. New Brunswick, N.J.:
Transaction Publishers.
Programa de las Naciones Unidas para el Desarrollo (PNUD ). 2002. Handbook on
Monitoring and Evaluating for Results. Nueva York: Oficina de Evaluacin del
PNUD.
Captulo 7
Creswell, John W. 1994. Research Design: Qualitative and Quantitative Approaches.
Thousand Oaks, Calif.: Sage Publications.
Furubo, J. E., R. C. Rist y R. Sandahl, eds. 2002. International Atlas of Evaluation. New
Brunswick, N.J.: Transaction Press.
Consejo Francs de Evaluacin. 1999. A Practical Guide to Program and Policy Evaluation.
Pars, Francia: Consejos Cientficos y Nacionales de Evaluacin.
Patton, Michael Q. 2002. Qualitative Research and Evaluation Methods, 3rd ed. Thousand
Oaks, Calif.: Sage Publications.
Rist, Ray C., ed. 1999. Program Evaluation and the Management of Government. New
Brunswick, N.J.: Transaction Publishers.
Vedung, Evert. 1997. Public Policy and Program Evaluation. New Brunswick, N.J.:
Transaction Publishers.
Wholey, J. S., H. P. Hatry y K. E. Newcomer, eds. 1994. Handbook of Practical Program
Evaluation. San Francisco, Calif.: Jossey-Bass Publishers.
Worthen, B. R., J. R. Sanders y J. L. Fitzpatrick. 1997. Program Evaluation: Alternative
Approaches and Practical Guidelines, segunda edicin. New York, N.Y.: Addison,
Wesley, and Longman.
bibliografia.p65
262
263
Bibliografa
Captulo 8
Creswell, John W. 1994. Research Design: Qualitative and Quantitative Approaches.
Thousand Oaks, Calif.: Sage Publications.
Kumar, Krishna, ed. 1993. Rapid Appraisal Methods. Banco Mundial. Washington, D.C.
Rist, Ray C. 1994. Influencing the Policy Process with Qualitative Research, en
Norman K. Denzin y Yvonna S. Lincoln, eds. Handbook of Qualitative Research.
Thousand Oaks, Calif.: Sage Publications.
Banco Mundial. 2003. International Program for Development Evaluation Training.
Disponible en la direccin electrnica http://www.worldbank.org/oed/ipdet/ and
http://www.carleton.ca/ipdet/
Captulo 9
Leeuw, Frans L., Ray C. Rist y Richard C. Sonnichsen. 1994. Can Governments Learn?
Comparative Perspectives on Evaluation and Organizational Learning. New
Brunswick, N.J.: Transaction Publishers.
Rist, Ray C. 1997. Evaluation and organizational learning. Evaluation Journal of
Australasia. 9(1&2).
Captulo 10
Boyle, Richard y Donald Lemaire, eds. 1999. Building Effective Evaluation Capacity:
Lessons from Practice. New Brunswick, N.J.: Transaction Publishers.
Georghiou, Luke. 1995. Assessing the Framework Programmes. Evaluation. 1(2): 171188.
Ittner, Christopher D. y David F. Larcker. 2003. Coming Up Short on Nonfinancial
Performance Measurement. Harvard Business Review. 81(11): 88-95.
Mayne, John y Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public
Sector: Future Directions from International Experience. New Brunswick, N.J.:
Transaction Publishers.
Pollitt, Christopher. 1995. Justification by Works or by Faith? Evaluation. I(2): 133154.
. 1997. Evaluation and the New Public Management: An International
Perspective. Evaluation Journal of Australasia. 9(1&2): 7-15.
bibliografia.p65
263
bibliografia.p65
264
bibliografia.p65
265
bibliografia.p65
266
2
Elegir los efectos
para monitorearlos
y evaluarlos
4
Establecer datos
bsicos sobre
indicadores.
Situacin actual
Determinar el
papel de las
evaluaciones
6
Hacer seguimiento
para obtener
resultados
Utilizar los
hallazgos
8
Presentar
informes
sobre
hallazgos
10
Sustentar SyE en
la organizacin
958-97647-4-6
Planificar para
mejorar. Seleccionar
objetivos
de resultados
Seleccionar
indicadores clave
para monitorear
los efectos
Hacer una
estimacin de
la preparacin
Diez pasos
hacia un
sistema de
seguimiento
y evaluacin
basado en
resultados
System