Академический Документы
Профессиональный Документы
Культура Документы
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
CAPÍTULO VII
CONCLUSIONES
Comparar los sistemas de S&E que han surgido en la región no es una tarea fácil, menos
si se trata de estudiar su grado de institucionalización. Es así debido a la heterogeneidad
de los contextos institucionales en que se han desarrollado los sistemas, las diferencias de
sus edades y, sobre todo, a la escasez de conocimiento disponible sobre los factores que
explican su institucionalización.
Acudiendo al estado del arte, acá hemos destacado algunos factores que pudieran ayudar
a comprender por qué determinados sistemas, desde su propia creación, han logrado
arraigar y luego pervivir en el tiempo. Aspiramos a que esa comprensión contribuya a
aportar lecciones prácticas así como a alimentar la teoría sobre cómo institucionalizar una
función de S&E de los resultados de la gestión pública que la convierta en un instrumento
más eficaz del desarrollo y de la democracia.
La clasificación que hemos adoptado para comparar los sistemas de S&E utiliza tres
variables que directa o indirectamente se refieren a tales funciones.
Una variable alude al contexto en que se sitúan los sistemas en estudio. Acá, recurriendo
a la distinción que establece Schick (2005), hemos destacado el mecanismo que
normalmente existe a nivel de país para la asignación del gasto. El supuesto que
adoptamos es que no tiene las mismas implicaciones en el grado de institucionalización de
un sistema de S&E el que se ubique en un contexto con una función institucionalizada de
planificación del desarrollo desplegada en el ámbito más estrictamente político del
gobierno y con un sentido estratégico, que en un contexto donde las prioridades
nacionales son establecidas sólo a través del presupuesto. La distinción no desconoce
que en la experiencia latinoamericana los planes han tenido poco efecto sobre los
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
presupuestos 1 ; en este sentido, se trata de una distinción con fines heurísticos aunque
también tiene un componente normativo, habida cuenta de la creciente importancia que se
le reconoce a la interfaz planificación-presupuesto para el desarrollo y a la articulación del
S&E a ambos.
Las otras dos variables que hemos adoptado para comparar los sistemas de S&E aluden
directamente a las funciones gubernamentales a las que nominal y realmente ellos
pretenden apoyar. Una variable se refiere a la orientación general del sistema, o sea a las
funciones que cumple predominantemente. La otra variable, directamente vinculada con la
anterior, distingue si el sistema tiene una sola función por diseño, o si no obstante
privilegiar una función que le imprime su orientación, manifiesta cumplir otras funciones
adicionales; esto es lo que denominamos vocación monofuncional o multifuncional,
respectivamente.
La tercera categoría incluye aquellos sistemas que por diseño tienen una orientación
mixta, vale decir tanto política como económica. Como es obvio, este tipo de sistemas
tiene una vocación multifuncional.
Con base en esta tipología, la Tabla Nº 7 presenta un mapa preliminar de los sistemas de
S&E en los países estudiados.
1
Osvaldo Feinstein, en sus comentarios a la primera versión de este trabajo (mensaje electrónico,
noviembre de 2007), recordaba que en los últimos 30 años la interfaz presupuesto-planificación no operó en
la práctica.
2
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Tabla N° 7
Mapa inicial de los sistemas de S&E
En este sentido el mapa ofrece una primera conclusión de tipo descriptivo que no deja de
ser interesante: asumiendo que nuestra clasificación es adecuada, existen muchos más
sistemas con orientación política que económica, mixta o social. Es más, este tipo de
orientación no se reduce exclusivamente a contextos con un sistema de planificación
altamente institucionalizado como es el caso de países con PND. También existen
sistemas de orientación predominantemente política en países jalonados por el
Presupuesto Nacional.
En efecto, como lo ilustra la Tabla N° 8, mientras algunos sistemas tienen un algo grado
de estabilidad y experimentan sólo cambios marginales, otros se encuentran en plena
gestación, y, como se ha descrito, en algunos casos continúan definiendo o redefiniendo
su vocación funcional y su orientación mientras se estabilizan, lo cual sugiere un alto
3
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Tabla N° 8
Estado actual de los sistemas
Si se consideran los cambios que están en curso, es altamente probable que aumenten
los sistemas con una orientación mixta, como podría ser claramente el caso de México, y
eventualmente el de otros, tal como lo ilustra la Tabla N° 9. De hecho, en el “Mapa Inicial”
(Tabla N° 7) sólo el sistema de S&E del PPA de Brasil aparecía con una clara orientación
mixta, mientras que todos los demás -en principio, con excepción de Bolivia- se originaban
con una orientación particular, bien sea política (en muchos más casos) o económica. Sin
embargo, el predominio de una sola orientación empieza a ser cuestionado en la medida
que se observan esfuerzos por generar convergencias, tanto en los sistemas más jóvenes,
como en algunos de los más antiguos. Volveremos sobre este punto más adelante.
4
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Tabla N° 9
Desplazamientos en orientación general (las convergencias)
Por otra parte, del análisis se desprende que hay desplazamientos en lo relativo a la
vocación funcional: el mapa inicial da cuenta de una mayoría de sistemas que manifiestan
tener una vocación multifuncional. Sin embargo, contrastando la diversificación de sus
funciones con la real diversificación de sus herramientas, es posible concluir que en la
práctica actualmente predominan los sistemas monofuncionales, tal como lo ilustra la
Tabla N° 10. Los resultados que expresa esta tabla pudieran parecer contradictorios con la
anterior, pero es importante considerar que el desplazamiento de orientación en la
mayoría de los casos se mantiene sólo como un intención y que, en los hechos, no
obstante manifestar una vocación multifuncional, tales sistemas aún tienden a operar
como monofuncionales según se deriva del análisis. También volveremos a esto más
tarde. En todo caso, desde ya cabe destacar que la diversificación funcional, respaldada
por una diversificación de herramientas y por la coherencia institucional, parece ser uno de
los elementos clave que explica la institucionalización de un sistema, en tanto deviene en
un uso más intensivo de los resultados del S&E en apoyo a otras funciones
gubernamentales.
5
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Tabla Nº 10
Vocación funcional real (al año 2007)
Vocación funcional
Monofuncional Multifuncional
Sistemas
SCG Chile X
SINERGIA Colombia X
SINE Costa Rica X
PEG-SEV Uruguay X
SSEEP Argentina X
MCE-SIPP Paraguay X
SPG Chile X
SMMP Brasil X
SE del PND Bolivia X (*)
SSEGP Perú X (*)
SIERP-Gerencia Honduras X (*)
SINASID Nicaragua X (*)
Fuente: Elaboración propia.
(*) Actualmente estos sistemas operan realmente como monofuncionales, no obstante que su
orientación funcional en el futuro pareciera ser mixta, en cuyo caso debieran, a su vez, convertirse
en multifuncionales.
Finalmente, del análisis no pareciera derivarse una asociación importante entre el grado
de institucionalización de los sistemas y el contexto institucional en lo relativo a los
mecanismos utilizados para la asignación del gasto. De hecho, pareciera que existen
sistemas de S&E relativamente institucionalizados en ambos tipos de contextos. Cabe
considerar, en cualquier caso, que si nos atenemos a los resultados de las entrevistas a
actores clave, se insinúa una tendencia a valorizar la existencia de planes multianuales de
desarrollo, incluso para la propia solidez de los sistemas de S&E. En Argentina, por
ejemplo, algunos de los entrevistados sugieren que la ausencia de planes pudiera ser la
principal causa del bajo impacto de los sistemas de S&E. Como lo destacaremos luego,
esto pareciera insinuarse incluso en el caso del sistema de S&E liderado por la Dirección
de Presupuesto (SCG) de Chile, que es reconocido como uno de los sistemas altamente
institucionalizados. El problema que se destaca en este sentido es que la ausencia de
planes puede restar coherencia a los programas y, por ende, sesgar los resultados de las
evaluaciones que se realizan en torno a ellos. El ejercicio que se realiza en el informe de
Chile, intentando realizar una evaluación del SCG, puede ser interesante en este sentido
(Ríos, 2007). Hay, de todas maneras, un importante contraste en el grado de
institucionalización entre el SCG (con una clara orientación económica) y el sistema con
orientación política que existe en Chile, al punto de que cabe interrogarse si la ausencia de
un sistema de planificación formalizado resta impacto a los sistemas con orientación
política. El informe sobre el sistema hondureño, que tiene una orientación política, pudiera
avalar esta conclusión, en atención a que allí se sostiene que la ausencia de un
documento rector de planificación es la causa de la alta heterogeneidad en la definición de
las metas e indicadores.
Lo que este tipo de evidencia pareciera sugerir es que el contexto incide en la coherencia
6
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
En cualquier caso, tales consideraciones nos obligan a realizar dos tipos de miradas para
tratar de ofrecer mayores argumentos sobre las conclusiones acá insinuadas. Primero,
una mirada concentrada de nuevo en los propios sistemas, mostrando cómo las
categorías que hemos adoptado para analizar el grado de institucionalización de un
sistema sirven para explicar algunas de sus principales diferencias en ese sentido.
Segundo, una mirada a nivel de país, que ofrezca una perspectiva más integral de las
conexiones entre los sistemas y que pueda iluminar, aunque sea provisoriamente, sobre
los efectos de la diversificación funcional del S&E al interior de un país.
Como ya lo hemos advertido, tal vez una de las conclusiones más destacables es que, no
obstante la vocación multifuncional que manifiesta tener la mayoría de los sistemas en
estudio, sólo unos pocos sistemas la realizan en la práctica en una clara correspondencia
con los altos niveles de institucionalización que ellos detentan.
Dos situaciones destacan del análisis de los casos en estudio. Uno, lo representa el caso
del Sistema de Control de Gestión de Chile donde la presencia de un promotor dotado
de recursos de influencia sobre todo el sector público -el poderoso Ministerio de
Hacienda- pareciera haber sido clave para asegurar la real concreción de la vocación
multifuncional del sistema y, por ende, para reforzar su utilidad, tal como lo sugiere
Mackay (2006).
7
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Como hemos apreciado hay otra manera de incrementar la probabilidad del uso de los
resultados de un sistema, que consiste en asegurar que ellos sean de utilidad práctica
directa a diferentes tipos de usuarios. Bajo esta perspectiva de análisis, el espectro de
sistemas multifuncionales aumenta un poco, pero no demasiado. Hay, en este sentido,
una cierta coincidencia entre sistemas con orientación predominantemente política y
diversificación de usuarios. El propósito de la rendición de cuentas, que caracteriza a este
tipo de sistemas, convierte a la ciudadanía en objeto de atención expreso. Aunque se
perciben marchas y contramarchas, el hecho de que exista un módulo especial en algunos
sistemas -como SINERGIA, de Colombia, por ejemplo- da cuenta de una atención expresa
en esa dirección.
El usuario que, en cualquier caso, tiende a ser marginal en prácticamente todos los
sistemas corresponde a los niveles directivos de la administración pública. Con ello, la
función de aprendizaje gerencial que reportan algunos sistemas se mantiene aún en un
plano retórico aunque, como discutiremos más adelante, en algunos casos se empiezan a
ver avances en la creación de mecanismos para incentivar la atención de los actores que
apuntan en la dirección adecuada.
Otra conclusión que refuerza la relativa debilidad de la mayoría de los sistemas en este
aspecto de su institucionalización, concierne a la función de evaluación. En particular,
existe evaluación y seguimiento en uno de los sistemas de Brasil y de Chile, y en los
sistemas de Colombia y México. Los sistemas de Nicaragua y Uruguay solamente usan
herramientas de seguimiento. En Costa Rica, Perú, Paraguay y Honduras los sistemas
también hacen sólo seguimiento, pero se planea eventualmente introducir herramientas de
evaluación. Siendo así, en la práctica, esfuerzos consolidados de evaluación existen
solamente en cuatro sistemas, mientras que los demás, al menos por ahora, se dedican al
seguimiento.
b. Coherencia institucional
8
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Sin embargo, en el caso de Chile no es evidente que los directivos públicos -y ni siquiera
los ministros sectoriales- participen en la determinación de las prioridades de S&E y en la
definición de los indicadores de gestión. En cambio, el componente de autoevaluación
que contiene el sistema de S&E del Plan Plurianual de Brasil, pareciera que, desde este
punto de vista, asegura mayores niveles de apropiación de parte de los niveles directivos,
aunque, como apreciábamos, tampoco está exento de problemas. Este sistema, de
cualquier manera, es el que más parece operar como tal habida cuenta que contempla
roles formalizados (incluyendo una Comisión de Seguimiento y Evaluación del PPA, y
Unidades de Seguimiento y Evaluación en cada ministerio) con articulaciones que abarcan
toda la administración pública federal en tres etapas: evaluación de programas, evaluación
sectorial y evaluación del PPA.
Por otra parte, sobre todo en los sistemas con orientación política, un elemento que
también parece ser clave es la integración de las oficinas de planificación sectorial en
la operación del sistema. Su ausencia devino en una de las principales causas del
9
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
fracaso, por ejemplo, del SISER de Bolivia que terminó duplicando competencias y
funciones de los ministerios y generando información con poca o ninguna utilidad para los
sectores. Todo esto, según el respectivo reporte, produjo fuertes resistencias en las
entidades sectoriales, las que nunca se apropiaron realmente de la herramienta.
Por otra parte, también se insinúa una tendencia hacia la institucionalización de las
funciones de S&E al interior de las organizaciones públicas, con grados más o menos
orgánicos de vinculación con los respectivos sistemas de S&E. Por ejemplo, en Uruguay,
ya existe una normativa que dispone la creación en todos los ministerios de unidades de
S&E. En Brasil, en los ministerios se han instituido unidades con al menos dos
funcionarios permanentes dedicados al S&E.
Los contextos también son más favorables. Por una parte, hay pasos hacia la creación de
presupuestos orientados a resultados no sólo en Chile, Brasil, México y Uruguay sino
en Perú, Honduras y Argentina, entre otros, que refuerzan la tendencia a la integración del
S&E con el presupuesto (aunque por ahora, en la mayoría permanece como una
intención). Por otra parte, hay una tendencia a revalorizar la institucionalización de
procesos de planificación macro para lograr una mayor coherencia gubernamental. Los
recientes pasos dados, por ejemplo, por Perú, Uruguay y Bolivia, son ilustrativos de esta
tendencia 3 .
3
En Brasil, vinculada a la Presidencia de la República se crea en junio de 2007 la Secretaría de
Planeamiento de Largo Plazo, aunque en octubre la medida se revoca y se dispone que los asuntos relativos
al planeamiento de acciones de desarrollo nacional de largo plazo pasan a ser ejercidos por un Ministerio de
Estado Extraordinario de Asuntos Estratégicos, a cargo del Núcleo de Asuntos Estratégicos y del Instituto de
Pesquisa Económica Aplicada (IPEA).
10
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Comienza también a extenderse el esfuerzo por lograr que los sistemas de S&E provean
información sobre la ejecución tanto física como financiera, lo que, a su vez, denota un
esfuerzo de integración con otros sistemas (en particular, los Sistemas de Administración
Financiera Integrada). Además, se percibe una clara tendencia a lograr la articulación
entre planificación, presupuestación, seguimiento y evaluación en torno a los proyectos
de inversión 4 . Como lo destaca Berretta (2006: 29), el hecho de que ellos constituyan
parte medular de los Planes Plurianuales en Brasil y de los Planes Nacionales de
Desarrollo en Colombia y México y que, a su vez, incorporen la parte discrecional del
gasto público, permite que éste pueda resultar asociado a los objetivos estratégicos de los
gobiernos, haciéndolos más proclives a incorporar la presupuestación por resultados 5 .
11
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
c. Uso de la información
12
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Una variable crítica para entender la falta de credibilidad de la información es tal vez el
tiempo de maduración del sistema mismo, como sugiere Mackay (2006). En efecto, la
mayoría de los sistemas más antiguos empiezan a dar señales de cambio en términos de
un aumento de la credibilidad de la información. Por ejemplo, en el sistema de S&E
asociado al Plan Plurianual del Brasil, en el sistema chileno SCG y en las evaluaciones
externas y de impacto en México se habla ya de una mejor calidad tanto de los
instrumentos metodológicos como de los equipos técnicos. En Colombia se observa
también un proceso de depuración de los indicadores que combina elementos técnicos y
políticos. Aunque por lo general son pocos los casos que mencionan procesos de auditoría
externa o mecanismos formales de validación de los datos (Chile, Brasil), ya existe en el
horizonte de atención de algunos de los sistemas (por ejemplo, Colombia) la necesidad de
trabajar estas debilidades. El CONEVAL, en México, constituye, en este sentido, un
interesante ejemplo del esfuerzo por introducir un mayor aseguramiento de la calidad de
las evaluaciones -en este caso, de los programas sociales 7 .
Sin embargo, el caso de Costa Rica, uno de los más antiguos y donde se reportan
actualmente problemas de credibilidad de la información generada, sugiere que el tiempo
de maduración del sistema no garantiza automáticamente su credibilidad.
Pareciera además que las evaluaciones, especialmente cuando son realizadas por fuera
del gobierno, y cuando utilizan metodologías científicas altamente reconocidas, generan
credibilidad no sólo en los resultados de las mismas, sino para los sistemas dentro de los
cuales se generan. Se podría hablar de un efecto indirecto (halo effect en inglés), que
insinúa que la credibilidad de aquellos sistemas que combinan seguimiento con evaluación
de alta calidad (como es claramente el caso de México, Chile, Brasil y Colombia) es mayor
que la de aquellos sistemas que solamente hacen seguimiento. Sin embargo, algunas
evidencias insinúan que se podría estar creando mercados distorsionados alrededor de las
evaluaciones externas, revelando así la importancia de reconocer cuáles son las
condiciones mínimas que requieren ser satisfechas para evitar las distorsiones.
7
Alejandro Medina sostiene que la experiencia del Consejo Científico de Evaluación que existe en Francia
inspiró en parte al CONEVAL de México, que cuenta con seis consejeros provenientes del mundo
académico, los que fueron seleccionados a través de un proceso nacional que involucró a las diversas
entidades federativas, así como a los partidos políticos.
13
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Otra variable que afecta la credibilidad de la información generada por los sistemas es
exógena a ellos. Alude al grado de confianza en la calidad de los datos estadísticos
producidos por los organismos nacionales de los diversos países. Los países donde éstos
cuentan con alta reputación son los mismos donde se nota más credibilidad de la
información que ofrecen los sistemas. En cambio, en otros países, especialmente aquellos
más pequeños y con menos recursos, existen problemas de credibilidad en relación con
sus organismos estadísticos, como en el caso de la mayoría de los países
centroamericanos. Las discusiones sobre la integridad de indicadores clave para medir la
pobreza en Nicaragua contrasta con la existencia en México de un indicador unificado, y si
bien no exento de controversia, por lo menos generado por un grupo altamente calificado
a través de un proceso sistemático y público, con insumos de su entidad estadística y que
por ley debe ser usado para todas las mediciones. Cabría esperar que en la medida que
los sistemas de S&E se institucionalicen, presionen por la propia mejora de los sistemas
de información 8 .
Existen, de cualquier manera, otros factores que afectan el uso de la información además
de la credibilidad. Algunos sistemas, particularmente los orientados a ofrecer información
para el Ejecutivo, o sea los sistemas predominantemente políticos, sean éstos
multifuncionales o monofuncionales, están altamente influenciados por la actitud del
gobierno de turno frente a los procesos de S&E. En general, en los dos sistemas más
antiguos de este grupo, SINERGIA y SINE, se notan fluctuaciones en la incidencia del
sistema de acuerdo con la atención directa que le ha prestado el Presidente.
Sin embargo, incluso en tales casos, la evidencia es mixta. El uso de la información por
parte del Presidente en instancias como el Consejo de Ministros, como ocurre en
Colombia, en Honduras y en Perú, genera algunas posibilidades de cambio en la dirección
de elementos de los programas o proyectos comentados, pero la influencia es esporádica
e idiosincrática. En los casos de sistemas de metas presidenciales, donde el principal
usuario no es realmente el Presidente sino el ministerio que supervisa la coordinación
macro-gubernamental, la evidencia sugiere que ni el Presidente ni la alta dirección
ministerial prestan atención a la información. Si los gerentes de metas deberían ser los
usuarios directos, no hay evidencia de que lo sean ni en Chile ni en Brasil. Por lo general,
los sistemas de seguimiento tienden a agregar los datos a un nivel que no es del todo útil
para la gestión, como es el caso del SIMEP en México.
De cualquier manera, un factor clave que afecta el uso de los sistemas son las
consecuencias que deriven de los resultados del S&E. Donde existe la obligación de
relacionar medidas de corrección a los informes, independientemente del tipo de
sistema que las exija, se genera una mayor probabilidad de que la información redunde en
algún tipo de impacto real en alguna instancia de la administración pública. Tales son los
casos de México y Chile en relación con las evaluaciones externas, donde se exige a la
unidad evaluada que responda a las recomendaciones y que determine las correcciones
asociadas a los resultados de la evaluación. Pero esto no es garantía; por ejemplo en el
Perú se reporta escasa consideración dada a los procedimientos correctivos. Cuando
8
Debemos esta hipótesis a Alejandro Medina.
14
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
existe otro usuario fijo, como la comunidad internacional donante, como en Nicaragua y
Honduras, hay una mayor garantía del uso de la información, pero ésta no redunda
necesariamente en decisiones internas de mejora de la gestión, productividad o
asignación del gasto.
En algunos casos los informes son directamente utilizados en el Congreso para discutir el
presupuesto, como se reporta en el caso de Chile y, en menor medida, en el caso del PPA
del Brasil; mientras que sistemas como el del Perú, México y Paraguay, que aspiran al
mismo efecto, son aún muy nuevos para determinar su impacto en el Congreso. En
Colombia, a pesar de que el sistema es predominantemente político, por el esfuerzo de
vincular planeación a presupuesto, pareciera que la nueva información orientada a
resultados que se envía al Congreso (a pesar de no ser obligatoria) ha empezado a
generar un tipo de conversación diferente entre los congresistas. En general, sin embargo,
hasta tanto impere la lógica de la negociación en torno a los intereses de los grupos
políticos (como se reporta expresamente en Brasil), es poco probable que los sistemas de
S&E impacten en las decisiones adoptadas por el Congreso.
En relación con la sociedad civil, por lo general los sistemas no son de alto conocimiento
hacia fuera del gobierno, algunos de ellos por diseño y otros por inercia, y por tanto, sus
resultados tienden a no ser usados por aquélla. En particular, varios sistemas de
seguimiento son diseñados explícitamente para uso interno. Sólo unos pocos empiezan a
pensar en crear módulos que presenten información útil al ciudadano, como es el caso del
PPA en Brasil. Otros sistemas que tienen en su base la vocación de rendición de cuentas
al ciudadano intentan ofrecer acceso público de la información, pero sin mucho éxito ya
que por lo general se circunscriben a la difusión a través de la web. Se evidencia, pues, en
general un escaso desarrollo de mecanismos expresos de comunicación y difusión
de los resultados de S&E hacia la sociedad.
15
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
y control ciudadano que se han desarrollado en varios países, a efectos de lograr una
mayor integración de la sociedad a los esfuerzos de S&E que representan los sistemas.
De hecho, respecto de Bolivia, el informe sugiere que ellos pueden facilitar la
implementación del sistema.
Una conclusión casi general es que, en gran parte como producto de los factores
anotados, los sistemas de S&E -salvo unos pocos- tienen un escaso impacto en el
mejoramiento de las funciones con que se relacionan, sea la planificación, la
presupuestación, la rendición de cuentas o el mejoramiento de las instituciones y
programas. Por otra parte, tiende a no existir consecuencias directas de los resultados del
S&E en la gestión institucional; sólo en el SCG de Chile hay consecuencias sobre los
salarios asociados al Programa de Mejoramiento de la Gestión; en Uruguay recién está
planteado el reconocimiento de ahorros a aquellas unidades que logren las metas de
gestión; pero hay fracasos evidentes, como por ejemplo, el de los Acuerdos Programa
implantados en Argentina. En general, en este sentido, no puede dejar de destacarse una
diferencia notable con los países desarrollados donde este tipo de reformas ha estado
unida a la concesión de una mayor libertad de gestión del gasto (Zapico, 2004).
No sobra terminar con una breve reflexión que nos lleva a tomar estas conclusiones con
cautela. En general, la literatura sobre sistemas de S&E (incluyendo nuestros trabajos) ha
tendido a utilizar un criterio simplificado de lo que significa el término “uso de la
información”, como lo resalta Zaltsman (2007) en varios trabajos recientes elaborados
alrededor de su trabajo de disertación doctoral sobre el caso chileno. En estos trabajos
Zaltsman llama la atención sobre la necesidad de diferenciar, como lo hace la literatura de
evaluación de programas propiamente dicha, entre diversos tipos de utilización de la
información y entre diversos momentos en que se puede utilizar esta información en el
proceso presupuestario. Señala este autor que los estudios tienden a formular preguntas
sobre el uso de la información sin distinguir estas variaciones y por tanto se pierde la
oportunidad de profundizar sobre la experiencia en esta área, que es crítica para
determinar el éxito de los sistemas.
Además del uso instrumental, al cual nos hemos referido en este trabajo, la literatura de
evaluación de programas documenta otros dos tipos de uso: i) los usos de legitimación de
decisiones, cuando se utiliza la información para justificar decisiones tomadas a priori, y ii)
los usos de apropiación conceptual, cuando la información se internaliza como aprendizaje
con aplicaciones más amplias y, por tanto, desarrolla capacidad institucional generalizada
aunque no se aplique al contexto directo del objeto evaluado.
16
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
respecto a costos.
d. Sostenibilidad
Las capacidades técnicas del personal, en todos los casos se reporta como una
variable crítica, revelando la importancia de las estrategias sistemáticas de capacitación,
tal como ha operado, por ejemplo, en Colombia.
Por otra parte, el liderazgo político, en particular la atención del Presidente, es clave en
los sistemas predominantemente políticos en países con Planes Nacionales de Desarrollo.
En Colombia y Costa Rica vemos, sin embargo, que la presencia de una normativa básica
ha permitido proteger los sistemas en momentos de debilidad política. En efecto, en los
estudios de caso los entrevistados por lo general opinan que el grado de normativa es
clave para la consolidación en el tiempo de los sistemas. Un hallazgo interesante, sin
17
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
De todas maneras, los otros casos sí sugieren que la normativa es importante. Pero ella
se refiere no solamente a la existencia de decretos de creación de los sistemas como
tales, sino a su fundamentación en otras leyes nacionales de envergadura, como la Ley de
Desarrollo Social en México, o las leyes de modernización de la gestión pública y las
relacionadas con las reformas presupuestarias en varios países, que requieren de
herramientas sólidas de S&E para su efectivo cumplimiento y que, por lo tanto, legitiman o
apoyan el desarrollo de los sistemas.
Otro hallazgo interesante, que por obvio corre el riesgo de ser descuidado en el análisis,
es que los rasgos característicos de los sistemas y su capacidad para consolidarse
efectivamente parecen estar asociados con rasgos de la institucionalidad del país, tales
como la existencia o no de un Plan Nacional de Desarrollo que influya en la formulación
del presupuesto, la división estructural entre presupuesto de inversión y presupuesto de
gasto en algunos países, y relacionado con este punto, la integración o la separación de
funciones de planificación y presupuestación en ministerios diferentes. Estos factores
parecen ser claves para entender las dificultades que muchos países han tenido al crear
sus sistemas, para asegurar una amplia cobertura de ellos y, sobre todo, para asegurar
una articulación o sincronía entre planificación y evaluación de la política pública, por un
lado, y del ciclo de presupuestación que define la asignación del gasto, por el otro.
Existe claridad entre la mayoría de los actores entrevistados y entre los investigadores de
cada caso que si la información no redunda en consecuencias reales, los sistemas no
tienen viabilidad. Existe además conciencia de que el fortalecimiento de la oferta de
información generada por los sistemas en la mayoría de los países depende de que haya
demanda. Ello supone que los actores del Ejecutivo se vean obligados a usar la
información en su planeación para asegurar el nivel de asignación del gasto que
necesitan, y que los actores del Legislativo vean la utilidad que ofrece esta información
para realizar tal asignación de manera que el cumplimiento de lo planeado tenga
consecuencias reales. Sin la sincronización de los procesos de planificación, evaluación y
presupuestación, esto no será posible.
18
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
Gráfico N° 1
Evolución de los Sistemas de Seguimiento y Evaluación
Hay países que cuentan con varios sistemas públicos de S&E basados en resultados que,
a su vez, tienen un alto grado de consolidación. Brasil y Chile pueden ser expresivos de
este conjunto. De hecho, el informe de Brasil da cuenta de, al menos, cuatro sistemas que
reúnen esas características: el sistema de S&E del Plan Plurianual; el sistema de
Seguimiento de Metas Presidenciales; el Sistema de S&E de Programas y Políticas
Sociales; y el Sistema de Evaluación Externa de Programas de Gobierno. Por su parte, en
Chile operan dos sistemas de ese tipo: el Sistema de Control de Gestión y el Sistema de
19
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
De otra parte, hay países que habiendo también experimentado este proceso de
diversificación de los sistemas, actualmente se encuentran avocados a su integración. Un
país que destaca, en este sentido, es México, donde han operado a lo menos cinco
sistemas de S&E de los resultados de la gestión pública: el Sistema de Seguimiento de
Metas Presidenciales; el Intragob; el Modelo Integral de Desempeño de Órganos de
Vigilancia y Control de las Instituciones de la Administración Pública Federal; el Sistema
de Evaluación y Monitoreo Basado en Resultados de los Programas Sociales; todos los
cuales están integrándose alrededor del nuevo Sistema de Evaluación de Desempeño.
Una situación similar ocurre en Bolivia, Perú y Honduras, donde pareciera que se está
experimentando una confluencia de los sistemas que se encuentran en operación. Esta
confluencia acerca los sistemas más recientes a sistemas multifuncionales unificados
creados en la primera mitad de los noventa, particularmente en Costa Rica y Colombia, a
pesar de las diferencias en su orientación.
Surgen, a propósito de este panorama, dos preguntas clave: ¿cabe esperar una tendencia
a la integración de los sistemas? Por otra parte, ¿es la integración de los sistemas un
signo de una alta institucionalización de las funciones del S&E en un país dado?
Para el caso particular de Chile, el informe llama la atención acerca de las ventajas que
tendría, por ejemplo, la institucionalización de un trabajo conjunto de parte de las dos
principales entidades que coordinan sistemas de S&E, a fin de impulsar capacidades
comunes en las unidades de planificación y control de administración financiera de las
entidades públicas, que se traduzcan en la elaboración de indicadores de gestión física y
gestión presupuestaria para los mismos conceptos (programas, actividades, tareas) y con
la misma periodicidad, usando definiciones comunes de términos como eficiencia, eficacia,
economía, etc. 9
La colaboración entre los sistemas que operan en un mismo país puede, de hecho,
9
De acuerdo con Osvaldo Feinstein (mensaje electrónico, noviembre de 2007), este trabajo de coordinación
conjunta de indicadores se está empezando a realizar en México con el apoyo del Banco Mundial.
20
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
redundar en una mayor integración funcional entre ellos sin transgredir sus propios
espacios institucionales. De lo que se trata es que el trabajo de cada uno no se traduzca
en costos para las unidades evaluadas; por lo tanto, la sugerencia que gana terreno en
este tipo de casos es propender a una integración a nivel de la base. Esto se traduce en
que cada unidad recibe la misma petición de información, que es usada por cada sistema
de acuerdo con sus propias necesidades y funciones.
De cualquier manera, la respuesta requiere considerar las estrategias y los ritmos que han
tomado los sistemas para implementarse a lo largo del tiempo. Los países que se
embarcaron más tarde en los esfuerzos por desarrollar sistemas de S&E en la región
parecen haber aprendido una lección en relación con ritmos y tiempos. La idea de
comenzar de cero, para crear un sistema único e integrado (como se dio inicialmente en
países como Colombia y Costa Rica en la primera mitad de los noventa), o de hacerlo de
una manera inmediata, con cobertura total en vez de por etapas o con programas pilotos
(como lo intentó inicialmente Uruguay a principios del nuevo mileno), ha sido descartada
en el presente. El modelo a seguir parece ser más bien el de crear herramientas
independientes en distintas instancias de la administración pública, con funciones muy
concretas en cada caso, que se van consolidando y puliendo en el tiempo para luego ser
agrupadas y categorizadas de acuerdo con sinergias y afinidades funcionales.
Esta estrategia es consistente con el modelo que eligieron Chile y Brasil desde principios
de los noventa. En Chile existen ahora tres sistemas consolidados que recogen múltiples
herramientas especializadas, uno en temas de presupuesto, el otro en temas de prioridad
política y el otro en temas sociales. En Brasil existen los cuatro sistemas ya mencionados
igualmente consolidados. La diferencia fundamental del modelo de implantación de estos
dos países con los que empezaron procesos similares en la segunda parte de la década
pasada (como México y Perú), y en la primera parte de la década del 2000 (como
Honduras), es que éstos ahora intentan incorporar los varios grupos de herramientas en
un solo sistema unificado de S&E nacional. En este sentido, el producto final será más
parecido a los casos de Colombia y Costa Rica, donde al fin de cuentas existen sistemas
21
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
22
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).
cuál será la trayectoria final que adoptará el sistema de S&E del Plan Nacional de
Desarrollo que actualmente se encuentra en fase de diseño.
Hemos recogido en este capítulo final las conclusiones de nuestro análisis comparativo
sobre la institucionalización de los sistemas de S&E en doce países de la región, utilizando
nuevamente dos miradas complementarias. La primera se concentró en los propios
sistemas como unidad de análisis, considerando las dimensiones propuestas en el marco
teórico original como claves para comparar el grado de institucionalización de sistemas
que buscan promover la gestión para resultados: su diversificación funcional e
instrumental; su coherencia institucional (integración vertical y horizontal); el uso de la
información; y su sostenibilidad en el tiempo. La segunda mirada ofreció una visión de
sistemas por caso, o sea explorando el conjunto de los esfuerzos en cada país. Esto nos
permitió explorar las variaciones en origen, diseño y desarrollo de los esfuerzos
nacionales.
Las dos miradas ofrecen en conjunto información relevante sobre la naturaleza y el nivel
de institucionalización de un mecanismo clave para promover la gestión para resultados
en el contexto latinoamericano. El producto de este doble análisis comparativo sugiere
que, si bien se notan avances para el buen gobierno gracias a los aprendizajes
relacionados con la puesta en marcha de los sistemas de S&E orientados a los resultados,
es difícil establecer conclusiones firmes dado el grado de dinamismo de los mismos en la
región. En efecto, los desarrollos continuos que se suceden -incluso mientras terminamos
de escribir esta conclusión- requerirán atención sistemática y seguimiento para seguir
aprendiendo de la práctica en un área cuyos cambios constantes reflejan su relevancia
para los varios actores interesados en promover una gestión pública moderna y
democrática en la región.
23