Вы находитесь на странице: 1из 23

Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe

comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

CAPÍTULO VII
CONCLUSIONES

Comparar los sistemas de S&E que han surgido en la región no es una tarea fácil, menos
si se trata de estudiar su grado de institucionalización. Es así debido a la heterogeneidad
de los contextos institucionales en que se han desarrollado los sistemas, las diferencias de
sus edades y, sobre todo, a la escasez de conocimiento disponible sobre los factores que
explican su institucionalización.

Acudiendo al estado del arte, acá hemos destacado algunos factores que pudieran ayudar
a comprender por qué determinados sistemas, desde su propia creación, han logrado
arraigar y luego pervivir en el tiempo. Aspiramos a que esa comprensión contribuya a
aportar lecciones prácticas así como a alimentar la teoría sobre cómo institucionalizar una
función de S&E de los resultados de la gestión pública que la convierta en un instrumento
más eficaz del desarrollo y de la democracia.

Reteniendo la definición de Mackay (2006: 5), la institucionalización del S&E se refiere a


“la creación de un sistema de S&E cuyos resultados sean valorados positivamente y se
utilicen en la búsqueda del buen gobierno, siempre que haya una demanda suficiente de la
función de S&E para garantizar su financiamiento y su sostenibilidad en el futuro
previsible”. Sabemos que no necesariamente la demanda de S&E constituye un dato
dado, sino que requiere ser construida. Influyen en ella una multiplicidad de factores, pero
ciertamente uno tiene preeminencia: la vinculación del S&E a las funciones de
planificación del desarrollo, de presupuestación y de rendición de cuentas que,
crecientemente, se revelan claves para lograr una mayor orientación estratégica al
desarrollo, una asignación más eficiente de los recursos públicos, y una mayor
responsabilización de las administraciones públicas frente a los representantes políticos y
a la ciudadanía y, en definitiva, para lograr una gestión pública para resultados de
desarrollo.

La clasificación que hemos adoptado para comparar los sistemas de S&E utiliza tres
variables que directa o indirectamente se refieren a tales funciones.

Una variable alude al contexto en que se sitúan los sistemas en estudio. Acá, recurriendo
a la distinción que establece Schick (2005), hemos destacado el mecanismo que
normalmente existe a nivel de país para la asignación del gasto. El supuesto que
adoptamos es que no tiene las mismas implicaciones en el grado de institucionalización de
un sistema de S&E el que se ubique en un contexto con una función institucionalizada de
planificación del desarrollo desplegada en el ámbito más estrictamente político del
gobierno y con un sentido estratégico, que en un contexto donde las prioridades
nacionales son establecidas sólo a través del presupuesto. La distinción no desconoce
que en la experiencia latinoamericana los planes han tenido poco efecto sobre los
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

presupuestos 1 ; en este sentido, se trata de una distinción con fines heurísticos aunque
también tiene un componente normativo, habida cuenta de la creciente importancia que se
le reconoce a la interfaz planificación-presupuesto para el desarrollo y a la articulación del
S&E a ambos.

Las otras dos variables que hemos adoptado para comparar los sistemas de S&E aluden
directamente a las funciones gubernamentales a las que nominal y realmente ellos
pretenden apoyar. Una variable se refiere a la orientación general del sistema, o sea a las
funciones que cumple predominantemente. La otra variable, directamente vinculada con la
anterior, distingue si el sistema tiene una sola función por diseño, o si no obstante
privilegiar una función que le imprime su orientación, manifiesta cumplir otras funciones
adicionales; esto es lo que denominamos vocación monofuncional o multifuncional,
respectivamente.

La orientación general de los sistemas admite tres clasificaciones: predominantemente


económica, predominantemente política, y mixta que combina a ambas. Existen además
sistemas articulados a la política social pero que no son objeto expreso de este estudio
comparativo.

Los sistemas con una orientación predominantemente política buscan perfeccionar a


través del S&E los resultados del quehacer del gobierno, en relación con el diseño e
implementación de las estrategias y políticas públicas. Se trata, en teoría, de ejercicios de
rendición de cuentas tanto al interior del Estado como hacia los ciudadanos. Dentro de
este grupo hay diferencias de acuerdo con su intención de ser multifuncional o
monofuncional.

El segundo grupo incluye los sistemas predominantemente económicos, cuyo objetivo


prioritario es contribuir a racionalizar y mejorar la eficiencia del gasto público, reflejada a
su vez en una adecuada asignación de los recursos humanos y financieros dentro de la
administración pública. Estos sistemas están intrínsecamente ligados con los sistemas
financieros, presupuestarios y de contaduría en cada país.

La tercera categoría incluye aquellos sistemas que por diseño tienen una orientación
mixta, vale decir tanto política como económica. Como es obvio, este tipo de sistemas
tiene una vocación multifuncional.

Con base en esta tipología, la Tabla Nº 7 presenta un mapa preliminar de los sistemas de
S&E en los países estudiados.

1
Osvaldo Feinstein, en sus comentarios a la primera versión de este trabajo (mensaje electrónico,
noviembre de 2007), recordaba que en los últimos 30 años la interfaz presupuesto-planificación no operó en
la práctica.

2
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

Tabla N° 7
Mapa inicial de los sistemas de S&E

Contexto de asignación nominal del gasto (a nivel de país)


Orientación General del Plan Nacional de Desarrollo Presupuesto Nacional
Sistema Vocación funcional Vocación funcional
Multifuncional Monofuncional Multifuncional Monofuncional
· SINASID
· SIERP-
Nicaragua
Gerencia
Predominantemente · SINE Costa
· SMMP Brasil Honduras · SPG Chile
política Rica
· PEG-SEV
· SINERGIA
Uruguay
Colombia
· SCG Chile
Predominantemente · SSEGP Perú · MCE-SIPP
· SED México
económica · SSEEP Paraguay
Argentina
Expresamente · PPA Brasil
económica y política · SE del PND
(mixta) Bolivia (?)
· SSEPPS
· MIDEPLAN
Brasil
Predominantemente Chile
· Programas
social · SIEMPRO
Sociales
Argentina
México
Fuente: Elaboración propia.

El mapa ofrece tentativamente una panorámica general de la naturaleza de los sistemas


encontrados en cada país. Es tentativa porque resulta de un análisis caracterizado por las
limitaciones mencionadas ya en la descripción de la metodología. La caracterización, sin
embargo, es útil para capturar de una manera analítica la variedad de sistemas y,
aparentemente, sus características básicas.

En este sentido el mapa ofrece una primera conclusión de tipo descriptivo que no deja de
ser interesante: asumiendo que nuestra clasificación es adecuada, existen muchos más
sistemas con orientación política que económica, mixta o social. Es más, este tipo de
orientación no se reduce exclusivamente a contextos con un sistema de planificación
altamente institucionalizado como es el caso de países con PND. También existen
sistemas de orientación predominantemente política en países jalonados por el
Presupuesto Nacional.

Sin embargo, ésta es una conclusión provisoria si tenemos en cuenta el dinamismo y


grado de estabilidad de los sistemas.

En efecto, como lo ilustra la Tabla N° 8, mientras algunos sistemas tienen un algo grado
de estabilidad y experimentan sólo cambios marginales, otros se encuentran en plena
gestación, y, como se ha descrito, en algunos casos continúan definiendo o redefiniendo
su vocación funcional y su orientación mientras se estabilizan, lo cual sugiere un alto

3
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

grado de volatilidad en más de la mitad de los casos estudiados.

Tabla N° 8
Estado actual de los sistemas

País y sistema Sistemas estables Sistemas en rediseño


Argentina: SSEEP X
Bolivia: SE del PND X
Brasil:
· SMMP X
· PPA X
Chile:
· SPG X
· SCG X
Colombia: SINERGIA X (*)
Costa Rica: SINE X
Honduras: SIERP/SGPR X
México: SED X
Nicaragua: SINASID X
Paraguay: MCE-SIPP X
Perú: SSEGP X
Uruguay: PEG-SEV X
Fuente: Elaboración propia.
(*)
SINERGIA ha experimentado cambios importantes a lo largo de su vida que han ido abonando el terreno
para hacer los ajustes necesarios para lograr una sincronización entre la planeación y la presupuestación,
dadas las condiciones del diseño institucional que separan a estas dos en la práctica. El esfuerzo actual de
buscar una mayor convergencia entre la orientación política y la orientación económica es consecuencia de
este proceso de adaptación gradual. A pesar de que esta dinámica de convergencia marca el estado actual
del Sistema, lo hemos clasificado como sistema estable porque se trata de un proceso de adaptación lógica
a partir de los desarrollos anteriores, más que de una decisión drástica expresada como una necesidad de
“rediseño”, como ocurre en el caso de otros sistemas cuyos cambios se plantean con una redefinición de la
naturaleza del mismo.

Si se consideran los cambios que están en curso, es altamente probable que aumenten
los sistemas con una orientación mixta, como podría ser claramente el caso de México, y
eventualmente el de otros, tal como lo ilustra la Tabla N° 9. De hecho, en el “Mapa Inicial”
(Tabla N° 7) sólo el sistema de S&E del PPA de Brasil aparecía con una clara orientación
mixta, mientras que todos los demás -en principio, con excepción de Bolivia- se originaban
con una orientación particular, bien sea política (en muchos más casos) o económica. Sin
embargo, el predominio de una sola orientación empieza a ser cuestionado en la medida
que se observan esfuerzos por generar convergencias, tanto en los sistemas más jóvenes,
como en algunos de los más antiguos. Volveremos sobre este punto más adelante.

4
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

Tabla N° 9
Desplazamientos en orientación general (las convergencias)

Orientaciones generales Predominantemente Predominantemente


Mixta
Sistemas política económica
PPA Brasil X
SED México X
SE del PND Bolivia X?
SSEGP Perú X?
SIERP-Gerencia Honduras X?
Fuente: Elaboración propia.
Nota: La interrogación (?) connota el carácter provisional de la conclusión, habida cuenta de que
aún no hay suficientes evidencias de que el sistema logre en el futuro concretar una orientación
mixta.

Por otra parte, del análisis se desprende que hay desplazamientos en lo relativo a la
vocación funcional: el mapa inicial da cuenta de una mayoría de sistemas que manifiestan
tener una vocación multifuncional. Sin embargo, contrastando la diversificación de sus
funciones con la real diversificación de sus herramientas, es posible concluir que en la
práctica actualmente predominan los sistemas monofuncionales, tal como lo ilustra la
Tabla N° 10. Los resultados que expresa esta tabla pudieran parecer contradictorios con la
anterior, pero es importante considerar que el desplazamiento de orientación en la
mayoría de los casos se mantiene sólo como un intención y que, en los hechos, no
obstante manifestar una vocación multifuncional, tales sistemas aún tienden a operar
como monofuncionales según se deriva del análisis. También volveremos a esto más
tarde. En todo caso, desde ya cabe destacar que la diversificación funcional, respaldada
por una diversificación de herramientas y por la coherencia institucional, parece ser uno de
los elementos clave que explica la institucionalización de un sistema, en tanto deviene en
un uso más intensivo de los resultados del S&E en apoyo a otras funciones
gubernamentales.

5
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

Tabla Nº 10
Vocación funcional real (al año 2007)

Vocación funcional
Monofuncional Multifuncional
Sistemas
SCG Chile X
SINERGIA Colombia X
SINE Costa Rica X
PEG-SEV Uruguay X
SSEEP Argentina X
MCE-SIPP Paraguay X
SPG Chile X
SMMP Brasil X
SE del PND Bolivia X (*)
SSEGP Perú X (*)
SIERP-Gerencia Honduras X (*)
SINASID Nicaragua X (*)
Fuente: Elaboración propia.
(*) Actualmente estos sistemas operan realmente como monofuncionales, no obstante que su
orientación funcional en el futuro pareciera ser mixta, en cuyo caso debieran, a su vez, convertirse
en multifuncionales.

Finalmente, del análisis no pareciera derivarse una asociación importante entre el grado
de institucionalización de los sistemas y el contexto institucional en lo relativo a los
mecanismos utilizados para la asignación del gasto. De hecho, pareciera que existen
sistemas de S&E relativamente institucionalizados en ambos tipos de contextos. Cabe
considerar, en cualquier caso, que si nos atenemos a los resultados de las entrevistas a
actores clave, se insinúa una tendencia a valorizar la existencia de planes multianuales de
desarrollo, incluso para la propia solidez de los sistemas de S&E. En Argentina, por
ejemplo, algunos de los entrevistados sugieren que la ausencia de planes pudiera ser la
principal causa del bajo impacto de los sistemas de S&E. Como lo destacaremos luego,
esto pareciera insinuarse incluso en el caso del sistema de S&E liderado por la Dirección
de Presupuesto (SCG) de Chile, que es reconocido como uno de los sistemas altamente
institucionalizados. El problema que se destaca en este sentido es que la ausencia de
planes puede restar coherencia a los programas y, por ende, sesgar los resultados de las
evaluaciones que se realizan en torno a ellos. El ejercicio que se realiza en el informe de
Chile, intentando realizar una evaluación del SCG, puede ser interesante en este sentido
(Ríos, 2007). Hay, de todas maneras, un importante contraste en el grado de
institucionalización entre el SCG (con una clara orientación económica) y el sistema con
orientación política que existe en Chile, al punto de que cabe interrogarse si la ausencia de
un sistema de planificación formalizado resta impacto a los sistemas con orientación
política. El informe sobre el sistema hondureño, que tiene una orientación política, pudiera
avalar esta conclusión, en atención a que allí se sostiene que la ausencia de un
documento rector de planificación es la causa de la alta heterogeneidad en la definición de
las metas e indicadores.

Lo que este tipo de evidencia pareciera sugerir es que el contexto incide en la coherencia

6
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

institucional de los sistemas de S&E y, por ende, indirectamente en su grado de


institucionalización. Si consideramos que la orientación política crecientemente se revela
tan clave como la orientación económica para hacer del S&E una herramienta útil al
desarrollo, retomar el análisis de los sistemas de S&E vis-à-vis las condiciones básicas
para el establecimiento de una gestión para resultados 2 puede ser parte de la agenda
futura de investigación.

En cualquier caso, tales consideraciones nos obligan a realizar dos tipos de miradas para
tratar de ofrecer mayores argumentos sobre las conclusiones acá insinuadas. Primero,
una mirada concentrada de nuevo en los propios sistemas, mostrando cómo las
categorías que hemos adoptado para analizar el grado de institucionalización de un
sistema sirven para explicar algunas de sus principales diferencias en ese sentido.
Segundo, una mirada a nivel de país, que ofrezca una perspectiva más integral de las
conexiones entre los sistemas y que pueda iluminar, aunque sea provisoriamente, sobre
los efectos de la diversificación funcional del S&E al interior de un país.

1. La mirada en los sistemas

a. La diversificación funcional e instrumental de los sistemas

Como ya lo hemos advertido, tal vez una de las conclusiones más destacables es que, no
obstante la vocación multifuncional que manifiesta tener la mayoría de los sistemas en
estudio, sólo unos pocos sistemas la realizan en la práctica en una clara correspondencia
con los altos niveles de institucionalización que ellos detentan.

Dos situaciones destacan del análisis de los casos en estudio. Uno, lo representa el caso
del Sistema de Control de Gestión de Chile donde la presencia de un promotor dotado
de recursos de influencia sobre todo el sector público -el poderoso Ministerio de
Hacienda- pareciera haber sido clave para asegurar la real concreción de la vocación
multifuncional del sistema y, por ende, para reforzar su utilidad, tal como lo sugiere
Mackay (2006).

La consecuente diversificación de las herramientas que dispone el sistema chileno avala


esta conclusión: es innegable que éste sirve al propósito de una asignación más eficiente
del gasto, pero también al propósito de mejoramiento de la gestión de los organismos y
programas públicos.

La otra situación de una real multifuncionalidad se da en un contexto donde opera una


interfaz entre la planificación y el presupuesto, el de Brasil. El Sistema de Seguimiento
y Evaluación del Plan Plurianual, a través de sus herramientas, efectivamente apoya la
función de planificación gubernamental -específicamente su revisión- y la elaboración de
las respectivas propuestas presupuestarias. Desde este sentido es, además, el único caso
de un sistema mixto que combina una orientación política con una económica; la primera a
la vez reforzada por un sistema complementario, el de seguimiento de las metas
2
Los estudios desarrollados por el PRODEV del BID son muy importantes en este sentido.

7
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

presidenciales, más orientado a lograr la coordinación estratégica en torno a programas


prioritarios.

Otros sistemas, como el SED de México o el sistema hondureño, están desarrollando


herramientas para realizar su vocación multifuncional, y en particular, en el caso de
México, se podría también decir que busca alcanzar, por medios diferentes, la misma
orientación mixta que caracteriza al Sistema de Seguimiento y Evaluación del Plan
Plurianual en Brasil. Se trata, sin embargo, aún sólo de aspiraciones.

Como hemos apreciado hay otra manera de incrementar la probabilidad del uso de los
resultados de un sistema, que consiste en asegurar que ellos sean de utilidad práctica
directa a diferentes tipos de usuarios. Bajo esta perspectiva de análisis, el espectro de
sistemas multifuncionales aumenta un poco, pero no demasiado. Hay, en este sentido,
una cierta coincidencia entre sistemas con orientación predominantemente política y
diversificación de usuarios. El propósito de la rendición de cuentas, que caracteriza a este
tipo de sistemas, convierte a la ciudadanía en objeto de atención expreso. Aunque se
perciben marchas y contramarchas, el hecho de que exista un módulo especial en algunos
sistemas -como SINERGIA, de Colombia, por ejemplo- da cuenta de una atención expresa
en esa dirección.

El usuario que, en cualquier caso, tiende a ser marginal en prácticamente todos los
sistemas corresponde a los niveles directivos de la administración pública. Con ello, la
función de aprendizaje gerencial que reportan algunos sistemas se mantiene aún en un
plano retórico aunque, como discutiremos más adelante, en algunos casos se empiezan a
ver avances en la creación de mecanismos para incentivar la atención de los actores que
apuntan en la dirección adecuada.

Otra conclusión que refuerza la relativa debilidad de la mayoría de los sistemas en este
aspecto de su institucionalización, concierne a la función de evaluación. En particular,
existe evaluación y seguimiento en uno de los sistemas de Brasil y de Chile, y en los
sistemas de Colombia y México. Los sistemas de Nicaragua y Uruguay solamente usan
herramientas de seguimiento. En Costa Rica, Perú, Paraguay y Honduras los sistemas
también hacen sólo seguimiento, pero se planea eventualmente introducir herramientas de
evaluación. Siendo así, en la práctica, esfuerzos consolidados de evaluación existen
solamente en cuatro sistemas, mientras que los demás, al menos por ahora, se dedican al
seguimiento.

b. Coherencia institucional

La presunción de que mientras mayor sea la coherencia institucional -integración vertical e


integración transversal- de un sistema de S&E, mayor será también su utilidad y, por ende,
su grado de institucionalización, tiende a ser corroborada empíricamente.

Nos referiremos primero a las principales conclusiones en torno a la integración vertical.


Recordemos que para poder determinar si ella existe hay que examinar, a lo menos, cómo
se distribuyen las funciones y los roles para la alimentación del sistema y para el análisis

8
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

de la información que proporciona, así como para la construcción de la agenda que es


materia de S&E.

En teoría, un sistema basado en un arreglo institucional de tipo centralizado, dispone de


menor integración vertical que uno de tipo descentralizado, en tanto al no basarse en el
acuerdo mutuo tiene menos probabilidad de asegurar la apropiación del sistema por parte
de todos sus componentes. Sin embargo, en este aspecto, de nuevo el Sistema de Control
de Gestión liderizado por la Dirección de Presupuestos de Chile parece ser la excepción.
De hecho, este caso ilustra la importancia de que se instituya un flujo bidireccional de
información, asegurando que los resultados del S&E retroalimenten a los niveles
gerenciales y, en lo posible, se expresen en compromisos de mejoramiento para los
programas y organizaciones públicas.

Sin embargo, en el caso de Chile no es evidente que los directivos públicos -y ni siquiera
los ministros sectoriales- participen en la determinación de las prioridades de S&E y en la
definición de los indicadores de gestión. En cambio, el componente de autoevaluación
que contiene el sistema de S&E del Plan Plurianual de Brasil, pareciera que, desde este
punto de vista, asegura mayores niveles de apropiación de parte de los niveles directivos,
aunque, como apreciábamos, tampoco está exento de problemas. Este sistema, de
cualquier manera, es el que más parece operar como tal habida cuenta que contempla
roles formalizados (incluyendo una Comisión de Seguimiento y Evaluación del PPA, y
Unidades de Seguimiento y Evaluación en cada ministerio) con articulaciones que abarcan
toda la administración pública federal en tres etapas: evaluación de programas, evaluación
sectorial y evaluación del PPA.

La concertación en lo que respecta a la identificación de metas e indicadores, en


todo caso, es siempre un factor de integración vertical. Aquella tiende a ser facilitada en
los sistemas con orientación política donde se produce una especialización en el nivel
macro -como es el caso de Colombia, Costa Rica, Nicaragua, y en los sistemas de
seguimiento de metas presidenciales de Brasil y Chile, y ahora en Uruguay. Pero como
sabemos, esa especialización a su vez puede atentar contra la apropiación del sistema por
parte de todos sus componentes y, sobre todo, contra el cumplimiento de su función de
aprendizaje gerencial si es que no se traduce en una efectiva retroalimentación a las
unidades que son objeto de S&E, incluidas las entidades descentralizadas y los niveles
subnacionales.

Un asunto clave es la participación directa de los ministerios sectoriales en la


identificación de metas e indicadores y, en general, en los procesos de planificación
estratégica. Es así porque su ausencia no sólo puede debilitar la función de los sistemas
de contribuir al mejoramiento de las políticas sectoriales (propósito expreso de varios
sistemas), sino porque puede atentar contra la necesaria preeminencia de las rectorías
ministeriales para asegurar la conducción política de estos procesos.

Por otra parte, sobre todo en los sistemas con orientación política, un elemento que
también parece ser clave es la integración de las oficinas de planificación sectorial en
la operación del sistema. Su ausencia devino en una de las principales causas del

9
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

fracaso, por ejemplo, del SISER de Bolivia que terminó duplicando competencias y
funciones de los ministerios y generando información con poca o ninguna utilidad para los
sectores. Todo esto, según el respectivo reporte, produjo fuertes resistencias en las
entidades sectoriales, las que nunca se apropiaron realmente de la herramienta.

De cualquier manera, en lo que respecta a los niveles de integración vertical, en términos


generales, se observan interesantes avances en la región. El hito pareciera marcarlo la
decisión política de impulsar una gestión pública para resultados, que ha acontecido en
varios países. Ningún sistema de S&E abarca desde el nivel macro hasta nivel micro de la
estructura gubernamental, en el marco de un real sistema de gestión pública por
desempeño. Pero hay pasos en esta dirección, a veces dentro de un esfuerzo por
institucionalizar la planificación estratégica dentro del sector público y otras veces en el
contexto de un sistema nacional de planificación expresado en planes de desarrollo. Lo
cierto es que, al menos, ya comienza a extenderse la definición de objetivos y metas de
desempeño, así como la medición del nivel real de desempeño en relación con tales
objetivos y metas.

Por otra parte, también se insinúa una tendencia hacia la institucionalización de las
funciones de S&E al interior de las organizaciones públicas, con grados más o menos
orgánicos de vinculación con los respectivos sistemas de S&E. Por ejemplo, en Uruguay,
ya existe una normativa que dispone la creación en todos los ministerios de unidades de
S&E. En Brasil, en los ministerios se han instituido unidades con al menos dos
funcionarios permanentes dedicados al S&E.

Donde parecen permanecer los mayores déficit es en la integración transversal; o sea, en


la articulación de los sistemas de S&E con los otros procesos del ciclo de gestión
gubernamental. La situación, sin embargo, no es la misma que advertíamos hace cinco
años atrás (Cunill y Ospina, 2003). Tal vez la conciencia de los limites que experimentaron
los primeros sistemas de S&E está llevando a que los que se están desarrollando (o
rediseñando) en la actualidad busquen expresamente vincular el S&E tanto a la
planificación como a la presupuestación.

Los contextos también son más favorables. Por una parte, hay pasos hacia la creación de
presupuestos orientados a resultados no sólo en Chile, Brasil, México y Uruguay sino
en Perú, Honduras y Argentina, entre otros, que refuerzan la tendencia a la integración del
S&E con el presupuesto (aunque por ahora, en la mayoría permanece como una
intención). Por otra parte, hay una tendencia a revalorizar la institucionalización de
procesos de planificación macro para lograr una mayor coherencia gubernamental. Los
recientes pasos dados, por ejemplo, por Perú, Uruguay y Bolivia, son ilustrativos de esta
tendencia 3 .

3
En Brasil, vinculada a la Presidencia de la República se crea en junio de 2007 la Secretaría de
Planeamiento de Largo Plazo, aunque en octubre la medida se revoca y se dispone que los asuntos relativos
al planeamiento de acciones de desarrollo nacional de largo plazo pasan a ser ejercidos por un Ministerio de
Estado Extraordinario de Asuntos Estratégicos, a cargo del Núcleo de Asuntos Estratégicos y del Instituto de
Pesquisa Económica Aplicada (IPEA).

10
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

Comienza también a extenderse el esfuerzo por lograr que los sistemas de S&E provean
información sobre la ejecución tanto física como financiera, lo que, a su vez, denota un
esfuerzo de integración con otros sistemas (en particular, los Sistemas de Administración
Financiera Integrada). Además, se percibe una clara tendencia a lograr la articulación
entre planificación, presupuestación, seguimiento y evaluación en torno a los proyectos
de inversión 4 . Como lo destaca Berretta (2006: 29), el hecho de que ellos constituyan
parte medular de los Planes Plurianuales en Brasil y de los Planes Nacionales de
Desarrollo en Colombia y México y que, a su vez, incorporen la parte discrecional del
gasto público, permite que éste pueda resultar asociado a los objetivos estratégicos de los
gobiernos, haciéndolos más proclives a incorporar la presupuestación por resultados 5 .

No obstante estos avances, las rigideces presupuestarias constituyen uno de los


principales obstáculos para lograr una mayor flexibilidad en la asignación de los recursos.
Por otra parte, aquellos sistemas que son coordinados por ministerios distintos del de
Hacienda suelen experimentar severos problemas de interlocución con aquél. Aun en un
país como Uruguay, donde el Sistema es coordinado por una entidad que tiene funciones
asociadas a la presupuestación (la Oficina de Planeamiento y Presupuesto), actualmente
existe una baja articulación con el Ministerio de Economía y Finanzas, que es el
encargado de la elaboración del presupuesto. En general, la escasa vinculación con el
presupuesto ha devenido en que muchos de los compromisos de resultados carezcan de
realismo, convirtiendo en rituales a los sistemas de S&E. Volveremos a este tema más
adelante.

La situación inversa también se plantea. De hecho, aquellos sistemas que surgen en


países que carecen de planes de desarrollo institucionalizados se enfrentan a varias
dificultades. En el caso de Honduras, por ejemplo, dado que la función de planificación
central ya no está institucionalizada, la sustentabilidad del sistema, según lo advierte el
informe, depende de su vinculación con el proceso presupuestal o de su implementación
en el nivel sectorial y territorial, que es donde se han dado los menores avances. En Chile,
por su parte, la ausencia de planes de desarrollo, según algunos entrevistados, le resta
coherencia a los programas imprimiéndole, a su vez, un sesgo al S&E asociado a ellos.

La coordinación entre los distintos organismos que tienen asignadas funciones de


S&E de resultados, en cualquier caso, se revela como de máxima importancia. A veces las
propias leyes (como, por ejemplo, en Costa Rica) han estimulado el traslape de
competencias entre el Ministerio de Planificación, el Ministerio de Hacienda e incluso la
Contraloría. La reciente creación de comisiones intersectoriales en varios países (en
Brasil, Colombia, Costa Rica y antes en Chile aunque acotada a la evaluación de
programas) no siempre pareciera aportar soluciones de fondo a este tipo de problema, por
4
Como se ha podido apreciar, varios de los casos en estudio son ilustrativos de esta tendencia. Roberto
Panzardi, en el Prólogo del informe correspondiente a Paraguay, llama la atención sobre un esfuerzo en esta
misma dirección que se está desarrollando en ese país.
5
En este sentido, Berretta (Ibídem) señala que “avanzar en la planificación estratégica a través de los
proyectos de inversión, que en general están perfectamente integrados al presupuesto a través del
clasificador del gasto, puede ser una manera relativamente sencilla de articular de mejor manera
planificación y presupuesto. La experiencia de Brasil, México y Colombia pueden ayudar en este sentido”.

11
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

lo que resulta necesario indagar más profundamente acerca de su funcionamiento. En


este mismo sentido, cabe también hacer un seguimiento estrecho a la nueva estructura
institucional que está prevista en Honduras: los Comités Funcionales de Presupuesto,
concebidos como una instancia de coordinación interinstitucional para la articulación de los
procesos de programación del gasto y las metas de cada sector o programa y, por ende,
para alinear la presupuestación anual y plurianual con los procesos de planeación,
seguimiento y evaluación.

También del análisis de los informes nacionales se deriva la importancia de la


coordinación entre los organismos internacionales a fin de generar mayores sinergias
entre los distintos organismos vinculados al S&E en cada país. Otro asunto clave es la
vinculación de los sistemas de S&E con las Oficinas Naciones de Estadística. El
Ministerio de Economía de Perú, por ejemplo, ha establecido una alianza estratégica con
la Oficina de Estadísticas para que sea ésta la que apoye la generación de información de
las metas del presupuesto por resultados. Se realizaron talleres entre productores y
usuarios de información, y fue muy útil percibir cómo un mismo operativo estadístico, por
ejemplo una encuesta de hogares, permitía con algunos ajustes en cobertura temática y
geográfica resolver demandas de información de muchos sectores de manera
simultánea 6 .

c. Uso de la información

La diversificación funcional y la coherencia institucional, como hemos advertido, favorecen


una utilización más intensiva de los sistemas de S&E, así como la diversificación de sus
usuarios. Cuando los sistemas de S&E se caracterizan realmente por estos rasgos, el uso
de la información que ellos generan suele ser más alto. Las mayores ventajas en estos
sentidos parecieran tenerla los sistemas de orientación mixta y aquellos que hacen de la
rendición de cuentas un objetivo expreso. Pero hay otros factores que parecieran estar
afectando el uso de los sistemas en estudio, a los que nos referiremos a continuación.

Un factor que se revela clave en la mayoría de los casos es la escasa credibilidad de la


información (tanto de los indicadores que entran en los respectivos sistemas como de los
informes que salen de ellos), limitando los usuarios potenciales de los sistemas y
convirtiendo a muchos de ellos en sistemas auto-referidos, en el sentido de que sólo
tienden a servir a los fines de las unidades que los coordinan, y por tanto, los funcionarios
de ellas suelen ser sus principales usuarios.

Las razones de la baja credibilidad de la información son variadas:


· Por la calidad de los datos que son entregados a la unidad coordinadora del sistema
(se menciona como problemas la falta de capacidad técnica de las unidades que
envían los datos; las múltiples demandas de información que éstas tienen por parte de
sistemas diferentes, a veces sobre los mismos fenómenos pero con indicadores o
definiciones diferentes; y el escaso grado de maduración gerencial que le resta
atención al tema con la consecuente falta de motivación por parte de los funcionarios
6
Agradecemos a Alejandro Medina esta información.

12
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

encargados de enviar la información).


· Por el hecho de que el seguimiento (y a veces la evaluación) se realiza dentro de la
administración pública, lo cual genera dudas acerca de la capacidad del gobierno de
regular su propia autoevaluación, especialmente por parte de actores externos (en
particular el Congreso y la ciudadanía).
· Por el hecho de que, con contadas excepciones (el SCG de Chile, el Plan Plurianual de
Brasil), el flujo de la información tiende a ir en una sola dirección, de abajo hacia arriba,
o sea que los proveedores no reciben retroalimentación. Por tal razón no existe un
incentivo de darle seriedad al proceso para recibir más adelante información de utilidad
(ni para quienes han ofrecido la información ni para sus gerentes).

Una variable crítica para entender la falta de credibilidad de la información es tal vez el
tiempo de maduración del sistema mismo, como sugiere Mackay (2006). En efecto, la
mayoría de los sistemas más antiguos empiezan a dar señales de cambio en términos de
un aumento de la credibilidad de la información. Por ejemplo, en el sistema de S&E
asociado al Plan Plurianual del Brasil, en el sistema chileno SCG y en las evaluaciones
externas y de impacto en México se habla ya de una mejor calidad tanto de los
instrumentos metodológicos como de los equipos técnicos. En Colombia se observa
también un proceso de depuración de los indicadores que combina elementos técnicos y
políticos. Aunque por lo general son pocos los casos que mencionan procesos de auditoría
externa o mecanismos formales de validación de los datos (Chile, Brasil), ya existe en el
horizonte de atención de algunos de los sistemas (por ejemplo, Colombia) la necesidad de
trabajar estas debilidades. El CONEVAL, en México, constituye, en este sentido, un
interesante ejemplo del esfuerzo por introducir un mayor aseguramiento de la calidad de
las evaluaciones -en este caso, de los programas sociales 7 .

Sin embargo, el caso de Costa Rica, uno de los más antiguos y donde se reportan
actualmente problemas de credibilidad de la información generada, sugiere que el tiempo
de maduración del sistema no garantiza automáticamente su credibilidad.

Pareciera además que las evaluaciones, especialmente cuando son realizadas por fuera
del gobierno, y cuando utilizan metodologías científicas altamente reconocidas, generan
credibilidad no sólo en los resultados de las mismas, sino para los sistemas dentro de los
cuales se generan. Se podría hablar de un efecto indirecto (halo effect en inglés), que
insinúa que la credibilidad de aquellos sistemas que combinan seguimiento con evaluación
de alta calidad (como es claramente el caso de México, Chile, Brasil y Colombia) es mayor
que la de aquellos sistemas que solamente hacen seguimiento. Sin embargo, algunas
evidencias insinúan que se podría estar creando mercados distorsionados alrededor de las
evaluaciones externas, revelando así la importancia de reconocer cuáles son las
condiciones mínimas que requieren ser satisfechas para evitar las distorsiones.

7
Alejandro Medina sostiene que la experiencia del Consejo Científico de Evaluación que existe en Francia
inspiró en parte al CONEVAL de México, que cuenta con seis consejeros provenientes del mundo
académico, los que fueron seleccionados a través de un proceso nacional que involucró a las diversas
entidades federativas, así como a los partidos políticos.

13
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

Otra variable que afecta la credibilidad de la información generada por los sistemas es
exógena a ellos. Alude al grado de confianza en la calidad de los datos estadísticos
producidos por los organismos nacionales de los diversos países. Los países donde éstos
cuentan con alta reputación son los mismos donde se nota más credibilidad de la
información que ofrecen los sistemas. En cambio, en otros países, especialmente aquellos
más pequeños y con menos recursos, existen problemas de credibilidad en relación con
sus organismos estadísticos, como en el caso de la mayoría de los países
centroamericanos. Las discusiones sobre la integridad de indicadores clave para medir la
pobreza en Nicaragua contrasta con la existencia en México de un indicador unificado, y si
bien no exento de controversia, por lo menos generado por un grupo altamente calificado
a través de un proceso sistemático y público, con insumos de su entidad estadística y que
por ley debe ser usado para todas las mediciones. Cabría esperar que en la medida que
los sistemas de S&E se institucionalicen, presionen por la propia mejora de los sistemas
de información 8 .

Existen, de cualquier manera, otros factores que afectan el uso de la información además
de la credibilidad. Algunos sistemas, particularmente los orientados a ofrecer información
para el Ejecutivo, o sea los sistemas predominantemente políticos, sean éstos
multifuncionales o monofuncionales, están altamente influenciados por la actitud del
gobierno de turno frente a los procesos de S&E. En general, en los dos sistemas más
antiguos de este grupo, SINERGIA y SINE, se notan fluctuaciones en la incidencia del
sistema de acuerdo con la atención directa que le ha prestado el Presidente.

Sin embargo, incluso en tales casos, la evidencia es mixta. El uso de la información por
parte del Presidente en instancias como el Consejo de Ministros, como ocurre en
Colombia, en Honduras y en Perú, genera algunas posibilidades de cambio en la dirección
de elementos de los programas o proyectos comentados, pero la influencia es esporádica
e idiosincrática. En los casos de sistemas de metas presidenciales, donde el principal
usuario no es realmente el Presidente sino el ministerio que supervisa la coordinación
macro-gubernamental, la evidencia sugiere que ni el Presidente ni la alta dirección
ministerial prestan atención a la información. Si los gerentes de metas deberían ser los
usuarios directos, no hay evidencia de que lo sean ni en Chile ni en Brasil. Por lo general,
los sistemas de seguimiento tienden a agregar los datos a un nivel que no es del todo útil
para la gestión, como es el caso del SIMEP en México.

De cualquier manera, un factor clave que afecta el uso de los sistemas son las
consecuencias que deriven de los resultados del S&E. Donde existe la obligación de
relacionar medidas de corrección a los informes, independientemente del tipo de
sistema que las exija, se genera una mayor probabilidad de que la información redunde en
algún tipo de impacto real en alguna instancia de la administración pública. Tales son los
casos de México y Chile en relación con las evaluaciones externas, donde se exige a la
unidad evaluada que responda a las recomendaciones y que determine las correcciones
asociadas a los resultados de la evaluación. Pero esto no es garantía; por ejemplo en el
Perú se reporta escasa consideración dada a los procedimientos correctivos. Cuando
8
Debemos esta hipótesis a Alejandro Medina.

14
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

existe otro usuario fijo, como la comunidad internacional donante, como en Nicaragua y
Honduras, hay una mayor garantía del uso de la información, pero ésta no redunda
necesariamente en decisiones internas de mejora de la gestión, productividad o
asignación del gasto.

En relación con el Congreso, los sistemas de orientación económica o política en países


donde la asignación del gasto es jalonada por el Presupuesto, deberían tener mayor
probabilidad de que el Congreso utilice la información. Pero no se puede ver una
tendencia clara. En general, aún falta camino por recorrer para que los congresistas
sientan que la información es útil para su trabajo. Por un lado, si el Congreso es de
oposición, ve la información como un instrumento político, aun cuando exista percepción
de objetividad en el uso de las herramientas de S&E. Además, siguen reportándose
informes muy elaborados, altamente técnicos y demasiado largos que desincentivan su
lectura, especialmente en los países donde los congresistas no cuentan con personal
técnico capacitado que les ayude a comprender los informes y a encontrar su utilidad.

En algunos casos los informes son directamente utilizados en el Congreso para discutir el
presupuesto, como se reporta en el caso de Chile y, en menor medida, en el caso del PPA
del Brasil; mientras que sistemas como el del Perú, México y Paraguay, que aspiran al
mismo efecto, son aún muy nuevos para determinar su impacto en el Congreso. En
Colombia, a pesar de que el sistema es predominantemente político, por el esfuerzo de
vincular planeación a presupuesto, pareciera que la nueva información orientada a
resultados que se envía al Congreso (a pesar de no ser obligatoria) ha empezado a
generar un tipo de conversación diferente entre los congresistas. En general, sin embargo,
hasta tanto impere la lógica de la negociación en torno a los intereses de los grupos
políticos (como se reporta expresamente en Brasil), es poco probable que los sistemas de
S&E impacten en las decisiones adoptadas por el Congreso.

En relación con la sociedad civil, por lo general los sistemas no son de alto conocimiento
hacia fuera del gobierno, algunos de ellos por diseño y otros por inercia, y por tanto, sus
resultados tienden a no ser usados por aquélla. En particular, varios sistemas de
seguimiento son diseñados explícitamente para uso interno. Sólo unos pocos empiezan a
pensar en crear módulos que presenten información útil al ciudadano, como es el caso del
PPA en Brasil. Otros sistemas que tienen en su base la vocación de rendición de cuentas
al ciudadano intentan ofrecer acceso público de la información, pero sin mucho éxito ya
que por lo general se circunscriben a la difusión a través de la web. Se evidencia, pues, en
general un escaso desarrollo de mecanismos expresos de comunicación y difusión
de los resultados de S&E hacia la sociedad.

Sin embargo, a pesar del panorama relativamente negativo, algunos componentes y


productos de varios sistemas empiezan a ser conocidos e incluso utilizados por un público
informado. Por ejemplo, se reporta en México y en Chile que los informes públicos son
usados por instituciones privadas de la oposición o por partidos políticos y universidades.
Igualmente, en Colombia las evaluaciones son públicas y de uso por académicos.

Destaca, en cualquier caso, el desaprovechamiento de los mecanismos de participación

15
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

y control ciudadano que se han desarrollado en varios países, a efectos de lograr una
mayor integración de la sociedad a los esfuerzos de S&E que representan los sistemas.
De hecho, respecto de Bolivia, el informe sugiere que ellos pueden facilitar la
implementación del sistema.

Una conclusión casi general es que, en gran parte como producto de los factores
anotados, los sistemas de S&E -salvo unos pocos- tienen un escaso impacto en el
mejoramiento de las funciones con que se relacionan, sea la planificación, la
presupuestación, la rendición de cuentas o el mejoramiento de las instituciones y
programas. Por otra parte, tiende a no existir consecuencias directas de los resultados del
S&E en la gestión institucional; sólo en el SCG de Chile hay consecuencias sobre los
salarios asociados al Programa de Mejoramiento de la Gestión; en Uruguay recién está
planteado el reconocimiento de ahorros a aquellas unidades que logren las metas de
gestión; pero hay fracasos evidentes, como por ejemplo, el de los Acuerdos Programa
implantados en Argentina. En general, en este sentido, no puede dejar de destacarse una
diferencia notable con los países desarrollados donde este tipo de reformas ha estado
unida a la concesión de una mayor libertad de gestión del gasto (Zapico, 2004).

No sobra terminar con una breve reflexión que nos lleva a tomar estas conclusiones con
cautela. En general, la literatura sobre sistemas de S&E (incluyendo nuestros trabajos) ha
tendido a utilizar un criterio simplificado de lo que significa el término “uso de la
información”, como lo resalta Zaltsman (2007) en varios trabajos recientes elaborados
alrededor de su trabajo de disertación doctoral sobre el caso chileno. En estos trabajos
Zaltsman llama la atención sobre la necesidad de diferenciar, como lo hace la literatura de
evaluación de programas propiamente dicha, entre diversos tipos de utilización de la
información y entre diversos momentos en que se puede utilizar esta información en el
proceso presupuestario. Señala este autor que los estudios tienden a formular preguntas
sobre el uso de la información sin distinguir estas variaciones y por tanto se pierde la
oportunidad de profundizar sobre la experiencia en esta área, que es crítica para
determinar el éxito de los sistemas.

Además del uso instrumental, al cual nos hemos referido en este trabajo, la literatura de
evaluación de programas documenta otros dos tipos de uso: i) los usos de legitimación de
decisiones, cuando se utiliza la información para justificar decisiones tomadas a priori, y ii)
los usos de apropiación conceptual, cuando la información se internaliza como aprendizaje
con aplicaciones más amplias y, por tanto, desarrolla capacidad institucional generalizada
aunque no se aplique al contexto directo del objeto evaluado.

Adicionalmente, Zaltsman también encuentra lo que él llama usos distributivos, cuando la


información se usa de una manera específica, así sea formal o informalmente, para
aumentar o reducir los recursos del programa evaluado. El uso distributivo se diferencia
del instrumental por la relación directa entre los resultados documentados por la
evaluación y la distribución de recursos, en cualquiera de los momentos del ciclo
presupuestario, mientras que el uso instrumental se refiere a cualquier tipo de aplicación
derivada de la información, aunque no tenga consecuencias financieras, como por
ejemplo, el exigir a la entidad evaluada medidas correctivas que son neutrales con

16
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

respecto a costos.

Zaltsman sugiere que estos tres mecanismos -usos de legitimación, de apropiación


conceptual y distributivos- son igualmente importantes como el meramente instrumental,
para determinar qué tanto se usa la información generada por procesos de evaluación o
seguimiento. Los estudios sobre sistemas de S&E han tendido a dar prioridad únicamente
al uso instrumental. Esta valiosa distinción deberá servir para mejorar el diseño de futuras
investigaciones empíricas sobre el tema.

De cualquier manera, estas distinciones, aplicadas en reverso, nos permiten especular


que aun cuando la evidencia no apunta contundentemente a un uso instrumental para la
toma de decisiones del S&E, es posible que la masa crítica de experiencia acumulada a lo
largo de los últimos veinte años esté produciendo otro tipo de usos de la información
generada, o en otros momentos del ciclo de gestión que no se han explorado. En este
sentido, los estudios de caso sí muestran un nivel alto de apropiación conceptual en los
actores de la administración pública de los países donde se han desarrollado los sistemas,
respecto al tema de la gestión pública para resultados y de la importancia de la gestión del
desempeño institucional. En este contexto, a pesar de que la información de S&E no
siempre se usa directamente por parte de quienes toman decisiones, su existencia abre
oportunidades para que los funcionarios interesados empiecen a pensar en los varios
procesos de gestión pública de una manera más sistemática.

d. Sostenibilidad

No es posible encontrar evidencia de patrones fuertes que permitan determinar la


importancia real de factores como los mecanismos de financiamiento y el tipo de personal
utilizado para garantizar la sostenibilidad de los sistemas. En algunos casos donde hay
sistemas consolidados, como en Chile y Colombia, el personal no es de planta. En
Colombia, además, el financiamiento de la unidad coordinadora es externo, y a pesar de
ello, el sistema se ha mantenido a lo largo de cuatro administraciones. Lo mismo ocurre en
Nicaragua, donde la cooperación internacional juega un papel grande en la sostenibilidad
de los esfuerzos de S&E pero por ser más reciente es imposible evaluar el efecto que ello
pueda tener en su sostenibilidad. Obviamente, el nivel de incertidumbre es alto en tales
casos, y por ello en la mayoría de los otros países se ha optado por utilizar recursos del
tesoro público para financiar los sistemas, lo cual garantiza cierta estabilidad.

Las capacidades técnicas del personal, en todos los casos se reporta como una
variable crítica, revelando la importancia de las estrategias sistemáticas de capacitación,
tal como ha operado, por ejemplo, en Colombia.

Por otra parte, el liderazgo político, en particular la atención del Presidente, es clave en
los sistemas predominantemente políticos en países con Planes Nacionales de Desarrollo.
En Colombia y Costa Rica vemos, sin embargo, que la presencia de una normativa básica
ha permitido proteger los sistemas en momentos de debilidad política. En efecto, en los
estudios de caso los entrevistados por lo general opinan que el grado de normativa es
clave para la consolidación en el tiempo de los sistemas. Un hallazgo interesante, sin

17
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

embargo, que pudiera ofrecer contraevidencia a esta tendencia de opinión se presenta en


dos sistemas relativamente consolidados: el de Metas Presidenciales en Brasil y el
Sistema de Seguimiento de la Programación Gubernamental en Chile, puesto que ninguno
de ellos tiene un fundamento normativo expreso, pero hay que considerar que ambos son
más bien sistemas de macro-coordinación gubernamental, directamente asociados a las
prioridades gubernamentales y a los estilos de gobierno. También, cabe destacar, que al
menos en el caso chileno los entrevistados marcan la necesidad de un soporte legal del
sistema.

De todas maneras, los otros casos sí sugieren que la normativa es importante. Pero ella
se refiere no solamente a la existencia de decretos de creación de los sistemas como
tales, sino a su fundamentación en otras leyes nacionales de envergadura, como la Ley de
Desarrollo Social en México, o las leyes de modernización de la gestión pública y las
relacionadas con las reformas presupuestarias en varios países, que requieren de
herramientas sólidas de S&E para su efectivo cumplimiento y que, por lo tanto, legitiman o
apoyan el desarrollo de los sistemas.

Otro hallazgo interesante, que por obvio corre el riesgo de ser descuidado en el análisis,
es que los rasgos característicos de los sistemas y su capacidad para consolidarse
efectivamente parecen estar asociados con rasgos de la institucionalidad del país, tales
como la existencia o no de un Plan Nacional de Desarrollo que influya en la formulación
del presupuesto, la división estructural entre presupuesto de inversión y presupuesto de
gasto en algunos países, y relacionado con este punto, la integración o la separación de
funciones de planificación y presupuestación en ministerios diferentes. Estos factores
parecen ser claves para entender las dificultades que muchos países han tenido al crear
sus sistemas, para asegurar una amplia cobertura de ellos y, sobre todo, para asegurar
una articulación o sincronía entre planificación y evaluación de la política pública, por un
lado, y del ciclo de presupuestación que define la asignación del gasto, por el otro.

Existe claridad entre la mayoría de los actores entrevistados y entre los investigadores de
cada caso que si la información no redunda en consecuencias reales, los sistemas no
tienen viabilidad. Existe además conciencia de que el fortalecimiento de la oferta de
información generada por los sistemas en la mayoría de los países depende de que haya
demanda. Ello supone que los actores del Ejecutivo se vean obligados a usar la
información en su planeación para asegurar el nivel de asignación del gasto que
necesitan, y que los actores del Legislativo vean la utilidad que ofrece esta información
para realizar tal asignación de manera que el cumplimiento de lo planeado tenga
consecuencias reales. Sin la sincronización de los procesos de planificación, evaluación y
presupuestación, esto no será posible.

La falta de sincronización entre planificación, presupuesto y evaluación continúa


siendo el gran cuello de botella y el dolor de cabeza de la mayoría de los sistemas, cuya
resolución ya empieza a ser considerada como la llave que creará los incentivos
necesarios para que los sistemas puedan cumplir sus funciones. El PPA del Brasil y el
SCG de Chile ofrecen ejemplos de modelos diferentes de relativa sincronización. El SED
de México y SINERGIA en Colombia ofrecen ejemplos de esfuerzos en plena marcha,

18
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

realizados en sistemas con orientaciones distintas, cuyos desarrollos merecen


seguimiento.

Cabe destacar, de cualquier manera, que la institución de capacidades de S&E a través de


sistemas de S&E es aún muy desigual en América Latina. Obviamente un factor que incide
en tal hecho es la propia maduración de los sistemas. Los casos analizados oscilan
entre edades de 14 a cero años, esto último habida cuenta de que varios están aún en
desarrollo. El Gráfico N° 1 ofrece una visión global del grado de maduración en el tiempo
de los sistemas, diferenciando entre el tiempo de experimentación con herramientas antes
de su creación oficial como sistema integrado.

Gráfico N° 1
Evolución de los Sistemas de Seguimiento y Evaluación

Fuente: Elaboración propia.

Hasta acá hemos extraído algunas conclusiones concentrándonos en la propia operación


de los sistemas de S&E. Pasemos ahora a examinar las principales conclusiones que se
derivan cuando observamos cuál es el panorama que ofrecen los países en estudio
respecto de los sistemas que operan en ellos.

2. La mirada de los países: ¿integración o diversificación de los sistemas?

Hay países que cuentan con varios sistemas públicos de S&E basados en resultados que,
a su vez, tienen un alto grado de consolidación. Brasil y Chile pueden ser expresivos de
este conjunto. De hecho, el informe de Brasil da cuenta de, al menos, cuatro sistemas que
reúnen esas características: el sistema de S&E del Plan Plurianual; el sistema de
Seguimiento de Metas Presidenciales; el Sistema de S&E de Programas y Políticas
Sociales; y el Sistema de Evaluación Externa de Programas de Gobierno. Por su parte, en
Chile operan dos sistemas de ese tipo: el Sistema de Control de Gestión y el Sistema de

19
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

Seguimiento de la Programación Gubernamental; y también hay un Sistema vinculado a lo


social. El rasgo que resalta en ambos países es que todos estos sistemas son
coordinados por entidades diferentes, para servir a su vez, a fines relativamente
diferentes; todos ellos, sin embargo, recurren prácticamente a las mismas organizaciones
para requerir la información que los alimenta.

De otra parte, hay países que habiendo también experimentado este proceso de
diversificación de los sistemas, actualmente se encuentran avocados a su integración. Un
país que destaca, en este sentido, es México, donde han operado a lo menos cinco
sistemas de S&E de los resultados de la gestión pública: el Sistema de Seguimiento de
Metas Presidenciales; el Intragob; el Modelo Integral de Desempeño de Órganos de
Vigilancia y Control de las Instituciones de la Administración Pública Federal; el Sistema
de Evaluación y Monitoreo Basado en Resultados de los Programas Sociales; todos los
cuales están integrándose alrededor del nuevo Sistema de Evaluación de Desempeño.
Una situación similar ocurre en Bolivia, Perú y Honduras, donde pareciera que se está
experimentando una confluencia de los sistemas que se encuentran en operación. Esta
confluencia acerca los sistemas más recientes a sistemas multifuncionales unificados
creados en la primera mitad de los noventa, particularmente en Costa Rica y Colombia, a
pesar de las diferencias en su orientación.

Surgen, a propósito de este panorama, dos preguntas clave: ¿cabe esperar una tendencia
a la integración de los sistemas? Por otra parte, ¿es la integración de los sistemas un
signo de una alta institucionalización de las funciones del S&E en un país dado?

La primera de tales preguntas es particularmente relevante, sobre todo si consideramos lo


que sugieren las entrevistas a funcionarios de las organizaciones evaluadas por varios
sistemas. La falta de homogeneidad, la diferente periodicidad y el exceso de información
solicitada por los distintos sistemas, consumen la mayor parte del tiempo y, por ende,
afectan las labores internas, según las perspectivas de las propias organizaciones. Este
planteamiento, como lo destaca el propio informe de Chile, llama la atención sobre la
necesidad de mejorar la integración y la coordinación de los sistemas para obtener
información, a medida que se expanden y diversifican.

Para el caso particular de Chile, el informe llama la atención acerca de las ventajas que
tendría, por ejemplo, la institucionalización de un trabajo conjunto de parte de las dos
principales entidades que coordinan sistemas de S&E, a fin de impulsar capacidades
comunes en las unidades de planificación y control de administración financiera de las
entidades públicas, que se traduzcan en la elaboración de indicadores de gestión física y
gestión presupuestaria para los mismos conceptos (programas, actividades, tareas) y con
la misma periodicidad, usando definiciones comunes de términos como eficiencia, eficacia,
economía, etc. 9

La colaboración entre los sistemas que operan en un mismo país puede, de hecho,

9
De acuerdo con Osvaldo Feinstein (mensaje electrónico, noviembre de 2007), este trabajo de coordinación
conjunta de indicadores se está empezando a realizar en México con el apoyo del Banco Mundial.

20
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

redundar en una mayor integración funcional entre ellos sin transgredir sus propios
espacios institucionales. De lo que se trata es que el trabajo de cada uno no se traduzca
en costos para las unidades evaluadas; por lo tanto, la sugerencia que gana terreno en
este tipo de casos es propender a una integración a nivel de la base. Esto se traduce en
que cada unidad recibe la misma petición de información, que es usada por cada sistema
de acuerdo con sus propias necesidades y funciones.

Esta particular combinación entre diversificación de sistemas de S&E e integración en


la base, reviste particular importancia cuando en un mismo país coexisten sistemas de
orientación predominantemente política con sistemas de orientación predominantemente
económica, donde unos buscan apoyar las decisiones más estrictamente políticas (o de
macro-coordinación estratégica) y otros las decisiones de asignación del gasto. La visión
que existe en Chile y, sobre todo, en Brasil, es que ambos tipos de sistemas pueden ser
complementarios para mejorar la acción de gobierno.

En atención a lo anterior, la segunda pregunta con la que abríamos este punto, en el


sentido de si la integración de los sistemas es un signo de institucionalización de las
funciones de S&E en cada país, no tiene una respuesta única. La propuesta de un solo
sistema que integre todas las funciones no sólo puede carecer de viabilidad en
determinados contextos, sino que puede agregar una complejidad eventualmente
inmanejable en el ámbito latinoamericano donde operan tantas restricciones institucionales
y de capacidades organizativas.

De cualquier manera, la respuesta requiere considerar las estrategias y los ritmos que han
tomado los sistemas para implementarse a lo largo del tiempo. Los países que se
embarcaron más tarde en los esfuerzos por desarrollar sistemas de S&E en la región
parecen haber aprendido una lección en relación con ritmos y tiempos. La idea de
comenzar de cero, para crear un sistema único e integrado (como se dio inicialmente en
países como Colombia y Costa Rica en la primera mitad de los noventa), o de hacerlo de
una manera inmediata, con cobertura total en vez de por etapas o con programas pilotos
(como lo intentó inicialmente Uruguay a principios del nuevo mileno), ha sido descartada
en el presente. El modelo a seguir parece ser más bien el de crear herramientas
independientes en distintas instancias de la administración pública, con funciones muy
concretas en cada caso, que se van consolidando y puliendo en el tiempo para luego ser
agrupadas y categorizadas de acuerdo con sinergias y afinidades funcionales.

Esta estrategia es consistente con el modelo que eligieron Chile y Brasil desde principios
de los noventa. En Chile existen ahora tres sistemas consolidados que recogen múltiples
herramientas especializadas, uno en temas de presupuesto, el otro en temas de prioridad
política y el otro en temas sociales. En Brasil existen los cuatro sistemas ya mencionados
igualmente consolidados. La diferencia fundamental del modelo de implantación de estos
dos países con los que empezaron procesos similares en la segunda parte de la década
pasada (como México y Perú), y en la primera parte de la década del 2000 (como
Honduras), es que éstos ahora intentan incorporar los varios grupos de herramientas en
un solo sistema unificado de S&E nacional. En este sentido, el producto final será más
parecido a los casos de Colombia y Costa Rica, donde al fin de cuentas existen sistemas

21
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

nacionales unificados de S&E de la gestión pública, a pesar de la diversidad de


vocaciones funcionales y orientaciones generales que cada uno asuma.

El caso de México es emblemático, pues intenta unificar en el Sistema de Evaluación del


Desempeño los esfuerzos alrededor del S&E de los programas sociales consolidados a lo
largo de los años (en un grupo liderado por CONEVAL y la Secretaría de Hacienda) y los
esfuerzos de S&E de mejoramiento de la gestión pública alrededor de una iniciativa
utilizada con éxito en otros países, el programa de mejoramiento de la gestión (en un
grupo liderado por la Secretaría de la Función Pública y la de Hacienda). A la fecha de
elaboración del respectivo informe, la propuesta consistía en crear dos subsistemas cuyos
componentes ya tienen años de maduración y experiencia, y que a la vez serán regulados
por un equipo coordinador que incluye las tres entidades protagonistas en temas de S&E
en el país. Ellas propusieron conjuntamente la implementación oficial del SED al Congreso
en el año 2007. Pero incluso este gran esfuerzo de unificación se realizará gradualmente,
por etapas basadas en pilotajes 10 .

La tendencia a la integración también pareciera estar presente en el caso de Bolivia,


atendiendo al hecho de que un decreto de 2007 establece un nuevo alcance del Sistema
de Seguimiento y Evaluación de la Gestión Pública por Resultados (SISER), que funcionó
hasta el año 2006 11 bajo la coordinación del Ministerio de la Presidencia. El decreto en
referencia dispone que el SISER se orientará a la “evaluación del impacto político de las
medidas gubernamentales” como una herramienta para el análisis que permita producir
informes ejecutivos para el Presidente de la República, haciendo uso de la información
suministrada por el Sistema de S&E del Plan Nacional de Desarrollo. Por otra parte,
recientemente, el Sistema Integrado de Gestión y Modernización Administrativa (SIGMA)
coordinado por el Ministerio de Hacienda, desarrolló una clasificación programática del
gasto con base en clasificaciones del Plan de Desarrollo elaborados por el Ministerio de
Planificación; dicha clasificación se presentó al Congreso como anexo del presupuesto
2007 permitiendo hacer una lectura del presupuesto de acuerdo con los objetivos,
estrategias y programas del Plan Nacional de Desarrollo, aunque todavía carece de una
vinculación con metas e indicadores de desempeño 12 . En cualquier caso, como lo sugiere
el informe de Bolivia, habida cuenta de las funciones de S&E que cumple el Ministerio de
Hacienda, será “necesario encontrar desde el comienzo mecanismos de coordinación y
espacios de complementariedad que eviten la duplicidad de esfuerzos y el choque de
competencias en la administración” (Del Villar, 2007), por lo que no es posible aún saber
10
Cabe destacar que, a la fecha de finalización de este informe comparativo, el Congreso ya había
rechazado la propuesta, y actualmente las dos Secretarías están trabajando para rediseñar el sistema de
acuerdo con la nueva normativa aprobada en octubre de 2007 (fuente: Osvaldo Feinstein, mensaje
electrónico, noviembre de 2007).
11
El SISER funcionó solamente seis años; en 2006 la nueva administración decidió suspender su operación
y sustituirlo por un Sistema de Planificación fortalecido.
12
El Subsistema de Programación de Operaciones (SPO) del SIGMA, aunque todavía no está funcionando,
contempla un módulo que incorpora las metas e indicadores de cada sector y entidad y con base en ellas
debe dar cuenta de los resultados de la gestión nacional. Pero, según lo destaca el informe, “el plan
operativo con sus indicadores y metas no lo define ni aprueba el ministerio, en muchos casos no lo conoce,
por lo que la función de planificación sectorial, su apropiación y su vinculación con el presupuesto es
bastante débil”.

22
Tomado de: Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Informe
comparativo de 12 países
Nuria Cunill Grau y Sonia Ospina Bozzi, Banco Mundial, CLAD, 2008. - 116 p. (pp. 93-109).

cuál será la trayectoria final que adoptará el sistema de S&E del Plan Nacional de
Desarrollo que actualmente se encuentra en fase de diseño.

Cabe, sin embargo, distinguir entre la idea de ritmos pausados y deliberados de


implementación de herramientas y consolidación de sistemas, y la práctica de caer en una
parálisis, como la que parecen haber vivido ciertos sistemas una vez anunciada su
creación oficial. Lagunas de uno o dos años en las cuales el proceso parece haberse
congelado, como se evidenciaron en los casos recientes de Perú, México y Bolivia, son
síntomas preocupantes de falta de voluntad política o de inercias al interior de la
administración pública que no contribuyen a legitimar los futuros sistemas. Ahora los
actores tendrán que reponer el tiempo perdido para asegurar cierto apoyo.

En todo caso, y para concluir, la estrategia deliberada de juntar herramientas consolidadas


en subgrupos para crear un solo sistema representa un ajuste novedoso a los
aprendizajes históricos, puesto que diverge de los casos de Chile y Brasil, cuyos sistemas
consolidados se mantienen independientes, y se acerca más a los casos de Colombia y
Costa Rica, con su opción por un sistema único de nivel nacional. La apuesta, que
además de México, también parece haber sido tomada en Perú, Honduras y
aparentemente en Bolivia, es interesante. Pero aún no se cuenta con evidencia para
evaluarla, puesto que se encontraba en plena implementación en todos estos países en el
momento del estudio.

Hemos recogido en este capítulo final las conclusiones de nuestro análisis comparativo
sobre la institucionalización de los sistemas de S&E en doce países de la región, utilizando
nuevamente dos miradas complementarias. La primera se concentró en los propios
sistemas como unidad de análisis, considerando las dimensiones propuestas en el marco
teórico original como claves para comparar el grado de institucionalización de sistemas
que buscan promover la gestión para resultados: su diversificación funcional e
instrumental; su coherencia institucional (integración vertical y horizontal); el uso de la
información; y su sostenibilidad en el tiempo. La segunda mirada ofreció una visión de
sistemas por caso, o sea explorando el conjunto de los esfuerzos en cada país. Esto nos
permitió explorar las variaciones en origen, diseño y desarrollo de los esfuerzos
nacionales.

Las dos miradas ofrecen en conjunto información relevante sobre la naturaleza y el nivel
de institucionalización de un mecanismo clave para promover la gestión para resultados
en el contexto latinoamericano. El producto de este doble análisis comparativo sugiere
que, si bien se notan avances para el buen gobierno gracias a los aprendizajes
relacionados con la puesta en marcha de los sistemas de S&E orientados a los resultados,
es difícil establecer conclusiones firmes dado el grado de dinamismo de los mismos en la
región. En efecto, los desarrollos continuos que se suceden -incluso mientras terminamos
de escribir esta conclusión- requerirán atención sistemática y seguimiento para seguir
aprendiendo de la práctica en un área cuyos cambios constantes reflejan su relevancia
para los varios actores interesados en promover una gestión pública moderna y
democrática en la región.

23

Вам также может понравиться