Diseo de Modelos de Evaluacin de la

Gestin
Juan Carlos Cruz Moreno
jccruz2000@yahoo.com

LA EVALUACIN COMO PROCESO

GENERAL

Por qu es importante la evaluacin?

El diseo de sistemas de evaluacin de la gestin pblica es central para

el fortalecimiento de la democracia (Rendicin de Cuentas).

La evaluacin es una prctica poltica y tcnica constructiva, de anlisis

y comunicacin de informacin til para mejorar aspectos de las polticas
pblicas.

La evaluacin en s misma es un proceso de aprendizaje sobre la

gestin, a travs de la reflexin crtica y analtica sobre los aciertos y
errores cometidos.

Es importante que las personas y / o equipos que disean e implementan

procesos de evaluacin expliciten su marco de anlisis, los objetivos
que persiguen y los resultados esperados de su intervencin, por la
falta de objetividad que se puede dar en la prctica evaluativa.
3

La evaluacin como actividad poltica

Rendicin de cuentas / responsabilidad poltica

Las evaluaciones son sospechosas a priori: siempre hay
inquietudes a la luz de los resultados; insatisfechos; ganadores
y perdedores.
Algunos usos polticos de las evaluaciones:

Legitimacin de acciones de rediseo organizativo o ajuste

presupuestal.
Justificar una decisin previamente tomada.
Generacin y mantenimiento de la confianza pblica en determinados
programas.
Reforzamiento o destruccin de la reputacin de una poltica (en
trminos de su eficiencia, eficacia y oportunidad).
Control parlamentario del ejecutivo.

Funciones bsicas de evaluacin

La evaluacin de la gestin en un sentido general, significa
monitorear y guiar los hechos para que los resultados reales
coincidan o superen a los deseados (programados) y esto supone
cuatro funciones bsicas:
a)

Fijacin de estndares de actuacin satisfactoria.

b)

Comprobacin de los resultados reales frente a los

estndares.

c)

Toma de una decisin correcta cuando los resultados reales

no satisfacen los estndares.

d)

Realizacin de acciones de mejora.

Presupuestacin

Planeacin

Ejecucin
Monitoreo
y Evaluacin

ESCENARIO
DESEABLE
(VISIN)

BRECHA DE
PLANEACIN

PROCESO DE DESARROLLO INSTITUCIONAL

PROYECTOS
ESTRATGICOS

ESCENARIO
TENDENCIAL

SITUACI
N ACTUAL

2010

2011

2012

2013

2014

2015

2016

EVALUACIN
PERSPECTIVA TEMPORAL
Antes de iniciar el programa

A medio camino en la intervencin

Ex-ante

Intermedia

Finalizado el perodo de ejecucin

Ex-post

SEGN SU CONTENIDO
Problemas-objetivos-estrategias

Conceptual o de diseo

Procedimientos y criterios

Gestin o de proceso

Realizaciones-resultados-impactos

Eficacia, eficiencia y
calidad

PLANEACIN
ESTRATGICA
INSTITUCIONAL

Misin
Visin
Prospectiva
Objetivos Estratgicos
Proyectos Institucionales

PROGRAMAS ANUALES
DE TRABAJO

Actividades
Proyectos
Metas
Indicadores
Recursos

PRESUPUESTO DE
EGRESOS

CONTROL, EVALUACIN Y
RETROALIMENTACIN

Seguimiento y Evaluacin
Resultados e Impactos
Acciones correctivas

Metodologas de evaluacin

Enfoque del marco lgico y evaluacin basada en la teora.

Encuestas formales: hogares, niveles de bienestar, satisfaccin
del cliente, sondeos de opinin y calificacin, etc.
Mtodos de evaluacin rpida: entrevistas a informantes clave,
grupos focales, expertos, observacin directa, miniencuestas o
sondeos rpidos.
Mtodos participativos: anlisis con los involucrados.
Estudios de seguimiento del gasto pblico.
Evaluacin de los efectos. Mtodos experimentales y
cuasiexperimentales
Anlisis de costos-beneficios y anlisis de la eficacia
en funcin de los costos.

Todas las metodologas son aceptables siempre que se adapten al

objeto de estudio, a la informacin disponible y a la naturaleza de la
hiptesis.
10

Cmo debe estar diseada la evaluacin?

Es necesario que el diseo de los sistemas de evaluacin sea:

Flexible, Abierto, til, Simple, Econmico.

Por lo tanto antes de disear e implementar sistemas de

evaluacin de la gestin pblica - es importante responder a
preguntas tales como:

11

En que medida el modelo de gestin en cuestin contribuye a

cumplir los fines que queremos?

De qu manera la aplicacin de ese modelo de gestin

promover una mejora en la calidad de vida de los diferentes
sectores de la sociedad?

11

PROCESO DE EVALUACIN

ACCIONES

Interpretacin de resultados y
elaboracin de reportes:
Contrastacin entre los resultados
esperados y los reales, subrayando
las acciones a seguir para la mejora

Revisin del marco en donde se

inserta el proceso de evaluacin:
Cul es el objetivo de evaluacin,
qu se va a evaluar: para qu, por
qu y qu se va a evaluar, recursos
disponibles, etc

OBJETO DE
EVALUACION

del objeto evaluado

RESULTADOS

12

Recoleccin y anlisis de la
informacin:
Aplicar los instrumentos en medios
controlados, subrayando la
objetividad en las aplicaciones y
entrevistas, adems de su anlisis.

PROYECTO

Instrumentacin:
Elaboracin de los diferentes tipos
de instrumentos de medicin,
comprobando su validez interna y
confiabilidad, as como la
definicin de indicadores
esperados ideales

PROGRAMA

Retos de la evaluacin del desempeo

De implementacin:

Normatividad (abundante y compleja) y estructura (inflexible, vertical,

operacin basada en el control).

Inercia conservadora burocrtica. Los funcionarios seguirn guindose por el

manual, la normatividad y los expedientes, mientras los incentivos del sistema
apunten en esa direccin

Resistencia individual:
1) Reportitis, se requiere tiempo, es muy tcnico.
2) Produce inseguridad personal (los jefes no confan).
3) Se juzga como presin para acelerar.
4) Temor a que las deficiencias salgan a la luz.

13

Retos de la evaluacin del desempeo

De implementacin:

Costos de los indicadores. Tiempo directivos y de staff, costos

de procesar informacin, costo de las inspecciones y auditoras.

Debe evitarse que la evaluacin se convierta en un sistema de

requerimientos burocrticos, rgidos e inflexibles.

La aceptacin del cambio en la organizacin es variable. Por

ello, el reto es crear en las instituciones una actitud crtica,
romper la autocomplacencia.

14

Retos de la evaluacin del desempeo

De implementacin:

Ausencia de un sistema de consecuencias ligado a

los resultados de la medicin del desempeo. Un
sistema de consecuencias implica utilizar la
informacin proveniente de la medicin para
recompensar las buenas prcticas y sancionar
esfuerzos pobres.

15

Retos de la evaluacin del desempeo

Estructurales

Frecuente incertidumbre en la relacin entre intervencin y

resultado o impacto producido. No hay certeza de que los
impactos se deban a la actuacin gubernamental.

Cmo apreciar los resultados en el entorno actual, caracterizado

por un incremento en las formas de asociacin y redes al interior
del sector pblico?

La evaluacin puede implicar informacin incompleta sobre

actividades pblicas que son diversas y complejas. Las tablas
sntesis de informacin son crudas, desmoralizantes y a veces,
injustas.

16

Retos de la evaluacin del desempeo

Estructurales
Problema de los incentivos errneos. Talbot: Hacemos
importante lo que puede medirse, porque no podemos
medir lo que es importante. Tensin entre las cosas que
pueden medirse y las que importan.

Nmero de clases impartidas, de alumnos reprobados.

Nmero de consultas mdicas o camas ocupadas vs la atencin al
paciente.
Nmero de sanciones o responsabilidades fincadas.
Nmero de libros vs artculos (Conacyt-SNI).

Si existe una vinculacin de las posibilidades de ascender o ganar

ms con los resultados del sistema, los funcionarios se
concentrarn en el reporte. Dime lo que mides y te dir lo que
hago. Problemas de manipulacin de informacin para alcanzar las
metas.

17

Retos de la gestin del desempeo

Estructurales

Riesgo de uso malintencionado. El seguimiento de

resultados no se emplea porque resuelva los problemas
reales sino para dar al exterior una apariencia de eficacia.
Existe la tentacin de incluir en la medicin solamente
aquello sobre lo que se tiene control o las cosas que pueden
acreditar resultados visibles.

Incompatibilidad con los ciclos polticos (cortos). Los

verdaderos resultados son muchas veces de largo
plazo, y las organizaciones se ven obligadas a concentrarse
en resultados intermedios para que se vean.

18

Flujo de obtencin de indicadores

1. Crear cultura de medicin
Crear conciencia al personal de la importancia
de medir indicadores para evaluar el desempeo
y establecer la mejora.

4. Realizar los registros necesarios

2. Vender la idea
Convencer a quien evala y genera la informacin de
la importancia y necesidad de medir indicadores, para
conocer el desempeo y establecer el proceso de
mejora continua.
3. Crear procedimientos

Registrar los datos que sern la materia prima para la

obtencin de indicadores. Se debe ser muy estricto en
evitar errores de captura o en omitir datos.

Crear los procedimientos bsicos que permitan a las

reas operativas generar los datos necesarios de cada
indicador, as como el procesamiento
(clculo adecuado de los datos generados).

5. Procesar datos

6. Validar indicadores

De los registros de datos (listas o bitcoras),

aplicar los mecanismos adecuados para obtener
los indicadores.

El registro y procesamiento de datos debe ser

factible de ser validado o revisado, para fines de
asegurar la veracidad de los resultados.

8. Mejora continua

7. Difusin de resultados

La obtencin de indicadores permite identificar

fortalezas y debilidades de cada proceso. Esto permite
establecer las bases de la mejora continua.

Presentar los reportes de indicadores a los

interesados de la informacin, para obtener
retroalimentacin y directrices a seguir.

19

20

Sobre la evaluacin en
Mxico

21

El contexto de la evaluacin en Mxico

La primera generacin de la evaluacin fue consecuencia
de las polticas de ajuste de los ochenta, que al exigir un
saneamiento financiero disminuir los egresos / gastos del
estado y a aumentar los ingresos. El hacer ms con
menos, bajo una exclusiva ptica econmica.
La segunda generacin, que se encuentra an a medio
camino extendi y refin la evaluacin a otros campos,
tales como el del impacto social de las polticas, la calidad
de los bienes y servicios pblicos, la satisfaccin del
ciudadano, la pertinencia de los estilos directivos, el diseo
de la estructura organizativa.
22

Sistema de Evaluacin del Desempeo

SISTEMA DE
EVALUACIN DEL
DESEMPEO

Lineamientos generales para la

evaluacin de los programas
federales de la Administracin
Pblica Federal

MARCO LEGAL
LOAPF Art. 9, 31
y 37
Ley
de
Planeacin. Art. 9
LFPRH Art. 45,
78, 85, 110 y 111

Plan Nacional de
Desarrollo
Programas sectoriales

LGDS Art. 72 al
85

Programa Anual de
Evaluacin
PAE
2007 2008 - 2009

Programas
federales
Mecanismo para el seguimiento a
los aspectos susceptibles de
mejora derivados de informes y
evaluaciones externas a
programas federales

23

La evaluacin en el Gobierno Mexicano

Poltica General de Evaluacin
de la A.P.F.

Evaluacin
Funcin Pblica

Evaluacin del Desempeo

Gubernamental

SED-PbR
- PND
- Programas
Sectoriales
- Programas
Presupuestarios

Art. 37, fracc.

1; LOAPF

S
H
C
P

- PMG
- Austeridad, calidad del gasto
- Evaluacin del desempeo
individual
- PTRC
- Programas federales
- Polticas, programas, proyectos

S
F
P

- Evaluacin funcionarios
- Eval. calidad regulacin
administrativa
- Evaluacin del control
interno
- Evaluacin ciudadana

Coneval
Art. 6 del
Decreto de
Austeridad
INEGI

Programa de
mediano plazo
INEE

24

SISED-SIMER

Cmara de Diputados
Congreso de la Unin
Sociedad
Civil
Organizada

Transparencia
Rendicin de cuentas

ASF

S
F
P

Presupuesto Basado en Resultados

Auge actual motivado por:
Crisis fiscales y lmites a la expansin del financiamiento pblico.

Modernidad y transicin hacia sociedad postindustrial: sociedades

con sistemas productivos ms complejos.
Globalizacin y desarrollo de mercados: soberana del consumidor.
Cliente del sector pblico.
Insatisfaccin con tcnicas presupuestarias tradicionales.
Presin por la rendicin de cuentas y la transparencia.

25

CONSTITUCIN

Artculo 134. Los recursos econmicos de que dispongan la

Federacin, los estados, los municipios, el Distrito Federal y los
rganos poltico-administrativos de sus demarcaciones
territoriales, se administrarn con eficiencia, eficacia, economa,
transparencia y honradez para satisfacer los objetivos a los que
estn destinados.
Los resultados del ejercicio de dichos recursos sern
evaluados por las instancias tcnicas que establezcan,
respectivamente, la Federacin, los estados y el Distrito
Federal, con el objeto de propiciar que los recursos
econmicos se asignen en los respectivos presupuestos en los
trminos del prrafo anterior.

26

LFPRH

Art. 2. LI. Sistema de Evaluacin del Desempeo: el conjunto

de elementos metodolgicos que permiten realizar una
valoracin objetiva del desempeo de los programas, bajo los
principios de verificacin del grado de cumplimiento de metas
y objetivos, con base en indicadores estratgicos y de gestin
que permitan conocer el impacto social de los programas y de
los proyectos;

27

Art. 45 LFPRH
Administracin por resultados

Art. 111 LFPRH

Sistema de evaluacin del desempeo

28

LFPRH

Artculo 111.- La Secretara y la Funcin Pblica, en el mbito de sus respectivas

competencias, verificarn peridicamente, al menos cada bimestre, los resultados de
recaudacin y de ejecucin de los programas y presupuestos de las dependencias y entidades,
con base en el sistema de evaluacin del desempeo, entre otros, para identificar la eficiencia,
economa, eficacia, y la calidad en la Administracin Pblica Federal y el impacto social del
ejercicio del gasto pblico, as como aplicar las medidas conducentes. Igual obligacin y para
los mismos fines, tendrn las dependencias, respecto de sus entidades coordinadas.
Dicho sistema de evaluacin del desempeo a que se refiere el prrafo anterior del presente
artculo ser obligatorio para los ejecutores de gasto. Dicho sistema incorporar indicadores
para evaluar los resultados presentados en los informes bimestrales, desglosados por mes,
enfatizando en la calidad de los bienes y servicios pblicos, la satisfaccin del ciudadano y el
cumplimiento de los criterios establecidos en el prrafo segundo del artculo 1 de esta Ley. La
Secretara y la Funcin Pblica emitirn las disposiciones para la aplicacin y evaluacin de los
referidos indicadores en las dependencias y entidades; los Poderes Legislativo y Judicial y los
entes autnomos emitirn sus respectivas disposiciones por conducto de sus unidades de
administracin.
Los indicadores del sistema de evaluacin del desempeo debern formar parte del
Presupuesto de Egresos e incorporar sus resultados en la Cuenta Pblica, explicando en
forma detallada las causas de las variaciones y su correspondiente efecto econmico.
Los resultados a los que se refiere este artculo debern ser considerados para efectos de la
programacin, presupuestacin y ejercicio de los recursos.

29

OBJETIVOS DEL SED

Propiciar un nuevo modelo gubernamental de las

distribuciones del presupuesto, orientado a resultados.
Elevar la eficiencia gubernamental y del gasto pblico, con
un ajuste en el gasto de operacin.
Contribuir a mejorar la calidad de los bienes y servicios
pblicos.
Fortalecer los mecanismos de transparencia y rendicin
de cuentas.

30

SED: INSTRUMENTO DE MEDICIN

Consiste en realizar una valoracin objetiva del

desempeo de las entidades y los programas pblicos,
con base en indicadores de desempeo, relacionados
con eficiencia, eficacia, economa, la calidad de la
administracin pblica y el impacto social del gasto,
que permitan conocer los resultados de la aplicacin
de los recursos pblicos y su impacto social, con el
objeto
de
orientar
futuras
asignaciones
presupuestales (presupuesto basado en resultados).

(Academia Mexicana de Auditora Integral y al Desempeo, A.C., Boletn 12, Metodologa de Evaluacin del Desempeo para
el31
Sector Pblico, marzo 2009.

SED: INSTRUMENTO DE REVISIN

Consiste en la evaluacin externa, independiente,

multidisciplinaria, sistemtica y objetiva, que se realiza con
la finalidad de verificar el grado de cumplimiento de las
metas y objetivos de las entidades y programas, as como
promover acciones de mejora de la gestin, para el
ptimo aprovechamiento de los recursos.

(Academia Mexicana de Auditora Integral y al Desempeo, A.C., Boletn 12, Metodologa de Evaluacin del Desempeo para
el32
Sector Pblico, marzo 2009.

ELEMENTOS DEL SED

IDENTIFICACIN DE OBJETIVOS ESTRATGICOS

ESTABLECIMIENTO DE METAS

CONSTRUCCIN DE INDICADORES

ELABORACIN DE LA MATRIZ DE INDICADORES

33

PLANEACIN INCOMPLETA SI NO SE LLEGA A ROP

Poltica de Desarrollo Social
Nivel 1

Objetivos Nacionales
Ejes poltica pblica
Objetivos y Estrategias

Programas Sectoriales
Nivel 2

Objetivos de los Programas

del PND
Estrategias
Lneas de accin

Objetivos de las dependencias

Objetivo estratgico
de la Dependencia

Nivel 3

Programas presupuestarios
Nivel 4

Fin
Propsito
Componentes
Actividad

34

Reglas de
operacin

Resultados

QUEREMOS PASAR DE ESTO

Propsito???

Implementacin

Componentes

35

Actividades

 A ESTO EN EL MEDIANO Y LARGO PLAZO

Resultados

Objetivos
Nacionales

Fin
Propsito

Componentes

Actividades
36