Organizacin y mtodos alternativos

en la evaluacin de polticas y programas sociales.

La experiencia consolidada y la emergente en el caso de Mxico

Myriam Cardozo
Universidad Autnoma Metropolitana. Mxico
mcardozo@correo.xoc.uam.mx

Resumen:
Mxico presenta graves problemas de pobreza y desigualdad, que sus gobiernos enfrentan seleccionando entre
diferentes enfoques de poltica social, y consecuentemente, de evaluacin de sus programas. En dicha seleccin, la
poltica social del Gobierno Federal mexicano se caracteriza por la focalizacin de sus transferencias condicionadas,
mientras la del Gobierno del Distrito Federal promueve criterios de universalidad y un enfoque basado en derechos.
En materia de evaluacin tambin afloran las diferencias organizativas y metodolgicas entre ambos gobiernos,
especialmente en el nfasis positivista y experimental del primero y el constructivista del segundo.

Palabras clave:
Evaluacin, organizacin, mtodos, polticas sociales, programas sociales, Mxico.

Organization and Alternative Methods

in the Evaluation of Social Policies and Programs in Mexico

Abstract:
Mexico has acute problems of poverty and inequality being confronted by its governments, who select different ap-
proaches to social policy, and consequently, to the evaluation of their programs. In this selection, the social policy of
the Mexican Federal Government is characterized by the targeting of its conditional transfers, while that of the Federal
Districts Government promotes universal criteria and an approach based on human rights. With regards to evaluation,
also the organizational and methodological difference of the two governments stands out. This is specially the case in the
positivist and experimental emphasis of the first government and the constructionist approach of the latter.

Key words:
Evaluation, organization, methods, social policies, social programs, Mexico.

INTRODUCCIN

Ante similares problemas sociales, los gobiernos de distinto signo ideolgico aplican polticas y programas
sociales diferentes que, a su vez, evalan tambin en forma diversa.

El presente artculo realiza una breve revisin terica de la evaluacin de programas sociales en torno a la
diversidad posible en dos de sus aspectos sustantivos: sus formas de organizacin y sus mtodos. Ambos resultan
relevantes para lograr un informe de calidad y una utilizacin efectiva de las recomendaciones; sin embargo, el
primero ha sido poco debatido en la literatura especializada de evaluacin.

El objetivo principal del trabajo es de carcter emprico y se refiere a la evaluacin de programas sociales en
el caso mexicano, en el que se describe la experiencia emergente en el Gobierno del Distrito Federal y se compara
con la relativamente consolidada en el Gobierno Federal. Esto permite, por un lado, enriquecer el inventario de
experiencias sustancialmente diferentes en materia de organizacin y mtodos de evaluacin y, por otro, resalta
la importancia de la dimensin organizativa en la comparacin realizada.
 El trabajo se basa en investigacin documental e incluye: una breve revisin conceptual; la discusin
terica de los dos temas mencionados, iniciando por el ms discutido (mtodos); el anlisis emprico del caso,
considerando los mismos temas en la secuencia que exige su prctica (organizacin antes que mtodos); y
finalmente, las conclusiones.

1. REVISIN TERICA

Con objeto de facilitar la compresin del caso que se analiza, a continuacin se definen los principales
conceptos utilizados en el mismo:

Las polticas pblicas constituyen un fenmeno social, administrativo y poltico especfico, resultado de
un proceso de sucesivas tomas de posicin, que se concretan en un conjunto de decisiones, acciones u omisiones,
mismas que traducen, en un lugar y perodo determinado, la respuesta preponderante del Estado frente a problemas
pblicos vividos por la sociedad civil (Cardozo, 2006: 25-26, retomando elementos desarrollados en ODonnell y
Oszlak, 1976; y Oszlak, 1980).

Las polticas referidas se concretan en sectores o temas especficos mediante el diseo de programas que
presentan definiciones ms precisas de sus componentes (objetivos, metas, recursos, acciones, tiempos).

Un tipo particular de polticas pblicas est constituido por las polticas sociales, cuyo objetivo final
es el logro del bienestar social mediante estrategias de redistribucin de la riqueza y del ingreso para impulsar un
mejoramiento continuo de las condiciones de vida de la poblacin (Cardozo, 2006: 153).

El proceso de estas polticas puede desagregarse en etapas cuya secuencia temporal no siempre puede
respetarse en la prctica. La literatura se refiere fundamentalmente a tres: formulacin, implementacin y evaluacin.

La ltima etapa identificada analiza y valora los procesos, resultados e impactos provocados por las dos
anteriores1. Puede definirse como una investigacin aplicada, de tendencia interdisciplinaria, realizada mediante la
aplicacin de un mtodo sistemtico, cuyos objetivos fundamentales son:

tcnicos: conocer, explicar y valorar una poltica o programa para aportar

elementos al proceso decisorio que permitan mejorar los efectos de la actividad evaluada,
resaltando la importancia atribuida a la emisin de un juicio valorativo sobre dicha actividad, y

polticos: contribuir al logro de una democracia efectiva, a travs de la

rendicin de cuentas del gobierno a los ciudadanos y de su participacin efectiva en el proceso
(Cardozo, 2006).

En consecuencia, la evaluacin se justifica: a) tcnicamente, por las mltiples brechas que pueden presentarse
entre los problemas sociales y su definicin pblica, el diseo y la implementacin de las polticas y programas que
se proponen resolverlos; y b) polticamente, por los procesos de democratizacin (debate ciudadano, aprendizaje
participativo, credibilidad,) y reforma del Estado (privatizacin, descentralizacin) que se agravan en pases de gran
tamao, sujetos a una estricta disciplina fiscal, como sucede en el caso mexicano.

Cuando sta se realiza de forma integral, ya sea externa o interna, trata de: a) describir los recursos
empleados, b) describir el proceso que se llev a cabo, c) explicar sus determinantes y condicionantes contextuales,
d) identificar, medir y valorar los resultados e impactos alcanzados, d) calificar su grado de efectividad y e) proponer
recomendaciones para decidir si contina aplicndose, y si lo har con o sin modificaciones tendientes a resolver, o al
menos reducir, los problemas identificados. Implica verificar si los efectos esperados se han producido, y en qu grado
stos pueden ser atribuidos a la poltica o el programa evaluado, descartando impactos de otras posibles variables
intervinientes, as como identificar si se han presentados efectos no planeados (externalidades positivas o negativas).

Para llevar a cabo las actividades anteriores se utilizan mtodos que dotan al evaluador de una perspectiva

<?>
En el presente trabajo, la evaluacin se refiere siempre a la definida en el texto, que corresponde a la conocida como ex-post o a
posteriori, para diferenciarla de la que se realiza ex-ante o a priori, que forma parte del proceso de seleccin de alternativas, desarrollado
durante la formulacin de polticas y programas pblicos.
y un conjunto de principios o normas que guan su actuacin y le permiten seleccionar y coordinar las tcnicas ms
adecuadas para el anlisis y valoracin de una poltica o programa.

El debate sobre los mtodos ha sido muy intenso. Algunos de los aspectos ms discutidos provocan posiciones
tericas encontradas que explicitaremos a continuacin: a) el grado de objetividad del evaluador; b) las actitudes
asumidas en cuanto a la profundidad del trabajo y su referente valorativo; c) su nivel de tecnicismo y de participacin;
d) su enfoque uni o multidisciplinario; e) su objetivo de aprendizaje o de sancin; f) la necesidad o falta de relevancia
atribuida al conocimiento del evaluador sobre el tema a evaluar; g) su nfasis en el papel de la teora y de las pruebas;
h) el grado en que la evaluacin se construye en cada caso o se estandariza un modelo nico aplicable a cualquier
programa; y principalmente, i) el nfasis en la utilizacin de mtodos cuantitativos o cualitativos.

En el abanico de posiciones asumidas frente a las opciones previas, dos grandes corrientes (en la prctica
a veces combinadas en una perspectiva contingente) orientan prioritariamente la evaluacin de programas en la
actualidad: el nfasis positivista, de origen estadounidense, y el contructivista, desarrollado en el contexto europeo.

Esquemticamente, los enfoques positivistas se caracterizan por poner distancia respecto del objeto
analizado, preocuparse de la validez interna y externa de su diseo metodolgico, la confiabilidad, el poder de
generalizacin, la objetividad, el nfasis en la cuantificacin y la utilizacin privilegiada de la experimentacin.

Los constructivistas, por su parte, consideran que existen tantas realidades como individuos (en lugar de
visiones objetivas), se interesan en fenmenos que articulan lo micro y lo macro, lo formal y lo informal, recuperan
los efectos del contexto, la pluridimensionalidad de los problemas y la organizacin en red, rechazan la separacin
tajante de las etapas del proceso de polticas pblicas y la realizacin de estudios de caso sectoriales, y enfatizan
la investigacin cualitativa, a veces apoyada en la estadstica (Mayntz ,1987; Le Moigne, 1994; Thoenig, 1998;
Monnier, 1995; Durn,1999).

Por otra parte, si bien el problema del mtodo es un asunto clave en materia de evaluacin, hay otro
aspecto muy importante y menos estudiado que enmarca la forma en que se desarrollan sus trabajos: la dimensin
organizativa. Se trata de comprender que las administraciones pblicas, en cuyo marco se realizan los procesos
de gestin y evaluacin, se componen de redes de organizaciones en que los aspectos polticos, culturales, de
estructuracin y de funcionamiento constituyen factores relevantes que afectan el desempeo evaluativo. El
estudio de la dimensin mencionada, uno de los tres aspectos resaltados2 en Francia por el Informe Deleau en
1986, constituye el aporte realizado por la sociologa de las organizaciones y la sociologa poltica al anlisis de la
evaluacin.

El anlisis de los factores organizacionales que afectan el desarrollo de la evaluacin y la calidad de sus
resultados implica tomar en cuenta al menos: a) el contexto poltico, jurdico y cultural; b) los rganos que deciden
la realizacin de la evaluacin y sus motivos; c) las organizaciones y actores participantes, su funcionamiento y
relaciones formales e informales; d) la planeacin del trabajo; e) los recursos asignados para su ejecucin; y f) la
difusin y utilizacin de los resultados (Cardozo, 2006).

En consecuencia, Thoenig propone redefinir la evaluacin como un proceso de aprendizaje institucional,

de transformacin de lo que conviene hacer, de las reglas y las identidades. Para institucionalizar realmente esa
evaluacin, seala que es necesario algo muy diferente a establecer procedimientos administrativos: crear las
condiciones que se enfoquen a cambiar la teora en actos de los decisores, a modificar los modelos cognitivos
y normativos que estructuran su visin del mundo, su representacin de los problemas y su apreciacin de los
instrumentos movilizados para actuar (Thoenig, 2002).

2.- EL CASO DE MXICO

Se expone brevemente la situacin social y las polticas mexicanas as como la caracterizacin de la

organizacin y los mtodos empleados para realizar la evaluacin por el Gobierno Federal (GF), con el objetivo de
presentar una nueva experiencia que busca encarar su trabajo con un enfoque diferente: la del Gobierno del Distrito
Federal (GDF). En su tratamiento se retoman los aspectos analizados en la revisin terica; sin embargo, para una
mejor comprensin del caso concreto se invierte el orden en que ellos fueron tratados, respetando su secuencia
emprica (primero la organizacin de la evaluacin y luego los mtodos aplicados en su desarrollo).

2 Los otros dos temas son metodologa y deontologa (reglas del arte).
2.1. Pobreza, desigualdad y polticas sociales mexicanas

El proceso de industrializacin mexicano, iniciado en los aos cuarenta, provoc altas tasas de crecimiento
econmico que permitieron, incluso a los ms pobres, aumentar su nivel de ingreso; sin embargo, stas estuvieron
acompaadas de una distribucin del ingreso muy polarizada, que se fue profundizando con el paso del tiempo.

En el perodo 1963-1984, las mediciones realizadas (Hernndez, 1991) muestran un sustantivo descenso de
la pobreza general de 77 a 59%; pero, en 1994-1996, la crisis econmica vivida provoc un nuevo incremento de la
misma3.

Entre 1996 y 2006 los tres tipos de pobreza (alimentaria, de capacidades y de patrimonio4) tendieron a
disminuir; sin embargo, recin en 2001 alcanzaron aproximadamente el nivel que presentaban en 1992.

Entre 2006 y 2008 la tendencia volvi a invertirse; el porcentaje de personas en condicin de pobreza
alimentaria a nivel nacional aument de 13,8% a 18,2% (19,5 millones de personas), y en condicin de pobreza de
patrimonio, de 42,6% a 47,4% (50,6 millones de personas) como consecuencia del incremento en el desempleo, la
disminucin de las remesas recibidas del extranjero y los aumentos en el costo de la canasta alimenticia bsica,
principalmente. En cambio, este aumento no se produjo en el caso de la pobreza de capacidades debido al incremento
de las transferencias efectuadas por los programas gubernamentales (CONEVAL, 2009a).

Pocos meses despus, la misma institucin dio a conocer nuevas estimaciones de pobreza para 2008, utilizando
un mtodo de medicin multidimensional: 33,7% de pobreza moderada y 10,5% de pobreza extrema. Para el caso del
Distrito Federal sus clculos arrojan: 25,7% y 2,1% respectivamente (CONEVAL; 2009b). Sin embargo, las estimaciones de
pobreza, efectuadas con criterios ms estrictos, alcanzan aproximadamente a la mitad de la poblacin de la entidad,
o sea, 4,5 millones de personas (Evala DF, 2009).

Complementariamente, en 2005, la desigualdad medida por el coeficiente de Gini fue de 0,528 (Medina y
Galvn, 2008). Estos datos, cercanos al promedio latinoamericano, ubican a Mxico en una situacin intermedia entre
los pases de la regin5.

En materia de poltica social, Mxico desarroll mltiples programas federales en las dcadas de auge
econmico, principalmente en salud, educacin, seguridad social y vivienda. Los mismos respondieron a la
promocin del Estado de Bienestar en Amrica Latina, mediante la ampliacin de derechos sociales y la procuracin
de mejores condiciones de vida para el conjunto de la sociedad.

Pero, hacia finales de los ochenta, despus de la aplicacin del ajuste estructural para lidiar con la crisis
fiscal del Estado de Bienestar y de la implantacin del mercado como nueva centralidad, las mencionadas polticas
sociales federales de amplio espectro tendieron a ser sustituidas por programas focalizados a la atencin de la
pobreza extrema6, situacin que sigue vigente hasta la actualidad a pesar del cambio de partidos a cargo del
Gobierno Federal (Partido Revolucionario Institucional, PRI, hasta el ao 2000 y Partido Accin Nacional, PAN,
en adelante)7. Estos programas enfatizan la realizacin de transferencias mnimas para la satisfaccin de las
necesidades humanas bsicas, condicionadas al cumplimiento de un conjunto de obligaciones por parte de los
3 El incremento pas de 69 a 78% con base en la medicin de Boltvinik (1998), pero su clculo no es necesariamente compatible con
la serie presentada por Hernndez (1991), en el perodo 1963-1984.
4 El Comit de Medicin de la Pobreza entiende por poblacin en pobreza alimentaria aquella que no dispone de recursos suficien-
tes para cubrir ni siquiera sus gastos de alimentacin (similar a la indigencia en las mediciones de CEPAL); en pobreza de capacidades, la que
logra cubrir los anteriores pero no los gastos correspondientes a salud y educacin; y en pobreza de patrimonio, a la que cubre los gastos
anteriores pero no alcanza a satisfacer necesidades como vivienda, vestido, zapatos, transporte, entre otras (cercana a la pobreza general
de CEPAL).
5 Amrica Latina contaba con un estimado de 34,1% de pobres en 2007 (CEPAL, 2008), y un coeficiente de Gini de 0,533 en 2005
(Medina y Galvn, 2008).
6 El Programa Nacional de Solidaridad (PRONASOL) se cre en diciembre de 1988. En 1997 dio inicio el Programa de Educacin,
Salud y Alimentacin (PROGRESA), que se transform, con algunas modificaciones, en el Programa de Desarrollo Humano Oportunidades
en 2001 (actualmente vigente).
7 En la presentacin de la nueva medicin muldimensional de la pobreza, realizada en diciembre de 2009, CONEVAL reconoci la
necesidad de desarrollar algunas polticas universales (seguridad social, educacin, salud), adems de las polticas focalizadas priorizadas
hasta el presente (CONEVAL, 2009b).
beneficiarios, y las complementan mediante la inversin en polticas de formacin de capital humano (alimentacin,
salud y educacin).

En cambio, a nivel del Distrito Federal, desde 1997 en que el Partido de la Revolucin Democrtica (PRD)
se hizo cargo del gobierno, ste ha defendido una mayor intervencin estatal en la solucin de problemas sociales
y ha tratado de promover la participacin de la sociedad en los procesos decisorios correspondientes. As mismo
ha definido un conjunto de principios rectores de la poltica, plasmados en la Ley de Desarrollo Social del Distrito
Federal8, entre los que figuran algunos que marcan diferencias tajantes con la poltica federal: universalidad
combinada con criterios de focalizacin territorial, integralidad, avance hacia un enfoque de derechos econmicos,
sociales, culturales y ambientales exigibles, participacin ciudadana, entre otros.

2.2. La organizacin de la evaluacin

El GF mexicano estuvo durante siete dcadas en poder del PRI. En el largo perodo en que ste fungi como
partido hegemnico no se generaron incentivos para impulsar estrategias de evaluacin, slo se implantaron
algunos mecanismos de control punitivo que provocaban temor y rechazo en los funcionarios pblicos.

Sin embargo, acabando el siglo pasado, los partidos de oposicin fueron ganando cargos en las gubernaturas
estatales, los gobiernos municipales y los congresos. Ante esta situacin de incertidumbre creciente y elevado
nivel de conflicto, el GF prista propuso la aplicacin de evaluaciones a los programas gubernamentales,
estrategia compartida por el Banco Mundial (BM) y el Banco Interamericano de Desarrollo (BID).

En consecuencia, la evaluacin externa y sistemtica de los programas pblicos fue asumida en 2001 por el
GF panista para responder a una decisin tomada por la Cmara de Diputados. La misma se introdujo en todos los
programas gubernamentales relevantes9, pretendiendo cubrir anualmente todo su proceso (incluso la medicin
de impacto), sin previa preparacin de funcionarios y formacin de especialistas que hasta ese momento se haban
desempeado en un universo ajeno a la cultura de evaluacin, y sin modificar una legislacin poco adecuada para
la contratacin de evaluadores externos.

En el proceso deban participar mltiples organizaciones (Cmara de Diputados, Secretaras de Estado

responsables de los programas evaluados, rgano operadores de los anteriores, Secretara de Hacienda y Crdito
Pblico, Secretara de la Funcin Pblica y universidades y centros de investigacin invitados o contratados para
aplicar las evaluaciones externas), lo que provoc problemas administrativos internos por falta de experiencia y
dificultades en la coordinacin interorganizacional.

La evaluacin fue planeada por la secretara responsable de cada programa y fue organizada, contratada y
pagada por la organizacin que lo opera, lo que puso de relieve otros problemas: la ausencia de criterios de equidad
para la fijacin del monto de recursos disponible para evaluar cada programa, la falta de autonoma financiera del
evaluador para garantizar su objetividad, as como la posterior difusin y utilizacin limitada de sus resultados
(Cardozo, 2006).

En 2006, el GF cre el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL)10. El

mismo logr avances importantes en la organizacin y funcionamiento del sistema de evaluacin; sin embargo,
algunos problemas importantes siguen an sin resolverse. Se trata principalmente de la ausencia de un fondo
independiente de recursos para la contratacin de todos los evaluadores, la aplicacin generalizada de mecanismos
de contratacin por concurso, y la utilizacin efectiva de los resultados de la evaluacin.

Es importante aclarar que el primer problema antes sealado y el cambio en la periodicidad de la evaluacin
de los programas, requerira de una modificacin de la legislacin federal vigente.

8 Aprobada en el ao 2000 y reformada en 2004 y 2009.

9 En 2002, slo una secretara (Desarrollo Social) tuvo que evaluar 31 programas.
10 El CONEVAL est conformado por el titular de la Secretara de Desarrollo Social federal, seis investigadores acadmicos elegidos
por la Comisin Nacional de Desarrollo Social a travs de convocatoria pblica, y un Secretario Ejecutivo designado por el Ejecutivo Federal.
 Por su parte, en 2008, el gobierno local del Distrito Federal instal el Comit de Evaluacin y
Recomendaciones del Consejo de Evaluacin de la Poltica de Desarrollo Social (Evala DF)11, creado el ao anterior
por decreto de su Jefe de Gobierno (de orientacin poltica perredista), ante la necesidad de instrumentar un
proceso, casi inexistente en su administracin, que contribuyera a mejorar la gestin de sus programas.

Evala DF ha organizado un sistema de evaluacin sustantivamente diferente al federal. En su presentacin

se pondr nfasis en las acciones y propuestas de Evala DF frente a los principales problemas identificados en el
contexto federal.

Reconociendo la limitada aceptacin cultural que la evaluacin tiene entre los funcionarios mexicanos, el
relativo nivel de institucionalizacin de esta funcin y de profesionalizacin de quienes la realizan, Evala DF decidi
discutir, analizar y capacitar a los servidores pblicos en el tema, en forma paralela al inicio de sus trabajos, proceso
que no se realiz a nivel federal. Se espera que el evaluador recoja y juzgue evidencias, pero tambin que acte como
facilitador de un proceso de aprendizaje, lo que a mediano plazo implica un cambio en su rol y en las caractersticas
requeridas para cumplirlo (interdisciplinariedad, habilidades de negociacin, didcticas, etc.), aspectos resaltados en
la experiencia francesa (Monnier, 1995).

Durante la capacitacin sealada ha sido muy importante resaltar el papel positivo de la evaluacin, ligado al
aprendizaje de los servidores pblicos y de la ciudadana, en contraste con el temido enfoque punitivo aplicado por el
GF durante el siglo pasado. Tambin se han sealado las limitaciones de este proceso, de manera que las expectativas
generadas sean realistas.

A nivel federal, la falta de capacitacin de los funcionarios en el tema se agrav debido a la ausencia de un
manual bsico o gua de evaluacin que apoyara especficamente el nuevo trabajo a realizar. En Evala DF se pretende
retomar la experiencia de pases como Francia, Gran Bretaa o Canad para la elaboracin de una gua apropiada a
nuestro contexto; sin embargo, la urgencia en la realizacin de otras tareas ha venido postergando su elaboracin.

Por otra parte y como ya fuera mencionado, en el caso federal, la decisin asumida por la Cmara de Diputados
en materia de evaluacin llev a que se tratara de evaluar anualmente todos los programas gubernamentales federales
sujetos a Reglas de Operacin, en todos sus aspectos: recursos, procesos, resultados e impactos. Esto resulta muy
ambicioso, ningn pas lo ha hecho, y se corre un altsimo riesgo de transformar a la evaluacin en un procedimiento
superficial y rutinizado (como el que vivi Canad a inicios de los noventa), que busca cumplir una disposicin
legal sin hacer una contribucin real al mejoramiento de los programas. Para evitar dicho riesgo, en 2008, Evala DF
solicit la evaluacin externa de diseo y operacin (postergando la medicin de resultados e impactos) de slo 13
programas12, seleccionados con base en una combinacin de diversos criterios (presupuesto del programa, visibilidad
y sensibilidad ante la poblacin, programas centrales y delegacionales, entre otros). En 2009, en cambio, se opt
por solicitar la evaluacin de la formulacin e implementacin de cuatro polticas sociales (no slo de programas),
nivel en que la experiencia internacional es casi inexistente.

Para la contratacin de los evaluadores, Evala DF comenz por hacer una amplia convocatoria para conformar
su padrn (el que se mantiene abierto en forma continua), seleccionando a los interesados que demostraron contar
con conocimientos y experiencia en la materia. Posteriormente, se invit a todos los que quedaron inscritos en
el padrn a participar, va concurso, en la realizacin de la primera y segunda rondas de trabajos, evitando as los
procedimientos federales centrados en la invitacin a tres o ms instituciones y, en casos extremos, la asignacin
directa. En su seleccin se tom en cuenta no slo el compromiso de cumplimiento de lo solicitado por los Trminos
de Referencia, sino la calidad que puede ofrecer el equipo evaluador y su solvencia tica.

Adicionalmente, la experiencia federal muestra equipos de evaluadores que tienden a concentrar varias
evaluaciones al mismo tiempo como forma de incrementar sus ingresos, lo que puede reducir la calidad del trabajo.
Por ello Evala DF limit a dos el nmero de evaluaciones que un mismo equipo podra realizar. En las dos primeras
rondas de trabajos ningn equipo evalu ms de un programa o poltica.
11 Evala DF est compuesto por el Secretario de Desarrollo Social del DF, y seis consejeros ciudadanos seleccionados en convoca-
toria pblica por la Comisin Interinstitucional de Desarrollo Social del Distrito Federal.
12 Los programas mencionados fueron: - Pensin alimentaria para adultos mayores; - Acceso gratuito a los servicios mdicos y medi-
camentos de las personas residentes en el DF que carecen de seguridad social laboral; - Apoyo econmico a las personas con discapacidad;
- Atencin integral de cncer de mama en el DF; - Microcrditos para actividades productivas de autoempleo; - Vivienda en conjunto; - Mejo-
ramiento de vivienda y/o lote familiar del DF; - Estmulos para el bachillerato universal; - Programas de Desarrollo Social de las Delegaciones
Iztapalapa, Gustavo A. Madero, A. Obregn, Tlhuac y M. Hidalgo.
 Como ya se mencion, un aspecto importante para garantizar lo ms posible la necesaria independencia del
evaluador es evitar que su pago sea realizado con recursos del mismo programa que est evaluando, problema que se
presenta en la experiencia federal. En contraste, Evala DF conforma un fondo especfico que distribuye los recursos
disponibles de manera autnoma y en funcin de la complejidad del trabajo a realizar. Adems, los montos a pagar
son trasparentados desde la convocatoria y no quedan sujetos a competencia, como sucede en la experiencia federal.

Evala DF interviene a lo largo de todo el proceso de evaluacin, en particular, poniendo en prctica

procedimientos de acompaamiento del evaluador para superar gilmente los problemas a que ste se enfrenta. De
manera muy especial, en el caso de la contratacin de evaluaciones externas (en forma similar al Consejo Cientfico
de la Evaluacin en Francia), Evala DF opina sobre la propuesta tcnica (metodologa, fuentes de informacin,
mecanismos de participacin, contenido tentativo del informe, cronograma de trabajo, etc.) que los equipos
postulantes presentan y, una vez finalizado el trabajo, elabora un dictamen sobre la calidad del informe presentado:
sus datos, mtodos, conclusiones y recomendaciones.

Con base en el anterior, Evala DF redacta sus propias recomendaciones, mismas que tienen carcter de
vinculatorio u obligatorio, diferencia sustantiva con el procedimiento federal, que se espera permita la efectiva
utilizacin de los resultados encontrados para el mejoramiento del diseo, eficacia, eficiencia, equidad y calidad de
los programas en curso. Adems, este Comit ha diseado un sistema de seguimiento de la aplicacin de dichas
recomendaciones y del impacto que van logrando en el programa, a fin de garantizar una verdadera gestin por
resultados. Dicho sistema recin se est poniendo en prctica debido a que acaban de emitirse 121 recomendaciones
vinculantes de la primera ronda, de la cuales 86 han sido aceptadas total o parcialmente por los programas evaluados,
y con ellas se est iniciando el proceso.

Frente al casi nico mtodo de difusin de los informes finales empleado por CONEVAL (pginas de Internet),
Evala DF considera importante divulgar ampliamente (como lo hace Costa Rica, por ejemplo) una sntesis de los
resultados de las evaluaciones en peridicos y revistas de amplia circulacin, para fomentar el debate ciudadano.
Complementariamente, considera la posibilidad de publicar en forma de libro algunas evaluaciones seleccionadas. Sin
embargo, a la fecha es poco lo que se ha podido realizar debido a restricciones presupuestales.

En resumen, podemos esquematizar la prctica de evaluacin desarrollada a nivel federal y contrastarla con
la emergente en el GDF (acciones y propuestas) en materia de organizacin:
 ESQUEMA I

Comparacin de la organizacin de la evaluacin en Mxico

Prctica desarrollada en el GF Prctica emergente en el GDF

Proceso implantado sin preparacin previa. Imparticin efectiva de cursos y diplomados en

evaluacin. Propuesta de elaboracin de guas
para facilitar el trabajo.
Evaluacin anual de todos los programas Propuesta de evaluacin plurianual de algunos
gubernamentales sujetos a Reglas de Operacin. programas seleccionados con base en criterios
explcitos. Evaluacin en curso de polticas
sociales.
Evaluacin anual de todos los aspectos del Evaluacin plurianual de aspectos seleccionados,
programa, incluido su impacto. incluida la percepcin de impacto.
Convocatoria por invitacin o asignacin directa. Convocatoria por concurso abierto.
Posible acumulacin de mltiples trabajos de Limitacin efectiva del nmero de evaluaciones a
evaluacin en paralelo. realizar al mismo tiempo.
Monto de los contratos sujeto a concurso. Monto preestablecido y trasparentado en la
convocatoria.
Pago efectuado por el propio programa Creacin de un fondo independiente para el pago
evaluado con su presupuesto (salvo evaluaciones de las evaluaciones.
contratadas directamente por CONEVAL).
Limitada consideracin de las recomendaciones Recomendaciones efectuadas por el Comit con
en la gestin de los programas. carcter vinculante para las polticas y programas
evaluados. Proceso reciente cuya efectividad an
no puede ser valorada.
Difusin de informes casi exclusivamente por Propuesta de amplia difusin de resultados en
Internet. peridicos, revistas, y de ser posible, libros;
adems de Internet. Aplicacin an limitada.
Fuente: elaboracin propia a partir de la informacin contenida en: <http://www.sedesol.gob.mx>, <http://www.coneval.gob.mx> y <http://
www.evalua.df.gob.mx>.

El contraste anterior, si bien en algunos casos no alcanza a denotar acciones sustancialmente diferentes
debido a la mayor antigedad de la prctica federal, seala propuestas y procesos de planeacin que implican
diferencias de valores y de criterios de organizacin y decisin.

2.3 Los mtodos de evaluacin

Desde sus comienzos la evaluacin federal se ha mostrado interesada en la bsqueda de los mtodos ms
rigurosos y objetivos, lo que la ha llevado a preferir las mediciones cuantitativas y las mediciones de impacto mediante
mtodos experimentales. En la prctica, stos ltimos han sido poco utilizados por falta de grupo de control, de
informacin sobre la lnea de base del programa, o de presupuesto para cubrir su costo. Por otro lado, la evaluacin
no ha sido cuidadosa en la determinacin de tamaos muestrales de las encuestas, sus mecanismos de seleccin, y su
inclusin en el informe, de manera que el lector pueda valorar la calidad de la informacin en que se bas el trabajo
realizado.

Tambin ha tendido a priorizar la expertise sobre la participacin social, a lo sumo se limita a la respuesta de
encuestas por los beneficiarios, y la especializacin econmica y economtrica sobre otras disciplinas.

La creacin del CONEVAL, aunque se ha caracterizado por la continuidad metodolgica de fondo, ha resuelto
algunos problemas importantes como el contar con lineamientos ms claros para la ejecucin del trabajo o incluir
en forma expresa la evaluacin del diseo del programa (originalmente referida slo a su operacin) y solicitar su
reestructuracin con base en el Marco Lgico.

Tambin ha introducido una clasificacin de los tipos de evaluacin de programas que planea realizar: de
consistencia y resultados, de indicadores, de procesos, de impacto y especficas (no incluidas en las categoras
anteriores). En 2007 el primer tipo, que incluye el diseo del programa, la planeacin estratgica, la cobertura y
focalizacin, la operacin, la percepcin de la poblacin objetivo y los resultados, se estandariz mediante un conjunto
de preguntas con respuestas dicotmicas aplicables a los 106 programas evaluados (34 preguntas exclusivamente
para diseo y 100 para consistencia y resultados en su conjunto).

En el caso de Evala DF, puesto que los estudios experimentales y cuasiexperimentales requieren la seleccin
de un grupo al que se le aplica el programa y otro de control, con las mismas caractersticas, pero que no recibe
los bienes, servicios o transferencias entregados por el programa, su poltica prioritariamente universal y basada en
derechos, no permite identificar a un grupo excluido del programa, salvo que ste se autoexcluya, en cuyo caso ya no
es igual al compuesto por quienes deciden obtener el apoyo del mismo. Por esta razn, por sus altos costos y, muy
fundamentalmente, por los mltiples problemas ticos que implica, Evala DF se propone utilizarlos slo en casos
excepcionales.

Por otra parte, Evala DF aparece menos preocupado por la objetividad de las mediciones, ms abierto
a la utilizacin de mtodos tanto cuantitativos como cualitativos, ms interesado en la participacin de las
organizaciones sociales y los ciudadanos en general, y en la conformacin de equipos multidisciplinarios donde
el peso relativo de cada disciplina depende del programa evaluado.

Por ltimo, el Comit local considera que cada evaluacin debe construirse en funcin del tipo de programa
a evaluar (de transferencias, de servicios, de construccin de infraestructura, entre otras), del rea en que
se trabaje (salud, educacin, vivienda, transporte, etc.), de la etapa del proceso en que se han detectado
problemas (diseo, operacin, resultados, impactos), y cualquier otro criterio que resulte relevante en el caso
particular. As mismo, que el evaluador experimentado debe gozar de libertad para definir los mtodos con
los cuales cumplir con los objetivos de la evaluacin solicitada. Sin embargo, al planear la primera ronda de
evaluaciones en 2008, ante la limitada informacin disponible sobre la gestin de los programas, la urgencia
por iniciar los procesos, y la demora en la elaboracin de una gua de evaluacin, Evala DF decidi elaborar un
amplio cuestionario nico para la evaluacin de diseo y operacin solicitada en esa oportunidad.

Adicionalmente, en 2009, al poner en marcha las evaluaciones de polticas, Evala DF dise Trminos de
Referencia ad hoc para cada una de ellas. Estos incluyen el listado de asuntos a revisar, pero ya no predefinen
cuestionario alguno.

A la fecha el Comit local no ha solicitado an evaluaciones de impacto o de satisfaccin de la poblacin,

que requieran trabajo de campo. Cuando esto se realice se planea que su informe incluya un anexo en que se
especifique y fundamente la forma en que fue determinada la o las muestras de la poblacin encuestada, as
como los parmetros utilizados en su clculo y las limitaciones de la misma.

Por ltimo, si bien a nivel federal se ha mencionado el inters de realizar una metaevaluacin, con asesora de
un organismo internacional, que analice, valore y contribuya a mejorar la calidad de las evaluaciones realizadas, no se
tiene conocimiento de que la misma haya sido realizada. Evala DF, considerando la importancia de reflexionar sobre
lo realizado en su primer ao de trabajo, ha puesto en prctica una metaevaluacin que analizar todo el proceso
desarrollado.

Esquemticamente, las diferencias ms relevantes encontradas entre los mtodos de evaluacin del GF y el
GDF, incluyen:

ESQUEMA II

Comparacin de mtodos de evaluacin

GF GDF
 Busca descubrir una verdad objetiva y nica. Reconoce la existencia de mltiples y subjetivas
verdades.
Aspira a la realizacin de estudios experimentales Considera que los estudios experimentales
como la forma ms rigurosa de identificar los son muy difciles y costosos, no han dado
impactos de un programa. los resultados tcnicos esperados y tienen
importantes connotaciones ticas negativas.
Considera que todos los programas deben ser Propone que cada evaluacin debe construirse
evaluados en forma similar. en funcin de las caractersticas especficas del
programa.
Valora la cuantificacin (medicin y pruebas) Estima tanto la contribucin de los mtodos
muy por encima de la aplicacin de mtodos cuantitativos como de los cualitativos
cualitativos. (interpretacin, comprensin).
Promueve la realizacin de trabajos por expertos, Realiza trabajos especializados pero promueve
en detrimento de la participacin social. la participacin social para generar aprendizaje
ciudadano y credibilidad de la evaluacin.
Prioriza el anlisis disciplinario de corte Enfatiza la necesidad de contar con equipos
econmico. interdisciplinarios pertinentes al programa.
Se desconoce si ha realizado alguna Est llevando a cabo la metaevaluacin de su
metaevaluacin. primera ronda de evaluaciones.
Fuente: elaboracin propia.

Las caractersticas contrastadas nos llevan a identificar una mayor tendencia federal hacia el enfoque positivista
de evaluacin, mientras que el mtodo empleado por el GDF presenta ms connotaciones de ndole constructivista.

CONCLUSIONES

El estudio emprico, desarrollado a partir del marco terico expuesto, muestra que los problemas de
pobreza y desigualdad continan siendo muy fuertes en Mxico; la primera incluso se ha incrementado a partir
de 2006, lo que si bien se relaciona con la crisis mundial, el desempleo, el incremento del precio de los alimentos y
la disminucin de las remesas recibidas del exterior, tambin cuestiona la efectividad de las polticas y programas
sociales aplicados, especialmente en la ltima dcada.

Como fue referido, los principios y criterios que guan el diseo de dichas polticas a nivel federal y del GDF
son sustantivamente diferentes y responden a concepciones filosficas y polticas opuestas en torno al debate del
intervencionismo estatal. Ante el cuestionamiento de las mismas, CONEVAL ha reconocido la insuficiencia de las
polticas focalizadas y la necesidad de complementarla con algunas polticas de carcter universal. Por su parte,
Evala DF ha argumentado los errores de inclusin y exclusin cometidos por el programa Oportunidades y la poca
efectividad de los programas focalizados en general. Para ello ha calculado la efectividad de las polticas de ambos
gobiernos en la reduccin de la pobreza: 0,98 y 2,85% para el nivel nacional y el Distrito Federal respectivamente
en el caso de pobres; y 6,77 y 9,18% en el mismo orden para indigentes (Evala DF, 2009). Lo anterior, sin negar la
gravedad de la situacin local en que est viviendo la mitad de la poblacin y la necesidad de proponer ajustes en
la formulacin e implementacin de la poltica social del GDF.

En materia de evaluacin, a pesar de que el GF tiene ya una cierta consolidacin en su organizacin y

sus mtodos, y una experiencia acumulada de aproximadamente 10 aos, el aprendizaje realizado a partir del
anlisis de experiencias extranjeras y del propio GF, est permitiendo a Evala DF organizarse y definir un enfoque
metodolgico emergente y novedoso para el contexto mexicano, que se espera se traduzca en mayor efectividad
de los programas (recomendaciones profundamente analizadas y vinculantes) y mayor desarrollo de ciudadana
(mejor informada y participante).

Las diferencias encontradas en los dos sistemas de evaluacin estudiados son mltiples en el plano
metodolgico, pero resultaron an ms numerosas en el organizativo, que juega un papel relevante en facilitar las
condiciones que permiten a un especialista en mtodos de evaluacin arribar a la elaboracin de un informe de
calidad en sus anlisis, conclusiones y recomendaciones. La organizacin del sistema tambin es responsable de
que las recomendaciones resulten efectivamente incorporadas, despus del estudio minucioso de su viabilidad, al
rediseo y la gestin del programa.
 El trabajo emprico realizado permite enriquecer el inventario de experiencias de evaluacin disponibles,
cuya efectividad ser posible comparar con el transcurso del tiempo. Pero su estudio ha servido fundamentalmente
para llamar la atencin sobre la dimensin organizativa de la evaluacin, que en la primera parte del trabajo
se muestra relativamente descuidada en comparacin con el intenso tratamiento merecido por la discusin
metodolgica.

REFERENCIAS BIBLIOGRFICAS Y DOCUMENTALES

Banco Mundial (BM) (2001), Attacking poverty. World development report 2000/2001. Washington, D.C.
----------- (2004), La pobreza en Mxico: una evaluacin de las condiciones, las tendencias y la estrategia del gobierno.
Mxico: Banco Mundial.
Banco Interamericano de Desarrollo (BID) (1997), Evaluacin, una herramienta de gestin para mejorar el desempeo
de los proyectos. Washington: Oficina de Evaluacin.
-----------(2000), Economic and social report 1998-1999. Washington, D.C.: IDB.
Boltvinik, J. (1998), 15 millones de pobres extremos!, Mxico: Peridico La jornada, 16 de octubre de 1998.
Campbell, D. y Stanley, J. (1966), Experimental and quasi-experimental designs for research. Chicago: Rand Mc Nally.
Cardozo Brum, M. (2006), La evaluacin de polticas y programas pblicos. El caso de los programas de desarrollo social
en Mxico, Coleccin Conocer para Decidir. Mxico: Cmara de Diputados y M. A. Porra.
------------- (2008), Gestin y evaluacin participativas en polticas sociales, Revista Poltica y Cultura, 30: 137-164.
------------ (2009), La evaluacin de programas de desarrollo social en el contexto de la Administracin Pblica
mexicana, Revista Convergencia, 16(49): 175-198.
------------- (2009), Evaluacin y metaevaluacin en los programas mexicanos de desarrollo social. Mxico: Universidad
Autnoma Metropolitana - Xochimilco.
Comisin Econmica para Amrica Latina (CEPAL) (2008), Panorama social de Amrica Latina 2008. Chile: Naciones
Unidas.
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL) (2009a), Informe de evaluacin de
la poltica de desarrollo social en Mxico 2008. En lnea: <http://www.coneval.gob.mx> (consulta: 21 julio
2009).
------------ (2009b), Metodologa para la medicin multidimensional de la pobreza. Resultados nacionales y por entidad
federativa, 2008. En lnea:<http://www.coneval.gob.mx> (consulta: 4 de enero de 2010).
Cooke, B. y Kothary, U. (2001), Participation: the new tyranny? London: Zed Books.
Chanut, V. (2002), Lvaluation: affaire dtat ou question dorganisations?, Nmero especial: l Politiques et Man-
agement Public, 20(4): 1-50.
Deleau, M., Nioche, J.P., Penz, P. y Poinsard, R. (1986), Evaluer les politiques publiques: mthodes, dontologie,
organisation. Francia: La Documentation Franaise.
Duran, P. (1999), Penser laction publique. Francia: Droit et Socit, vol. 27.
European Evaluation Society (EES) (2002), Tres movimientos en la evaluacin contempornea: aprendizaje, teora
y pruebas, Convocatoria a la V Conferencia Bienal, Espaa. En lnea: <http://www.europeanevaluation.org>
(consulta: 10 de octubre de 2010).
Evala DF (2009), Anlisis de la situacin de la pobreza en el DF, Mxico. En lnea: <http://www.evalua.df.gob.mx>
(consulta: 4 enero 2010).
Evala DF, En lnea: <http://www.evalua.df.gob.mx> (consultas varias)
Garca Snchez, E. (2009), Metaevaluacin de polticas pblicas: una visin desde la ciencia poltica, Revista
Reforma y Democracia, 43: 129-154.
Gobierno Distrito Federal (GDF) (2006), La poltica social del gobierno del Distrito Federal 2000-2006. Una valoracin
general. Mxico: Secretara de Desarrollo Social.
----------- (2008), Segundo Informe de Trabajo. Mxico: Secretara de Desarrollo Social.
Guba, E.G. y Caracelli, V. (1989), Fourth generation evaluation. EUA: Sage Publications.
Hernndez Laos, E. (1991), Crecimiento econmico y pobreza en Mxico. Una agenda para investigacin. Mxico:
 Universidad Autnoma Metropolitana.
Lascoumes, P. y Setbon, M. (1996), Lvaluation pluralista des politiques publiques. Enjeux, pratiques, produits.
Francia: GAPP-CNRS-CGP.
Le Moigne, J. L. (1994), Le constructivisme. Pars: ESF.
Mayntz, R. (1987), Sociologa de la organizacin. Espaa: Alianza.
Medina, F. y Galvn, M. (2008), Descomposicin del coeficiente de Gini por fuentes de ingreso: evidencia emprica
para Amrica Latina 1999-2005, Serie Estudios Estadsticos y Prospectivos, 63.
Mny, Y. y Thoenig, J. C. (1995), Las polticas pblicas. Barcelona: Ariel.
Monnier, E. (1995), Evaluacin de la accin de los poderes pblicos. Espaa: Instituto de Estudios Fiscales.
Nioche, J. P. (1982), De lvaluation lanalyse des politiques publiques, Revue Franaise de Science Politique, 66:
32-61.
Nioche, J. P. y Poinsard, R. (1994), Lvaluation des politiques publiques. Paris: Economica.
Organisation for Economic Co-operation and Decelopment (OECD) (2001), Evaluation feedback for effective learn-
ing and accountability. En lnea: <http:// www.oecd.org/dataoecd/10/29/2667326.pdf> (consulta: 4 de
noviembre 2002).
ODonnell, G. y Oszlak, O. (1976), Estado y polticas estatales en Amrica Latina, hacia una estrategia de investigacin.
Argentina: CEDES.
Oszlak, O. (1980), Polticas pblicas y regmenes polticos, reflexiones a partir de algunas experiencias latinoamericanas.
Argentina: Estudio CEDES 3(2).
Sann, H. (1999), Control de gestin y evaluacin de resultados en la gerencia pblica, Serie manuales, 3.
Thoenig, J. C. (1998), Lvaluation de laction publique locale, en M. C. Kesller et al., valuation des politiques
publiques. Paris: LHarmattan.
------------- (2002), Lvaluation en actes. Leons et perspectives, Nmero especial Politiques et Management Public,
20(4): 1-50.
Weiss, C. (1982), Investigacin evaluativa. Mxico: Trillas.
-------------- (1998), Evaluation. Methods for studying programs and policies. EUA: Prentice Hall.