Академический Документы
Профессиональный Документы
Культура Документы
Modelo de Evaluación de
Políticas y Programas Educativos
2
Anexo 2. Estándares de evaluación de la UNEG...................................................... 90
Anexo 3. Ejemplos de evaluaciones de políticas y programas realizadas por
organismos internacionales ...................................................................................... 93
Anexo 4. Definición de niños, niñas y adolescentes ............................................... 96
Anexo 5. Metodología de evaluación participativa ................................................ 102
Anexo 6. Clasificación de los modelos de evaluación de políticas y programas 110
Anexo 7. Estándares para la evaluación de programas (Joint Committee on
Standards for Educational Evaluation) ................................................................... 113
Anexo 8. Experiencias de Evaluación con Enfoque en Derechos Humanos ....... 116
3
Índice de Tablas
Índice de Gráficos
Índice de Diagramas
Diagrama 1. La evaluación desde el enfoque del derecho a una educación de calidad ........................................ 36
Diagrama 2. Componentes que integran el Modelo de Evaluación de Políticas y Programas Educativos ... 47
Diagrama 3. Caracterización y situación de la política educativa a evaluar ........................................................... 48
Diagrama 4. Análisis de los instrumentos de la política .................................................................................................... 49
Diagrama 5. Referentes de mejora del Modelo de Evaluación de Políticas y Programas Educativos ............. 53
Diagrama 6. Criterios de evaluación de políticas y programas educativos ............................................................... 57
Diagrama 7. El ciclo de la política pública ............................................................................................................................. 63
4
Introducción
Expedir los lineamientos a los que se sujetarán las autoridades educativas federal
y locales para llevar a cabo las funciones de evaluación que les corresponden, y
Generar y difundir información y, con base en ésta, emitir directrices que sean
relevantes para contribuir a las decisiones tendientes a mejorar la calidad de la
educación y su equidad, como factor esencial en la búsqueda de la igualdad
social.
En este sentido, las leyes secundarias que emanan de dicho mandato constitucional –Ley
General de Educación (LGE), Ley General del Servicio Profesional Docente (LGSPD) y
Ley del Instituto Nacional para la Evaluación de la Educación (LINEE)-, establecen un
conjunto de modificaciones en la estructura, planeación, operación y evaluación del
Sistema Educativo Nacional (SEN).
En materia de evaluación, la Ley del INEE establece que “el Instituto diseñará mediciones
y evaluaciones que correspondan a componentes, procesos o resultados del SEN
respecto a los atributos de educandos, docentes y Autoridades Escolares, así como de las
características de instituciones, políticas y programas educativos” (artículo 25). A las
tareas de evaluación que desarrolla el Instituto se añade la emisión de directrices “que
sean relevantes para contribuir a las decisiones tendientes a mejorar la calidad de la
educación y su equidad” (artículo 27, fracción VIII).
5
mediante los cuales el Ejecutivo Federal apoya con recursos específicos a los gobiernos
de aquellas entidades federativas con mayores rezagos educativos, previa celebración de
convenios en los que se conciertan las proporciones de financiamiento y las acciones
específicas que las autoridades educativas locales deban realizar para reducir y superar
dichos rezagos (artículo 34, LGE).
1 La evaluación consiste en la acción de emitir juicios de valor que resultan de comparar los resultados de una
medición u observación de componentes, procesos o resultados del Sistema Educativo Nacional con un
referente previamente establecido (artículo 6 de la Ley del INEE).
6
1. Antecedentes de la evaluación de políticas y programas en México
Con respecto a los programas del sector educativo, durante los primeros años de la
década de los 90, en los niveles de educación primaria y secundaria, “las evaluaciones se
extendieron por la necesidad de evaluar programas compensatorios y con las pruebas del
Factor Aprovechamiento Escolar del programa de estímulos denominado Carrera
Magisterial” (Martínez, 2006 p.1). Es decir, los esfuerzos en materia de evaluación de
programas se realizaban de manera fragmentada, la mayoría de ellos enfocados en
programas que contaban con financiamiento internacional, cuyos compromisos con estas
agencias así lo estipulaban.
7
Evaluación de la Política de Desarrollo Social (CONEVAL) como organismo
descentralizado de la Secretaría de Desarrollo Social (hoy autónomo) y elemento clave
del Sistema Nacional de Desarrollo Social.
Posteriormente, con la implantación del Sistema de Evaluación del Desempeño (SED) los
esfuerzos se dirigieron a lograr una gestión pública basada en resultados. Este proceso
inicia con la promulgación de la Ley Federal de Presupuesto y Responsabilidad
Hacendaria, en abril de 2006, y la asociación estratégica entre la Secretaría de Hacienda
y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP) y el CONEVAL.
8
En la práctica, el modelo de evaluación implementado por CONEVAL se ha centrado
preponderantemente en la medición del desempeño de los programas, con una tendencia
hacia la valoración de la eficiencia de los mismos y la rendición de cuentas; dejando de
lado la evaluación de otro tipo de criterios relacionados con la mejora. No obstante, el
modelo mexicano de evaluación y monitoreo y de medición de la pobreza es tomado
como referencia en diversos países del mundo, debido a que representa la semilla de un
sistema de evaluación que ha ido fortaleciéndose paulatinamente (Cejudo, 2014). En este
sentido, Martínez (2013) señala que México se encuentra entre los países con mayor
avance en materia de seguimiento y evaluación a nivel regional, junto con Brasil, Chile y
Colombia.
2 Al respecto, cabe señalar que la metodología de marco lógico es una herramienta de gestión que facilita la
planificación, ejecución y evaluación de proyectos o programas. La metodología contempla el análisis del
problema, el análisis de los involucrados, la jerarquía de objetivos y la selección de una estrategia de
implementación óptima. El producto de esta metodología es la Matriz de Indicadores para Resultados (MIR),
la cual resume el fin al que el programa pretende contribuir, sus propósitos, componentes, actividades, cuáles
son los supuestos claves y cómo los insumos y productos del proyecto serán monitoreados y evaluados.
Asimismo, busca la realización de proyectos con una justificación clara y una teoría de cambio adecuada, por
ello es considerada como una herramienta importante para la rendición de cuentas (Ortegón, Pacheco &
Prieto 2005).
9
Susceptibles de Mejora en octubre de 2007, cuya intención es aumentar el uso de la
evaluación en el rediseño de políticas y programas (Cardozo, 2012, p.175).
Así, de acuerdo con los Lineamientos Generales para la Evaluación de los Programas
Federales de la Administración Pública Federal, cada año se define un Programa Anual
de Evaluación que determina los tipos de evaluación que se desarrollarán y los programas
–nuevos o en operación- a los que serán aplicados dichos ejercicios. Cada uno de estos
tipos de evaluación cuenta con un modelo específico de términos de referencia,
desarrollado con el propósito de establecer instrumentos homogéneos para su
implementación.
10
su desempeño y conocer cuáles de las acciones son o no efectivas para resolver los
grandes problemas sociales y económicos que todavía aquejan al país”.3
11
De acuerdo con el mismo CONEVAL (2009), existen retos importantes en materia de
evaluación, por ejemplo, dar cuenta de la calidad de los servicios que se brindan o el uso
efectivo de éstos. También debe favorecerse la generación de más y mejor información
sobre los distintos aspectos que permitan evaluar la política social en todos los órdenes
de gobierno, no sólo en el nivel federal (CONEVAL, 2009). Este último aspecto resulta de
suma relevancia para el sector educativo y un importante “nicho” por atender, ya que no
se conoce con precisión cómo se están implementando, en el nivel local, las
intervenciones públicas que se diseñan y planean en el orden federal y a las que se
destinan cantidades importantes de recursos.
Con respecto a las evaluaciones de política desarrolladas por CONEVAL, se han llevado
a cabo dos evaluaciones relativas a componentes específicos de la política educativa: la
primera fue una evaluación estratégica, publicada en 2011, denominada Evaluación en
materia de Rezago Educativo 2008-2010; y, la segunda fue una evaluación integral,
publicada en 2013, denominada Evaluación Integral de la Secretaría de Educación
Pública 2011-2012.
Así, de acuerdo con los Inventarios de CONEVAL de 2009 a 2015, la evolución del
número de programas y acciones en materia educativa fue la siguiente: en el año 2009
fueron 96; en 2010 disminuyó a 94; y, en 2011 se redujeron a 91 programas y acciones.
5 De acuerdo con el Inventario Nacional CONEVAL de Programas y Acciones para el Desarrollo Social, el cual
integra información de los programas y acciones de desarrollo social que corresponden a los datos del Listado
federal 2014 y los Inventarios estatal 2012 y municipal 2012-2013, la SEP fue la dependencia que registró el
mayor número de programas sociales con 87, seguida por la SEMARNAT con 26 y por SEDESOL con 25
programas (CONEVAL, 2014e).
12
El año con mayor número de programas y acciones fue el último año del sexenio anterior
(2012), llegando a ser 103, en tanto que para 2013 se contabilizaron 98. En 2014, el
número de programas se redujo notablemente a 62 programas y a 61 en 2015 (Gráfica 1).
13
Tabla 1. Número de programas y acciones educativas de la SEP
Programas y
Número de
Programas y acciones
programas Programas y acciones educativas
acciones educativas
y acciones evaluados
Año educativas responsabilidad
sociales
de la SEP
(a) (b) (c=b/a) (d) (e=d/b) (f) (g=f/b)
# # % # % # Tipos %
272 96 35.2 87 90.6 45 5 Diseño 46.8
33 EED(2)
2009 (1)
1 Impacto
6 Otras(3)
273 94 34.4 85 90.4 44 1 Diagnóstico 46.8
1 Diseño
2010 38 EED
1 Impacto
3 Otras
273 91 33.3 80 87.9 42 2 Diseño 46.1
37 ECR(4)
2011
1 Procesos
2 Otras
278 103 37.1 88 85.4 57 9 Diseño 55.3
1 Procesos
2012
46 EED
1 Impacto
264 98 37.1 81 82.7 49 1 Diseño 50.0
2013
48 FMyE(5)
2014 232 62 26.7 44 81.0 12 12 Diagnóstico(6) 27.2
Fuente: elaboración propia con base en datos de los Inventarios 2009-2013 de CONEVAL para el derecho
social de Educación, así como las Evaluaciones y Resultados de Programas y de Políticas de CONEVAL
Notas:
(1) Se toma en cuenta el periodo 2009-2013 ya que en éste se clasifican los programas por derecho
social, habiendo recuperado los programas que responden al derecho social de educación.
(2) EED: Evaluación Específica de Desempeño
(3) En la categoría Otras, se incluyen evaluaciones distintas a las estipuladas en la tipología ofrecida por
CONEVAL, tales como, satisfacción de usuarios, seguimiento a egresados, evaluaciones internas.
(4) ECR: Evaluación de Consistencia y Resultados
(5) FMyE: Fichas de monitoreo y Evaluación de los Programas
(6) Dado que la información está actualizada al 2013, esta información es preliminar.
6 El Programa para la Inclusión y Equidad Educativa se integró a partir de los siguientes programas: 1.
Fortalecimiento de la Educación Especial y de la Integración Educativa; 2.Programa de Educación Prescolar y
Primaria para Niños y Niñas de Familias Jornaleras Agrícolas Migrantes, 3. Programa Asesor Técnico
Pedagógico; 4. Fortalecimiento del Servicio de la Educación Telesecundaria; 5. Atención Educativa a Grupos
en Situación Vulnerable; 6. Educación para Personas con Discapacidad; y, 7.Fortalecimiento a las acciones
asociadas a la educación indígena.
14
fusionó otros cuatro7. En estos casos, muchos de los objetivos previos se diluyeron, por lo
que existe poca claridad acerca de los recursos específicos destinados a ellos, lo cual
dificultará de manera importante los procesos de seguimiento y evaluación de las
intervenciones que hacen parte de estas bolsas presupuestarias.
Ante el compromiso hacia una mejor asignación de recursos por parte de los
estados nacionales y organismos internacionales, y la evolución del concepto de
desarrollo social y humano, los objetivos de bienestar se hicieron más complejos y
existió una mayor demanda ciudadana para lograrlos. Por lo anterior, se hizo
necesaria la obtención de información que permitiera identificar los cursos de acción
que procuraran resolver, de manera más efectiva y eficiente, las problemáticas de la
intervención pública.
7El Programa de Fortalecimiento de la Calidad en Educación Básica fusionó los siguientes cuatro programas:
1. Promoción y Fomento de Libros y la Lectura; 2. Programa Nacional de Lectura; 3. Reforma Curricular en
Educación Básica; y, 4. Programa Nacional de Inglés en Educación Básica.
15
El uso de un lenguaje común
Evaluación de políticas
Esta base de datos, actualizada hasta 2013, actualiza y sintetiza el avance de 137
programas de desarrollo social. En el periodo de 2012-2013 esta valoración midió
los avances y resultados de estos programas en el logro de sus objetivos, en la
entrega de bienes y servicios, en sus indicadores, en la cobertura y en el
seguimiento a las recomendaciones de evaluaciones externas. Asimismo, presentó
las fortalezas y retos, los avances en el ejercicio presupuestal, el derecho social al
que está alineado el programa y, en algunos casos, su incidencia distributiva.8
8Este instrumento se denomina “Valoración del Desempeño de los Programas Federales de Desarrollo Social
2012-2013” y uno de sus principales objetivos es aportar información clave para el proceso presupuestario, es
decir constituye un insumo fundamental para el Modelo Sintético del Desempeño de la Secretaría de
16
Sin embargo, existen también retos importantes por enfrentar, entre los cuales destacan
los siguientes:
Al respecto, Salas y Murillo (2010) señalan que una de las tareas pendientes es
transparentar los mecanismos de selección de las instancias evaluadoras y
proporcionar mayor información sobre su experiencia en evaluación. Asimismo,
indican que se deben incluir indicadores cualitativos más concretos y no limitar el
trabajo a un ejercicio de auditoría con una lista de verificación. Cejudo (2014), por su
parte, señala que existen importantes retos de coordinación entre los distintos
actores del sistema de evaluación, así como un desbalance entre la rigurosidad de
la evaluación de algunos programas –pues unos son evaluados de manera rigurosa
y otros sólo para cubrir con el requisito–.
Una vez que se realiza la evaluación, no siempre es claro quién o quiénes son los
responsables de llevar a cabo los procesos de mejora; debido a que en ello
confluyen una multiplicidad de actores, y la responsabilidad tiende a diluirse entre
diversas instancias. Además, si la evaluación no se realiza involucrando a los
actores que la podrían usar, difícilmente se logrará el propósito de uso.
Hacienda y Crédito Público, además de contribuir a la transparencia y a la rendición de cuentas, aunque aún
no se extiende a las entidades federativas, ni a los municipios.
17
No obstante el uso generalizado de esta herramienta y la comprensión básica de su
estructura, en muchos casos su elaboración y utilización se ha convertido en una
mera formalidad. De acuerdo con Bracho (2011), la MML y la construcción de la
Matriz de Indicadores para Resultados (MIR) siguiendo un formato único, enfrenta
serias dificultades para reflejar la realidad de los programas que integran múltiples
unidades responsables, de diferente tamaño, que atienden a poblaciones potencial y
objetivo que no pueden agruparse, o en aquellos casos en que se tiene sólo una
entidad gubernamental responsable de la operación, pero las actividades se
desarrollan en diferentes momentos.
Todos los tipos de evaluación tienen ventajas y limitaciones de acuerdo con las
preguntas que pretenden responder y el auditorio al que van dirigidas. Tener en
cuenta el alcance real de la evaluación y no emplearla para propósitos diferentes
para los que fue creada es muy importante para fomentar su ejercicio y ser justos en
su utilización.
18
Poco desarrollo de capacidades de evaluación en otros órdenes de gobierno y
poderes
Por tanto, de acuerdo con Martínez (2013), aún existen limitaciones en el modelo de
evaluación del CONEVAL, las cuales están relacionadas con la ausencia de un carácter
participativo en las evaluaciones, la tendencia a estandarizar formatos y metodologías que
dificultan su flexibilidad ante las particularidades de cada programa y la poca cultura de la
evaluación en el país.
Si bien es cierto que los resultados de las evaluaciones han tenido cada vez mayor
visibilidad social y la incorporación en 2008 del “Mecanismo de Seguimiento a los
Aspectos Susceptibles de Mejora” ha venido empujando ciertos procesos de ajuste en los
programas, persisten áreas de oportunidad importantes debido a dos factores: 1) La
evaluación de las políticas públicas ha sido un campo escasamente explotado para su
utilización en decisiones de mejora; y, 2) En los procesos clave de toma de decisiones de
política, de mejora de los programas y de asignación presupuestal, persiste un uso
insuficiente de los resultados de las evaluaciones.
9 El Catálogo de Programas y Acciones Federales y Estatales para el Desarrollo Social utiliza como
fuentes de información los inventarios anuales de CONEVAL así como la información recuperada
por la Iniciativa para el Fortalecimiento de la Institucionalidad de los Programas Sociales (IPRO).
Los programas sociales de entidades federativas registrados en IPRO cuentan con información
actualizada al año corriente, ya que la información se actualiza y muestra en tiempo real.
19
instituciones académicas que, además de realizar evaluaciones por encargo de
CONEVAL, realizan evaluaciones de forma independiente o de acuerdo con sus propias
líneas de investigación; y, los organismos internacionales tales como, el Banco
Interamericano de Desarrollo (BID), la Organización para la Cooperación y el Desarrollo
Económicos (OCDE) y el Sistema de las Naciones Unidas, a través de la Organización de
las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), el Fondo para
la Infancia de las Naciones Unidas (UNICEF), el Programa de las Naciones Unidas para el
Desarrollo (PNUD), la Comisión Económica para América Latina y el Caribe (CEPAL) y el
Banco Mundial, quienes se rigen por un conjunto de normas, principios y estándares
específicos de actuación.
10 El principio de posterioridad establece que no se pueden revisar los recursos durante o antes de las
operaciones, sino posteriormente a que se haga la rendición de cuentas, es decir, a la entrega de la Cuenta
Pública, y ésta se realiza una vez cerrado un ejercicio. La posterioridad implica que no habrá lugar a revisión
de actos previos, sino tan sólo a la revisión de actos de gobierno consumados y susceptibles de ser
verificados para valorar si se ajustan a derecho y a presupuesto.
20
Las auditorías que realiza la ASF se clasifican, por su naturaleza y alcance, en tres
grandes grupos: 1. Auditorías de cumplimiento financiero (inversiones físicas y gasto
federalizado); 2. Auditorías forenses;11 y, 3. Auditorías de desempeño.
11 Por otro lado, las auditorías forenses consisten en la revisión y el análisis pormenorizado y crítico de los
procesos, hechos y evidencias derivados de la fiscalización para la detección o investigación de un presunto
ilícito. El propósito es documentar las conclusiones con pruebas válidas y suficientes para promover las
acciones legales procedentes.
21
2. Marco de referencia del modelo: el enfoque de derechos y el ciclo de las
políticas públicas
22
el modelo teórico o las técnicas aplicables que sustentan una iniciativa gubernamental,
etcétera.
Como puede observarse, la mayoría de las definiciones propuestas refieren a las políticas
públicas como un planteamiento formal de acciones y resultados esperados, así como a la
conducta gubernamental que realmente opera en la práctica. En el mismo sentido,
Lasswell (1992) destaca la amplitud de la palabra política (policy), la cual ha sido usada
con frecuencia para designar las elecciones más importantes de la vida organizada y de la
privada, y señala que el término se diferencia de las connotaciones indeseables implícitas
en la palabra política (politics), la cual es ligada frecuentemente a conceptos como
partidismo o corrupción.
De acuerdo con Aguilar (2003), se entiende por política pública al conjunto de acciones
intencionales y causales, orientadas a la realización de un objetivo de interés público,
cuyos lineamientos de acción, agentes, instrumentos, procedimientos y recursos se
reproducen en el tiempo de manera constante y coherente, siendo sus principales
características las siguientes:
3. Un conjunto de acciones a emprender que han sido decididas por las autoridades
públicas y cuya decisión las convierte formalmente en públicas y legítimas;
Aguilar señala que lo distintivo de las políticas públicas radica en integrar un conjunto de
acciones estructuradas, estables y sistemáticas que representan el modo en el que el
gobierno realiza, de manera permanente y estable, las funciones públicas y atiende los
problemas públicos. Cabe destacar que, en torno a la política, se enlazan poderes
públicos, políticos y sociales; leyes; recursos financieros; y, procesos administrativos. En
23
este sentido, las políticas públicas han de ser entendidas como el conjunto integrado y
coherente de programas y proyectos.
Desde una perspectiva más amplia, Cardozo (2013) define a las políticas públicas como
un fenómeno social, administrativo y político específico, resultado de un proceso de
sucesivas tomas de posición que se concretan en un conjunto de decisiones, acciones u
omisiones12, asumidas fundamentalmente por los gobiernos, mismas que traducen, en un
lugar y periodo determinado, la respuesta preponderante del mismo frente a los
problemas públicos vividos por la sociedad civil. Así, de acuerdo con Cardozo, se trataría
de un proceso de sucesivas tomas de posición en el que se concatenan planes,
programas, proyectos, acciones u omisiones; que refieren a problemas públicos que, por
su relevancia para importantes sectores de la sociedad, no son factibles de resolverse en
el ámbito privado; y, como los gobiernos no actúan de manera absolutamente coordinada,
racional y consistente, es posible encontrar posiciones diferentes entre las organizaciones
gubernamentales.
12Omisión se entiende como la decisión del Estado a esperar que la problemática y los actores involucrados
estén mejor definidos, o espera que la situación se resuelva en la arena privada entre las partes involucradas,
o considera que la inacción constituye el modo más eficaz de preservar o aumentar los recursos políticos del
régimen (O´Donnell y Oszlak, 1981).
24
5. Si bien son llevadas a cabo por actores gubernamentales (con diferentes grados
de implicación de diferentes sectores sociales) inciden en otros sectores o en el
conjunto de la sociedad.
En el campo de las políticas educativas, éstas han sido entendidas de muy diversas
maneras en el discurso educativo, equiparando el término con el sistema educacional, la
planificación educacional, las reformas, leyes, programas, la política escolar o la política
pedagógica (Michel, 2015 e Iyanga, 2006); sin embargo, de acuerdo con los
planteamientos expuestos anteriormente, se entenderá por política educativa a la acción
intencionada y coherente del gobierno, tendiente a lograr cambios en materia educativa.
Kisilevsky (2009) sostiene que a diferencia de otros campos de la política social, la política
educativa presenta algunos rasgos particulares, tales como, su diseño institucional, así
como la naturaleza de sus contenidos básicos y sus actores. En relación con estos
últimos, Navarro (2006) complejiza el mapa de actores y sostiene que para definir la
política educativa se requiere identificar a los principales actores que intervienen, sus
preferencias y horizontes temporales, cómo se alinean sus intereses y, por ende, las
posibilidades de conflicto o cooperación, así como los entornos en que se formula la
política.
13 Se considera imperativo incluir el sentido ético de la acción pública porque la política se entiende como
decisiones tomadas desde una posición de poder, que buscan el mayor provecho posible para el espacio
público a partir de una selección deliberada de temas y alternativas de acción, por lo cual, las políticas
públicas están siempre e inevitablemente vinculadas a una posición ética. Al respecto, Merino (2008) propone
recuperar el sentido ético del enfoque de política pública, al menos por tres razones: primero, porque la
política pública supone siempre una intervención del Estado (incluso destinada a dejar de intervenir a favor de
la mayor libertad posible de los individuos), es decir, supone una decisión tomada desde una posición de
poder y, en ese sentido, cualquier política pública es siempre, en principio, política a secas. Segundo, esa
intervención se refiere siempre e invariablemente al espacio público, no es una actividad privada construida
por un individuo, una empresa o un consorcio, sino una decisión que solamente puede justificarse en la
medida en que contribuya al bien común y/o consolidación de ese espacio público. Tercero, porque toda
política pública supone, siempre e invariablemente, una selección de problemas públicos y una elección entre
alternativas de solución más o menos afines, o más o menos contrarias; y de ahí que ninguna política puede
aspirar a la neutralidad ética. Por el contrario: al seleccionar problemas y elegir cauces para la acción pública,
toda política es también una afirmación de valores.
25
materia de educación y enseñanza, condicionada por los fines educativos que cada
sociedad se propone en diferentes momentos. Parte fundamental de la política es el
interés de los diversos actores y organizaciones en relación con los sistemas de
enseñanza y con las problemáticas que éstos plantean en diversos contextos, todas ellas
complejas y multidimensionales, ya que implican factores sociales, pedagógicos,
institucionales, políticos, culturales y psicológicos.
Si bien desde la perspectiva de la Nueva Gestión Pública, bajo una lógica de corte más
gerencialista y racionalista, se espera que las políticas públicas pongan especial atención
en la racionalidad en el uso de los recursos escasos, así como en la búsqueda de la
eficiencia, eficacia, economía y productividad de las acciones gubernamentales; parece
descuidarse el núcleo sustantivo de lo que el Estado tendría que emprender para cumplir
con su rol de garante de derechos, así como los valores que deberían permear la acción
del Estado.
En este sentido, Vásquez y Delaplace (2011) afirman que en una política pública con
enfoque de derechos se asume que “los fines los pone la perspectiva de derechos
humanos [y] los medios los propone la Nueva Gestión Pública” (p.40). Bajo esta postura,
se entiende que los derechos humanos deben traducirse en legislaciones y políticas
públicas que hagan posible el disfrute y ejercicio pleno de los derechos.
Bajo este enfoque [de los derechos humanos] el objetivo y esencia de la política
pública no es la solución de problemas específicos, de demandas insatisfechas, sino
el cumplimiento de derechos... Esta es una de las principales diferencias entre la
26
política pública tradicional y la perspectiva de derechos humanos, la primera es
mucho más focalizada a problemas específicos, la segunda es mucho más integral
(holística) y entiende al ‘problema público’ de forma muy distinta: como ejercicio de
derechos (Vásquez y Delaplace, 2011, p.42, 47).
27
2.2. El enfoque de la educación basado en derechos humanos
De acuerdo con Serrano y Vázquez (2013), esta perspectiva que concibe a las personas
como titulares de derechos, entiende a las obligaciones como conductas estatales y no
como bienes transferibles. En ambos casos, se pone especial énfasis en el desarrollo de
capacidades (aptitudes, recursos, habilidades, responsabilidades, autoridad, etcétera)
tanto para habilitar a los titulares de derechos a acceder a información, reclamar,
participar, proponer y obtener reparación ante el incumplimiento del derecho; como para
fortalecer las capacidades del Estado para cumplir con estos derechos.
14 Los instrumentos del marco internacional de derechos humanos son la Declaración Universal de Derechos
Humanos y los seis tratados fundamentales sobre derechos humanos: el Pacto Internacional de Derechos
Civiles y Políticos; el Pacto Internacional de Derechos Económicos, Sociales y Culturales (Convención
Americana sobre Derechos Humanos en materia de Derechos Económicos, Sociales y Culturales o Pacto de
San José, y su Protocolo Adicional o Protocolo de San Salvador); la Convención sobre los Derechos del Niño
y las observaciones generales que de ella se derivan; la Convención contra la Tortura y Otros Tratos o Penas
Crueles, Inhumanas o Degradantes; la Convención internacional sobre la Eliminación de todas las Formas de
Discriminación Racial; y la Convención sobre la Eliminación de todas las Formas de Discriminación contra la
Mujer. Todos los países del mundo han ratificado por lo menos uno de estos tratados, y muchos han ratificado
la mayoría de ellos. Estos tratados son documentos importantes para responsabilizar a los gobiernos del
respeto, la protección y la realización de los derechos de los individuos de sus países (UNICEF, 2014).
15La capacidad de goce es la aptitud del sujeto para ser titular de derechos. Esta capacidad la tiene el ser
humano desde su concepción por el mero hecho de serlo, es decir, es consubstancial al hombre. Desde el
nacimiento hasta antes de cumplir los 18 años, tenemos la capacidad de gozar, pero no de exigir por sí mismo
estos derechos. Por ejemplo, derecho a la vida, la libertad, a tener un nombre propio, una familia, un
patrimonio, a la educación (Aguilar, s/f.). La capacidad de ejercicio se enfoca en accionar, obrar, hacer valer y
exigir los derechos y obligaciones por sí mismo y no por representante legal... Esta capacidad de ejercicio
puede relacionarse con la adquisición del estatus de ciudadano, es decir, al cumplir la mayoría de edad,
anterior a eso, se considera que los individuos no poseen una ciudadanía plena (Raphael, 2007, p.25).
16 De acuerdo con Latapí (2009), la justiciabilidad relativa a un derecho significa que éste puede ser objeto de
medidas, recursos y procedimientos judiciales e invocado ante los tribunales; sin embargo, reviste un alto nivel
de complejidad e ineficacia en términos teóricos y prácticos, por lo que no resulta sencillo proceder ante
violaciones al derecho a la educación. Por su parte, la exigibilidad incluye medidas adicionales como las de
tipo legislativo, político, administrativo y social, concebidas como vías alternativas para la salvaguarda de los
derechos. A través de éstas, la sociedad puede exigir al Estado la pertinencia de las políticas públicas en el
marco de los principios de los derechos humanos e incluso las propias autoridades pueden exigir a sus
instituciones la coherencia de su misión con la perspectiva del fortalecimiento del Estado como garante de
derecho.
28
En este sentido, las niñas, los niños, adolescentes y también los jóvenes y adultos son los
principales titulares del derecho a la educación17 -en particular los que se encuentran en
situación de vulnerabilidad- lo cual entraña deberes por parte de las instituciones del
Estado mexicano, en sus tres poderes (legislativo, ejecutivo y judicial) y órdenes de
gobierno (federal, estatal y municipal), como titulares de obligaciones. El Estado es el
principal titular de obligaciones y debe emprender los procesos necesarios para proteger,
respetar, promover y garantizar los derechos de todos los ciudadanos18. “En última
instancia, las obligaciones generales funcionan como conectores operativos de la acción
estatal en función de los derechos humanos” (Serrano y Vázquez, 2013, p. 23).
Los titulares de obligaciones primarios incluyen a los padres y madres de los niños19, los
docentes de los estudiantes, los policías para los sospechosos de crimen, los médicos y
enfermeras para los pacientes, etcétera; los titulares de obligaciones secundarios incluyen
a las instituciones y organizaciones con jurisdicción inmediata sobre los titulares
primarios, por ejemplo, directores de escuelas, organizaciones comunitarias,
administraciones hospitalarias, etcétera. Por su parte, los titulares terciarios son las
instituciones y organizaciones de más alto nivel o de una jurisdicción más remota, tales
como, organizaciones no gubernamentales (ONG), agencias de ayuda, organizaciones
del sector privado, etcétera; y los titulares externos son, por ejemplo, países, instituciones
y organizaciones con un involucramiento indirecto, tales como, la Organización Mundial
del Comercio, la Organización de las Naciones Unidas, ONG internacionales, Consejo de
Seguridad, etcétera.
Resulta relevante puntualizar que el trabajo con los titulares de derechos, especialmente
aquellos que se encuentran en situación de vulnerabilidad, resulta de suma relevancia
para fortalecer sus habilidades de participación en los procesos de toma de decisiones.
17 Tanto las constituciones políticas de los Estados nacionales como los tratados internacionales parten del
principio de que todas las personas, por el solo hecho de serlo, tienen la capacidad necesaria para ser
titulares de los derechos fundamentales. Se puede sostener que la regla general es que la titularidad de los
derechos constitucionalmente establecidos corresponde a “todas las personas”, con independencia de sus
características de edad, nacionalidad, estado civil, lugar del territorio en donde viva, etcétera. Siguiendo la
misma línea, se puede citar, por ejemplo, el artículo 3° constitucional, que comienza señalando que “Todo
individuo tiene derecho a recibir educación”.
18 Los derechos fundamentales generan obligaciones para las autoridades en todos los órdenes de gobierno,
que bajo cualquier circunstancia deben respetarlos y además deben hacer todo lo que esté a su alcance para
lograr la eficacia plena de los derechos.
19Es importante considerar que si a estos actores no se les ha respetado ni garantizado el derecho a la
educación, se les dificultará a su vez cumplir con su obligación como garantes del cumplimiento de este
derecho para sus hijos, lo cual abre un espacio de acción pública de alta relevancia para el Estado.
29
En tanto que los titulares de obligaciones, estatales y no estatales, además de desplegar
todos los esfuerzos posibles para hacer cumplir los derechos, deben rendir cuentas y ser
responsables de esta tarea ante la ciudadanía.
Así, los tres primeros párrafos del Artículo 1º constitucional dan cuenta del núcleo de
estas reformas, relativas a la cláusula de interpretación conforme (armonización del
contenido de las normas de derechos humanos con el de nuestra Constitución), el
principio pro persona (aplicación de la norma que más beneficie a los individuos en caso
de discrepancia entre normas internas y externas), así como la obligación de las
autoridades de promover, respetar, proteger y garantizar los derechos humanos.
En los Estados Unidos Mexicanos todas las personas gozarán de los derechos
humanos reconocidos en esta Constitución y en los tratados internacionales de los
que el Estado Mexicano sea parte, así como de las garantías para su protección,
cuyo ejercicio no podrá restringirse ni suspenderse, salvo en los casos y bajo las
condiciones que esta Constitución establece (CPEUM, Art. 1º, primer párrafo).
21 Estos principios implican que los derechos son inherentes a todo ser humano por el solo hecho de serlo,
pero además coloca la centralidad del sujeto de derechos en su contexto y reinterpreta los derechos desde
sus necesidades locales e interculturales (universalidad); no hay jerarquías ni diferencias entre derechos y
todos son igualmente necesarios (indivisibilidad); el disfrute de un derecho o grupos de derechos son
30
reparar las violaciones a los derechos humanos, en los términos que establezca la
ley (CPEUM, Art. 1º, tercer párrafo).
Es obligación de los mexicanos hacer que sus hijas, hijos o pupilos menores de
edad cursen la educación preescolar, la primaria, la secundaria y la media superior.
31
I), y establece que, de manera enunciativa más no limitativa, tienen los derechos
siguientes:
Asimismo, esta Ley establece que para garantizar la protección de los derechos de niñas,
niños y adolescentes, las autoridades deberán realizar lo siguiente:
32
compromisos derivados de tratados internacionales en la materia (LGDNNA, Art.
2).
Sin embargo, es claro que este conjunto de disposiciones jurídicas son condición
necesaria pero no suficiente para generar cambios, políticos y prácticos, en el ejercicio
pleno de los derechos. Para ello, se requiere que las instituciones y autoridades
responsables de dar cauce a estos cambios orienten sus decisiones y acción pública
hacia la promoción, respeto, protección y garantía del derecho a una educación de calidad
para todos, y que se generen mecanismos de controlaría social que acompañen estas
decisiones políticas y den impulso al cumplimiento efectivo de este derecho.
33
aprendizajes de los educandos, es decir, el derecho a aprender en un marco de equidad
educativa.
Todo individuo tiene derecho a recibir educación de calidad y, por lo tanto, todos los
habitantes del país tienen las mismas oportunidades de acceso al Sistema
Educativo Nacional, con solo satisfacer los requisitos que establezcan las
disposiciones generales aplicables (LGE, Art. 2º).
El derecho de acceso a la educación implica que todas las niñas, niños, adolescentes,
jóvenes y adultos del país tengan posibilidades reales de disponer y acceder a una oferta
educativa de calidad, especialmente aquellos que enfrentan condiciones desfavorables
(disponibilidad y accesibilidad). El derecho a la permanencia en la escuela, implica que
estos sujetos de derecho tengan una trayectoria escolar sin rezago y un egreso oportuno
acorde con la edad típica de terminación de la educación básica y media superior, en
condiciones flexibles y que respondan a las necesidades de los estudiantes en contextos
culturales y sociales diversos (adaptabilidad). Por su parte, el derecho al logro de
aprendizajes relevantes guarda relación con el derecho de niños, niñas, adolescentes,
jóvenes y adultos de recibir una educación pertinente, aceptable y culturalmente
adecuada (aceptabilidad y adaptabilidad).
Este modelo establece que la educación en todas sus formas y niveles debe poseer las
siguientes características esenciales e interrelacionadas: Disponibilidad (Availability),
Accesibilidad, Aceptabilidad y Adaptabilidad. Posteriormente, se añaden otras 2 As a este
34
esquema, relativas a la Asequibilidad o factibilidad (Affordability) y la Rendición de
Cuentas o Responsabilidad (Accountability).
35
Diagrama 1. La evaluación desde el enfoque del derecho a una educación de
calidad
De acuerdo con Latapí (2009), dado que el derecho a la educación está en la base de las
obligaciones del Estado, es punto de partida y fundamento último de las políticas
educativas. Por lo tanto, las políticas educativas deberían concretar soluciones viables y
efectivas a los principales problemas educativos que afectan a la sociedad mexicana -de
manera articulada, coherente y significativa-, de tal manera que logren generar mejoras
graduales hacia el cumplimiento del derecho a la educación.
Bajo este marco, los principios básicos que orientan el enfoque de la educación basado
en derechos humanos son la universalidad e inalienabilidad, la indivisibilidad, la
interdependencia e interrelación, la igualdad y no discriminación, la participación e
integración, la habilitación y la rendición de cuentas (UNESCO y UNICEF, 2008).
La universalidad implica que los derechos son inherentes a todo ser humano por el solo
hecho de serlo, además coloca la centralidad del sujeto de derechos en su contexto y
reinterpreta los derechos desde sus necesidades locales e interculturales; la
inalienabilidad significa que nadie puede renunciar voluntariamente al derecho a la
educación ni nadie puede privar a otra persona de él; la indivisibilidad, que es inherente a
36
la dignidad del ser humano, se refiere a que todos los derechos tienen igual rango y no es
posible ordenarlos jerárquicamente ni establecer diferencias entre ellos, ya que todos son
igualmente necesarios. La interdependencia e interrelación alude a que la realización y
disfrute de un derecho o grupos de derechos dependen de la realización de otros, y el
valor de cada derecho se incrementa por la presencia de los demás.
37
3. El Modelo de evaluación de políticas y programas educativos del INEE
Dado que el propósito central de las evaluaciones que desarrolla el Instituto es la mejora
de la educación, el reto del INEE es generar información relevante y oportuna que permita
detonar cambios positivos en ejes sustantivos de la política educativa, orientando así el
uso de los resultados de las evaluaciones hacia el cumplimiento progresivo del derecho a
la educación de todas las niñas, niños, adolescentes, jóvenes y adultos en México (Anexo
4).
Esta propuesta deriva de la fortaleza de la evidencia que se logra generar por esta vía
para la toma de decisiones de mejora. Se parte de la consideración de que no es posible
construir rutas de intervención pública, más pertinentes y efectivas, si no se realiza un
análisis y valoración de la acción pública en curso, que permita conocer y comprender qué
intervenciones se han puesto en marcha, cómo se han implementado, qué resultados,
efectos e impactos han logrado obtener y por qué razones.
Bajo este tenor, se propone que la evaluación de las políticas y programas educativos se
concentre en la valoración de dichos criterios, a partir del análisis de los elementos
constitutivos de una política: programas, servicios y acciones, movilizados a través de un
conjunto de instrumentos de política, entre ellos, el gasto público es de especial
relevancia; así como las capacidades, restricciones, motivaciones e intereses que los
distintos actores despliegan para dar respuesta a un problema público de tipo educativo.
Con estas evaluaciones se busca tener una mejor comprensión del problema público que
dio origen a la propuesta de política en cuestión, y un mayor entendimiento de la
complejidad de la implementación, principalmente, en sus niveles de meso y micro
implementación, desde un enfoque que permita desentrañar el conjunto de restricciones y
oportunidades que enfrenta la acción pública durante su operación, y orientar sus
resultados para que sean utilizados por los actores educativos y decisores, rumbo a la
mejora.
22 El Modelo que se propone parte del conocimiento de que las políticas públicas en México no prevén
mecanismos de salida, transición o terminación de la intervención del Estado, es decir, se carece de
escenarios en los que las políticas públicas anticipen (o pronostiquen) el tiempo, las fases y las condiciones
que se esperan alcanzar para dar por superada la faceta del problema que dio origen a la política o programa
público en cuestión. Esto permitiría pensar las políticas públicas de manera recursiva -o a manera de espiral-
es decir, recuperar la noción de que los problemas públicos se transforman en el tiempo, por lo que el tipo de
apoyo o entrega a la población de las capacidades necesarias para dar atención al problema también debe
evolucionar, y el Estado debe ser sensible a ello.
39
3.1. ¿Qué se entiende por modelo?
En este mismo sentido, Madaus y Kelleghan (2000, en García, 2010) señalan que
emplear el término modelo de evaluación para referirse a perspectivas o enfoques podría
resultar impreciso, pues éstos carecen del nivel de formalización que tienen, por ejemplo,
los modelos matemáticos; sin embargo, proponen superar este debate definiendo “modelo
de evaluación” como la forma de pensar o de concebir los diversos ejercicios de
evaluación.
Para el caso del Modelo de Evaluación de Políticas y Programas del INEE se define
modelo como el marco general que ofrece pautas de referencia, componentes y criterios
mínimos, así como principios clave a considerar para concebir, orientar y dirigir el
desarrollo de los procesos de evaluación de las políticas, programas e intervenciones
educativas que tengan el propósito de mejorar la calidad y equidad en la educación básica
y media superior en el país.
40
En este sentido, el propósito de la evaluación de los programas y las políticas educativas
que desarrolla el INEE es la generación de información útil, relevante y oportuna sobre la
pertinencia, efectividad, eficacia y coherencia de las políticas y programas, y entre
políticas y programas educativos, que contribuya a la construcción de evidencia para
apoyar la toma de decisiones de mejora educativa y a la elaboración de directrices.23
23“Las directrices constituyen una herramienta con la cual se pretende orientar o reorientar algunas de las
decisiones de política que se toman en los distintos niveles de actuación del SEN” (INEE, 2015, p. 5).
41
Se reconoce que los propósitos de mejora de algún aspecto o faceta de la educación no
se logran, de manera exclusiva, a través de la realización de evaluaciones formativas,
sino también sumativas. Por lo que la orientación general de la propuesta del modelo de
evaluación de políticas y programas educativos del INEE pone énfasis en la función
iluminativa y en la función de mejora, ya que interesa conocer y comprender mejor el
problema público de origen y la complejidad de la implementación de las políticas, desde
un enfoque que abunde en el análisis de las restricciones y oportunidades en el marco de
la acción pública para la mejora.
La evaluación que se plantea en este modelo, propone poner atención en la meso y micro
implementación, es decir, de qué manera confluyen y operan las políticas educativas en el
nivel de la administración educativa local y en la escuela (o grupos de escuelas) como
unidad de análisis.
Sin embargo, el foco de interés de esta acción pública se planteará en razón de los
criterios siguientes:
42
Atención educativa a grupos de población que enfrentan condiciones de mayor
desventaja para el ejercicio pleno de sus derechos (p. ej. niñas, niños y
adolescentes migrantes, jornaleros e hijos de jornaleros; indígenas; población que
sufre alguna discapacidad).
Políticas y/o programas con mayor presupuesto (p. ej. el programa de inclusión y
alfabetización digital).
43
Al respecto, Kisilevsky (citado en Martín y Martínez, 2012), se pregunta si “es posible
reducir la complejidad de la ‘política pública’ al artificio del recorte que suponen los
‘programas’ desde sus documentos”. La autora recupera la perspectiva de Chiara y Di
Virgilio (2008), quienes establecen que al hacer alusión a la gestión de las políticas
públicas se está haciendo referencia también a ‘programas públicos en acto’. “[…] esta
perspectiva supone avanzar en la formulación de interrogantes y organizadores de los
estudios evaluativos que estén a la altura de la complejidad que desafía a los gestores de
los programas, no en tanto instancias aisladas, sino convertidos en parte de la ‘red de
política’” (p. 83).
Según la AEVAL (2010) cuando se evalúan los programas, la mirada suele estar puesta
en el aspecto operativo y en la relación entre objetivos y medios, en cambio, cuando se
evalúan políticas confluyen distintas intervenciones transversales en múltiples
dimensiones (geográficas, temporales, institucionales y normativas), y en sectores
interconectados y con trayectorias político-sociales que tienen como eje los problemas,
así como los intereses de diferentes actores en pugna. En este sentido, Raczynski y
Salinas (2008), al hacer alusión al caso chileno, reafirman la permanente confusión que
existe en los países de América Latina entre políticas y programas, y la tendencia
predominante a evaluar programas:
Evaluar la política, entre otras cosas, implica preguntar por la coherencia de los
instrumentos programáticos y otros, tanto a nivel de su concepción como en cuanto
a su implementación (instrumentos, tiempos, sinergias, competencias). En esta
perspectiva, las preguntas de evaluación refieren no a programas individuales sino a
cómo el conjunto de los programas “aterrizan” y “empalman” con la situación y
dinámica de la unidad educativa (p.11).
Así, se entiende que las políticas públicas son un conjunto coherente, intencional y
sistemático de decisiones traducidas en programas, proyectos y acciones públicas (u
omisiones), definidas en un contexto institucional y organizacional determinado, con
recursos asignados para su desarrollo y actores en juego; cuyas orientaciones
estratégicas remiten a una configuración de posiciones técnicas, políticas y éticas de la
acción pública.
Aunque podría ser debatible definir a la política educativa como la acción conjunta de
intervenciones públicas (en el que se integran presupuestos, actores y decisiones), que
desde su origen y desarrollo no tienen una clara articulación y cohesión entre ellos, se
parte de la premisa de que al estar alineadas a un objetivo estratégico del Programa
Sectorial de Educación y el Plan Nacional de Desarrollo, deberían responder siempre a la
44
mejora de algunos de los componentes del SEN y, por tanto, al logro de un fin superior de
política pública.
Por lo tanto, tomando en consideración que el propósito central de las evaluaciones que
desarrolla el Instituto es su utilización para la mejora de la educación, el Modelo de
Evaluación de Políticas y Programas del INEE propone transitar hacia un esquema de
valoración de la acción pública que permita contribuir a detonar mejoras en ejes y redes
de política sustantivos para el cumplimiento del derecho a la educación de todas las
niñas, niños, adolescentes, jóvenes y adultos del país.
Con este foco claro sobre los objetivos de la evaluación, los usuarios o destinatarios de
los resultados de la evaluación son las autoridades educativas y/o escolares, así como la
45
población educativa directamente relacionada o afectada por el problema en cuestión. Sin
embargo, es importante mencionar que la Dirección General de Directrices para la Mejora
de la Educación será una instancia mediadora que habrá de favorecer la interlocución
entre las instancias de evaluación del INEE y los usuarios mencionados.
3.6. ¿Cuáles son los elementos constitutivos del modelo de evaluación de políticas
y programas educativos?
46
Diagrama 2. Componentes que integran el Modelo de Evaluación de Políticas y
Programas Educativos
El insumo clave que alimenta este modelo está constituido por un proceso que permite
situar y caracterizar la política educativa a evaluar. Este proceso parte de la definición y
estructuración del problema público que dio origen a la propuesta de política, la cual
incluye el análisis del problema, la generación de hipótesis, el análisis de los contextos, el
análisis de la población objetivo y la descripción de la información que ha generado la
investigación educativa y la evaluación de programas respecto de dicho problema.
47
Posteriormente, se realiza un mapeo de los actores clave -o grupos de interés- que
participan en la política pública en cuestión, titulares de derechos y obligaciones; seguido
de un mapeo de los programas, acciones y servicios educativos que permita conocer qué
acciones de política está implementando el Estado para dar respuesta al problema público
en cuestión, sus orígenes, trayectoria, evolución y la identificación de la teoría del cambio
que subyace de la política o programa a evaluar.24 (Diagrama 3).
24 Una política pública, por definición, siempre contiene una teoría de cambio que delimita una serie de
supuestos y de rutas de acción con los que se intenta provocar los cambios de mejora deseados (Véase pg.
23). De acuerdo con Landau (1977, en Thoenig, 1997), las políticas públicas guardan una teoría de cambio
estructurada para alterar ciertas circunstancias o para transformar las conductas de ciertos actores. Aunque
se espera que la teoría de cambio que sustente a una política pública se construya ex ante a la toma de
decisiones, incluso aquéllas que provengan de la voluntad de ciertos funcionarios pueden tener una teoría de
cambio implícita y verosímil, definida ex post a la toma de decisiones. En este último caso, la intervención
pública también se pude argumentar, caracterizar y defender como una política pública.
48
movilizar y lograr la consecución de los resultados esperados por la intervención
educativa. En este sentido, se propone realizar un análisis de la relación entre los
siguientes instrumentos de política: normativos, financieros, institucionales y
organizativos, de gestión y recursos (Diagrama 4).
49
señala que a partir de los impuestos pagados por los ciudadanos, los gobiernos
estructuran el gasto público en función de las políticas que planean desarrollar. Los
presupuestos asignados de acuerdo con las prioridades de política educativa y que
orientan la inversión en recursos educativos podrían mejorar la calidad de los servicios
educativos, con énfasis en la atención a los sectores más desfavorecidos.
En este sentido, el Modelo de Evaluación propone aterrizar el análisis del gasto público a
las políticas y programas concretos a evaluar, así como de acciones públicas educativas
implementadas por el Estado.
50
Una tipología de políticas útil para estos fines es la propuesta por Roberto Martínez
Nogueira (1998), quien considera dos grandes dimensiones de análisis: el nivel de
programabilidad de las tareas a llevar a cabo para la implementación de la política y el
nivel de la interacción que se tiene con los sujetos participantes en ella. Así, el primero,
está relacionado con el conocimiento del operador para resolver las situaciones a
enfrentar durante la tarea y con el nivel de formalización, estandarización y homogeneidad
de las actividades implicadas. El segundo, hace referencia a la relación que se establece
entre los destinatarios y operadores, es decir, la capacidad de ambos para ajustar su
funcionamiento a las reglas y procedimientos establecidos. De acuerdo con esta
clasificación analítica se pueden tener cuatro grandes tipos de políticas (Tabla 2):
El tercer tipo analítico incluye la ejecución de los “servicios sociales profesionales”, los
cuales dan lugar a cierta discrecionalidad por parte de los operadores, según el dominio
de conocimientos en el ejercicio de su profesión o la socialización en contextos de
prácticas y valores institucionalizados, por ejemplo, la dirección de una escuela
51
telesecundaria. La gestión puede ser conducida centralmente, pero se requiere delegar
capacidad de decisión para adecuar la prestación a la población atendida.
En este sentido, es claro que ante las particularidades locales, de la población objetivo y
de las características específicas de la política, se modifican los cursos de acción
previstos en el diseño y la acción se va transformando, motivo por el cual la evaluación
debe ser flexible ante esta dinámica.
52
El referente formal es aquel que se desprende de los documentos normativos y
orientadores de la propia política, y que define las aspiraciones que se plantea,
específicamente, la acción pública a evaluar, en términos de la mejora de la práctica
educativa.
53
La teoría de la implementación, que se refiere a la definición o descripción de las
actividades y de algunos resultados intermedios de la intervención; y, la teoría
programática, que especifica los mecanismos empleados para lograr que los
cambios deseados sucedan. Weiss indica que “los mecanismos de cambio no
son las actividades del programa; sino los efectos que las actividades generan”.
(p.46).
Se parte del hecho de que la acción pública habrá de generar cambios o modificaciones
importantes sobre los diversos componentes del SEN, de tal manera que se encuentren lo
suficientemente alineados para favorecer el cumplimiento del derecho a la educación. En
este sentido, la política en cuestión debería tener suficiente claridad sobre los elementos y
componentes del SEN que se propone mejorar, desde un enfoque de derechos.
Con el fin de clarificar esta relación, se realizó una combinación entre los elementos
expresados en el Artículo 3º constitucional “el Estado garantizará la calidad en la
educación obligatoria de manera que los materiales y métodos educativos, la organización
escolar, la infraestructura educativa y la idoneidad de los docentes y los directivos
garanticen el máximo logro de aprendizaje de los educandos”, y los componentes que
constituyen el SEN, de acuerdo con el artículo 10 de la LGE, “I.- Los educandos,
educadores y los padres de familia; II.- Las autoridades educativas; III.- El Servicio
Profesional Docente; IV.- Los planes, programas, métodos y materiales educativos; V.-
Las instituciones educativas del estado y de sus organismos descentralizados; VI.- Las
instituciones de los particulares con autorización o con reconocimiento de validez oficial
de estudios; VII.- Las instituciones de educación superior a las que la ley otorga
autonomía; VIII. La evaluación educativa; IX.- El Sistema de Información y Gestión
Educativa, y X.- La infraestructura educativa”.
54
Además, se añadieron dos elementos de mejora relacionados con los factores
extraescolares y la Administración Educativa; con el fin de incorporar el componente
‘padres de familia’ en el primer caso; y, ‘autoridades educativas’, ‘evaluación educativa’ y
‘SIGE’, en el segundo caso.
La tabla que se presenta a continuación muestra este cruce de dimensiones; sin embargo,
cabe señalar que cada política o programa en cuestión tendrá su propia micro definición
sobre los componentes del SEN en los que debería incidir para avanzar en el
cumplimiento de algunos de los derechos que integran el derecho a una educación de
calidad para todos (Tabla 3).
55
Tabla 3. Componentes del SEN sobre los que incide la acción pública desde un
enfoque de derechos
ACCIÓN PÚBLICA
autorización o con
reconocimiento de
validez oficial de
estudios
Instituciones de
educación superior a las
que la ley otorga
autonomía
Infraestructura Infraestructura
educativa educativa
Idoneidad de Servicio Profesional
los docentes y Docente
los directivos Educadores X
Educandos
Extraescolares Padres de familia X
Administración Sistema de Información
Educativa y Gestión Educativa
Evaluación Educativa
Autoridades Educativas
Fuente: elaboración propia.
Este componente del modelo se concibe como el engranaje articulador de las demás
piezas del modelo, ya que en su núcleo se encuentra la valoración de las políticas o
programas educativos que se desean examinar. Como parte de éste, se integran dos
grupos de criterios o atributos que acompañan el proceso de valoración: Formales y
Sustantivos (Diagrama 6).
56
Diagrama 6. Criterios de evaluación de políticas y programas educativos
25 De acuerdo con Cejudo y Michel (2014), “la especificidad que distingue al enfoque de políticas sitúa como
única unidad de análisis a la propia política y puede generar un problema de miopía: concentrarnos
detenidamente en cada política pública sin revisar el conjunto, o creer que este conjunto de políticas públicas,
de forma automática, se relaciona armónicamente entre sí. Pero un conjunto de políticas públicas bien
diseñadas e implementadas no es lo mismo que políticas que, en agregado, se complementan o refuerzan
para resolver los problemas complejos” (p.1). Así, se pueden identificar tres niveles de coherencia: 1) La
coherencia en las políticas (coherencia interna). Vinculada directamente con la teoría causal que estructura
una política. Valora si hay congruencia, conexión lógica y articulación causal entre la definición del problema,
los instrumentos de políticas y la solución esperada. 2) La coherencia entre políticas. Refiere a la presencia de
diversas intervenciones públicas que interactúan, potenciando y no obstaculizándose unas a otras. Cuando
las políticas no son coherentes pueden estorbar, traslapar o dejar objetivos o personas sin atender; y, 3) La
coherencia entre espacios de políticas. Hace alusión a cómo se relacionan las políticas que lo componen, con
otros grupos de política y cómo éstas logran grandes objetivos estratégicos.
57
la fase del ciclo de la política en la que se desea poner especial relevancia, o en aquella
que se haya identificado como prioritaria.
A continuación se señalan los “criterios formales”, referenciados en cada una de las fases
del ciclo de la política pública, que se consideran en este modelo.
Diseño: Esta fase del ciclo, que equivale a lo que Meny y Thoenig (1992) denominan
“formulación de las soluciones” y “toma de decisión”, es cuando la autoridad educativa
elabora el proceso de acción para resolver ciertos problemas educativos previamente
identificados. Dicho proceso de acción queda oficialmente habilitado y se convierte en una
política que, idealmente, debe contener ciertas características.
En este sentido, el modelo aquí desarrollado plantea evaluar qué tanto las políticas y/o
programas educativos cumplen con los siguientes criterios o atributos formales y
sustantivos (Tabla 4).
58
Tabla 4. Criterios valorados en el diseño
Criterios de
Definición
evaluación
Coherencia Coherencia en la política: Se refiere a la teoría causal que está detrás de
cualquier política o programa. Algunos autores también la denominan
“coherencia interna”. La pregunta central es si la forma que toma la intervención
del Estado es congruente con la definición del problema, los instrumentos de
política y la solución esperada (Cejudo y Michel, 2014).
Coherencia entre políticas: Se refiere a la consistencia entre los propósitos de
cada uno de los instrumentos y acciones de política, es decir, la consecución de
diferentes objetivos que se encuentran relacionados armónicamente entre sí
(Cejudo y Michel, 2014).
Relevancia Se refiere al ‘qué’ y al ‘para qué’ de la educación; es decir, a las intenciones
educativas que condicionan otras decisiones, como las formas de enseñar y de
evaluar. El ‘para qué’, la principal finalidad de la educación, es lograr el pleno
desarrollo del ser humano en su doble realización: individual y social. El juicio
respecto de la relevancia debe ser capaz de dar cuenta del tipo de aprendizajes
establecidos como indispensables, y también de la posibilidad de conocer,
vivenciar y respetar los derechos y libertades humanas fundamentales
(UNESCO-LLECE, 2008).
Pertinencia La pertinencia está referida al grado de adecuación que existe entre un factor
operativo cualquiera (estilos de gestión, criterios de focalización, requisitos de
elegibilidad, metodologías de intervención, actividades, etc.) y las
especificidades del problema que se intenta superar o de la situación social
sobre la que se interviene (Ministerio de Planificación y Cooperación, 2000).
Equidad Comprende los principios de igualdad y diferenciación para asegurar que todas
las personas tengan las mismas oportunidades de hacer efectivos sus derechos
y alcanzar los fines de la educación en condiciones de igualdad. La equidad es
sensible a las diferencias de los seres humanos por lo que, para garantizar
igualdad de oportunidades, es necesario apoyar con mayores recursos a los
grupos más vulnerables (UNESCO-LLECE, 2008).
Congruencia Se refiere a asegurar que los objetivos perseguidos con la intervención se
derivan del diagnóstico realizado y que, por tanto, el programa está bien
orientado (Instituto de Desarrollo Regional, s/f).
Fuente: elaboración propia.
Implementación: Siguiendo con las definiciones que ofrecen Meny y Thoenig (1992), la
implementación o “ejecución del programa” comprende la fase en la que el programa
diseñado es puesto en marcha, es decir, cuando es aplicado en el terreno práctico. La
evaluación de los atributos formales dentro de la implementación de las políticas que se
plantea en este modelo, propone poner atención en los niveles meso y micro de la
implementación.
59
Por su parte, el nivel micro se refiere, de acuerdo con Berman (1978), a las acciones que
deben desplegar los operadores de los programas, como respuesta a las decisiones
tomadas por los órdenes de gobierno, para hacer llegar los bienes o servicios a la
ciudadanía. El autor enfatiza que los ajustes institucionales que se realizan desde este
nivel, para echar a andar políticas y/o programas públicos, corresponden a la organización
local necesaria para hacer efectiva la entrega a los destinatarios. Ospino (2002) señala
que la evaluación, en este nivel, intenta medir la "gestión de recursos humanos", es decir,
cómo el desempeño de los operadores repercute en el cumplimiento de los objetivos de
las políticas y/o programas.
Así, el modelo propuesto considera que los atributos formales que deben ser valorados en
la etapa de la implementación de las políticas públicas y/o programas son los siguientes
(Tabla 5):
60
Tabla 5. Criterios valorados en la implementación
Criterios de Definición
evaluación
Se recupera la definición planteada en la etapa de diseño. Sin embargo, para el
Coherencia
caso específico de la implementación, la coherencia se plantea como un criterio
transversal que buscará valorar si la ejecución de la política o programa es
congruente con la definición del problema, los instrumentos de política y la
solución esperada.
Adaptabilidad Se refiere a cuán ajustables pueden ser las políticas cuando fallan o cambian las
circunstancias que estaban previstas desde el diseño (BID-Universidad de
Harvard, 2006). En este sentido, se propone valorar qué tan ajustables son las
acciones desarrolladas en la implementación de los programas, a las condiciones
externas que impactan el curso de acción de las intervenciones.
61
Resultados: Finalmente, en esta etapa se busca comparar los resultados proyectados por
las políticas y/o programas contra aquellos que, en realidad, se lograron obtener y, así,
verificar el avance, retroceso o estancamiento que las intervenciones consiguen.
No debe interpretarse que este análisis tenga que hacerse necesariamente al final de las
intervenciones o después de mucho tiempo de su implementación; en realidad, la
recomendación es que esta valoración se realice constantemente y en espacios
intermedios, ya que esto permite identificar desviaciones, en caso de haberlas, y redirigir
los esfuerzos hacia los objetivos planteados (o incluso re definir los propios objetivos).
En esta fase del ciclo de las políticas, el Modelo de Evaluación propone examinar los
siguientes criterios (Tabla 6):
Criterios
Definición
formales
Eficiencia Es el grado en que se cumplen los objetivos de una iniciativa al menor costo
posible. El no cumplir cabalmente los objetivos y/o el desperdicio de recursos
o insumos hacen que la iniciativa resulta ineficiente (o menos eficiente)
(Mokate, 1999).
Constituye la relación entre los resultados (previstos y no previstos) y los
Efectividad
objetivos; es decir es una medida que reconocería resultados diferentes a los
que fueron esperados en la delimitación de los objetivos de la iniciativa
(Mokate, 1999).
62
3.6.4. El ciclo de la política pública
El cuarto componente del modelo es el que sitúa la política en alguna fase específica del
ciclo de la política, el cual, para fines meramente analíticos y referenciales, se simplificará
en las fases de diseño, implementación y resultados (Diagrama 7).26
26 Como parte de este componente también se toma en cuenta el ciclo de la política pública visto desde una
lógica presupuestaria. En la administración pública mexicana, a este curso se le denomina “Ciclo
Presupuestario”, del cual es responsable la Subsecretaría de Egresos de la Secretaría de Hacienda y Crédito
Público (SHCP). Las fases del proceso referido son: 1. Planeación (llevada a cabo a partir de los objetivos y
metas políticas, económicas y sociales del país establecidas en el Plan Nacional de Desarrollo), 2.
Programación (en él se autoriza la estructura programática y se definen los programas presupuestarios, así
como sus indicadores estratégicos y de gestión), 3. Presupuesto (en este momento se realizan las
asignaciones presupuestarias), 4. Ejercicio (se refiere al desempeño administrativo y al ejercicio del gasto
público), 5. Seguimiento (se realizan informes de resultados y el seguimiento de los indicadores), 6.
Evaluación (se valoran los resultados logrados, así como las mejoras en el desempeño administrativo) y, 7.
Rendición de Cuentas (se realizan los informes dirigidos al Congreso de la Unión, en los que se señalan las
cuentas públicas con sus respectivos resultados) (SHCP, 2015; OCDE, 2009).
63
Es importante señalar que la ubicación de la intervención en el ciclo de política no
condiciona, necesariamente, la realización de evaluaciones de diseño, evaluaciones de
proceso o evaluaciones de resultados; por el contrario, el modelo plantea la aplicación de
un enfoque articulado, que valore de manera conjunta las tres fases. Ello dependerá de
los alcances establecidos y de los recursos a disposición.
64
En este sentido, estas evaluaciones están encaminadas a potenciar la función de uso de
sus resultados con fines de mejora educativa, a través de la construcción y
fundamentación de directrices como herramienta para reorientar las decisiones
estratégicas de política educativa que tomen las autoridades educativas.
a) Tipología de participación
De esta forma, debe considerarse que la participación de los actores puede ir cambiando
conforme avanza el ejercicio de evaluación, ello deberá irse definiendo en el proceso
mismo de la evaluación. Así, se recupera parte de la propuesta de Pretty (en Cornwall,
2008), en un intento de clasificar y ordenar los diferentes tipos de participación que
pueden ser identificados durante la evaluación de políticas y programas públicos (Tabla
7).
65
Tipo de participación Características
dependiendo de la información que se requiere.
Por lo anterior, se asume que para integrar la participación de los múltiples actores que
intervienen en la acción pública educativa (tanto en el diseño, implementación, como en
los resultados generados), el INEE y los equipos evaluadores contratados por el Instituto
deberán ser sensibles a las demandas derivadas de las características del objeto de
evaluación, por lo que esta propuesta constituye una guía o ruta de acción que orienta las
tareas de participación en el marco de la evaluación de políticas y programas educativos.
Pasos Definición
27Se recomienda complementar la tipología planteada con la ofrecida por Guilt (2014), misma que
se formula en el Anexo 5 de este documento.
66
documento preliminar servirá como detonador de
los procesos de diálogo con los actores clave.
Pasos Definición
políticas y expertos en la materia específica que se desea evaluar. Por ello, debe considerarse que este paso
requiere de un tiempo de acercamiento y análisis que permita tomar la mejor decisión.
67
acordadas.
En esta etapa se busca que la evaluación incorpore las perspectivas de los implicados y
de los beneficiarios directos e indirectos a través intervenciones dialógicas con públicos
interesados en la evaluación. En esta fase se contemplan tres pasos esenciales que
deberán tomarse en cuenta:
Pasos Definición
68
Es el proceso en el que deben incluirse a ciertos actores
clave que aporten distintas visiones y lecturas del
problema y sus propuestas de mejora. Se requiere utilizar
las lecciones aprendidas a través de la evaluación, lo cual
requiere la revisión de los resultados de la misma para
b) Análisis de la factibilidad de
seleccionar y priorizar las recomendaciones que se
las recomendaciones
pueden poner en práctica, así como la definición de los
mecanismos para poner estas recomendaciones en
práctica. Esta fase es complementaria con la realización
de los primeros foros de interlocución que se implemente
en el marco de la construcción de las directrices.
A continuación se analiza con mayor detalle los pasos que conforman la fase de
implementación:
Tipos de actores
La siguiente tabla muestra una propuesta de tipología de actores que idealmente deberían
participar durante los procesos de evaluación desarrollados por el INEE30.
Tipología de Características
participantes
30Debe considerarse que no siempre los actores identificados están dispuestos a participar en la evaluación.
En este sentido, Font (2004) recomienda lo siguiente: “las energías participativas son limitadas y debemos
respetarlas, pues cuanta más participación exijamos, corremos el riesgo de que ésta sea menos
representativa” (p. 27) (Véase Anexo 5).
69
Tipología de Características
participantes
decisión programa y de sus prioridades. Es deseable que estas figuras
participen desde el diseño de la evaluación. “La experiencia ha
demostrado que el grado de participación de los gerentes del
programa en el proceso de evaluación, está relacionado con el grado
de propiedad que desarrollan para la evaluación, así como su
compromiso en la utilización efectiva de los resultados de la
evaluación” (Aubel, 2000, 26).
70
Herramientas de recolección de datos
Algunos autores sugieren el uso de las siguientes herramientas para recabar datos en
campo. Éstas son de gran utilidad en procesos en los que se busca motivar la
participación de diferentes actores, ya que permiten conocer y entender las opiniones,
percepciones y sugerencias de las figuras que contribuyen en la evaluación.
Técnicas Características
31 Las entrevistas informales se tratan esencialmente de conversaciones informales con actores que pueden
aportar elementos sobre el programa evaluado. Por su parte, en las entrevistas semi-estructuradas, el
evaluador construye un guion a partir de los temas que son de interés; las preguntas se desarrollan sin seguir
un orden, o un estilo específico, pues éstos se van definiendo conforme la entrevista va avanzando. Por
último, las entrevistas estandarizadas son aquellas en las que el orden y la formulación de las preguntas sí
importa; por lo que a todos los entrevistados se les aplica el mismo instrumento, sin modificaciones.
71
Técnicas Características
cuestionamientos planteados (Vaoghn, Shcumm y Sinagub, 1996).
Por su parte, deberán implementarse herramientas pertinentes para recuperar las visiones
y sugerencias de los niños, niñas y adolescentes, considerando la diversidad de
poblaciones, la etapa de desarrollo en el que se encuentren, así como el contexto al que
pertenecen.
72
iii) Comunicación de los resultados
Ésta es la fase final del esquema propuesto. Este informe debe recuperar las opiniones de
los diferentes actores involucrados en la validación de los resultados y debe estar
redactado de forma clara y precisa, considerando, nuevamente, la existencia de diferentes
audiencias que tienen el derecho de recibir y entender los resultados de la evaluación en
la que participaron.
El siguiente cuadro muestra los pasos que conforman esta última fase:
Pasos Definición
73
Las conclusiones y recomendaciones de la
evaluación pueden ser difundidas ampliamente;
b) Difusión y utilización de los sin embargo, sería recomendable que al menos
resultados de la evaluación y se distribuya entre aquellos que participaron de la
recomendaciones evaluación, ya que ello facilita el seguimiento de
las recomendaciones, considerando que las
partes interesadas pueden haber participado en la
discusión desde el comienzo de la evaluación.
Fuente: Elaboración propia
74
4. Consideraciones finales
1. Está integrado por cuatro componentes clave que, a manera de sistema, procesa
un conjunto de insumos de entrada sobre la acción pública y el contexto en el que
opera, y realiza procesos de valoración con base en ciertos criterios o atributos
que definen, a nivel formal y sustantivo, una buena política educativa acorde con el
problema público al que busca dar respuesta, los componentes del SEN que
debería mejorar y el cumplimiento del derecho a la educación;
3. Se evalúan criterios o atributos que definen una buena política pública, tales como,
la pertinencia, suficiencia, coherencia, coordinación, articulación, efectividad y
equidad de las políticas (programas, servicios, acciones y presupuestos), así como
las capacidades de los distintos actores en juego –titulares de derechos y titulares
de obligaciones- para ejercer el derecho y para implementar medidas pertinentes y
efectivas para asegurar el cumplimiento de los derechos, respectivamente;
75
5. Las evaluaciones se realizan bajo el enfoque de derechos humanos, tomando
como base el principio rector del interés superior de la niñez;
33
Se recupera el término empleado por Easton (1957) para analizar los sistemas políticos. De acuerdo con
este autor, los sistemas políticos de las sociedades son comparables con una “caja negra” que recibe
entradas de insumos provenientes de los ambientes, actores y relaciones que le rodean. De esta forma, la
“caja negra” procesa lo que recibe del exterior y produce resultados (salidas) o decisiones políticas. En el
presente documento, se asume que la implementación de políticas públicas es una especie de “caja negra”
que debe ser abierta para desentrañar los procesos de la acción pública e identificar las razones por las que
se obtienen ciertos resultados y los efectos intermedios, teniendo en cuenta, por supuesto, las condiciones
específicas en que se desarrolla. En esta misma lógica, Revuelta (2007) establece que la implementación “es
un proceso a través del cual una política puede ser influenciada por diversas variables independientes -
actores y factores- que pueden apoyar, alterar y obstruir el cumplimiento de los objetivos originales” (p. 139).
La multiplicidad de actores y factores a los que se alude van desde los del tipo burocrático, legal, político,
hasta los organizacionales, económicos, culturales, sociales, etcétera. En este sentido, para construir un
mejor entendimiento y una valoración más justa, el modelo de evaluación que se propone aquí apela a
destapar la “caja negra” de las políticas y programas educativos que se evalúen desde el INEE.
76
d. ¿Cuál es grado de pertinencia, coherencia en la política y entre políticas, y
efectividad de la acción pública?
f. ¿Cuáles son las brechas entre las condiciones que debería garantizar el
Estado bajo un enfoque del derecho a la educación y la política pública
formal, y entre ésta y la que está en operación?
11. Las evaluaciones que impulse el Instituto podrán ser realizadas en diversas etapas
de la intervención: ex ante, es decir, de manera previa a la ejecución de la acción
de gobierno; durante la implementación de la acción gubernamental, o ex post,
una vez finalizada la intervención o la gestión de una fase de la acción pública. La
aplicación de los criterios de evaluación variarán de acuerdo con la fase del ciclo
de la política en la que se encuentren.
77
evaluación y política en cuestión. Sin embargo, se privilegiará el empleo de
métodos de evaluación mixtos, ya que éstos incrementan la confiabilidad y validez
de este tipo de evaluaciones.
78
5. Bibliografía
Agencia de Evaluación y Calidad [AEVAL] (2010). Fundamentos de evaluación de políticas públicas. Madrid,
España: Ministerio de Política Territorial y Administración Pública.
Aguilar, L. (1992). La hechura de las políticas. Distrito Federal, México: Miguel Ángel Porrúa.
Aguilar, L. y Bustelo, M. (2010). Gobernanza y evaluación: una relación potencialmente fructífera. Revista
Gestión y Análisis de Políticas Públicas, 4. Recuperado de
http://revistasonline.inap.es/index.php?journal=GAPP&page=article&op=view&path[]=437&path[]=477
Alkin, M. (2013). Evaluation Roots. A wider perspective of theorists’ view and influences. (2nd Ed.) California,
Estados Unidos: SAGE
Aubel, J. (2000). Manual de evaluación participativa del programa. Involucrando a los participantes del
programa en el proceso de evaluación. Catholic Relief Services y Child Survival Technical Support.
Recuperado de:
http://www.coregroup.org/storage/Monitoring__Evaluation/PartEvalManual.Spanish.pdf
Auditoría Superior de la Federación, Auditorías de la Cuenta Pública, 2007, 2008, 2009, 2011 en presentación
power point. Recuperado el 27 de noviembre de 2014 de
http://www.asf.gob.mx/Publication/32_Auditorias_de_Desempeno
Auditoría Superior de la Federación, Informes de Auditoría de la Cuenta Pública completos de 2000 a 2012.
Recuperado el 27 de noviembre de http://www.asf.gob.mx/Section/58_Informes_de_auditoria
Auditoría Superior de la Federación. Recuperado el 27 de noviembre de 2014 de
http://www.asf.gob.mx/Default/Index
Baker, J. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para
profesionales. Banco Mundial: www.worldbank.org, consulta realizada el 10 de mayo del 2003.
Ballart, X. (1993). Evaluación de políticas. Marco conceptual y organización institucional. Revista de estudios
políticos. Nueva Época, 80, pp.199-224.
Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de
caso. Madrid. Ministerio para las Administraciones Públicas.
Banco Interamericano de Desarrollo (BID). Oficina de Evaluación y Supervisión. Recuperado el 9 de
diciembre de 2014 de http://www.iadb.org/es/oficina-de-evaluacion-y-
supervision/evaluaciones,1578.html
Banco Mundial (2005). Institucionalizar los sistemas de seguimiento y evaluación: cinco experiencias de
América Latina. Septiembre. Núm. 78.
Banco Mundial (2006). Institucionalización de los sistemas de seguimiento y evaluación para mejorar la
gestión del sector público. Desarrollo de la Capacidad de Evaluación (DCE).
Serie de documentos de trabajo, 15. Washington D.C.: Banco Mundial
Banco Mundial y Banco Interamericano de Desarrollo (2006). Hacia la institucionalización de los sistemas de
monitoreo y evaluación en América Latina y El Caribe: actas de una conferencia del Banco Mundial /
Banco Interamericano de Desarrollo. Washington D.C.: Banco Internacional de Reconstrucción y
Fomento/Banco Mundial
Banco Mundial. Búsqueda de reportes y publicaciones de la OED. Recuperado el 31 de diciembre de 2014
en:
Bañón, R. (Comp) (2003). Evaluación de la acción y de las políticas públicas. Una visión desde la bibliografía.
Madrid, Díaz de Santos.
Berman (P.), 1978, The Study of Maero-and Micro-Implementation. The Rand Paper Series. California,
Estados Unidos. Recuperado de http://www.rand.org/content/dam/rand/pubs/papers/2008/P6071.pdf
79
BID-Universidad de Harvard, (2006). La política de las políticas públicas. Progreso económico y social en
América Latina. Informe 2006.
Bracho, T. (2010). Una mirada conceptual al derecho a la educación. Documento generado a partir de la
Conferencia dictada en el Foro Derecho a la Educación en México, organizado por el Observatorio
Ciudadano de la Educación AC, Ciudad de México, 18 de junio de 2010.
Bracho, T. (2011). El papel de los valores en la evaluación de políticas para sistemas educativos complejos.
Revista Mexicana de Investigación Educativa, 16(50), 853-883
Bracho, T. y Hernández, J. (2010). Equidad educativa: avances en la definición de su concepto. X Congreso
Nacional de Investigación Educativa, área 10: interrelaciones educación-sociedad.
Brown, D. (2001). Evaluación de políticas y programas de la región del Caribe de habla inglesa: problemas
conceptuales y prácticos, en Serie Gestión Pública, No.9, Santiago de Chile: CEPAL–ILPES.
Bruñol, M. (1998). El interés superior de niño en el marco de la Convención Internacional sobre los Derechos
del niño. En E. García y M. Belloff (comp), Infancia, ley y democracia en América Latina. Ed. Temis
Depcima.
Cardozo M. (2006). La evaluación de políticas y programas públicos. El caso de los programas de desarrollo
social en México. Distrito Federal, México. H. Cámara de Diputados, LIX Legislatura y Miguel Ángel
Porrúa.
Cardozo, M. (2012). Evaluación y metaevaluación en las políticas y programas públicos. Estado del arte.
Universidad Autónoma Metropolitana. México. Unidad Xochimilco. División de Ciencias Sociales y
Humanidades.
Castro, M. (2006). El sistema nacional de evaluación de resultados de la gestión pública de Colombia. En
Banco Mundial y Banco Interamericano de Desarrollo, Hacia la institucionalización de los sistemas de
monitoreo y evaluación en América Latina y el Caribe: actas de una conferencia del Banco Mundial /
Banco Interamericano de Desarrollo.
Cejudo, G. (2011). Sobre el uso de las evaluaciones. En G. Cejudo y C. Maldonado, De las recomendaciones
a las acciones: la experiencia del premio 2011. Programas federales comprometidos con el proceso
de evaluación (pp. 11-28). Distrito Federal, México: CIDE-SFP.
Cejudo, G. (2014). Implicaciones de la autonomía constitucional de CONEVAL. En la Red por la Rendición de
cuentas. Recuperado el 20 de octubre de 2014 en: http://rendiciondecuentas.org.mx/implicaciones-de-
la-autonomia-constitucional-de-coneval/
Cejudo, G. y Michel, C. (2014). Coherencia y políticas públicas. Metas, instrumentos y poblaciones objetivo.
Documento de trabajo CIDE, 284.
Cejudo, G. y Michel, C., (2014). Coherencia y políticas públicas. Metas, instrumentos y poblaciones objetivo.
Documento de trabajo CIDE, 284.
Chen, H. (2013). The roots and growth of theory-driven evaluation. An integrated for assessing viability,
efectuality, and transferability. En M. Alkin, Evaluation Roots. A wider perspective of theorists’ view
and influences (pp. 113-129) California, Estados Unidos: SAGE
CIDE y CLEAR (2014). Foro de discusión sobre las implicaciones de la autonomía de CONEVAL. Recuperado
en http://www.clear-la.cide.edu/sintesis_foro_sobre_autonomia_coneval
Comisión Económica para América Latina y el Caribe, Publicaciones. Recuperado el 2 de enero de 2015 en:
http://www.cepal.org/publicaciones/search.asp?cat=37&desDoc=Educaci%C3%B3n o bien,
http://www.cepal.org/publicaciones/catalogo/
Comisión Nacional de los Derechos Humanos (CNDH, 2012). Pacto Internacional de Derechos Económicos,
Sociales y Culturales; y su Protocolo Facultativo. México, D.F.
Community Tool Box [CTB], (2015). Introduction to evaluation. Recuperado de: http://ctb.ku.edu/en/table-of-
contents/evaluate/evaluation/participatory-evaluation/main
80
Congressional Budget Office (2014). An Introduction to the Congressional Budget Office. Recuperado de
https://www.cbo.gov/about/overview, el 7 de diciembre de 2014.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2009). Metodología para la medición
multidimensional de la pobreza en México. México DF.: CONEVAL.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2011). Informe de evaluación en materia
de rezago educativo 2008-2010. México DF.: CONEVAL.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2013). Evaluación integral de la
Secretaría de Educación Pública. México DF.: CONEVAL.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2013). Construyendo un sistema de
evaluación del desempeño para el Desarrollo Social. México: CONEVAL.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2014a). Informe de Evaluación de la
Política de Desarrollo Social 2014. Recuperado el 15 de enero de 2015 en:
http://www.coneval.gob.mx/Informes/Evaluacion/IEPDS_2014/IEPDS_2014.pdf
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2014b). Búsqueda de Programas por año
e institución. Recuperado el 15 de enero de 2015 en:
http://www.coneval.gob.mx/Evaluacion/IPFE/Paginas/Busqueda.aspx?pDerId=1
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2014c). Gráfica de programas y acciones
educativas. Recuperado el 15 de enero de 2015 en:
http://www.coneval.gob.mx/Evaluacion/IPFE/Paginas/GraficasFedDerechos.aspx?pDerId=1
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2014d). Informe de Seguimiento a los
Aspectos Susceptibles de Mejora de los Programas y Acciones Federales de Desarrollo Social 2013-
2014. México DF, 2014.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2014e). Inventario Nacional CONEVAL de
Programas y Acciones para el Desarrollo Social. México DF, 2014.
Danielson, C. (2007). Social experiments and public policy. En F. Fisher, G. Miller y M. Sidney (eds.),
Handbook of Public Policy Analysis (pp. 381-392). Boca Ratón, Estados Unidos: Taylor & Francis.
De la Garza, T. (2014). La evaluación en México. Situación actual y retos. Diplomado en Políticas Públicas y
Evaluación realizado por el Centro de Investigación y Docencia Económicas, A.C. y el Centro Regional
para el Aprendizaje en Evaluación y Resultados.
De la Garza, T. (2014). Los tipos de evaluación en el Sistema Federal Mexicano. Diplomado en Políticas
Públicas y Evaluación realizado por el Centro de Investigación y Docencia Económicas, A.C. y el
Centro Regional para el Aprendizaje en Evaluación y Resultados.
De la Orden, A. (2009). Evaluación y calidad: análisis de un modelo. Estudios sobre Educación, 16, 17-36.
Diario Oficial de la Federación (1917, 5 de febrero. Última Reforma: 2015, 27 de mayo). Constitución Política
de los Estados Unidos Mexicanos. México.
Diario Oficial de la Federación (2002, 8 de agosto). Decreto por el que se crea el Instituto Nacional para la
Evaluación de la Educación.
Diario Oficial de la Federación (2005, 24 de agosto). Decreto por el que se regula el Consejo Nacional de
Evaluación de la Política de Desarrollo Social.
Diario Oficial de la Federación (2013, 11 de septiembre). Ley General del Servicio Profesional Docente.
México.
Diario Oficial de la Federación (2014, 4 de diciembre). Ley General de los Derechos de Niñas, Niños y
Adolescentes.
Diario Oficial de la Federación. (1993, 13 de julio. Última Reforma: 2015, 20 de abril). Ley General de
Educación.
Diario Oficial de la Federación. (2004, 20 de enero). Ley General de Desarrollo Social.
81
Diario Oficial de la Federación. (2006, 30 de marzo). Ley Federal de Presupuesto y Responsabilidad
Hacendaria.
Diario Oficial de la Federación. (2007, 30 de marzo). Lineamientos generales para la Evaluación de los
Programas Federales de la Administración Pública Federal.
Diario Oficial de la Federación. (2013, 11 de septiembre). Ley del instituto Nacional para la Evaluación de la
Educación
Domínguez, M., y Zermeño, F. (2008). Análisis del esquema de evaluación de programas federales sociales
implementado en 2007: el programa anual de evaluación y la matriz de marco lógico. En ¿Gobernar
por resultados? Implicaciones de la política de evaluación del desempeño del gobierno mexicano.
Gesoc A.C. Gestión Social y Cooperación, México.
Escudero, E. (2003). Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX de intenso
desarrollo de la evaluación en educación. Revista Electrónica de Investigación y Evaluación
Educativa, 9 (1), 11-43. Recuperado de www.uv.es/RELIEVE
Easton, D. (1957). An approach to the analysis of political systems. World politics, Vol. 9, Núm. 3, pp.387-400
Feinstein, O. (2007). Evaluación pragmática de políticas públicas. Revista de Economía, 836, pp. 19-32.
Recuperado de http://dialnet.unirioja.es/servlet/articulo?codigo=2299776
Fenstein, O. y Hernández, G. (2010). El Papel de la evaluación en México: Logros, desafíos y oportunidades.
P. Arizti y M.F. Castro (Eds.). Mejorando la calidad del gasto público a través del uso de información
de desempeño en México. Grupo de Evaluación Independiente IEG, la Oficina del Banco Mundial en
México y la Secretaría de Hacienda y Crédito Público.
Flores-Crespo, P. (2008). Análisis de política pública en educación: línea de investigación. Distrito Federal,
México: Universidad Iberoamericana, A.C.
Fondo de las Naciones Unidas para la Infancia (UNICEF, 2014). Alcanzar los Objetivos de Desarrollo del
Milenio con equidad: Una mirada desde la infancia y la adolescencia en México. Recuperado el 31 de
diciembre de 2014 en: http://www.unicef.org/mexico/spanish/UN_ODM_web.pdf
Franco, G. (2007). Hacia un sistema de monitoreo y evaluación: Avances y resultados en México. En García,
Laguzzi & Guerrero (Eds.) Hacia la institucionalización de los sistemas de monitoreo y evaluación en
América Latina y el Caribe. II Conferencia Regional de M&E.
Galiani, S. (2006). Políticas sociales: instituciones, información y conocimiento. Santiago de Chile: División de
Desarrollo Social de Cepal.
Garde, J. (2006). La institucionalización de la evaluación de las políticas públicas en España. Auditoría
Pública, 39, 17-26.
Gobierno Vasco. (2006). Guía de evaluación de políticas públicas. Recuperado el 04 de mayo de 2015 de:
https://apps.euskadi.eus/r48-
contsepr/es/contenidos/informacion/v2_coordinacion/es_evaluaci/adjuntos/guia_evaluacion_gv_pip.p
df
Green, J. (2013). An interpretation of Lee J. Cronbach’s Vision of Evaluation. En M. Alkin, Evaluation Roots. A
wider perspective of theorists’ view and influences (pp.99). California, Estados Unidos: SAGE
Grupo de Evaluación de las Naciones Unidas (UNEG). Estrategia de evaluación. Recuperada el 31 de
diciembre de 2014 en: http://ilo.org/eval/Evaluationpolicy/lang--es/index.htm
Grupo de Evaluación de las Naciones Unidas (UNEG). Listas de verificación para los términos de referencia
de evaluaciones. Recuperado el 2 de enero de 2015 en: http://www.uneval.org/document/detail/608
Grupo de Evaluación de las Naciones Unidas (UNEG, 2005). Estándares de evaluación en el Sistema de las
Naciones Unidas.
Grupo de Evaluación de las Naciones Unidas (UNEG, 2005). Normas de evaluación en el sistema de las
Naciones Unidas.
82
Grupo de Evaluación independiente (IEG, 2014). Búsqueda de reportes de evaluación. Recuperado el 31 de
diciembre de 2014 en: http://ieg.worldbankgroup.org/ieg-search
Gruskin, S., Bochengo, D. & Ferguson, L. (2010). Rights-based approaches to health policies and programs;
Articulations, ambiguities and assessment. En Journal of Public Health Policy, 31(2) 129-145,
Macmillan Publishers Ltd.0197-5897
Guerrero, J. (1995). La evaluación de políticas públicas: enfoques teóricos y realidades en nueve países
desarrollados. Gestión y Política Pública, IV (1), 47-115.
Guijt, I. (2014). Participatory approaches. Florence, Italy: Unicef-Offece of Research-Innocenti. Recuperado
de: http://devinfolive.info/impact_evaluation/ie/img/downloads/Participatory_Approaches_ENG.pdf
Huenchuan, S., Paredes, M. (2007). Guía metodológica para la evaluación participativa de políticas y
programas, en el marco de la Estrategia Regional sobre el Envejecimiento. Santiago de Chile:
CEPAL-CELADE.
Instituto de Desarrollo Regional, (S/A). Guía para la Evaluación de Políticas Públicas. Fundación Universitaria.
Recuperado de http://siare.clad.org/siare/innotend/evaluacion/manualeval.pdf
Instituto Nacional para la Evaluación de la Educación (2012). INEE: Una década de evaluación. México, D.F:
INEE.
Instituto Nacional para la Evaluación de la Educación (2014). El Derecho a una Educación de Calidad,
México. INEE
Iyanga, Augusto (2006) Política Educativa. Naturaleza, historia, dimensiones y componentes actuales. NAU
Libres, Ediciones culturales Valencia, S.A.
JCSEE (2003). Normas de evaluación para programas, proyectos y material educativo. Editorial Trillas.
JCSEE (2014). Recuperado de http://www.jcsee.org/about, el 8 de diciembre 2014.
King, J. (2013). Getting people involved. The origin of interactive evaluation practice. En M. Alkin, Evaluation
Roots. A wider perspective of theorists’ view and influences (pp. 334-343). California, Estados
Unidos: SAGE
Kirkhart, K. (2000). Reconceptualizing evaluation use: an integrated theory of influence. American Evaluation
Association. Recuperado
de:http://www.readcube.com/articles/10.1002%2Fev.1188?r3_referer=wol&show_checkout=1
Kisilevsky, M. (2012), La evaluación de políticas y programas: desafíos para la gestión en educación. En E.
Martín y F. Martínez, Avances y desafíos en la evaluación educativa (pp. 81-88). Madrid, España:
Fundación Santillana
Kouakou, S. (2013). Strengthening national evaluation systems. En African Development Bank Group,
Evaluation Matters, A quarterly knowledge publication of the operations evaluation department of the
African development group, 2 (3), 61-65.
Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (2013.) Las políticas educativas de
América Latina y el Caribe. Oficina Regional de Educación para América Latina y el Caribe,
OREALC/UNESCO, Santiago.
Landau, M. (1977). The proper domain of policy analysis. En J. Thoenig, Política pública y acción pública.
Gestión y Política Pública, Vol. VI, Núm. 1, 1997, pp. 19-37.
Lasswell, H. (1992). La orientación hacia las políticas. En L. Aguilar, El estudio de las políticas públicas (pp.
79-103). Distrito Federal, México: Miguel Ángel Porrúa.
Latapí, P. (2009). El derecho a la educación. Revista Mexicana de Investigación Educativa, 14(40), 255-287.
Levin, H. (2013). Cost-Effectiveness evaluation in education. En M. Alkin, Evaluation Roots. A wider
perspective of theorists’ view and influences (pp. 180-188). California, Estados Unidos: SAGE
Ljungman, C. (2204). Applying a Rights-Based Approach to Development: Concepts and Principles.
Conference Paper: The winners and losers from rights-based approaches to development.
83
López, N. (2104). Mercado o Garantía de Derechos. Modelos en Debate para la Educación escolar en Chile.
Fondo de las Naciones Unidas para la Infancia, UNICEF, Instituto Internacional de Planeamiento de
la Educación (IIPE)/ Sede Regional Buenos Aires.
López-Acevedo, G., Krause, P., Mackay, K. (2012). Building better policies. The nuts and bolts of monitoring
and evaluation sistems. Washington: The World Bank.
López-Feldman, A. (2014). Evaluación de impacto. Sesión del Diplomado en Políticas Públicas y Evaluación,
3ra. Edición. Distrito Federal, México: CIDE-Centro CLEAR para América Latina (Regional Centers
for Learning on Evaluation and Results)
Mackay, K. (2006). Institucionalización de los sistemas de seguimiento y evaluación para mejorar la gestión
del sector público. Serie Documentos de Trabajo sobre desarrollo de la capacidad de evaluación, 15.
Washington, DC.: Banco Mundial.
Madaus, G., y Kellaghan, T. (2000). Models, metaphores and definitions in evaluation. En B. García, (2010).
Modelos teóricos e indicadores de evaluación educativa. Revista Electrónica Sinéctica, Sin mes, 1-
21.
Martínez, A. (Coord.) (2013). La evaluación interna como un ejercicio para el rediseño y mejora de los
programas sociales en la Ciudad de México. Alcances, retos y propuestas para su institucionalización.
Consejo de Evaluación del Desarrollo Social del Distrito Federal. Evalúa D.F. México.
Martínez, F. (2012). Usos y abusos de la evaluación educativa. Experiencias de México. En J. L. Gaviria (Ed.).
Liber Amicorum Arturo de la Orden. Madrid.
Martínez, F. (enero-junio, 2013). El futuro de la evaluación educativa. Sinéctica, 40. Recuperado de
http://www.sinectica.iteso. mx/articulo/?id=40_el_futuro_de_la_evaluacion_educativa
Martinez, R. (1998). Los proyectos sociales: de la certeza omnipotente al comportamiento estratégico. Serie
políticas sociales, núm. 24, Comisión Económica para América Latina y el Caribe. Naciones Unidas.
Santiago de Chile.
Martinic, S (2001). Reformas educativas: mitos y realidades. Conflictos políticos e interacciones comunicativas
en las reformas educativas en América Latina.
Mendieta, G. y Martínez, A. (2013) Inventario crítico de instituciones y organismos públicos y privados de
evaluación educativa en educación básica a nivel federal y en cinco entidades federativas. El
universo de instituciones dedicadas a la evaluación de la educación básica en México: Informe 2013.
México, INEE, documento interno.
Meny, I. y Thoenig, J. (1992). Las Políticas Públicas. Editorial Ariel, S.A., Barcelona, España.
Merino M. (2008). La importancia de la ética en el análisis de las políticas públicas. Publicado en la Revista
CLAD, Reforma y Democracia. No. 41. Caracas. Recuperado en 22 de julio de 2015 de:
http://old.clad.org/portal/publicaciones-del-clad/revista-clad-reforma-democracia/articulos/041-junio-
2008/merino
Merino, M. (2009). Sobre la evaluación de políticas públicas. Lectura para auditores. En R. Salcedo. (2011),
Evaluación de políticas, Biblioteca Básica de Administración Pública. Distrito Federal, México:
EAPDF-Siglo XXI Editores.
Michel, S., José A. Políticas educativas en América Latina (Década de los 90, momento de consenso social)
Revista de Teoría y Didáctica de las Ciencias Sociales [en línea] 2004, (enero-diciembre): [Fecha de
consulta: 13 de febrero de 2015] Disponible en http://www.redalyc.org/pdf/652/65200905.pdf
84
Ministerio de Planificación y Cooperación, (2000). Sistema Integrado de Evaluación de Intervenciones
Públicas. Documento Nº 4. Metodología de Análisis de Políticas Públicas: Conceptos Y Criterios,
Santiago de Chile. Recuperado de
http://www.territoriochile.cl/modulo/web/otros_recursos/mideplan_02_metodologia_analisis_polit_public
as.pdf
Ministerio de Política Territorial y Administración Pública, (2010). Fundamentos de evaluación de políticas
públicas. Madrid, España: Agencia de Evaluación y Calidad.
Mokate, K. (1999). Eficacia, eficiencia, equidad y sostenibilidad: ¿Qué queremos decir? Banco Interamericano
de Desarrollo, Instituto Interamericano para el Desarrollo Social. Recuperado de
http://www.cepal.org/ilpes/noticias/paginas/9/37779/gover_2006_03_eficacia_eficiencia.pdf
Mondragón, J. (2003). La evaluación de los programas públicos: objeto, contenido y aplicación de diferentes
instrumentos para la evaluación (pp. 3-12). En Bañón R. (Comp.). La evaluación de la acción y de las
políticas públicas. Madrid, Díaz de Santos.
Monnier, E. (1995). Evaluación de la acción de los poderes públicos. España: Instituto de Estudios Fiscales.
Muñoz, V. (2012): El derecho a la educación: una mirada comparativa, Argentina, Uruguay, Chile y Finlandia.
OREALC-UNESCO, Santiago, Chile.
Navarro, Juan Carlos (2006). Dos Clases de Políticas Educativas. La Política de las Políticas Públicas.
PREAL. Recuperado el 18 de Febrero de 2014 en:
http://www.thedialogue.org/PublicationFiles/PREAL%2036.pdf
Nina, E. (2008). Modelos de evaluación de políticas y programas sociales en Colombia. Papel Político, 13(2),
449-471.
Nirenberg, O., Brawerman, J. y Ruiz, V. (2003). Evaluar para la transformación. Innovaciones en la evaluación
de programas y proyectos sociales. Barcelona: Paidós.
Notti, F. (2009). Enfoque de derechos humanos en el desarrollo. En Erazo, X., Abramovich, V. & Orbe, J.
(Eds). Políticas públicas para un Estado Social de Derechos. El paradigma de los derechos
universales. Vol II. Ediciones LOM y Fundación Henry Dunant, América Latina. Chile.
Núñez. H., Úcar, X. (2013). Participatory evaluation fo community actions as social and educational
intervention strategy. Theorical and methodological contributions. PEDAGOGY theory & praxis, 8, 44-
55.
O´Donnell G. & Oszlak O. (1981) Estado y Políticas Estatales en América Latina: hacia una estrategia de
investigación. Centro de Estudios de Estado y Sociedad (CEDES), Buenos Aires. Recuperado el 22
de julio de 2015 de http://politicayplanificacionsocial.sociales.uba.ar/files/2012/04/04.05.-Dossier-
Estado-y-politicas-estatales-en-America-Latina1.pdf
Office of the High Commissioner Human Rights (OHCHR)/ World Health Organization (WHO), (2010).
Enfoque de la Salud basado en los Derechos Humanos.
Oficina de Evaluación y Supervisión (2014) Recuperada el 23 de diciembre de 2014 en:
http://www.iadb.org/es/oficina-de-evaluacion-y-supervision/sobre-ove-nuestro-mandato,6725.html
ONU Mujeres, (2014). Guía de evaluación de programas y proyectos con perspectiva de género, derechos
humanos e interculturalidad.
Organización de las Naciones Unidas (ONU, 1999). Aplicación del Pacto Internacional de los Derechos
Económicos, Sociales y Culturales, Observación general 13. El derecho a la educación (artículo 13
del Pacto), (21° periodo de sesiones, 1999), U.N. Doc. E/C.12/1999/10 (1999).
Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. Recuperado el 9 de
diciembre de 2014 de http://www.unesco.org/new/es/education/themes/education-building-
blocks/literacy/monitoring-evaluation/ y http://www.unesco.org/new/es/santiago/education/educational-
innovations/
85
Organización de las Naciones Unidas. Página oficial. Recuperado el 29 de diciembre de 2014 de
http://www.un.org/es/aboutun/
Organización para la Cooperación y el Desarrollo Económicos [OECD] (2009). Estudio de la OCDE sobre el
proceso presupuestario en México. Recuperado el 12 de Agosto de 2015 en:
http://www.oecd.org/mexico/48190152.pdf
Organización para la Cooperación y el Desarrollo Económicos [OECD] (2011). Reviews of Evaluation and
Assessment in Education.
Organización para la Cooperación y el Desarrollo Económicos, OCDE, 2015. Búsqueda de documentos por
país y tema. Recuperado el 22 de enero de 2015 en: http://www.oecd-
ilibrary.org/search?value23=http%3a%2f%2foecd.metastore.ingenta.com%2fns%2fIGO&value21=true&
value22=true&option1=fullText&option2=&option3=&option4=year_from&value10=&value11=&value12
=&value13=&value14=&value15=&value16=%2fcontent%2fsubject%2f31&value17=mx&value18=public
ationdatedesc&option9=&option8=&option7=&option6=&option5=year_to&excludeFromSearchHistory=t
rue&excludeFromSearchHistory=true&value9=&value7=&value8=&discontin=factbooks&value5=2015&
value6=&value3=&value4=1900&value1=*&value2=&option14=&option15=&option16=theme&option17
=country&option18=sort&option10=&option11=&option12=&option13=&site=en&form_name=countryTh
emeSearch&option23=excludeImprintType&option21=discontinued&y=17&x=11&option22=excludeKey
TableEditions&pageSize=20&page=1
Ortegón, E., Pacheco, F., & Prieto, A. (2005). Metodología de marco lógico para la planificación, el
seguimiento y la evaluación de proyectos y programas. Instituto Latinoamericano y del Caribe de
Planificación Económica y Social (ILPES) Área de proyectos y programación de inversiones. CEPAL,
Santiago de Chile.
Ospino, S. (2002). Una aproximación sistémica a la evaluación de la gestión pública. La evaluación como
herramienta para una gestión pública orientada a resultados: Guía para los estudios de casos”. CLAD.
Recuperado de http://siare.clad.org/siare/innotend/evaluacion/aproximacion.pdf
Pallares, F. (1988). Las políticas públicas: El sistema político en acción. Revista de Estudios Políticos (Nueva
Época) Núm. 62. Disponible en: https://marioaramirez.files.wordpress.com/2010/04/las-politicas-
publicas.pdf
Pérez Murcia, L. (2007) La exigibilidad del derecho a la educación a partir del diseño y la ejecución de las
políticas públicas educativas. Revista de Estudios Socio Jurídicos, 9(número especial), 142-165.
Raczynski, D. y Salinas, D. (2008). Aportes y desafíos en la evaluación de políticas y programas de
mejoramiento educativo. Reflexiones desde nuestra práctica de evaluación en Chile. Revista
Iberoamericana de Evaluación Educativa, 1(1), pp. 79-92. Recuperado de
http://dialnet.unirioja.es/servlet/articulo?codigo=2602517
Red en derechos, (2011). El enfoque basado en Derechos Humanos: Evaluación e Indicadores.
Revuelta, B. (2007). La implementación de políticas públicas. Universidad de la Sabana, Colombia.
Rivera, R. (2012). La reforma constitucional en materia de derechos humanos y su implementación en las
sentencias del Poder Judicial de la Federación. Aguascalientes: Consejo de la Judicatura, Poder
Judicial de la Federación.
Romero, A., y Anaya, N. (2013). Entrevista. La metodología del desempaque para el análisis de los derechos
humanos. Revista Estudiantil Latinoamericana de Ciencias Sociales, 3.
Salas, I. y Murillo, F. (2010). La Evaluación de los Programas Públicos en México: una mirada crítica al
CONEVAL. Tribuna de Economía, 857. México, D.F.: ICE.
Save the Children in UK (2015). Children’s rights in Wales. United Nations Convention on the Rights of the
Child. Recuperado de http://www.childrensrightswales.org.uk
Scriven, M. (1994). Evaluation theasurus. Londres: Sage.
86
Senado de la República. Comisión de Estudios Legislativos (2015). Dictamen de las Comisiones Unidas de
Educación y de Estudios Legislativos, Segunda con Proyecto de Decreto por el que se reforman
diversas disposiciones de la Ley General de Educación, para incorporar el principio de interés
superior de la niñez. (Sentido positivo, con modificaciones).
Serrano, C. y Raczynski, D. (2002). La función de evaluación de políticas sociales en Chile. Santiago, Chile:
Asesorías para el Desarrollo.
Serrano, S. y Vázquez, D. (2013). Los derechos humanos en acción: operacionalización de los estándares
internacionales de los derechos humanos.México, D.F.: Flacso México.
Secretaría de Hacienda y Crédito Público [SHCP], (2015).
http://www.shcp.gob.mx/LASHCP/campanas_digitales/Paginas/el_ciclo_presupuestario.aspx
Stake, R. (2013). Responsive evaluation IV. En M. Alkin, Evaluation Roots. A wider perspective of theorists’
view and influences (pp. 189-197). California, Estados Unidos: SAGE
Stufflebeam, D. (1971). Educational evaluation and decision making. Itasca: Peacock
Stufflebeam, D. y Shinkfield, A. (2007). Evaluation, theory, models and applications. United States of America.
San Francisco, CA: Jossey-Bass.
Tamez, R. y Martínez, F. (2012). Las reformas que necesita la sociedad mexicana. Propuestas en busca de
consensos. México, D.F.: Fundación Olga y Rufino Tamayo, A.C.
Teruel, G. (2014). Fuentes de información para la evaluación. Sesión del Diplomado en Políticas Públicas y
Evaluación, 3ra. Edición. Distrito Federal, México: CIDE-Centro CLEAR para América Latina
(Regional Centers for Learning on Evaluation and Results)
Tomasevski, K. (1999). Informe preliminar de la Relatora Especial sobre el derecho a la Educación, Sra.
Katarina Tomasevski. Presentado de conformidad con la resolución 1998/33 de la Comisión de
Derechos Humanos.
Tomasevski, K. (2001). Human rights obligations: making education available, accesible, aceptable and
adaptable. Novum Grafiska AB, Gothenburg.
Tomasevski, K. (2004). Manual on Rights-Based Education. Global Human rights made simple. Collaborative
Project between the UN Special Rapporteur on the Right to Education and UNESCO, Asia and
Pacific Regional Bureau for Education. UNESCO, Bangkok.
UNESCO y UNICEF (2008). Un enfoque de la educación para todos basado en los derechos humanos. Marco
para hacer realidad el derecho de los niños a la educación y los derechos en la educación. Nueva
York: Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, y Fondo de las
Naciones Unidas para la Infancia.
UNESCO y UNICEF (2013). Dar prioridad a la educación en la agenda para el desarrollo después de 2015.
Informe de la consulta temática mundial sobre la educación en la agenda para el desarrollo después
de 2015.
UNESCO-LLECE, (2008). Reflexiones en torno a la evaluación de la calidad educativa en América Latina y el
Caribe. Santiago de Chile. Recuperado de
http://unesdoc.unesco.org/images/0017/001776/177648S.pdf
UNFPA, (2010). A Human Rights-Based Approach to Programming. Practical Implementation Manual and
Training Materials.
UNICEF (2011). Estado mundial de la infancia. La adolescencia, una época de oportunidades. Nueva York.
Estados Unidos: UNICEF.
United Nations Evaluation Group [UNEG]. (2011) Integración de los derechos humanos y la igualdad de
género en la evaluación: Hacia una guía del UNEG. Nueva York, Estados Unidos: ONU Mujeres
Vásquez, D. y Delaplace, D. (2011). Políticas públicas con perspectiva de derechos humanos: un campo en
construcción. SUR, 8(14), 35-65.
87
Vázquez, D. y Serrano, S. (2013). Principios y obligaciones de derechos humanos: los derechos en acción.
Suprema Corte de Justicia de la Nación, Oficina en México del Alto Comisionado de las Naciones
Unidas para los Derechos Humanos y Comisión de Derechos Humanos del Distrito Federal.
Velasco, M. (s/a). Distintos instrumentos para un mismo fin. Los instrumentos de las políticas públicas como
herramienta para el análisis. Universidad Complutense. Madrid, España. Disponible en:
http://eprints.ucm.es/12184/2/velasco_Instrumentos_pol%C3%ADticas.pdf
Weiss, C. (1997). Theory-Based evaluation: past, present and future. New directions for evaluation, (76), 41-
55
Weiss, C. (1999). The interface between evaluation and public policy. California, Estados Unidos: The
Tavistock Institute y SAGE Publications.
Wiesner, E. (2000). Función de evaluación de planes, programas, estrategias y proyectos. Santiago de Chile,
CEPAL.
Zukoski, A., Luluquisen, M. (2002). Participatory evaluation. What is? Why do it? What are the challenges?
Policy & Practice, 5, 1-6.
88
ANEXOS
92
Anexo 3. Ejemplos de evaluaciones de políticas y programas realizadas por
organismos internacionales
Organismo
Ejemplos de evaluaciones de políticas o programas
internacional
Banco Evaluaciones del Programa de País (CPEs por sus siglas en inglés)
Internacional de analizan el trabajo realizado en conjunto con cada uno de los países
Desarrollo (BID) prestatarios, a fin de mejorar la planificación del BID y su capacidad para fijar
objetivos adecuados y evaluar su progreso. Las Evaluaciones de los
Programas de País se sincronizan con el ciclo electoral del país como una
estrategia técnica para la preparación del rumbo a seguir con el nuevo
gobierno elegido.
Evaluaciones sectoriales y temáticas. Éstas se llevan a cabo sobre una
muestra de proyectos en un sector particular o un tema específico
relacionado con la cartera de préstamos del BID. La muestra puede incluir
proyectos en marcha o finalizados.
Evaluaciones de proyectos y evaluaciones de impacto. Las evaluaciones de
proyecto proporcionan información a los gobiernos y al BID, con la finalidad
de que ambos puedan ampliar, modificar o eliminar diferentes categorías de
proyectos. El objetivo de la evaluación es generar información que le permita
evaluar los modelos que sirven de base para el diseño de proyectos y
determinar si se pueden replicar dichas intervenciones en otros países. Por
su parte, las evaluaciones de impacto contribuyen al aprendizaje institucional
y a la ampliación del conocimiento sobre el impacto real de las
intervenciones del BID sobre temas específicos o de relevancia para la
región.
Evaluaciones corporativas. Como parte de esta categoría se encuentran las
evaluaciones de instrumentos y políticas y, a su vez, evaluaciones de los
sistemas y procesos. Por un lado, las que valoran instrumentos y políticas
son evaluaciones ex–post o bien en proceso de las políticas e instrumentos
en relación con los resultados obtenidos por los proyectos, así como el valor
del enfoque estratégico adoptado, con la finalidad de determinar su
relevancia y efectividad. Por otro lado, las evaluaciones de Sistemas y
Procesos del BID evalúan la efectividad, eficiencia y calidad del sistema de
monitoreo y evaluación, así como sus procesos.
Desarrollo de capacidades de evaluación de los países prestatarios. Por
medio de acuerdos de cooperación en evaluación con instituciones
financieras de desarrollo regional, el BID establece redes de evaluación en
América Latina con el fin de incrementar el uso de las evaluaciones en las
administraciones públicas de los diferentes países de la región.
93
Organismo
Ejemplos de evaluaciones de políticas o programas
internacional
2013. “Mejoramiento de edificios escolares en México con participación social:
Programa Mejores Escuelas”. Esta revisión del Programa Mejores Escuelas
(PME) se realizó en el año 2012. El programa fue creado en 2008 para reparar
y mejorar la infraestructura de las escuelas de educación básica. Una
característica clave del programa es la participación social y el compromiso de
la comunidad escolar. Las recomendaciones emitidas son útiles a todos los que
invierten en infraestructura educativa para mejorar la calidad de la educación.
2012. “OECD Reviews of Evaluation and Assessment in Education”. Presenta
un análisis independiente de las mayores problemáticas a las que se enfrenta
la evaluación educativa, los marcos de evaluación, y las iniciativas de políticas
actuales y posibles enfoques en México.
2011. “Establecimiento de un marco para la evaluación e incentivos docentes”.
Esta publicación presenta recomendaciones para el diseño, ejecución y
monitoreo de políticas educativas en torno a la medición del aprendizaje, los
estándares educativos, y la evaluación docente con base en las mejores
prácticas internacionales.
“Sistemas fuertes y reformadores exitosos en la educación: Lecciones para
México”. Presenta un resumen de las tendencias en el desempeño de México
en PISA, así como las tendencias con respecto al acceso y equidad a la
educación de jóvenes de 15 años de edad.
“Lessons from PISA for México”. El reporte retoma evidencia de PISA y los
sistemas de educación con mejor desempeño para orientar una perspectiva a
largo plazo para la mejora de la educación mexicana.
2010. “Mejorar las escuelas. Estrategias para la acción en México”. Este
reporte analiza las áreas fundamentales y los retos a los que se enfrenta el
sistema educativo mexicano y provee recomendaciones de políticas públicas
en las áreas de gestión, liderazgo escolar y política docente.
Sistema de las El Grupo de Evaluación de las Naciones Unidas (UNEG), fue establecido en
Naciones Unidas enero de 1984 (inicialmente se denominó Grupo de Trabajo Interinstitucional
sobre Evaluación) con el objetivo de propiciar el análisis de los temas
relacionados con la evaluación en el Sistema de las Naciones Unidas y
promover la simplificación y armonización de las prácticas de evaluación en el
Programa de las Naciones Unidas para el Desarrollo (PNUD) y las agencias
encargadas de la implementación. Actualmente está integrado por un grupo de
evaluadores expertos que agrupa a las entidades responsables de realizar
evaluación en el Sistema de las Naciones Unidas, y contribuye al
fortalecimiento y profesionalización de la evaluación.
En la Asamblea General de diciembre de 2004, se exhortó al UNEG a
armonizar y simplificar las metodologías, normas, estándares y ciclos de
evaluación, por lo cual este grupo de evaluadores profesionales emprendió la
tarea de definir normas destinadas a contribuir a la profesionalización de la
función de la evaluación y proveer orientación a las oficinas de evaluación en la
elaboración de sus políticas de evaluación u otros aspectos.
Ejemplos de evaluaciones:
Organización de las Naciones Unidas para la Educación, la Ciencia y la
94
Organismo
Ejemplos de evaluaciones de políticas o programas
internacional
Cultura (UNESCO):
2010: “Evaluación de procesos e impacto de la UNDP-UNESCO-UNICEF y
la Secretaria de Educación Pública sobre el Programa Construye-T”; 2009:
“Experiencias educativas de segunda oportunidad: Lecciones aprendidas
desde la práctica innovadora en América Latina”; 2008: “Educación y
diversidad cultural: lecciones desde la práctica innovadora en América
Latina”.
Fondo de las Naciones Unidas para la Infancia (UNICEF):
“Pobreza y derechos sociales de niñas, niños y adolescentes en México,
2008-2010”; “Alcanzar los Objetivos de Desarrollo del Milenio con equidad:
Una mirada desde la infancia y la adolescencia en México”.
Banco Mundial:
Evaluación al Programa Nacional de Becas para la Educación Superior
(PRONABES), en 2013, el cual presenta la valoración de cada uno de los
aspectos mencionados.
Programa de las Naciones Unidas para el Desarrollo (PNUD):
En 2014 realizó la “Evaluación de Proceso de Cuatro Programas y
Estrategias de Educación Indígena”.
Comisión Regional para América Latina y el Caribe (CEPAL):
En 2009, realizó un estudio denominado “México: impacto de la educación
en la pobreza rural”.
95
Anexo 4. Definición de niños, niñas y adolescentes
La noción de que la infancia es una etapa separada del resto de la vida humana se
planteó por primera vez a nivel internacional durante la primera mitad del siglo XX, por
medio de tratados para proteger a los niños contra el trabajo explotador y nocivo. Así,
después de la Segunda Guerra Mundial, el movimiento en favor de los derechos de la
niñez se concentró en obtener un reconocimiento especial de los niños, las niñas y los
adolescentes por parte de la recientemente creada Organización de las Naciones Unidas
(ONU). Esto se logró en 1959, con la aprobación de la Declaración de los Derechos del
Niño, un paso clave para adoptar disposiciones jurídicas destinadas a salvaguardar el
bienestar de la infancia.
Dos décadas más tarde, en 1979, las Naciones Unidas declararon el Año Internacional del
Niño y, en 1985, se celebró el primer Año Internacional de la Juventud. Estas iniciativas
elevaron el perfil de los esfuerzos mundiales para promover y proteger los intereses de los
niños y los jóvenes. Una década después, el 20 de noviembre de 1989, la Asamblea
General de las Naciones Unidas finalmente adoptó la Convención sobre los Derechos del
Niño (CDN). Dos décadas después de su adopción, todas las naciones del mundo habían
ratificado la Convención, excepto dos (Estados Unidos y Somalia), lo que la convirtió en el
tratado de derechos humanos con mayor respaldo en la historia.
Delimitación de la adolescencia
La CDN considera niños a las personas menores de 18 años. Si bien no existe una
definición de adolescencia aceptada internacionalmente, las principales agencias de las
Naciones Unidas, tales como, UNICEF, UNFPA, OMS y ONUSIDA, definen como
96
“adolescentes” a las personas con edades comprendidas entre los 10 y 19 años de edad,
es decir, la segunda década de la vida, pudiendo distinguirse dos etapas: la adolescencia
temprana (10-14 años) y la adolescencia tardía (15-19 años) (UNICEF, 2011).
Por estos motivos, el Comité de los Derechos del Niño –organismo de supervisión de la
Convención– alienta a los Estados parte en los que se alcanza la mayoría de edad antes
de los 18 años a que incorporen cambios en este sentido, así como a elevar el nivel de
protección para todos los niños y niñas menores de 18 años. Además, otro factor a
considerar es que la mayoría de edad generalmente no guarda relación con la edad en la
cual las personas están legalmente capacitadas para llevar a cabo determinadas
actividades que podrían asociarse con la edad adulta. Esta “edad de licencia” puede
variar de una a otra actividad, no existiendo norma alguna que se aplique a nivel
internacional. Por ejemplo, en varios países se alcanza la mayoría de edad a los 18 años;
no obstante, conducir automóvil a los 16 años es legal en muchos estados.
Dada la variedad de experiencias que separa a los adolescentes más jóvenes de los
mayores, la ONU sugiere subdividir esta segunda década de la vida en dos partes: la
adolescencia temprana (de 10 a 14 años) y la adolescencia tardía (de 15 a 19 años).
97
una repentina aceleración del crecimiento, seguido por el desarrollo de los órganos
sexuales y las características sexuales secundarias. En esta etapa, los adolescentes
debieran contar con un espacio seguro para llegar a conciliar esta transformación
cognitiva, emocional, sexual y psicológica, libres de la carga que supone la realización de
funciones propias de adultos y con el pleno apoyo de adultos responsables en el hogar, la
escuela y la comunidad. Esta etapa requiere de especial atención para los adolescentes,
debido a que dados los tabúes sociales que con frecuencia rodean la pubertad, es de
particular importancia darles toda la información que necesitan para protegerse de
infecciones de transmisión sexual, embarazo precoz, violencia y explotación sexual.
En la adolescencia tardía, usualmente ya han tenido lugar los cambios físicos más
importantes, aunque el cuerpo y el cerebro sigue desarrollándose, y la capacidad para el
pensamiento analítico y reflexivo aumenta notablemente. Las opiniones de los miembros
de su grupo aún tienden a ser importantes al comienzo de esta etapa, pero su
ascendiente disminuye en la medida en que los adolescentes adquieren mayor confianza
y claridad en su identidad y sus propias opiniones. Igualmente, se desarrolla la capacidad
de evaluar riesgos y tomar decisiones conscientes.
Sin embargo, es frecuente que empiecen a experimentar con drogas, alcohol y tabaco, y
ello se prolongue incluso en la edad adulta. En la adolescencia tardía, las niñas suelen
correr un riesgo mayor que los varones de sufrir consecuencias negativas para la salud,
incluida la depresión; y a menudo la discriminación y el abuso basados en el género
magnifican estos riesgos. Las adolescentes tienen una particular propensión a padecer
trastornos alimentarios, tales como la anorexia y la bulimia. No obstante estos riesgos, la
adolescencia tardía es una etapa de oportunidades, idealismo y promesas. Es durante
estos años que los adolescentes ingresan en el mundo del trabajo o de la educación
superior, establecen su propia identidad y cosmovisión y comienzan a participar
activamente en la configuración del mundo que les rodea.
98
Convención sobre la eliminación de todas las formas de discriminación contra
la mujer, que incluye a todas las niñas adolescentes.
Los datos demuestran que las niñas que han recibido educación tienen menos
probabilidades de casarse precozmente y quedar embarazadas en la
adolescencia, y más probabilidades de contar con conocimientos amplios y
correctos sobre el VIH/ SIDA y de tener hijos saludables. No existe mejor
herramienta que una educación de buena calidad y sensible a las necesidades
99
de los adolescentes –mujeres y hombres– para dotarlos de los conocimientos,
las aptitudes y la confianza que requieren para poder afrontar los problemas
actuales.
5. La quinta razón para invertir en los adolescentes tiene que ver con la manera
en que se les suele calificar. Es común referirse a este quintil de la población
mundial como “la próxima generación de adultos”, “la futura generación” o,
sencillamente, “el futuro”. Pero los adolescentes también son parte importante
del presente; viven, trabajan y contribuyen a sus hogares, comunidades,
sociedades y economías. Al igual que los niños pequeños, los adolescentes de
ambos sexos merecen protección, atención, apoyo y oportunidades; acceso a
productos esenciales y a servicios; y reconocimiento de su existencia y su
valor como seres humanos. En algunos contextos –sobre todo, en lo que se
refiere a riesgos para su protección, como el matrimonio precoz, la explotación
sexual con fines comerciales y los problemas con la ley–, los adolescentes
tienen las necesidades más grandes de todos los niños.
100
derecho de los adolescentes a una educación de calidad, a la atención médica, a la
protección y a la participación perpetúa su pobreza, o genera condiciones de vida que
desembocan en la exclusión y la imposibilidad de adquirir las herramientas para salir
adelante en la vida, aumentando la probabilidad de que sus hijos también sufran la
vulneración de sus derechos.
101
Anexo 5. Metodología de evaluación participativa
De acuerdo con diversos autores (Aubel, 2000; López y Úcar, 2013; Guijt, 2014), se
identifican dos grandes categorías de actores que deberían ser considerados durante el
desarrollo de estas evaluaciones; establecidas en función de la posición que ocupan con
respecto al programa evaluado: por un lado, se encuentran los diseñadores,
implementadores, tomadores de decisión y actores clave en el funcionamiento de la
intervención pública (política o programa) y, por el otro, los ciudadanos, la comunidad o
actores que, directa o indirectamente se ven afectados por los resultados de ésta. Sin
embargo, a esta clasificación también habría que agregar otro tipo de figuras que
comparten o tienen otros intereses sobre la intervención que se busca evaluar, tales
como, los especialistas, académicos, funcionarios, figuras políticas, entre otros.
Por último, de acuerdo con Guijt (2014), la decisión de realizar una evaluación
participativa debe estar acompañada de la respuesta a las siguientes preguntas: 1. ¿Qué
propósitos específicos se buscan con la participación de ciertos actores en la evaluación?;
2. ¿Cuáles son los actores clave que idealmente deberían participar en la evaluación?,
¿cuándo y por qué?; y 3. ¿Es factible la participación de estos actores en la evaluación?
Este autor señala que en las evaluaciones participativas se espera que los actores
involucrados estén dispuestos a compartir sus experiencias con respecto a la
intervención; tengan apertura para participar en el proceso de recolección de información;
colaboren con el equipo encargado de coordinar la evaluación, tanto para analizar juntos
la información obtenida, como para construir las conclusiones y recomendaciones sobre la
política o programa evaluado. Un tercer supuesto que se desprende de lo anterior es que
la calidad de la evaluación mejorará en la medida en la que los resultados de la misma
conserven las perspectivas subjetivas de los participantes y las opiniones más objetivas
del evaluador a cargo.
103
Los métodos de evaluación participativos son de mayor utilidad cuando se aspira a lograr
los siguientes propósitos (Guijt, 2014): cuando se requiere recolectar datos cualitativos y
cuantitativos sobre el desarrollo de la intervención; para investigar causalidad; para tratar
las diferencias y validar los hallazgos clave; y, para capturar las apreciaciones que las
personas tienen con respecto a la intervención que se está evaluando.
Al respecto, Guijt (2014) señala que en intervenciones en las que los niños sean
participantes, directos o indirectos, es muy importante que también sean considerados
como actores clave para participar en las evaluaciones, debido a las siguientes razones:
1. Porque es un derecho humano que los niños participen y expresen sus necesidades y
experiencias; 2. Porque los niños tienen sus propios puntos de vista y pueden diferir de
los de los adultos; 3. Porque los niños tienen necesidades y experiencias que deben ser
consideradas en la toma de decisiones que los afectan; y, 4. Porque conocer los valores y
necesidades de los niños puede ayudar a validar los hallazgos y formular
recomendaciones de evaluación más pertinentes y significativas.
De acuerdo con López y Úcar (2013), existen al menos dos modelos basados en la
participación que se distinguen por sus alcances y objetivos, aunque comparten
elementos en común. Estos modelos son el de empoderamiento (empowering) y el
participativo (participatory). Ambos modelos se sustentan en considerar a la evaluación
como una estrategia que permite dar voz a los grupos más débiles, escuchar sus puntos
de vista, resolver conflictos y construir rutas de acción para responder a las necesidades
de todos los involucrados.
Por su parte, la evaluación participativa tiene, a su vez, dos vertientes distintas: la práctica
y la transformadora. La primera, se orienta hacia la generación de conocimientos
compartidos sobre lo que sucede con una intervención en particular. En esta vertiente se
busca integrar al mayor número de actores posible, que desempeñen diferentes roles, con
el fin de que la evaluación arribe a hallazgos más representativos para todos los
implicados. El énfasis de este enfoque es buscar la mayor diversidad posible de
perspectivas, conocer las diferentes posturas y generar información útil, aunque no
necesariamente lograr provocar cambios sustanciales.
104
Con respecto a la evaluación participativa transformadora, López y Úcar (2013) afirman
que ésta intenta generar respuestas ante los problemas de cooperación que las agencias
pueden llegar a enfrentar. Este tipo de evaluación se basa en consultar a los actores
relevantes y propiciar una participación democrática sobre las alternativas que existen
para generar los cambios esperados.
Así, cualquier modelo de evaluación participativa, de acuerdo con López y Úcar (2013), se
fundamenta en los principios siguientes:
3. Consideran a todos aquellos actores clave que tiene algo que decir sobre el
programa a evaluar. Entre estas figuras se encuentran, por ejemplo, los hacedores
de políticas públicas, los implementadores, los beneficiarios del programa y la
sociedad civil.
Ahora bien, el tipo de participación que se busca desatar a partir de la evaluación puede
tener diversos objetivos. De acuerdo con Guijt (2014), existen distintos tipos de
participación que son útiles para las evaluaciones que privilegian la colaboración entre y
105
con diferentes actores, con la finalidad de lograr valoraciones más coherentes con las
apreciaciones de los involucrados. La siguiente tabla resume esta información.
Tipo de
Objetivo
participación
Nominal Para buscar legitimidad, al mostrar que se están incorporando a todas las
partes interesadas
Instrumental Para buscar eficiencia, ya que la participación de los actores clave hace la
evaluación más relevante y rentable.
Representativa Para buscar sostenibilidad y equidad, al darle voz a los más débiles y a
aquellos que pocas veces son escuchados.
Transformadora Para lograr que las personas tomen sus propias decisiones y tomen las
medidas que consideren más adecuadas, a partir de escuchar y considerar
las posturas propias y de los otros.
2. Metodologías sugeridas
Para López y Úcar (2013), los elementos metodológicos de las evaluaciones participativas
consisten en:
34 Esto es, en el establecimiento de los objetivos de la evaluación, en la definición del cuándo, cómo y de qué
forma serán recabados y analizados los datos; así como los mecanismos para difundir los hallazgos de la
evaluación.
106
3. Se debe asegurar la participación de todos los actores que tienen algo que aportar
para mejorar la intervención a evaluar. Una forma de lograrlo es a través de
grupos que representen el interés colectivo.
Otros autores como Zukoski y Luluquisen (2002) proponen que, como primer paso, el
evaluador debe decidir si la evaluación participativa es el enfoque más apropiado a
emplear de acuerdo con el qué y para qué de la evaluación. Una vez definido esto, es
necesario identificar qué actores están dispuestos a participar y construir un plan de
acción para guiar la evaluación. Al igual que López y Úcar (2013), las autoras enfatizan en
la necesidad de que la recopilación y análisis de la información, así como la difusión de
los resultados se realicen de manera colectiva y conjunta con los actores que decidieron
participar en la evaluación.
Otra alternativa es la propuesta por Huenchuan y Paredes (2007) de Cepal. Las autoras
plantean que el modelo de evaluación participativa debe estar integrado por los siguientes
pasos que, a su vez, contienen diferentes componentes:
35 Alude al “retrato” de la intervención de acuerdo con algunos elementos, tales como, los postulados
valóricos, los objetivos, la cobertura, los contenidos (en términos de prestaciones, servicios o beneficios), el
presupuesto y la metodología de la acción pública que se está evaluando, entre otros que se considere
pertinentes (Huenchuan y Paredes, 2007, p. 29).
107
b. Delimitar el universo y seleccionar teóricamente las unidades muestrales36.
4. El trabajo de campo.
En el segundo caso, las evaluaciones participativas se alinean al derecho que tienen los
individuos a participar en la toma de decisiones que, directa o indirectamente, les afectan;
promueven procesos de aprendizaje y empoderamiento entre los actores participantes y
motivan la participación democrática entre los implicados.
36 El universo puede incluir a la población objetivo de la política o el programa; a los usuarios de la información
que se genere a partir de la evaluación; a los intermediarios de la política o el programa (prestadores de
servicios), y a todos aquellos que se considere que tienen una opinión fundada acerca del funcionamiento de
la acción que se está evaluando (Huenchuan y Paredes, 2007, p. 31).
37 Las principales técnicas empleadas en las evaluaciones participativas son: la entrevista semi estructurada,
4. Principales Aprendizajes
Es importante tomar en cuenta que este modelo de evaluación parte del supuesto de que
la intervención de diversos actores clave durante todo el proceso de la evaluación
asegura, en cierta medida, el disponer de una evaluación de calidad. Asimismo, supone
que se están considerando los temas más relevantes, ya que son definidos por los
propios participantes; y que las recomendaciones y hallazgos derivados de la evaluación
tendrán mayor oportunidad de incidencia en las actividades cotidianas de los implicados.
Sin embargo, se debe conservar una actitud realista y comprender que no todos los
actores clave están dispuestos a participar en este tipo de evaluaciones con el mismo
nivel de compromiso e involucramiento. En este sentido, el evaluador deberá hacer uso
de todas sus capacidades de convencimiento, pero también deberá reconocer y respetar
cuando algún actor decida abstenerse de colaborar, por lo que la tarea del evaluador
consiste en diseñar la mejor estrategia a su disposición con los actores comprometidos a
participar en la evaluación.
Así, los modelos de evaluación participativa son efectivos siempre y cuando el evaluador
tenga claro cuándo y por qué la participación de los actores es necesaria en los diferentes
pasos que conlleva la evaluación misma. Esto le permitirá canalizar y estructurar la
intervención de las distintas figuras involucradas y lograr una evaluación sistemática,
buscando siempre no perder la flexibilidad requerida.
109
Anexo 6. Clasificación de los modelos de evaluación de políticas y programas
En la literatura no existe un consenso acerca de los criterios para clasificar los modelos de
evaluación de programas y políticas públicas; sin embargo, es posible identificar puntos
de encuentro entre las propuestas de diversos autores, por lo que se retoma la
clasificación de aquellos que se consideran más relevantes para los fines de formulación
del modelo del INEE.
4) Los modelos de actor. Éstos consideran los criterios establecidos por los actores
involucrados o interesados en el programa que se evalúa.
6) Los modelos sistémicos. Estos modelos realizan análisis de los insumos, los
procesos y los resultados de los programas que se evalúan. El modelo CIPP
(contexto, insumos, procesos y productos), de Stufflebeam, es considerado un
ejemplo de este tipo de modelos.
110
Otra propuesta de clasificación de los modelos de evaluación es la propuesta por Alkin
(2013), cuyos principales elementos se sintetizan a continuación y se complementan con
la compilación y sistematización formulada por Stufflebeam y Shinkfield (2007). Cada
modelo aporta valiosos insumos para delinear un modelo integral de evaluación de
políticas y programas públicos.
Evaluación Weiss Énfasis en los Considera no sólo la teoría formal de la que parte el
basada en la métodos programa evaluado; sino también la teoría basada en las
teoría empleados ideas, percepciones y expectativas que los actores
interesados tienen sobre el programa.
Propone mantener comunicación constante entre el
ámbito académico y el práctico.
Hace la distinción entre teoría de implementación y teoría
programática.
Orientado al Scriven Para valorar Necesidad de evaluar el bienestar que los programas
consumidor mérito públicos logran generar en la población atendida.
Identifica los efectos no esperados para reportarlos como
hallazgos.
Costo- Levin Para valorar Analiza los costos que genera un programa para alcanzar
Efectividad mérito sus objetivos.
Hace comparaciones entre distintas alternativas o
programas y emitir conclusiones sobre lo que es más
conveniente, en términos de costo-eficiencia.
CIPP Stufflebeam Para la toma de Asume a la evaluación como un proceso integral, cíclico.
(contexto, decisiones
insumo, Concibe a la evaluación como un ejercicio que no puede
procesos y desarrollarse aislado de los contextos social,
productos) organizacional, político, económico, que rodean a los
programas que se evalúan.
111
Autor más Énfasis de del
Modelo Principales características
representativo modelo
Evaluación Patton Para la toma de El evaluador se asume como un actor que puede tomar
enfocada al decisiones múltiples roles durante el proceso de evaluación.
uso
Los evaluadores deben ser profesionales creativos y
abiertos a diferentes técnicas, métodos, preguntas,
etcétera.
Evaluación Alkin Para la toma Hace valoraciones sobre los programas a partir de las
sensible al de decisiones circunstancias que los rodean, es decir, de su contexto.
contexto
Los que solicitan la evaluación son quienes deben definir
el propósito de la misma; el evaluador únicamente debe
ayudar y guiar a los usuarios a delimitar sus principales
preocupaciones.
Los hallazgos y recomendaciones de las evaluaciones
deben ser presentados de forma que para los usuarios
sea fácil entenderlos.
Modelo King Para la toma de Las relaciones interpersonales entre el evaluador y los
descriptivo decisiones actores interesados en el programa son esenciales, para
obtener información y para concientizarlos de los
beneficios de incorporar los hallazgos y recomendaciones
de las evaluaciones a sus actividades cotidianas.
El evaluador debe orientar a los actores sobre cómo
adoptar en sus rutinas las recomendaciones derivadas de
la evaluación.
Fuente: Elaboración propia con base en Alkin, 2013, y Stufflebeam y Shinkfield, 2007.
112
Anexo 7. Estándares para la evaluación de programas (Joint Committee on
Standards for Educational Evaluation)
De acuerdo con el Joint Committe38, los estándares que propone no se tratan de normas
mecánicas ni prescriptivas, sino de propuestas sólidas que les permitan a los interesados
en las evaluaciones tener marcos de referencia dentro de los cuales pueden desarrollarse
las técnicas de evaluación empleadas. Un estándar es considerado como un referente de
calidad, “tiene un carácter más bien orientativo, y pueden servir de guías y lineamientos
para el perfeccionamiento de los sistemas de evaluación” (Cabra, 2008).
Los estándares definidos por el Joint Committe son cinco: utilidad, que se refiere a que las
evaluaciones deben ser valiosas o significativas para los actores interesados; factibilidad,
para aumentar la eficacia y eficiencia de las evaluaciones; legitimidad, que garantice que
las evaluaciones sean adecuadas, justas y legales; precisión, para garantizar la fiabilidad
y veracidad de los hallazgos de la evaluación; y, rendición de cuentas, que implica lograr
una documentación y entrega de información precisa de los procesos y productos de
evaluación (GAO, 2012, p. 65).
Cada uno de estos cinco estándares está integrado por los siguientes componentes:
Atributos
centrales de la
Estándares Definición
calidad de la
evaluación
I. Utilidad 1. Credibilidad del evaluador Los evaluadores deben ser profesionales calificados que gocen
(utility) de credibilidad de su trabajo.
2. Atención a los actores El evaluador debe tomar en cuenta a todos los actores
interesados interesados y a los afectados por la evaluación.
3. Negociación de fines Los propósitos de la evaluación deben ser negociados y
adaptados a las necesidades de los demandantes.
4. Valores explícitos Las evaluaciones deben hacer explícitos los valores a partir de los
cuales se harán los juicios.
5. Información relevante La evaluación debe servir a las necesidades de los actores
interesados.
6. Procesos y productos Las evaluaciones deben alentar a los actores a reconsiderar sus
significativos conductas.
114
Atributos
centrales de la
Estándares Definición
calidad de la
evaluación
115
Anexo 8. Experiencias de Evaluación con Enfoque en Derechos Humanos
Así, la evaluación bajo este enfoque tiene el objetivo de identificar en qué medida una
acción pública contribuye, o no, a la corrección de desigualdades, de prácticas
discriminatorias y del injusto reparto de poder (Red en Derechos, 2011) o, en otras
palabras, valorar qué tanto las intervenciones del Estado promueven u obstaculizan que
sus ciudadanos ejerzan sus derechos. Por ello, evaluar con enfoque en derechos
humanos supone trabajar en un entorno participativo, inclusivo y transparente, en el que
sean escuchados todos aquellos interesados (ciudadanos, funcionarios, organizaciones
de la sociedad civil, expertos, etcétera) y en el que se garantice que las opiniones de
todos son igualmente valiosas.
Es importante señalar que este enfoque de evaluación puede ser aplicado también para
valorar políticas públicas y programas que en su diseño no incorporan (o por lo menos no
de manera explícita) componentes dirigidos a promover los derechos humanos. Ello,
siempre que los resultados de esta evaluación aspiren a proporcionar recomendaciones
puntuales sobre cómo integrar esta visión a éstas y futuras intervenciones emprendidas
por el Estado.
Algunos de los criterios que se sugieren considerar para lograr una evaluación con
enfoque en derechos humanos son los siguientes: Apropiación, Alineación y Coordinación
(Red en Derechos, 2011). A continuación se explica brevemente a qué se refiere cada
uno de ellos.
116
Apropiación: Este criterio implica que la base principal de los planes, políticas y procesos
nacionales reside en las voces de la ciudadanía. Para conseguir este tipo de apropiación
se hace necesario disponer de un espacio de participación de los titulares relacionados
con el proyecto. Por tanto, la evaluación debe señalar si esto ocurre o no.
Alineación: Bajo este criterio se trata de analizar si las estrategias y políticas públicas
incurren en condicionantes que impidan la apropiación de los distintos titulares de los
procesos y el pleno ejercicio de los derechos humanos.
Cuando se busca dar voz y empoderar las acciones de los grupos desfavorecidos,
socialmente excluidos, y cuyos derechos han sido vulnerados. La evaluación dará
cuenta si la estrategia pública ha tomado en consideración a grupos discriminados;
si ha contribuido a modificar situaciones de desigualdad; y si ha incorporado a
titulares de derechos y a otros titulares de obligaciones en todas sus fases.
117
evaluación que emplean este enfoque, poniendo especial énfasis en la metodología que
éstos utilizan.
Este modelo es propuesto por el Grupo de Evaluación de las Naciones Unidas (UNEG,
por sus siglas en inglés)39, una red conformada por los equipos de la Organización de las
Naciones Unidas (ONU) encargados de coordinar evaluaciones a proyectos emprendidos
por esta organización internacional.40
118
las decisiones sobre qué será evaluado y cómo. Además, la evaluación analizará
si las partes interesadas han tenido la oportunidad de participar en el diseño,
implementación y monitoreo de la intervención.
Inclusión de grupos cuyos derechos han sido vulnerados: Una vez que el
evaluador identifique a los grupos más propensos a la violación de sus derechos
tiene el compromiso de incluir las aportaciones que de ellos obtenga.
Difundir los hallazgos de la evaluación, los cuales deberán ser adaptados a las
diferentes audiencias interesadas (pp. 35-41).
120
de políticas públicas); los titulares de deberes secundarios (sector privado, ONG’s,
por ejemplo); los titulares de derechos explicitados en el programa o proyecto que
se está evaluando; los titulares de derechos que son afectados (positiva o
negativamente) por el programa de manera circunstancial. Para ello, se requiere
hacer un análisis detallado acerca de los roles de cada actor en cuanto al acceso y
al control sobre recursos y beneficios.
121
Criterios para formular preguntas de evaluación en la etapa de ejecución
Criterio Definición
Pertinencia En qué medida los objetivos del programa son consistentes con las
necesidades de las partes beneficiarias.
122
está bien identificado y si éste afecta de manera diferente a hombres y mujeres
según los contextos41 en que se desenvuelven (ONU Mujeres, 2014, pp. 22-23). A
partir del análisis deben identificarse las brechas, las inequidades, desigualdades y
las barreras sobre los que opera el programa y cómo éste último ha ayudado a
eliminarlas o mitigar sus efectos.
Respuesta de gestión, implica entablar un diálogo y discusión con todas las partes
interesadas, para realizar un ejercicio de reflexión que permita definir dónde y
cómo incorporar las recomendaciones a los programas ya existentes o en el
proceso de formulación de futuras intervenciones.
A continuación se presenta un esquema que ilustra las fases que conforman el proceso
de evaluación integral planteado por ONU Mujeres (2014).
123
Proceso de evaluación propuesto por ONU Mujeres
El Gobierno Vasco propone un marco general para la evaluación de las políticas públicas,
tanto para uso interno, como para uso de agentes externos que colaboren con dicho
gobierno en los diversos procesos evaluativos de políticas públicas que llevan a cabo.
Si bien se define que el objeto de evaluación es una intervención pública, se señala que la
evaluación puede enfocarse en diferentes aspectos de una política pública. En ese
sentido, los objetos, decisiones y actividades que hacen parte de una política pública se
agrupan en tres objetos de evaluación: los proyectos, los programas y las estrategias. Las
características básicas según el tipo de intervención se describen en la tabla siguiente.
124
Características básicas según el tipo de intervención
Respecto a las funciones y utilidad de las evaluaciones, se enfatiza que las evaluaciones
no son un fin en sí mismo, sino un instrumento para la mejora de las políticas públicas.
Por lo anterior, se debe seleccionar un proceso de evaluación que proporcione la
información necesaria. En ese sentido, se identifican cinco grandes bloques de propósitos
de la evaluación:
Utilidad: una evaluación deberá ser útil tanto para los agentes involucrados en la
evaluación, como para los destinatarios de la política pública.
Causalidad: una evaluación debe vincular los aspectos de las políticas públicas
con la gestión, la realización y los resultados, mediante relaciones causales.
El Gobierno Vasco menciona que existen diferentes tipos de evaluación, según el agente
que realiza la evaluación, la función de la evaluación, el contenido y la perspectiva
temporal. En la tabla siguiente se describen a detalle cada una de éstas.
Tipos de evaluación
126
Diferenciación Tipos Descripción
Momento Ex–ante Se realiza antes de ejecutar una política pública
Intermedia Evaluación realizada durante el periodo de ejecución de la
intervención para saber cómo se está desarrollando e
implementando el proyecto, programa o estrategia
Ex-post Se realiza una vez que ha terminado la ejecución del
programa, ésta permite emitir un juicio sobre las fortalezas y
debilidades
Contenido Diseño Analiza y valora el diseño, así como la conceptualización
del programa
Proceso Analiza la eficacia (alcance de objetivos) y analiza su costo
en términos de tiempo y recursos (eficiencia)
Resultados Analiza la ejecución práctica y gestión de las políticas
Impactos Analiza y valora los efectos generales y a largo plazo
Fuente: Guía de Evaluación de Políticas Públicas del Gobierno Vasco, (2006)
Una vez definido el tipo de evaluación, se deberán estipular el conjunto de preguntas bajo
el cual girarán otros elementos de la evaluación. De este modo se puede garantizar la
consecución de los resultados esperados.
Ya que se tienen las preguntas de evaluación, se debe proceder a definir otros aspectos
agrupados en tres fases: el diseño de la evaluación, el desarrollo del estudio de
evaluación y el planteamiento de la comunicación. En la siguiente tabla se agrupa cada
fase con las cuestiones claves que el evaluador deberá definir.
127
Cuestiones clave por cada fase de la evaluación
Desarrollo del Una vez se diseñada la evaluación se iniciará la fase de desarrollo del estudio
Estudio de de evaluación. El rol y tareas a realizar por la institución pública promotora de la
Evaluación evaluación diferirán según se trate de una evaluación interna, externa o mixta.
128
Por último, es necesario definir los criterios o principios de la evaluación, ya que éstos
servirán para emitir los juicios de valor que den respuesta a las preguntas de evaluación
planteadas en el diseño. Los criterios permiten darle estructura a las respuestas obtenidas
a partir de la evaluación. El Gobierno Vasco define los siguientes:
Coherencia externa: bajo este principio se realiza un análisis que permite valorar el
grado de correspondencia existente entre un programa y otras intervenciones que
se estén ejecutando en un mismo espacio temporal y físico‐territorial.
Sostenibilidad: este principio permite evaluar en qué medida los resultados del
programa han sido o tienen probabilidades de ser duraderos una vez finalizado el
programa y una vez retirados los recursos externos.
129