0

ANTOLOGIA DE APOYO AL CURSO: TALLER 7, PROYECTOS SOCIALES III

Fuente plaza central San Andrs Itzapa, Chimaltenango


TALLER 7: PROYECTOS SOCIALES III

Lic. Otto Edvin Arenales Callejas
oearenales@yahoo.com
2013

1


INTRODUCCIN
Actualmente es creciente la preocupacin existente en el sector pblico, privado y de la Cooperacin Interna-
cional en relacin a conocer la eficiencia y eficacia de los resultados u objetivos obtenidos en los proyectos
sociales; situacin que a partir de la dcada de los aos noventa ha llevado a todos a orientar y centrar esfuer-
zos ya no slo en la formulacin de los programa y proyectos sociales sino, tambin, en los aspectos de evalua-
cin formativa y sumativa de los mismos. Desde sta perspectiva, muchos organismos internacionales han dedi-
cado esfuerzos en generar concepciones, metodologas para la implementacin de estos procesos.
La evaluacin esta dirigida a contribuir en la toma de decisiones en la gestin de proyectos, para mejorar las
intervenciones, superar las limitaciones y aprender de las lecciones y experiencias que nos dejan. Su importan-
cia radica en ello y no debe confundirse con los procesos de informacin, rendicin de cuentas y auditoria. Son
cosas muy distintas, aunque la mayor parte de las veces, complementarias.
La evaluacin tambin es una forma de brindar componentes esenciales para un buen desarrollo de las activi-
dades comunitarias que se llevan a cabo a travs de proyectos que buscan el mejoramiento de la calidad de
vida de un gran nmero de personas, Se presenta a continuacin un cuaderno de estudio semi presencial sobre
la evaluacin de programas de gestin social, de manera prctica, para que el lector y estudioso del tema,
pueda navegar con orientacin dentro del mar de informacin disponible en relacin con el tema.
Se trata de proporcionar elementos para hacer una evaluacin no solo cuantitativa, sino cualitativa, adems de
los logros obtenidos y el impacto causado por cualquier tipo de proyecto social. El presente cuaderno se cons-
truye de una forma sencilla y gil para que todas aquellas personas que trabajan o estudian la forma de realizar
una evaluacin de proyectos, cuenten con herramientas que les faciliten su labor y aprendizajes.
Este cuaderno fue preparado, pensando en las personas que desean aprender ms sobre el control y la evalua-
cin de su trabajo. Est fundamentado en un trabajo de recopilacin bibliogrfica, as como en aos de expe-
riencia facilitando procesos de evaluacin de proyectos sociales.
Muchos y muchas utilizan ya mtodos de seguimiento como parte de su trabajo en el rea de desarrollo. Otros
muchos utilizan mtodos de evaluacin y realizan levantamientos, principalmente antes de iniciar un nuevo
proyecto o programa, o de ampliar o mejorar uno que ya se encuentra en marcha. Por otro lado, muchas per-
sonas tienen poca preparacin o poca experiencia en lo que a control y evaluacin se refiere. Lo que todas es-
tas personas tienen en comn es que estn involucradas en los ms diversos programas de desarrollo rural y
urbano; trabajan, por ejemplo, en el campo de la salud, del desarrollo comunitario, de la educacin de adultos
o de agricultura.
Participan en esos programas personas con diferentes niveles de educacin y experiencia. Se pueden encontrar
personas con poco o ningn nivel de escolaridad. Se pueden encontrar personas altamente calificadas. Sin
embargo, tienen algo en comn: trabajan juntas en un mismo programa y necesitan brindar seguimiento y eva-
luar un trabajo conjunto.
Muchos, principalmente los que trabajan directamente en contacto con una comunidad, manifiestan la urgente
necesidad de un apoyo como la presente herramienta gerencial. Creen que gran parte de las tcnicas de se-
guimiento y evaluacin existentes complejas, caras e inadecuadas a las condiciones reales en las que viven y
trabaja, por lo que ac se presentan una serie de tcnicas participativas que se espera faciliten esa labor de
seguimiento y evaluacin.
Otto Edvin Arenales C.




2


CRDITOS BIBLIOGRFICOS
Es importante indicar que la compilacin de las lecturas del presente cuaderno de trabajo, han sido tomadas de
los documentos y pginas Web, descritas a continuacin:

Referencias bibliogrficas
1. Aguilar Idez, M. J. y E. Ander Egg. 1,985. Diagnstico Social. Argentina: Lumen.
2. Berum Milburn, Jaqueline. Monitoreo y evaluacin de proyectos. Cuadernos de cooperacin para el desarro-
llo. Escuela Latinoamericanda de cooperacin y desarrollo. Colombia 2,010-.Cohen Ernesto, Martnez Ro-
drigo. Formulacin, monitoreo y evaluacin de proyectos sociales. CEPAL.
3. INDES. Banco Mundial. Material curso monitoreo y evaluacin. 2,008.
4. Stockmann Reinhard. Evaluacin y desarrollo de la calidad. Costa Rica. 2,006.
5. Vsquez, Enrique Arambur, Carlos E. Figueroa, Carlos. Gerencia Social. Diseo, Monitoreo y Evaluacin
de Proyectos Sociales. Lima, Per. 2006.
Webgrafa
http://www.unfpa.org/monitoring/toolkit.htm
http://www.siempro.gov.ar/
http://www.paho.org/spanish/hpp/hpf/adol/monitoreo.htm
http://www.observacoop.org.mx/docs/Dec2009/Dec2009-0027.pdf
http://www.impactalliance.org/
http://www.comminit.com/es/node/309740
http://www.stepstoolkit.org/












3


PRIMERA SEMANA
UNIDAD I: Fundamentos conceptuales
TEMA 1
Un marco conceptual para la evaluacin de programas y proyectos sociales
Objetivos de la semana
Al finalizar el estudio de la primera semana las y los estudiantes.
Reconocen la importancia de los principales conceptos relacionados con el monitoreo y la evaluacin de
polticas, programas y proyectos sociales.
LECTURA
Tomada de: http://escuelahistoria.fcs.ucr.ac.cr/contenidos/
http://bibliotecavirtual.clacso.org.ar/ar/libros/secret/capital/08cap6.pdf
Conceptos bsicos para el xito o fracaso de proyectos de desarrollo.
El xito o el fracaso de los proyectos de desarrollo, rara vez puede ser explicado por una sola causa. Las condi-
ciones estructurales de un proyecto y los factores que pueden ser influenciados por las decisiones y actuaciones
de los grupos involucrados en su ejecucin, juegan un papel de gran importancia.
Entre los instrumentos ms importantes en materia de planificacin y ejecucin de proyectos, se encuentra el
M&E, que es un instrumento de gestin de proyectos que proporciona los elementos indispensables para llevar
a cabo la conduccin del mismo, basndose en la planificacin del proyecto.
Gestin
El concepto de Gestin sera el de dirigir personas en un sistema dinmico de anlisis, decisin y comunicacin
de manera que se logren objetivos por la actuacin planificada, organizada y controlada (Definicin del Comit
Europeo para la Capacitacin en gestin).
El sistema de gestin equivale al trmino en ingls: "Management". Otro trmino relacionado conceptualmente,
pero con otras connotaciones es la "Gerencia". Cuando se habla del "sistema de gestin", se refiere a un conjun-
to de elementos que constituyen funciones institucionales y se inter-relacionan entre s de manera dinmica.
Los "sub-sistemas" de un sistema de gestin son: definicin de objetivos, planificacin, organizacin, direccin-
ejecucin y monitoreo (seguimiento) y evaluacin, adems
de los procesos de comunicacin-anlisis-decisin. (Ver
grfico No.1)
Algunos conceptos que se enuncian a continuacin pueden
ser de apoyo para la comprensin del sistema de gestin y
como partes del sub-sistema de M&E:
a) Seguimiento: Es el examen continuo de la ejecucin de
las actividades para asegurar que progresen de acuerdo con
la planificacin trazada, analizando, la aplicacin de insu-
mos; los cronogramas trabajo y el logro de los productos
esperados conforme a los indicadores establecidos y otras
acciones necesarias que permitan medir los efectos.
b) Control de Actividades: Del ingls: "Controlling" - trmi-
no utilizado en la administracin de empresas, que implica: "la comparacin permanente entre la norma, por
4

ej. de una planificacin (pauta de la planificacin) y de su realizacin/ejecucin prctica; el anlisis de diver-
gencias y la introduccin de medidas de correccin".
c) Monitoreo: En instituciones de fomento al desarrollo, el monitoreo corresponde al "controlling" de la admi-
nistracin. Es la observacin continua, tanto del funcionamiento de las actividades de la institucin en el con-
texto del calendario de implementacin, como del uso de los insumos por los grupos meta en el contexto de las
expectativas proyectadas.
Dentro de las funciones de la gestin institucional, es tarea interna de la instancia superior normativa, defini-
da internamente como la responsable para la ejecucin. (si es externo: "Supervisin"). Esta informacin es re-
cogida peridicamente y se dirige a los responsables superiores de la ejecucin del proyecto con dos finalida-
des: suministrar informacin procesada o retroalimentada a la direccin o gerencia para perfeccionar los planes
operativos y adoptar correctivos en la ejecucin; as como para establecer las referencias para la evaluacin.
En el Monitoreo se califica lo siguiente:
Comparacin de las actividades y productos reales en relacin a lo pretendido.
Oportunidad de las operaciones.
Relacin entre actividades, insumos y productos.
Efectos e impacto.
Todo esto se logra, siempre y cuando:
La planificacin sea correcta y vlida.
Los indicadores son precisos en la planificacin
La ejecucin de las actividades se trabaja en equipo y con sinergias.
Se puede observar, sistematizar, documentar la relacin entre actividades, insumos y productos.
Monitoreo financiero
Los programas o proyectos implican el uso de insumos y recursos humanos con costos establecidos. En la fase de
planeacin se determina el presupuesto base del programa que incluye rubros como personal, equipos y mate-
riales, espacios e instalaciones, viajes, entre otros. Para el control presupuestal existen herramientas financie-
ras como los flujos de caja, ingresos y egresos mensuales.
El monitoreo financiero, al igual que otros sistemas de monitoreo puede ser analizado segn su capacidad de
respuesta o adaptacin, por cuatro criterios centrales:
Existencia de datos: En esta rea abunda la informacin ya que es la ms controlada y sometida a sanciones
administrativas e incluso legales.
Periodicidad: El control se expresa en ingresos y egresos con base en cuentas anuales, mensuales e incluso dia-
rias.
Tipos de datos: Es una informacin de carcter secundario, registrada con fines administrativos, centrada en el
control de caja, tem usual de todo seguimiento de presupuesto.
Influencia en la toma de decisiones: El monitoreo financiero es muy sensible a la toma de decisiones, por la
dependencia central que tiene un programa o proyecto de la disponibilidad oportuna de recursos.
Monitoreo administrativo
Es importante evaluar el contexto institucional y las regulaciones o trmites de la organizacin que acoge el
programa. La evaluacin conlleva el cumplimiento de los criterios administrativos racionales (pasos internos) de
ajuste de desempeo a la descripcin del cargo, niveles de productividad aceptables o mnimos, sujecin a
estatutos administrativos o de contrato. El monitoreo administrativo permite detectar las posibles necesidades
de cambio organizacional.
Existencia de datos: Los datos del monitoreo administrativo son los que generalmente registra la oficina de
personal de las instituciones: descripcin de cargos, cumplimiento de funciones, asistencia, tareas realizadas y
evaluacin de cargos.
5

Periodicidad: Es continua en el control de deberes y discontinua en mediciones de autoevaluacin de cargos.
Tipos de datos: Son de carcter secundario (control de asistencia, de tareas entre otros).

e) Inspeccin y Auditora: La inspeccin y la Auditora son tambin formas de examen organizativo; pero las
llevan a cabo personal "externo" u rganos independientes.
Inspeccin y Auditoria significan: control y comprobacin, por parte de niveles ms altos en qu medida se ajus-
tan los procesos ejecutados a los procedimientos y normas predeterminadas e informar sobre el grado de con-
formidad o la existencia de cualquier irregularidad en la ejecucin de proyectos, programas o planes. La ins-
peccin se refiere ms a la ejecucin correcta de las actividades, la auditora a las formas de utilizacin de los
recursos/insumos.
f) Desarrollo organizacional: Como parte del desarrollo organizacional, el sistema de M&E debe tener una pla-
nificacin detallada, al margen de cualquier mtodo de planificacin que se utilice. Existe un alto grado de
dependencia entre la calidad de la planificacin y el sistema de M&E, pues obviamente no es posible disear un
buen sistema de M&E si la planificacin de base no es precisa; pero tambin no es posible modificar o ajustar la
planificacin sin un monitoreo y una subsiguiente evaluacin de las actividades, resultados y objetivos.

Esta funcin en proyectos implica dos tareas bsicas:
Monitorear y evaluar el desempeo del proyecto y las condiciones externas que son importantes para su
ejecucin exitosa.
Definir las acciones correctivas, para restaurar la consistencia con la planificacin del proyecto, cuando
sea necesario.
Entre los atributos de la gestin tenemos dos la eficacia y la eficiencia:
EFICACIA: Comparacin de los objetivos con los resultados; apreciacin de las diferencias entre lo que
se realiz y lo que estaba previsto.
EFICIENCIA: Comparacin de los resultados objetivos con los medios empleados; anlisis de los "costos"
con lo "realizado".
g) Generalidades e influencia en la toma de decisiones
Los programas o proyectos son una organizacin formal que activa procesos interactivos que tienen una
dinmica especfica, no siempre bien prevista en la etapa de diseo.
Hay que evaluar: Las relaciones entre quienes toman las decisiones y grupos tcnicos y entre estos y el
personal de apoyo. Estas relaciones se pueden analizar a travs de los procesos de liderazgo, motiva-
cin y comunicacin.
Existencia de datos: Se deben hacer evaluaciones de los problemas presentados entre los grupos, espe-
cificando la frecuencia de los mismos, ya que estos retrasan la ejecucin del proyecto.
Periodicidad: No hay datos sistemticos, aunque se debe recurrir a evaluaciones mensuales o anuales.
Tipos de datos: La informacin es de tipo primario y se recoge mediante cuestionarios semi-
estructurados, entrevistas dirigidas o grupales.
La sensibilidad en la toma de decisiones est dada por la relacin a nivel local y la autogestin del pro-
grama. Organizacionalmente se deben compatibilizar tres instancias que implican diferentes alternati-
vas de roles:
Tomador de decisiones: Toma de decisiones, segn la lgica administrativa, poltica o profesional.
Grupo tcnico: Conflicto de roles, estereotipos profesionales, estilos burocrticos Vrs. democrticos
6

En los tomadores de decisiones pueden darse distintos tipos de liderazgo: por eleccin, por tradicin,
por imposicin autoritaria.
La comunicacin es, tambin, de distintos tipos: Formal, expedita, difcil y abierta.
En el grupo tcnico son frecuentes los conflictos ideolgicos, como tambin los celos profesionales. El
grupo tcnico y su destreza profesional influyen mucho en el desarrollo y en la estrategia de interven-
cin del proyecto.
Actividades de la primera semana
Individuales
1. Ingrese al portal docente utilizando su password proporcionado por la universidad, descargue el programa
del curso, luego revselo y analcelo para definir sus expectativas sobre el mismo. Registre este producto
en su diario de aprendizaje.
2. Realice la lectura de la semana.
3. Inicie su diario de aprendizaje.
4. Descargue el libro Teora de cambio del enlace
http://www.rootchange.org/about_us/resources/publications/DemistificandolaTeoriadeCambio.
pdf haga su lectura y prepare una sntesis del mismo para entregar a su docente en la cuarta semana.

Grupales

1. Trabajando en grupo, elaboren un cuadro comparativo entre los distintos conceptos de la lectura, identifi-
cando sus similitudes y diferencias.
2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada?
2. Qu sentimientos concretos han llegado a su mente?
3. Puede sealar al menos tres valores que estn implicados en el trabajo de esta primera semana?
Enumrelos en orden de importancia y justifique su respuesta.










7

SEGUNDA Y TERCERA SEMANAS
Tema
Las Polticas, Programas y Proyectos Sociales
Objetivos de la semana
Al finalizar el estudio de la segunda semana las y los estudiantes.
Definen lo que es una poltica, programa o proyecto social.
LECTURA
Las polticas, los programas y los proyectos
Poltica Pblica: Se entiende como el conjunto de objetivos, decisiones y acciones que lleva a cabo un gobierno
para solucionar los problemas que, en un momento determinado, tanto los ciudadanos, como el propio gobierno
consideran prioritarios (Tamyo Sez, 1997).

Programas y proyectos: Las polticas pblicas, se desagregan o hacen operativas a travs de los programas y
proyectos sociales, a los que se les asignan recursos para su puesta en prctica.
Mientras que una poltica pblica se refiere a procesos polticos y sociales que se desarrollan en el tiempo, un
programa remite a una construccin tcnica (que no niega el componente poltico) con mayor o menor capaci-
dad de expresar la complejidad del problema.
Los programas se conforman de un conjunto de proyectos que persiguen los mismos objetivos, son los responsa-
bles de establecer las prioridades de la intervencin, ya que permiten identificar y organizar los proyectos,
definir el marco institucional y asignar recursos.
Los proyectos pueden ser definidos como la unidad mnima de asignacin de recursos para el logro de un objeti-
vo especfico. De forma agregada, constituyen el punto de partida ms adecuado para formular apreciaciones
sobre los programas. Los proyectos deben tener una poblacin objetivo definida en funcin de la necesidad que
se pretende satisfacer, una localizacin espacial y tiempos de inicio y finalizacin predefinidos (Cohen y Franco,
2005).










8

Evaluacin y monitoreo de polticas, programas y proyectos sociales
La evaluacin puede definirse
como la emisin de un juicio de
valor acerca de una poltica,
programa o proyecto y puede
ser entendida como: una activi-
dad programada de reflexin
sobre la accin, cuya realizacin
puede proponerse antes, durante o despus de la implementacin de una poltica, programa o proyecto. La
evaluacin se lleva a cabo mediante procedimientos sistemticos de recoleccin, anlisis e interpretacin de
informacin y a travs de comparaciones respecto de parmetros definidos. Su finalidad es emitir juicios valo-
rativos fundamentados y comunicables, sobre las actividades y los resultados () de las intervenciones sociales
y formular recomendaciones que permitan decisiones orientadas a ajustar la accin (Nirenberg, 2009).
La evaluacin se compone de:
Objeto: la poltica, programa o proyecto sobre el que se emite juicio de valor.
Un referente: el criterio o patrn de deseabilidad contra el que se compara el objeto de la evaluacin.
Una estrategia o procedimiento sistemtico mediante el cual se recolecta y analiza la informacin.












La evaluacin no debe ser entendida como un proceso aislado. Muy por el contrario, es a la vez un insumo para
orientar la accin y proceso permanente de aprendizaje y mejora que acompaa toda la vida de una poltica
social. En otras palabras, es una herramienta para la toma de decisiones.
Como cualquier producto de un proceso de investigacin aplicada, los resultados de una evaluacin constituyen
un nuevo conocimiento prctico. La evaluacin busca conocer para hacer, para actuar, para construir, para
modificar (Padrn, 2006), y as nos ayuda a construir un futuro deseado en relacin con una determinada pol-
tica, programa o proyecto social.
El monitoreo es uno de los instrumentos que tambin colabora en la construccin de ese futuro. Ambos son
fundamentales para la toma de decisiones a mediano y largo plazo y constituyen una fuente primordial de
aprendizaje. (Subirats, 1995)
9

En la evaluacin se combinan distintos tipos de informacin. Por un lado, el propio proceso produce informa-
cin; por el otro, se basa en la informacin que se produce.
La construccin de un futuro deseado, es decir, hacia dnde queremos ir, est mediada entre otros factores por
los insumos que proveen el monitoreo y la evaluacin, para la toma de decisiones estratgicas, operativas y
tcticas en el marco del desarrollo de una poltica, programa o proyecto. Estas decisiones pueden ser:

De tipo preventiva: nos anticipamos a los riesgos potenciales que se detectaron en una evaluacin.
De tipo correctiva: reorientamos procesos, estrategias o tcnicas para corregir efectos no deseados, in-
eficacias o ineficiencias de nuestras acciones
El monitoreo: un instrumento para la toma de decisiones
A diferencia de la evaluacin, el monitoreo es el seguimiento
que se realiza durante la ejecucin de una poltica, programa o
proyecto. Aunque incluye una dimensin tcnica, no se agota
en ella. Por el contrario, es un instrumento de gestin y de
poltica, que permite revisar en forma peridica los aspectos
estratgicos.
Monitoreo y evaluacin son actividades fuertemente interrela-
cionadas, pero no son sinnimos
El monitoreo es un proceso continuo y permanente; la evalua-
cin se realiza en perodos establecidos y es de corte transver-
sal. El monitoreo constituye un proceso continuo de anlisis,
observacin y elaboracin de sugerencias, de ajustes que asegu-
ren que la poltica, programa o proyecto, est encaminado
hacia el resultado propuesto. Por su parte, la evaluacin permi-
te la formulacin de conclusiones acerca de lo que se observa a
una escala mayor, aspectos tales como el diseo del proyecto y
sus impactos, tanto aquellos previstos, como no previstos (Cere-
zo y Fernndez Prieto, 2011).
Ms all de estas diferencias, ambos son procesos interconecta-
dos y complementarios. Por ejemplo, el monitoreo permite, adems de poner de manifiesto soluciones pro-
blemticas y de aportar pistas para identificar causas y posibles soluciones, detectar seales de alarma que
sern insumo para la evaluacin.









10

El plan de monitoreo y evaluacin forma parte de la planificacin o diseo de una poltica, programa o proyec-
to, que debe adecuarse a las caractersticas del destinatarios de la informacin que se producir y a los indica-
dores e instrumentos que se utilizarn para su recoleccin, registro y procesamiento.
Durante el monitoreo se recolecta informacin sobre:
La ejecucin de las actividades planificadas, para apoyar la gestin cotidiana de los proyectos sobre el
terreno.
Los resultados conseguidos a travs de la realizacin de las actividades y la
respuesta de los/las titulares, para comprobar los avances y revisar el plan
de trabajo.
La consecucin de los objetivos del programa y sus impactos para revisar
la lgica de intervencin y la resolucin de problemas.
Un sistema de monitoreo se construye a partir de los indicadores. Los indicadores son
me- didas directas o indirectas de un evento, condicin, situacin o concepto y permi-
ten inferir conclusiones apreciativas acerca de su comportamiento o variacin.
Los indicadores son el resultado de operacionalizar los objetivos a alcanzar en el marco de una poltica, pro-
grama o proyecto. Se suele expresarlos en metas a partir de las cuales se disean los indicadores que permiten
medir el grado en el que se fueron alcanzados (Cohen y Franco, 1988).
La seleccin de indicadores es un paso clave
para construir un buen sistema de monitoreo.
Su eleccin requiere tener en cuenta criterios
como independencia, verificabilidad, validez y
accesibilidad. S a travs de la consulta con los
actores involucrados es posible definir los indi-
cadores y acordar su importancia y caractersti-
cas especficas, quiere decir que los objetivos
de la poltica, programa o proyecto, son claros,
compartidos y estn consensuados entre los
actores responsables de su implementacin.












11




















Los indicadores tienen dos funciones principales:
Ayudar a monitorear los avances en la consecucin de los objetivos.
Aclarar la lgica de intervencin del proyecto al indicar lo que se desea lograr, la duracin, la calidad
requerida y la poblacin objetivo.
Sin una correcta definicin de los indicadores, se dificulta la recoleccin de datos y disminuye la posibilidad de
monitorear o evaluar en forma adecuada la relacin entre lo previsto y lo realizado.
Existen diferentes categoras de indicadores, los ms comunes son:
Indicadores de impacto: Son los impactos que se espera generar con el logro del objetivo general de la
poltica, programa o proyecto.
Indicadores especficos. Dan cuenta del grado de alcance del objetivo especfico y de su contribucin
al logro del objetivo general.
Indicadores de cobertura. La cobertura es la proporcin de la poblacin objetivo que efectivamente re-
cibe los servicios que brindan una poltica, programa o proyecto. Estos indicadores reflejan la relacin
entre la poltica, programa o proyecto y los titulares o potenciales de sus prestaciones.
12

Indicadores de producto: Son los resultados concretos que orientan las actividades a ejecutar, a partir
de los insumos disponibles.
Indicadores de proceso. Los procesos estn constituidos por el conjunto de actividades que se realizan
para tratar de alcanzar el objetivo buscado. Estos indicadores se relacionan con los insumos que se
proveen para concretar las actividades y con los productos que se obtienen durante dichos procesos.
Facilitan el seguimiento de la implementacin de la poltica, programa o proyecto y pueden alertar so-
bre su desempeo.
Todo indicador debe cumplir con cuatro requisitos bsicos:
Independencia. Cada indicador debe ser utilizado para medir un solo objetivo.
Verificabilidad. Cada indicador debe ser empricamente constatable.
Validez. Cada objetivo debe contar con, al menos un indicador.
Accesibilidad. La medicin de los indicadores debe ser accesible.




















13





















Quin monitorea) quin evala?
El monitoreo y la evaluacin pueden ser realizados por distintos actores. Segn quines los realicen, se puede
identificar distintos tipos, cada uno con ventajas y desventajas.
En tanto proceso de evaluacin interna, el monitoreo suele estar a cargo de los miembros de la organizacin
que implementa la poltica, programa o proyecto a evaluar. Esta evaluacin puede ser realizada por actores no
directamente vinculados, o bien por actores directamente vinculados. En este ltimo caso, los evaluadores
sern tambin evaluados, por lo que la evaluacin interna es tambin una autoevaluacin.
Al ser interna este tipo de evaluacin minimiza la reactividad de los actores de la organizacin y es me-
nos costosa en trminos econmicos y de recursos humanos. Algunos autores sostienen que este tipo de
evaluacin facilita que sus resultados tengan mayor influencia en la intervencin.
En relacin con las desventajas, la ms destacable es que la evaluacin interna pone en riesgo la obje-
tividad del proceso de evaluacin y de sus resultados y, en consecuencia, afecta directamente la credi-
bilidad social de la evaluacin. En relacin con la evaluacin externa, en general, la interna no utiliza
estndares o alta tecnologa para su diseo. Algunos autores sealan que no necesariamente por ser in-
terna, este tipo de evaluacin elimina el choque de intereses entre los diferentes actores involucrados.
14

La evaluacin externa es llevada a cabo por actores ajenos a la organizacin que implementa la poltica, pro-
grama o proyecto a evaluar. En general, se recurre a investigadores, consultores independientes. Cabe aclarar
que la evaluacin externa no es siempre deseada por los actores de la organizacin ejecutora, muchas veces
parte de los requisitos de las agencias financiadoras.
Entre las ventajas que posee este tipo de evaluacin se encuentra la supuesta objetividad, porque los
evaluadores no pertenecen a la organizacin ejecutora y, en consecuencia, maximizan la credibilidad
de la evaluacin realizada.
Entre las desventajas, se seala que este tipo de evaluacin minimiza las posibilidades de mejorar la
poltica, programa o proyecto (ya que los evaluadores no estn directa o indirectamente vinculados en
la ejecucin del proyecto) y, en relacin con lo anterior, podra maximizar tambin la reactividad de
los actores internos, que quedan afuera del proceso evaluativo.
La evaluacin mixta trata de combinar ambas perspectivas bajo el supuesto de que su conjuncin potencia los
aspectos positivos de cada una (Neirotti y Poggi, 2004). Este proceso permite incluir distintas posiciones desde
el punto de vista de los actores involucrados. No obstante, para implementarla es necesario lograr un trabajo
conjunto y acompasado entre los actores internos y externos. Y esto alarga los tiempos de la evaluacin.
Finalmente, la evaluacin participativa incorpora a los titulares de la poltica, programa o proyecto, sujeto de
la evaluacin; adems, considera que todos los que, de un modo u otro, se vinculan con el tema evaluado, por-
que tienen intereses involucrados o pueden verse afectados por l, deberan tener protagonismo durante el
proceso (Nirenberg, 2009)
En general, esta estrategia se utiliza en polticas, programas y proyectos ya diseados de manera participativa,
donde los titulares ya estn involucrados en el diseo de la intervencin y siguen participando durante su im-
plementacin.


















15

Importancia y funcin del monitoreo y la evaluacin
Es bien sabido que la implementacin de un programa o proyecto social o de desarrollo, de atencin humanita-
ria, de fortalecimiento de capacidades o de incidencia no garantiza por s mismo la consecucin de los objetivos
planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos
de; por s solos no garantizan resultados positivos.
Para aumentar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con
un diseo y una planeacin cuidadosos, MyE apropiados. Si bien la planeacin adecuada inalterable: si nuestro
proyecto no est funcionando o si las circunstancias han cambiado, los planes deben cambiar tambin. El MyE
permite darnos cuenta si los planes estn fallando o si hay oportunidad de analizar y tomar decisiones sobre
El monitoreo y la evaluacin, generan informacin para mejorar la accin, reorientarla o hacer una planeacin
futura mucho ms asertiva y efectiva.
Sin un monitoreo y una evaluacin efectivos, no encaminando en la direccin correcta, si el progreso o los cam-
bios logrados se deben a nuestra accin especfica, o si es necesario hacer cambios en la planeacin a futuro.
El monitoreo y la evaluacin sirven para:
Mejorar el desempeo: permiten la deteccin de problemas de un proyecto en etapas iniciales de la im-
plementacin, y de esta forma reducen las posibilidades de fracaso y ahorran recursos y tiempo al posibili-
tar la adopcin oportuna de medidas correctivas.
Fortalecer la toma de decisiones y la planeacin: permiten aprender de los logros y las de decisiones y al
diseo de iniciativas presentes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo,
permiten aproximar los proyectos a la realidad y a los resultados alcanzables.
Contribuir al aprendizaje: permiten a la organizacin y a los involucrados en el proceso aprender de la
experiencia, con lo cual no slo se mejoran las acciones posteriores sino que se contribuye al aprendizaje
institucional y al aprendizaje social.
Avanzar hacia el empoderamiento: el monitoreo y la evaluacin permiten fortalecer las capacidades de la
poblacin involucrada, de los socios locales, del equipo encargado de la ejecucin y de la misma organiza-
cin, ya que favorece el conocimiento de la problemtica, de los procesos y de las estrategias.
Mejorar la rendicin de cuentas: permiten a las organizaciones responsables informar a de los recursos y
el impacto de los proyectos. Esto puede tambin fomentar el apoyo pblico y poltico de las iniciativas.
Contribuir al conocimiento general: el anlisis de la evaluacin permite compartir con otros, difundir los
aprendizajes y las mejores prcticas, contribuyendo al conocimiento general de los procesos y proyectos de
desarrollo.
Esto puede servir tanto a la misma organizacin como a otras organizaciones o instituciones gubernamentales y
acadmicas.

Los procesos de monitoreo y de evaluacin son complementarios: la evaluacin depende en gran medida de la
informacin reportada y recolectada de forma peridica a travs de los sistemas de monitoreo. Sin embargo,
cada proceso tiene funciones especficas y existen algunas diferencias fundamentales, como puede apreciarse
en la grfica siguiente:
16


Otros instrumentos
Existen otras actividades de revisin de proyectos, qu tienen una funcin especfica y un enfoque particular, y
por lo tanto no deben confundirse con el monitoreo y la evaluacin. Estas son:
Auditora: valoracin de los procesos y procedimientos administrativos para asegurar el respeto a las polti-
cas, normas y criterios previamente establecidos. El objetivo de la auditora se limita a examinar la con-
formidad con las obligaciones contractuales. La pregunta gua de la auditora es: Estamos siguiendo los
procedimientos adecuados?
Estudio de factibilidad: es una valoracin crtica de una propuesta de proyecto con el fin de tomar una
decisin sobre su eventual financiamiento e implementacin. La valoracin est encaminada a determinar
la pertinencia, la viabilidad tcnica, financiera, institucional y socioeconmica, as como la sostenibilidad
prevista de la propuesta.
Revisin: es una valoracin peridica de todo el diseo metodolgico del proyecto para retroalimentar la
planeacin y la gestin y hacer recomendaciones de acciones correctivas. Una revisin puede devenir en
una evaluacin sobre la marcha, si se llega a un nivel suficiente de profundidad y de anlisis.
Investigacin: una bsqueda y un anlisis profundo y sistemtico para desarrollar un tema especfico o con-
tribuir a su conocimiento. Generalmente la investigacin documental sirve de insumo para la evaluacin,
pero por s sola, no es suficiente para la toma de decisiones.

17


Por qu son necesarios el seguimiento y la evaluacin?
En primer lugar, veamos una denicin de los trminos seguimiento y evaluacin. El seguimiento se reere al
examen y acopio de datos, lo que ayudar a determinar si se estn alcanzando los objetivos jados. El segui-
miento es una parte fundamental de la evaluacin y los datos recopilados se integran en el proceso general de
evaluacin. La evaluacin se reere por lo tanto al acopio sistemtico de informacin realizado durante la
ejecucin de un proyecto o despus, a n de emitir un juicio acerca de la ecacia respecto de los resultados
anticipados y ofrecer bases para las decisiones relativas a intervenciones futuras.
Las actividades de seguimiento y evaluacin ayudan a determinar si un programa ha logrado los resultados espe-
rados, de modo que se pueda dar cuenta de los recursos gastados y utilizarlos con la mayor ecacia posible. Las
fuentes de nanciacin suelen solicitar evaluaciones para vericar que el dinero ha sido utilizado apropiada-
mente, pero sigue siendo preciso asegurar que el personal del proyecto y la poblacin que lo apoya reconozcan
la utilidad del seguimiento y evaluacin continuos y los aprovechen para mejorar la ecacia y calidad de sus
programas.
El seguimiento debe realizarse de manera continua para que se alcancen las metas y los objetivos del proyecto
y para reajustar la programacin sobre la base de las lecciones aprendidas hasta el momento. Las evaluaciones
internas son importantes para medir la ecacia, la eciencia y los avances del proyecto, as como para estimu-
lar entre el personal y los grupos beneciarios del proyecto el sentido de apropiacin de ste. La evaluacin
externa, que es onerosa y que la mayor parte del tiempo est fuera del alcance de las iniciativas de las comuni-
dades pequeas, ofrece sin embargo una posibilidad de examen independiente que a veces puede ser apropia-
do.
Monitoreo y evaluacin en el ciclo del proyecto
El proceso de diseo y desarrollo de un proyecto puede resumirse de manera sencilla en el Ciclo del Proyecto.
Este ciclo consiste en una serie de pasos estrechamente vinculados entre s y acomodados por el orden en que
se desarrollan; la identificacin del problema, la planeacin del proyecto, su ejecucin y seguimiento, y la eva-
luacin que normalmente alimenta el anlisis y la identificacin de futuros proyectos.
En el ciclo del proyecto, el MyE se debe considerar desde la etapa de diseo y formulacin, planeando los com-
ponentes del proyecto de tal forma que se tomen en cuenta, se faciliten y garanticen procesos de MyE. La eta-
18

pa de planeacin y diseo es crucial para todo el desarrollo del proyecto, pues es este momento cuando se
define el sistema de MyE, estableciendo claramente la informacin disponible antes de la intervencin (lnea
base) y determinando las necesidades de informacin (a travs de la formulacin de indicadores) que permitan
ir midiendo avances, efectividad e impacto.
Antes de la ejecucin del proyecto, se define el plan de MyE, proponiendo de manera especfica, cmo se de-
bern organizar las actividades, responsabilidades y recursos, para realizar el monitoreo, durante el desarrollo
del proyecto.
Este monitoreo se realizar peridica y sistemticamente durante todo el tiempo de implementacin del pro-
yecto. Esto implica el seguimiento de las actividades y revisin de los objetivos, as como la recoleccin, siste-
matizacin y anlisis de datos. Posteriormente se lleva a cabo el proceso de evaluacin, como una etapa misma
del ciclo del proyecto. La evaluacin producir informacin que es fundamental para la rendicin de cuentas, la
implementacin de recomendaciones y mejorar el desempeo. Estos aprendizajes pueden ser valiosos tanto
para determinar las necesidades de reformulacin del mismo proyecto o para ser considerados en la formula-
cin de otros proyectos.
El Monitoreo y la Evaluacin en la etapa de formulacin del proyecto
Los primeros pasos de MyE se toman desde la etapa de formulacin del proyecto. En esta etapa, las personas
que formulan el proyecto tienen la responsabilidad de asegurar que su diseo lo haga evaluable y que disponga
de un buen sistema de MyE. Un proyecto bien diseado, con una cadena de efectos clara, ser fcilmente moni-
toreado y evaluado. Un proyecto que no cumpla con esta caracterstica muy probablemente fallar en la conse-
cucin de sus objetivos (o en la demostracin de los mismos).
Asegurar la evaluabilidad es por lo tanto el primer control de calidad que se debe realizar sobre los documentos
de formulacin de un nuevo proyecto. Incluye cuatro momentos principales, que se recomienda asegurar en la
etapa de diseo:
3. Que la lgica de intervencin sea coherente y clara, que el diseo de los resultados, los objetivos, las acti-
vidades y las estrategias est definido adecuadamente.
4. Que el marco de MyE sea factible y significativo con relacin a los resultados y objetivos del proyecto y que
existan los medios para verificar el avance y el resultado de la accin.
5. Que los planes del proyecto prevean actividades de monitoreo y evaluacin adecuadas, y que exista un plan
de monitoreo y evaluacin con mtodos, procedimientos y personas responsables claramente definidos.
6. Que las lecciones y las buenas prcticas aprendidas de los proyectos anteriores se incluyan en el proyecto
actual.
Actividades de la segunda y tercera semana
Individuales
1. Realice la lectura de la semana.
2. Ingrese a google y busque los trminos monitoreo y evaluacin, con lo que debe preparar el editorial de su
diario de aprendizaje.
3. Responda a la pregunta Cul es la relacin entre el monitoreo y la evaluacin con el diseo de un proyec-
to?.
4. Resuelva Para qu sirve el monitoreo?
5. Cul es la diferencia entre monitoreo y seguimiento?
6. Actualice su diario de aprendizaje

Grupales

1. En grupos, identifiquen las principales razones para llevar a cabo el monitoreo, justificndolas.

19

Autoevaluacin

1. Qu conocimientos previos tena usted acerca de lo que es el monitoreo?
2. Qu aplicaciones encuentra para el concepto de monitoreo en el mbito del trabajo social?
3. encuentra similitud, cules entre el concepto descrito por la lectura para el monitoreo y lo que usted co-
noca?
4. Despus de leer, apunte las ideas nuevas, que usted ha encontrado en la lectura y escriba en sus propias
palabras qu quieren decir.
5. Luego, regrese al texto con la meta de encontrar todos los conceptos que eran nuevos para usted y que no
record, o que record pero cuyo significado no entendi bien. Relea y apunte todos los que vaya encon-
trando, aadindolos a la lista generada en el numeral 4.
6. De las definiciones de monitoreo, encontradas en la lectura de la semanas, cules cree usted que son las
ms importantes y por qu?
7. Qu recomendaciones hara usted a otra estudiante, para disear un proceso de monitoreo?
8. Considera usted que a veces se fracasa en el monitoreo, por no seguir ciertos criterios como los enumera-
dos en la lectura?
9. En una escala de 1 a 5, en dnde 1 es no estoy listo o lista para usar estas ideas y 5 es estoy listo o lista
para usar estas ideas, cun preparado est usted, para utilizar en un proceso de monitoreo, las presenta-
das en la lectura?
10. Cmo se considera usted para iniciar el diseo de un proceso de monitoreo, considerando lo anterior en
una escala de 1 a 5, dnde 1 es No estoy preparado y 5 es Si estoy preparado?
















20

CUARTA Y QUINTA SEMANAS
La evaluacin
Objetivos de la semana
Al finalizar el estudio de la cuarta semana las y los estudiantes.
Comprendern en qu consiste el la evaluacin de un programa o proyecto social.
Reconocen la diferencia entre monitoreo y evaluacin.
LECTURA
La evaluacin es una apreciacin, lo ms sistemtica y objetiva posible, de un proyecto en curso o ya realizado,
de su planeacin, ejecucin y resultados. Su propsito es determinar la pertinencia, el cumplimiento de los
objetivos, la eficiencia en la realizacin del proyecto, la eficacia, el impacto y la sostenibilidad (OECD/DAC,
2002).
La evaluacin se construye a partir del monitoreo peridico y puede efectuarse en diferentes momentos del
ciclo del proyecto, o incluso aos despus de completada la accin (en el caso de evaluaciones de impacto o
sustentabilidad) (Ortegon et al., 2005).
Una buena evaluacin se caracteriza por:
Ser imparcial y transparente
Tener credibilidad: ofrece informacin confiable y de calidad y existe una clara relacin entre resulta-
dos, conclusiones y recomendaciones.
Ser til: contribuye oportunamente al proceso de decisin de aprendizaje organizativo y de los involu-
crados.
Tener elementos participativos: refleja intereses, necesidades y percepciones de las partes involucra-
das.
Ser eficiente: relacin equilibrada entre el costo y el beneficio.
Retroalimenta la toma de decisiones y el aprendizaje organizativo y social: a travs del anlisis de la in-
formacin y la difusin de los resultados.

Cules son los problemas bsicos de la evaluacin de iniciativas comunitarias?
Las iniciativas comunitarias no son fciles de evaluar. No existe una tcnica predeterminada y concluyente que
pueda extraerse de un libro y ser adaptada para su uso en cada proyecto.
El personal del proyecto debe ser innovador, aplicar el sentido comn y utilizar los conocimientos que posee
sobre la poblacin de apoyo, el entorno y el contexto poltico y cultural para lograr que las preguntas adecua-
das se formulen de manera adecuada.
Las iniciativas comunitarias suelen consistir en mltiples intervenciones complejas, que tienen lugar en diferen-
tes niveles, a menudo diseadas para obtener distintos resultados.
Hay generalmente una combinacin de estrategias, dirigidas tanto a nivel de los individuos como de la comuni-
dad. Las iniciativas van del propsito de modicar el comportamiento individual mediante la educacin y la
autonoma, a proyectos de base ms amplia centrados en la equidad, la justicia social y las intervenciones in-
tersectoriales. El uso de marcos tericos ha tenido por objeto introducir ms rigor en la manera de recopilar e
interpretar los datos de las diferentes variables. Al mismo tiempo, las nuevas consideraciones acerca de la eva-
luacin reconocen la multiplicidad de las interacciones que tienen lugar en la mayor parte de los contextos
21

comunitarios y ponen en tela de juicio las relaciones lineales, ms simplistas, entre causa y efecto. Habida
cuenta de la compleja forma en que se realiza la mayor parte de las intervenciones, es preciso construir y po-
ner a prueba correctamente las preguntas que hay que formular para saber si esas intervenciones son ecaces.
Es importante tener conciencia de que los resultados no siempre pueden preverse y que pueden ser beneciosos
o perjudiciales para la comunidad. Quienes participan en el seguimiento y la evaluacin deben mostrar audacia
y conviccin para destacar tanto los resultados positivos de un proyecto como los negativos.
Existen numerosas tcnicas y mtodos diferentes para evaluar programas. Esta diversidad es lo que convierte a
la evaluacin en un instrumento tan poderoso. Los mtodos pueden depender de las cuestiones de inters, del
contexto, de los propios principios tericos del evaluador y de las caractersticas de las dems personas partici-
pantes en el programa.
Los evaluadores pueden recurrir a cualquier combinacin de sistemas para aadir profundidad y calidad a la
evaluacin. Los diseos demasiado complicados y costosos pueden constituir un despilfarro de recursos si la
pregunta puede responderse por medios ms sencillos. Los evaluadores que utilizan herramientas excesivamen-
te complejas y que no las comprenden cabalmente, no producirn resultados tiles y vlidos.
En la actualidad, la mayor parte de la gente acepta que los enfoques cuantitativos y cualitativos desempean
una funcin til en la evaluacin de programas y a menudo se sugiere que una evaluacin pluralista, es decir,
que recurre a una serie de mtodos de evaluacin cuantitativos y cualitativos, es la mejor estrategia para abor-
dar problemas complejos sobre lo que constituye un resultado positivo o satisfactorio (Beattie, 1995).
En la evaluacin de la mayor parte de las intervenciones comunitarias convendr utilizar diversas tcnicas de
evaluacin para evaluar el proyecto en las distintas etapas. Esas etapas son las siguientes:
la determinacin de las metas, objetivos y procedimientos del programa, comprendida la evaluacin
inicial de las necesidades (evaluacin formativa)
el proceso de ejecucin del programa (evaluacin de proceso)
la medicin de los resultados y los impactos (evaluacin de resultados)
A qu debe aspirar la evaluacin?
Una evaluacin de una intervencin comunitaria tiene por objeto:
Disear el proceso para obtener la informacin necesaria mediante diversos mtodos.
Estimular la elaboracin de indicadores, puntos de referencia e iniciativas claros.
Acopiar y analizar datos durante todo el ciclo del proyecto en relacin con los objetivos y resultados
deseados.
Determinar los fallos, en caso de no haberse alcanzado algunos objetivos (o ninguno).
Hacer los ajustes necesarios sobre la base de la experiencia y de las lecciones aprendidas.
Retroalimentar con informacin a todos los participantes en el programa y a las comunidades locales.
Demostrar los resultados y las lecciones aprendidas a las organizaciones nanciadoras y a los proveedo-
res de servicios.
Utilizar los resultados nales para contribuir a la planicacin y ejecucin de iniciativas futuras en las
comunidades beneciarias.

Criterios bsicos de la evaluacin
La evaluacin sirve para revisar si un proyecto est funcionando
y si se estn logrando los objetivos planteados. Esta valoracin
del avance y la calidad del proyecto se fundamenta en cinco
criterios bsicos (OECD/DAC 2002):
Pertinencia: est relacionada con la formulacin del proyecto,
esto es, qu tanto el diseo de la intervencin responde a las
necesidades de los beneficiarios y con la medida en la cual,
busca avanzar hacia la solucin de los problemas identificados.
22

Puede evaluarse con relacin a la consistencia de diseo, de acuerdo a la situacin local y a las prioridades de
desarrollo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la accin son:

Identificacin y seleccin de grupos meta o beneficiarios
Participacin de las partes interesadas locales en la fase de formulacin y en el ciclo del proyecto en
general.
Calidad del Marco Lgico, incluyendo las hiptesis y los riesgos identificados.
Realismo en la seleccin de los objetivos y de los servicios que se pretende ofrecer. -Grado de flexibi-
lidad en el proyecto.
Apreciacin de las capacidades locales de absorcin y de ejecucin.
Coherencia con otras iniciativas de desarrollo en el mismo pas, regin o sector.

Eficacia: se refiere a la medida en la cual el proyecto produce los resultados esperados y estos permiten
lograr el objetivo especfico del proyecto. Se valoran:

Los factores que influyen en la consecucin del objetivo especfico, incluyendo los factores externos.
La capacidad de gestin para asegurar que los resultados conseguidos, permitan lograr el objetivo es-
pecfico.
La reaccin y apropiacin de los beneficiarios.
Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos, podr ser, por
ejemplo, temas de gnero, medio ambiente, fortalecimiento de capacidades, etc.)
Eficiencia: se refiere a la medida en la cual se brindan y gestionan los servicios y se realizan las actividades
previstas del modo ms apropiado de acuerdo con los medios, recursos y tiempo disponibles para producir los
resultados esperados. El anlisis de la eficiencia se concentra en la calidad de la gestin del proyecto y en el
uso de la alternativa econmicamente ms efectiva para conseguir los mismos resultados.
Este anlisis se puede hacer a partir de:
Gestin del presupuesto.
Oportuna prestacin de los servicios segn el cronograma establecido.
Aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores.
Calidad de los procedimientos y las prcticas.
Anlisis comparativo del costo beneficio en relacin con otros proyectos similares.
Impacto: se refiere a los efectos del proyecto (positivos y negativos; intencionales o no; directos e indirectos)
sobre los grupos meta o beneficiarios, as como sus efectos globales sobre un mayor nmero de personas, en un
sector o un rea geogrfica determinada. El impacto es un cambio durable y significativo, puede se tcnico,
econmico, sociocultural e institucional
El impacto est vinculado a la relacin entre el objetivo especfico y el objetivo general o global del proyecto.
Es importante tener en cuenta que en este nivel el proyecto es slo una de muchas variables que contribuyen a
un resultado ms amplio. As el impacto se evala, considerando el contexto general en el que se inscribe el
proyecto, es decir tomando en cuenta el papel de otros actores y variables sociales, econmicas, polticas y
medioambientales, nacionales o globales. El anlisis de impacto, normalmente se concentra en:
La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecu-
cin.
Los factores externos que han influido sobre el impacto global.
El impacto no planeado del proyecto.
Los posibles efectos a largo plazo del proyecto y su sostenibilidad.
El impacto del proyecto sobre temas transversales.
Sostenibilidad: se refiere a la medida en la cual, los impactos de la intervencin tienen la posibilidad de conti-
nuar despus del cierre del proyecto. Del mismo modo, evala si los grupos meta, o beneficiarios quieren y
pueden dar continuidad a los objetivos del proyecto (desarrollando actividades, gestionando apoyos, incidiendo
en el gobierno local, etc.) aun despus de la salida del personal del proyecto.
23

Este criterio es muy amplio, y la importancia relativa de los diferentes temas depende de la naturaleza del
proyecto y de su relacin con el contexto local. Los anlisis de sostenibilidad pueden centrarse en:
Sentido de apropiacin de los objetivos por parte de las personas involucradas depender en parte de
su participacin en el diseo y la ejecucin del proyecto).
Sostenibilidad institucional la medida en la cual el proyecto respeta e influye en las caractersticas de
las organizaciones o instituciones locales y en la capacidad de stas de desempear su papel despus
del cierre del proyecto.
Sostenibilidad financiera, si los servicios pueden seguir funcionando cuando se agoten los fondos exter-
nos, y si se genera una capacidad local para sostener los gastos de operaciones despus del cierre del
proyecto.
Sostenibilidad sociocultural si el proyecto, tiene en cuenta el contexto social y cultural, as como la
percepcin local de las necesidades. Tambin valora si los beneficiarios y las otras partes interesadas
han aceptado y adoptado los cambios producidos por el proyecto.
Sostenibilidad tcnica, si la tecnologa y el conocimiento brindados se concilian con las tradiciones,
capacidades, conocimientos brindados se concilian con las tradiciones, capacidades, conocimientos y
herramientas existentes y si los beneficiarios pueden mantener la tecnologa adquirida sin asistencia
externa.
Tipos de evaluacin
En el marco de un proyecto, programa, sector o pas se pueden hacer diversos tipos de evaluaciones.
De forma general, se suelen dividir las evaluaciones en formativas y sumativas. Las evaluaciones formativas son
evaluaciones intermedias y peridicas sobre el desempeo del proyecto, se consideran formativas porque su
objetivo bsico es mejorar el desempeo del proyecto. La evaluacin sumativa o postproyecto examina el im-
pacto del proyecto, una vez que este ha finalizado. Se examina el diseo original, con las modificaciones intro-
ducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del
proyecto. Tambin existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o
negativos de un proyecto o programa sobre individuos, hogares, instituciones o el medio ambiente. Estas eva-
luaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son
las siguientes:
Por etapas en el ciclo del proyecto

Evaluacin Ex ante: es
un anlisis del contexto,
de estudios preliminares
o de intervenciones an-
teriores que permitan
valorar la factibilidad o
mejorar el diseo del
proyecto que se preten-
de implementar.
Evaluacin sobre la mar-
cha: se realiza durante
la ejecucin del proyec-
to para evaluar las acti-
vidades del proceso mientras estas se desarrollan, e identificar los aciertos, errores y dificultades, para
brindar recomendaciones, para la introduccin de ajustes.
Evaluacin al cierre: se realiza al final del proyecto con el fin de analizar y registrar los resultados y efectos
tempranos de la intervencin. Tambin puede dar recomendaciones para intervenciones futuras.
Evaluacin ex post: se realiza despus (desde meses hasta varios aos despus) de concluido el proyecto,
evaluando los resultados con la intencin de valorar el impacto del proyecto en el largo plazo y deducir in-
dicaciones para futuras intervenciones similares.
24


Por agente
Autoevaluacin: la realizan personas involucradas directamente en la ejecucin del proyecto. Las autoevalua-
ciones se llevan a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios
locales. Existe una modalidad de autoevaluacin asistida, en la que un externo apoya las acciones de evalua-
cin, pero sta es realizada por los actores locales, fomentando su empoderamiento.
Evaluacin interna: la realizan personas que forman parte del equipo de la organizacin, pero que son externas
al proyecto.
Evaluacin externa: La realizan personas externas al proyecto y a la organizacin (sin ningn inters o relacin
en los resultados). Las evaluaciones que efectan personas externas, a menudo se consideran ms objetivas y
se llevan a cabo con fines de trasparencia y responsabilidad.


Planeacin de la evaluacin
Es fundamental que el mbito de la evaluacin sea claro desde un inicio, para asegurar resultados y recomen-
daciones precisas y realmente tiles. Si bien las evaluaciones pueden enfocarse en distintos aspectos o temas;
por lo general, se centran en un proyecto, un programa, un sector, una estrategia, un tema transversal o en las
relaciones de una organizacin. Este manual se centra en el MyE de proyectos, pero los criterios y principios
pueden ser aplicables tambin para otros mbitos.
Tambin se debe tener claro cul ser el propsito de la evaluacin, ya sea que est en funcin de las necesi-
dades de la agencia implementadora, de la organizacin matriz o del donante. Las finalidades de la evaluacin
pueden estar relacionadas con la gestin del proyecto, para introducir medidas correctivas; con el aprendizaje,
para fortalecer el conocimiento de las organizaciones y mejorar el desempeo, o con el fortalecimiento de las
capacidades de socios locales, el equipo del proyecto y los beneficiarios.
La evaluacin requiere asignacin de tiempo y recursos para un trabajo especial, que puede involucrar la parti-
cipacin de profesionales especializados no asignados al proyecto. En este caso, la organizacin que solicite una
evaluacin debe tener claro los objetivos y metodologas, lo cual se puede facilitar mediante la elaboracin de
trminos de referencia y la seleccin adecuada del evaluador.
25


Trminos de referencia
Los trminos de referencia (TdR) son elaborados por la organizacin que est solicitando la evaluacin, sea sta
interna o externa. Sirven para guiar toda la evaluacin al determinar su enfoque y propsito, y lo que se espera
del evaluador. Los TdR deben desarrollarse en coordinacin cercana con los beneficiarios del proyecto. Descri-
ben el objetivo ( por qu se realiza la evaluacin; el alcance (qu se debe evaluar), y los parmetros generales
para llevarla a cabo (actividades y metodologa).
Los trminos de referencia de una evaluacin por lo general incluyen: informacin bsica sobre el proyecto
(datos, antecedentes, alcance, caractersticas, e informacin bsica de la organizacin que lo implementa);
propsito y enfoque de la evaluacin (objetivo general y objetivo especfico); metodologa (parmetros genera-
les para realizar la evaluacin: qu metodologas se necesita emplear, si se requiere llevar a cabo actividades
particulares, preguntas clave, nivel de participacin de beneficiarios, formatos de informe de evaluacin, e c.)
y condiciones del contrato de evaluacin (capacidades requeridas en el evaluador, responsabilidades, tiempos y
costos).
Seleccin del evaluador
Una vez que se tengan los trminos de referencia, se pue-
de seleccionar al evaluador o al equipo de evaluacin.
Tanto en una evaluacin interna como en una externa, es
recomendable que el equipo de evaluacin est formado
por personas externas y personas involucradas directamen-
te en la ejecucin del proyecto. En la seleccin del evalua-
dor es importante considerar la combinacin de cualida-
des, habilidades (de evaluacin o de conocimiento tcnico
especfico) y experiencia necesaria. Las capacidades re-
queridas pueden variar, segn las caractersticas del pro-
yecto, el objetivo de la evaluacin y los mtodos seleccio-
nados. En cualquier caso, es necesario lograr un buen equi-
librio entre capacidades de evaluacin, experiencia tcnico
sectorial y conocimiento del contexto local.
Plan de trabajo
El primer producto elaborado por el evaluador es el plan de
trabajo o plan de la evaluacin, que representa su pro-
puesta para realizar el trabajo, teniendo en cuenta los trminos de referencia. Es importante que dicho plan de
trabajo sea compartido con el equipo del proyecto, pues es en este momento inicial cuando se puede hacer
cambios al plan y asegurar la apropiacin del proceso de evaluacin. El plan de trabajo es fundamental, ya que
ser un punto de referencia para todo el desarrollo de la evaluacin. Se recomienda incluir:
Visin general del proyecto y del contexto: comprensin del evaluador del contexto y los antecedentes, del
proyecto y de la organizacin. Esto se desarrolla a travs de la revisin de los documentos y de la consulta
con el equipo del proyecto.
Diseo metodolgico indicativo: el enfoque de la evaluacin, los objetivos (general y especfico) de acuerdo
a las demandas de la organizacin contratante y a la propuesta del evaluador, y las preguntas de evaluacin
o hiptesis.
Matriz de evaluacin: reformulacin de las preguntas especficas vinculadas a los criterios de evaluacin,
los indicadores, las fuentes de datos y los mtodos para su recoleccin
Metodologa: es la estrategia para conseguir los objetivos de la evaluacin, teniendo en cuenta la informa-
cin disponible, los tiempos y los recursos. Aqu se incluyen los mtodos de recoleccin de datos, activida-
des y explicacin de los pasos previstos para la evaluacin. Si hay sistemas de MyE ya diseados y adecuados
a las necesidades de evaluacin, se recomienda que el evaluador los emplee para aprovechar la informa-
cin existente.
26

Cronograma de actividades: tareas y fechas lmite de las fases de evaluacin (fase de preparacin, visitas
sobre terreno, elaboracin del informe, presentacin de los resultados al equipo y a los beneficiarios, etc.)
Composicin del equipo de evaluacin: composicin (evaluadores, coordinador sobre terreno, asistente de
evaluacin, etc.) y responsabilidades de cada uno.
Perfil del informe: ndice indicativo de los contenidos del informe de evaluacin y la estructura de la pre-
sentacin. En este apartado se incluyen tambin la extensin, el tiempo de la evaluacin y las entregas es-
pecficas de reportes.
Implementacin de la evaluacin

Una vez que la organizacin gestora de la evaluacin haya aceptado el plan de trabajo y se haya seleccio-
nado y conformado el equipo de evaluacin, se puede comenzar la evaluacin. Como acciones previas, se
recomienda:
Reunir y revisar la informacin disponible sobre el contexto y sobre el proyecto (propuesta inicial, reportes
intermedios y finales, informacin de lnea base, estadsticas oficiales, investigaciones y documentos sobre
la problemtica o el contexto, etc.).



Programar que el evaluador o el equipo realicen al menos una visita previa al lugar del proyecto para reco-
lectar informacin que no est disponible, y para asegurar una contextualizacin adecuada si el evaluador
es externo. En esta visita puede haber una reunin con las personas que estarn involucradas en la evalua-
cin (responsables de la ejecucin del proyecto, y quienes darn la informacin).
Entregar a los responsables del proyecto el cronograma, los itinerarios y el plan de evaluacin.
Considerar aspectos logsticos y organizativos antes de la salida, y planear agendas alternas a partir de un
anlisis de riesgos.
Seleccionar y revisar las tcnicas para la recoleccin de datos y los distintos mtodos de evaluacin, de
acuerdo a los resultados de las visitas y reuniones preliminares.

Durante el desarrollo de la evaluacin se recomienda la participacin activa de diversos actores: beneficiarios,
socios, autoridades, equipo del proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo
del nivel local. El gestor de la evaluacin deber decidir sobre el nivel de inclusin de los beneficiarios o, en su
caso, si es pertinente y existen las condiciones necesarias para realizar una evaluacin participativa.
Para guiar el trabajo de la evaluacin se puede partir de los criterios bsicos (pertinencia, eficiencia, eficacia,
sostenibilidad e impacto), aplicando cada uno a los objetivos y estrategias generales y especficas del proyecto.
Otra posibilidad es el enfoque de la evaluacin se concentre en una parte del proyecto, un tema transversal, un
problema o un solo criterio de evaluacin (por ejemplo, en la eficiencia del proyecto).
27

Al desarrollar la evaluacin, es posible que el evaluador se enfoque en:
Aspectos tcnicos y de proceso del proyecto (relacionados con las actividades y la eficiencia en el uso de los
recursos).
Nivel de cumplimiento con la lgica de intervencin del proyecto, analizando la eficacia y la eficiencia, al
producir los resultados, objetivo especfico y objetivo general.
Los resultados o impactos que se generaron en relacin con las intenciones del proyecto.

Tambin es posible que el evaluador establezca puntos
de anlisis ms pertinentes o alternativos a los diseados
en el sistema de MyE del proyecto, puede por ejemplo
enfocarse en un tema transversal o una problemtica
especfica (como una evaluacin de nivel de cumplimien-
to con parmetros de equidad de gnero, o una evalua-
cin para medir el impacto ambiental). Durante el desa-
rrollo de la evaluacin quiz sea necesario incluir nuevos
parmetros de medicin, si se identifican problemas im-
portantes no considerados anteriormente y no incluidos
en el diseo del proyecto. En este caso, el evaluador
puede desarrollar nuevas preguntas de evaluacin e indi-
cadores que respondan a las necesidades de informacin
que considere ms importantes.

Una vez identificado claramente el enfoque que tendr
la evaluacin, se pueden seleccionar y desarrollar los
instrumentos necesarios para la recoleccin de datos que
permitan reunir la informacin necesaria. Esta etapa del
proceso de evaluacin es la que requiere ms tiempo y
trabajo, por lo que es fundamental planearla y llevarla a cabo cuidadosamente. Despus de la recoleccin
de datos, es necesario hacer una recopilacin y anlisis de los datos obtenidos y evaluarlos en relacin con
los criterios y objetivos establecidos anteriormente, para poder interpretar los resultados, deducir conclu-
siones y lecciones aprendidas.

Informe final de evaluacin

El resultado de todo el proceso de evaluacin se refleja en el informe de evaluacin. Este debe ser co-
herente con los requisitos de contenido de los trminos de referencia y la propuesta del Plan de Evalua-
cin. Si bien los informes son extensos, basados en informacin diversa a partir de las mltiples fuentes de
datos e informacin, el texto del informe debe ser lo ms claro y conciso posible, e incluir solo la informa-
cin ms relevante de la evaluacin y las recomendaciones a futuro. Esta claridad es importante para que
la evaluacin pueda ser realmente una herramienta de aprendizaje para las organizaciones y los beneficia-
rios. Algunos elementos esenciales que debe considerar un informe de evaluacin son:
Resumen ejecutivo: en esta seccin se responden brevemente las preguntas definidas en los trminos de
referencia y en la matriz de evaluacin, y se exponen las principales conclusiones y recomendaciones de la
evaluacin.
Metodologa: descripcin de la metodologa usada durante la fase preparatoria de la evaluacin y de la
misin sobre el terreno, los mtodos de recoleccin de datos y de anlisis de la informacin.
Resultados de la evaluacin: es el texto principal del informe. Esta seccin debe responder los objetivos y
las preguntas concretas e hiptesis definidas en los trminos de referencia y en la matriz de evaluacin.
Aqu se desarrollan al detalle los resultados de la evaluacin y las recomendaciones, incluyendo evidencia
concreta de la informacin y las conclusiones.
28

Conclusiones y recomendaciones: puede ser til separar las conclusiones de acuerdo a los criterios de eva-
luacin y las recomendaciones en trminos del objetivo general del proyecto, objetivo especfico, resulta-
dos y las estrategias, o cualquier tema en particular que haya surgido como importante en los hallazgos de
la evaluacin.
Anexos: Trminos de Referencia (TdR), currculum del evaluador, figuras y tablas.
Referencias bibliogrficas

La evaluacin participativa

Es una dimensin participativa del desarrollo que abarca muchos conceptos similares, involucra a las par-
tes interesadas y a los beneficiaros del programa o proyecto en el anlisis colectivo y la evaluacin del
mismo. Est centrada en las personas: las partes interesadas y los beneficiarios del proyecto son actores
clave del proceso de evaluacin, y no solamente un objeto de esto (PNUD, 1997).

La experiencia ha demostrado que los proyectos sociales tienen ms posibilidades de xito cuando la po-
blacin local se apropia del proyecto y se involucra en los procesos de diseo, implementacin, monitoreo
y evaluacin. Ya se ha mencionado la importancia de que los proyectos sean diseados e implementados en
respuesta a una necesidad expresada por los propios implicados. Si las iniciativas responden a una necesi-
dad planteada por la poblacin local, necesariamente las mismas personas debern determinar tambin,
qu es lo que significa un avance o mejora sustancial en cuanto a dicha problemtica. Por eso es funda-
mental que las personas impactadas por el proyecto participen en determinar los parmetros del monito-
reo y la evaluacin. As, la participacin debe ser una parte fundamental y natural del proceso de evalua-
cin, tanto en los procesos de diseo, como en las actividades de recoleccin de datos, el anlisis y la eva-
luacin de los resultados y la formulacin e implementacin de recomendaciones.

Algunas de las ventajas de un proceso de evaluacin participativo son:

Promueve la definicin de parmetros compartidos de resultado y desempeo.
Fomenta la corresponsabilidad.
Facilita la confianza entre las partes
Crea compromiso entre los involucrados.
Fomenta el aprendizaje, la gestin y otras capacidades locales de los beneficiarios.
Al incluir a las partes involucradas en el anlisis de problemas y en la propuesta de soluciones se refuerza el
sentido de apropiacin. Esto genera mayor apertura a las recomendaciones de la evaluacin y facilita la in-
troduccin de cambios.


Principios bsicos de la evaluacin participativa

Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios bsicos que
los distinguen de los enfoques de evaluacin convencionales:
Intervencin: el mismo diseo del proyecto lo abre a la participacin e intervencin de las personas direc-
tamente afectadas por un problema y beneficiarias de la intervencin. La poblacin debe estar involucrada
en todas las etapas de la implementacin del proyecto, incluso en el seguimiento de las actividades y en la
evaluacin.
Negociacin: se negocia y acuerda con los beneficiarios, qu ser monitoreado y evaluado, as como los
mtodos y las herramientas de recoleccin de datos. Por otro lado, las estrategias y los procedimientos pa-
29

ra el anlisis de informacin y la difusin de los resultados tambin deben retomar los aportes de la pobla-
cin local.
Aprendizaje: se acuerda con las personas involucradas cmo se retomarn las lecciones aprendidas para
lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener claramente definido cmo
se difundirn las buenas prcticas y su promocin, de manera que el aprendizaje permanezca y sea apro-
piado por los beneficiarios.
Flexibilidad: los proyectos de desarrollo se afectarn por una diversidad de factores fuera del control de los
responsables. Por lo tanto, es importante estar conscientes de la necesidad de ser flexibles y adaptarse a
cambios inesperados.

La evaluacin participativa se distingue de las evaluaciones convencionales en diferentes aspectos.





















Es recomendable lograr un equilibrio entre evaluaciones participativas y convencionales, buscando la op-
cin ms adecuada con relacin al proyecto, a las necesidades de evaluacin y al contexto. As, puede ser
que en ciertas circunstancias sea mucho ms til una evaluacin convencional y en otros participativa. Al
no haber ningn enfoque definitivo para la evaluacin participativa, esta puede ser adaptada al contexto y
a las necesidades y combinarse con evaluaciones convencionales.

La evaluacin participativa tiene la desventaja de que suele requerir ms tiempo y recursos para llevarse a
cabo, y por lo general exige mayor capacitacin y preparacin por parte del facilitador de la evaluacin.
Existen lmites a la viabilidad de la evaluacin participativa. A veces es demasiado ambicioso esperar invo-
lucrar a los beneficiarios en una evaluacin, ya sea por el contexto, su disponibilidad o una limitada apro-
piacin del proyecto (al no haber estado involucrados en todas las etapas de diseo, implementacin y
seguimiento). En este sentido, es importante tener en mente ciertos factores acerca de la participacin en
los procesos de MyE del proyecto (UNESCO, 2009):

No todos los beneficiarios del proyecto querrn involucrarse en el proceso de MyE. Esta participacin re-
quiere tiempo y energa que no todas las personas estarn preparadas o dispuestas a dar.
Es necesario adaptarse al contexto y a las necesidades de la poblacin. En este caso, se pueden obtener
muy buenos resultados empleando y combinando diferentes tcnicas y herramientas participativas de ob-
tencin de datos y de evaluacin.
30

La participacin de la poblacin en la recoleccin de datos puede, por s misma, empoderar a los involucra-
dos al asignarles una responsabilidad en el proyecto y fortalecer su formacin en las tcnicas y habilidades
necesarias (investigacin, entrevistas, etc.).
Las evaluaciones participativas pueden contribuir a la construccin social de aprendizaje. El proceso de
anlisis colectivo sobre un tema en particular puede resultar en una comprensin y un aprendizaje mucho
ms profundos, a travs de cuestionamientos, dilogos y generacin de ideas.

Actividades de la quinta semana
Individuales
1. Realice la lectura de la semana.
2. Elabore un mapa conceptual sobre la planificacin y su relacin con el monitoreo.
3. Actualizar su diario de aprendizaje.
Grupales
1. Comparta con su grupo de trabajo en clase, su mapa conceptual elaborado en casa, luego construyan uno
en grupo para compartir con el resto de la clase.
Autoevaluacin
1. Qu esperaba encontrar en la lectura acerca de la evaluacin?
2. Qu ideas tena usted acerca de la evaluacin?
3. Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca de la evaluacin?
4. Para usted, cul de las fases o etapas de una evaluacin, es la ms importante y por qu?
5. A qu le motiva la lectura anterior?














31

SEXTA SEMANA
Quines necesitan la informacin del monitoreo y la evaluacin?
Objetivos de la semana
Al finalizar el estudio de la quinta semana las y los estudiantes.
Identificarn a los usuarios de la informacin del monitoreo y la evaluacin.
LECTURA
Usuarios de la informacin
Uno de los primeros pasos ms importantes al desarrollar un sistema de informacin consiste en identificar
quines son los usuarios de la informacin relacionada con el proyecto. Una vez identificados los usuarios, es
entonces cuando se puede y se tiene que determinar qu tipo de informacin se necesita y para qu fines, qu
preguntas o preocupaciones tienen los usuarios respecto a la informacin y qu es lo que constituye una infor-
macin de calidad.
Un gran nmero de personas y organizaciones estn interesadas en cada uno de los proyectos. Todas estas
personas pueden denominarse "usuarios de la informacin". Algunos estarn interesados en los resultados obte-
nidos y las lecciones aprendidas en un proyecto dado, por ejemplo, otras organizaciones no gubernamentales
que trabajan con poblaciones objetivos similares en otra regin o departamento.
Otros podran desear la informacin para poder participar en varias decisiones relacionadas con el proyecto. A
este ltimo grupo se los suele llamar frecuentemente "partes interesadas" o presuntos "propietarios" del proyec-
to. Las partes interesadas del proyecto son todas las personas o grupos que tienen capacidad para tomar o
influir decisiones que tienen un impacto en el diseo o la ejecucin del proyecto.
Por ltimo, todas las partes interesadas pueden participar en la fase de ejecucin de un proyecto y, por lo tan-
to, debern ser consultadas e informadas regularmente sobre la planificacin de proyectos y sus progresos. El
hacer participar a los presuntos usuarios (sobre todo, los administradores y el personal de los proyectos y la
poblacin beneficiaria) en el diseo del monitoreo y la evaluacin no slo contribuir a aclarar los requisitos de
informacin, sino tambin a asegurar su apoyo para el sistema de monitoreo y evaluacin y la utilizacin de sus
resultados.
Preocupaciones sobre el contenido
Entre las numerosas personas diferentes que estn interesadas y participan activamente en el monitoreo y la
evaluacin de proyectos figuran la poblacin beneficiaria de los proyectos, el personal encargado de la recopi-
lacin y gestin rutinarias de datos (por ejemplo, sobre finanzas y productos), los equipos de evaluacin inter-
nos y externos encargados de las evaluaciones peridicas (como, por ejemplo, de los resultados y el progreso de
los proyectos). Las diferencias que existen entre estos grupos consistirn en:
Sus percepciones del fin del Monitoreo y la Evaluacin
Sus razones para la recogida de los datos.
Sus intereses en la informacin obtenida como resultado del Monitoreo y la Evaluacin
Otro grupo de personas que influye en el sistema de monitoreo y evaluacin de proyectos son los especialistas
que participan en el proyecto, tales como economistas, eclogos, agrnomos, socilogos, trabajadores de salud,
etc. Muchas de sus necesidades de informacin (y el tipo de informacin que creen que necesita el proyecto)
sern determinadas en gran medida por su formacin profesional (por ejemplo, los economistas que tienen
tendencia a buscar informacin relacionada con el ingreso). Como consecuencia, aun cuando su experiencia y
formacin pueden aportar unos puntos de vista valiosos al sistema de monitoreo y evaluacin, estos grupos
pueden introducir tambin un elemento de "sesgo" profesional. Deber, por lo tanto, tenerse cierta cautela
para asegurar que los puntos de vista de los profesionales no influyen desmedidamente el diseo del sistema de
monitoreo y evaluacin.
32

Preocupaciones sobre la calidad
Los usuarios de la informacin tienen muchas preocupaciones sobre la calidad de la informacin que estn bus-
cando.
Consideracin de las cuestiones de la calidad
Exactitud Cmo podemos asegurar que la informacin es exacta y confiable?
Planear por adelantado; ser especfico respecto a la informacin requerida y los procesos para obtenerla.
Simplificar las necesidades y los sistemas de informacin para su recogida y anlisis. Ser selectivo en cuan-
to a la informacin recogida, las muestras, los mtodos, etc.
Elaborar lineamientos y normalizar el proceso de cmo recoger y analizar la informacin.
Triangular las fuentes de informacin y los mtodos de recogida siempre que sea posible (por ejemplo,
utilizar ms de un mtodo o fuente para los mismos elementos de datos).
Promover el compromiso a la recogida de informacin exacta o precisa.
Cuando sea procedente, adquirir y utilizar un equipo moderno, por ejemplo, computadoras (pero recuerde
que todo lo que se entre y no valga, fuera).
Relevancia Cmo podemos asegurar que la informacin es pertinente para las necesidades del usuario?
La "relevancia" vara en funcin de los distintos usuarios de la informacin.
Obtener el punto de vista de las poblaciones objetivo del proyecto, hacindolas participar en la recogida y
el anlisis de la informacin.
Evitar una orientacin hacia el donante, satisfaciendo al mismo tiempo los requisitos de ste.
Ser selectivo y establecer un orden de prioridades respecto a las necesidades de informacin. Averiguar de
antemano quin necesita qu informacin y cmo se va a utilizar.
Asegurar que el proyecto pueda analizar la informacin y presentar los resultados de una forma accesible
para los diversos usuarios o pblicos (por ejemplo, no utilizar un informe escrito con miembros de la comu-
nidad analfabetos o un informe de 200 pginas con un funcionario de la organizacin donante que est muy
ocupado).
Oportunidad Cmo podemos asegurarnos de que la informacin est disponible a tiempo?
Utilizar instrumentos o medios sencillos para la recogida y el anlisis.
Planear de antemano: consultar con los que proporcionan la informacin. Tratar de conseguir el compromi-
so de las organizaciones aliadas de contraparte y comunidades.
Preparar un calendario con plazos establecidos. Delegar y compartir las responsabilidades relacionadas con
la recogida, el anlisis y la presentacin de la informacin; sensibilizar a los participantes sobre la necesi-
dad de la oportunidad.
Credibilidad Cmo podemos promover la credibilidad de la informacin?
Disear los mtodos de recogida de informacin con cuidado. Ser congruente (utilizando mtodos repeti-
bles que puedan indicar tendencias). Ser objetivo al recoger, analizar e interpretar la informacin.
Ser transparente sobre los procesos empleados. Explicar los mtodos utilizados para obtener datos y
sacar conclusiones (incluidos supuestos, enlaces estadsticos entre las fuentes, mtodos de recogida,
anlisis y resultados).
Tratar y debatir las cuestiones de la atribucin (si los resultados pueden ser reclamados por el proyecto).
33

Mantener la reputacin personal y de la organizacin.
Por qu se necesita la informacin?
Para qu fines?
Qu decisiones o acciones van a verse afectadas?

Fines de la informacin
Las dos aplicaciones principales de la informacin producida por los proyectos y sobre los mismos son:
a) Informar a quienes tengan que tomar decisiones (sea dentro o fuera del proyecto), y b) ofrecer una descrip-
cin a aqullos que desean aprender del proyecto (incluidos resultados obtenidos, limitaciones y fracasos). En-
tre ejemplos corrientes de esos dos fines se pueden citar los siguientes:
Seguir el progreso fsico y financiero, con el fin de que puedan tomarse (o revisarse) decisiones sobre los
gastos y la asignacin de recursos que mantengan el proyecto funcionando y dentro de sus lmites presu-
puestario.
Seguir la distribucin de los beneficios del proyecto. Por ejemplo, algunas personas podran beneficiarse
ms que otras. Esta informacin es de gran utilidad para los grupos que desean vigilar la equidad y el ren-
dimiento de cuentas del proyecto.
Examinar las respuestas de la poblacin beneficiaria, a los servicios e insumos que est proporcionando el
proyecto. Tal informacin podra ayudar a asegurar la aceptabilidad y utilidad de las actividades del pro-
yecto.
Estudiar problemas especficos de ejecucin que afronta un proyecto, para que puedan identificarse la
causa o causas y recomendarse soluciones prcticas.
Determinar cul es el impacto sobre la poblacin beneficiaria, sobre todo, en la calidad de vida y los nive-
les de vida (ingreso, salud, adquisicin de poder, relacin con el medio ambiente, etc.) como un resultado
directo del proyecto, o sea, evaluar el impacto atribuible del proyecto. Cuando los beneficios del proyecto
son identificables, la informacin sobre su impacto puede ser de gran utilidad para el cometido de la defen-
sa o promocin de los intereses de ciertos grupos.
Cumplimiento y rendimiento de cuentas, o sea, cumplir con los requisitos de los donantes.


34



Actividades de la sexta semana
Individuales
1. Realice la lectura de la semana.
2. Visite una institucin gubernamental o no gubernamental, identifique quines podran ser los usuarios de la
informacin en su sistema de monitoreo y evaluacin.
3. Descargue el libro Modelos lgicos del enlace
http://www.idt.pt/PT/Prevencao/Documents/PIF/guia_ml_es.pdf realice la lectura del mismo y en-
tregue a su docente una sntesis en la sptima semana.
4. Actualizar su diario de aprendizaje.
Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institucin, luego
elabore una propuesta comn para compartirla con el resto de la clase.
Autoevaluacin
1. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos?
2. Qu ideas tena usted acerca del uso que puede hacerse de la informacin?
3. Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin?
4. A qu le motiva la lectura anterior?

35

SEPTIMA SEMANA
TEMA
Uso de la evaluacin como herramienta gerencial
Objetivos de la semana
Al finalizar el estudio de la sexta semana las y los estudiantes.
Comprender cul es el uso gerencial que puede hacerse de los resultados de una evaluacin

Comprender el rol de la evaluacin para una buena gestin gerencial
Las organizaciones bien administradas y los programas efectivos son aquellos que pueden demostrar que han
logrado resultados. Los resultados provienen de una buena gestin gerencial. Una buena gestin gerencial se
basa en la toma de decisiones adecuadas. Este proceso de toma de decisiones depende de una buena informa-
cin. La buena informacin requiere que se recopilen buenos datos y que stos sean analizados cuidadosamen-
te. Todos estos constituyen elementos crticos dentro del proceso de evaluacin.
La evaluacin es un proceso peridico de recopilacin y anlisis de datos o el ordenamiento de los mismos de
manera que la informacin resultante pueda ser utilizada para determinar si su organizacin o programa est
llevando a cabo en forma efectiva las actividades programadas, y la medida en la que se estn logrando los
objetivos y resultados anticipados.
Los administradores pueden y deberan efectuar evaluaciones internas para obtener informacin acerca de sus
programas con el objeto de estar en condiciones de tomar decisiones adecuadas con respecto a la implementa-
cin de sus programas. Las evaluaciones internas deberan realizarse en forma constante y los administradores
deberan aplicarlas concienzudamente en todos los niveles de una organizacin y en todas las reas del progra-
ma. Adicionalmente, todos los participantes del programa (administradores, personal y beneficiarios) deberan
tomar parte en el proceso de evaluacin en una forma apropiada a la funcin de cada uno. Esto ayuda a asegu-
rar que la evaluacin sea plenamente participativa y logre un mayor compromiso y dedicacin de parte de todos
los participantes en lo que se refiere al uso de los resultados para lograr mejoras crticas a nivel del programa.
A pesar de que la mayor parte de las evaluaciones se llevan a cabo a nivel interno y son realizadas por los admi-
nistradores y el personal del programa, todava es necesario que individuos ajenos al programa u organizacin
realicen peridicamente evaluaciones externas.
La evaluacin es una de las herramientas ms importantes a disposicin de los administradores. El proceso de
evaluacin ayuda a los administradores a tomar decisiones crticas acerca de la forma de mejorar la implemen-
tacin de sus programas y/o la administracin de su organizacin.
La evaluacin ayuda a los administradores a:
Determinar si estn logrando los resultados anticipados y qu modificaciones deberan efectuarse
para mejorar la eficiencia y/o la efectividad de las actividades de su programa;
Determinar si las estrategias actuales del programa son apropiadas y efectivas;
Determinar qu tipo de personal se necesita;
Decidir a qu cargos se debera asignar al personal;
Supervisar y guiar al personal en la realizacin de su trabajo;
Efectuar un seguimiento de los insumos (dinero, recursos humanos, tiempo) y los resultados (pro-
ductos, servicios, gente capacitada, clientes);
Determinar dnde ubicar los servicios;
Decidir cundo es necesario adquirir equipo nuevo y qu tipo(s) de equipo se debe comprar;
Verificar si los clientes tienen otras necesidades que no estn siendo cubiertas o si existen clientes
potenciales que no han sido alcanzados por el programa.

Como administrador, usted es responsable de tomar este tipo de decisiones. La evaluacin, cuando se emplea
regularmente, constituye una herramienta gerencial poderosa que le puede reportar buena informacin para
36

ayudarle a tomar las decisiones correctas en cuanto a la mejor forma de administrar su programa de modo que
pueda continuar prestando servicios de calidad y cubrir las necesidades de sus clientes. A travs del proceso de
recopilacin, anlisis e interpretacin de datos que usted ha llevado a cabo, la informacin que usted obtiene
de una evaluacin le permite escoger entre varias opciones y cursos de accin alternativos as como compren-
der y considerar las consecuencias de cada una de las acciones propuestas. Por ejemplo, al evaluar su programa
o parte del mismo usted debera ser capaz de reconocer qu cambios deberan realizarse y cmo se est admi-
nistrando el programa, qu nuevos servicios o actividades deberan llevarse a cabo para mejorar la calidad del
programa o de los servicios, o si se debera implementar una nueva campaa de mercadeo o de recaudacin de
fondos.

Vincular la evaluacin con el ciclo de planificacin e implementacin del programa

Los pasos que sigue una organiza-
cin o programa para implemen-
tar sus actividades pueden ser
presentados como un ciclo conti-
nuo de acciones administrativas
que van desde la evaluacin de
las necesidades, a la planificacin
e implementacin de actividades
y la medicin de los resultados
finales del programa, los cuales
son retroalimentados a la etapa
de planificacin con el objeto de
volver a empezar el ciclo.
Ya sea que la evaluacin sea lle-
vada a cabo internamente por el
personal del programa o por un
consultor externo, hay tres ele-
mentos principales en cualquier
evaluacin:

la planificacin de la evaluacin;
la conduccin de la evaluacin;
la utilizacin de los resultados.

Como se muestra en el diagrama a continuacin, estos elementos de evaluacin estn directamente vinculados
a los pasos que debe seguir para llevar a cabo la planificacin e implementacin de su programa o proyecto.

La evaluacin es parte de y se relaciona con cada etapa del ciclo, y como se hizo notar anteriormente,
todos los participantes del programaadministradores, personal y la poblacin objetivo (beneficiarios)
deberan participar a lo largo de todo el proceso. De esta manera, los participantes involucrados en dife-
rentes aspectos del programa comprendern la necesidad que existe de implementar cualquier cambio
necesario indicado por la evaluacin y estarn motivados para trabajar juntos con el objeto de lograr los
resultados deseados.



37







38





Utilizacin de la informacin proveniente de la evaluacin
Todo el tiempo y la energa que se invierten en la evaluacin seran intiles si los resultados no se usan para
planificar, apoyar, cambiar, corregir y/o mejorar su programa. Por consiguiente, para beneficiarse de una eva-
luacin usted debe formular las siguientes preguntas referentes a la manera en que se utilizar la informacin.
Qu lecciones se aprendieron de la evaluacin?
Qu se debera hacer en forma diferente a raz de los hallazgos de la evaluacin?


Cmo vencer la resistencia a la evaluacin
A menudo los administradores y encargados de formular polticas ven la evaluacin como una amenaza en lugar
de una herramienta til. Al realizar cualquier tipo de evaluacin, se debera pensar con anticipacin acerca de
las reas de resistencia potencial y tratar de solucionarlas antes de comenzar la evaluacin. Generalmente se
pueden encontrar soluciones relativamente fciles para estos problemas potenciales. La siguiente tabla propor-
ciona algunas sugerencias con respecto a la manera de evitar cualquier resistencia potencial a la evaluacin.




39







Cmo decidir si se debe realizar una evaluacin interna o externa

La presente edicin ha tomado como punto central la importancia de realizar evaluaciones internas, participa-
tivas por usted en su calidad de administrador as como por el personal a su cargo. Sin embargo, existen opor-
tunidades en las que es til e importante realizar una evaluacin externa, como cuando usted desea aprender
acerca del impacto de su programa en el largo plazo, en relacin con la poltica y el programa nacional ms
amplio. A continuacin se resumen algunas de las ventajas y desventajas de realizar evaluaciones internas y
externas.
40




Para asegurarse de que la evaluacin se convierta en una actividad regular y aceptada en su organizacin y sea
un instrumento participativo y til para su personal y organizacin, es importante seguir unos cuantos pasos
simples. Primero, la planificacin de las evaluaciones debera convertirse en un elemento regular del proceso
de planificacin e implementacin de programas a nivel de su organizacin. La evaluacin debera considerarse
como parte esencial de este proceso, de modo que al igual que se elaboran planes para implementar sus pro-
gramas, tambin se elaboran planes para evaluar el proceso y el impacto de las actividades del programa.
Segundo, cuando usted planifica y realiza una evaluacin, debera emplear todos los datos disponibles primero,
antes de siquiera considerar llevar a cabo cualquier esfuerzo especial de recopilacin de datosa menudo caro
y que requiere de mucho tiempo, como ser la realizacin de cualquier tipo de encuestas especiales.
Finalmente, al llevar a cabo evaluaciones internas es importante recordar que se deben enfocar las soluciones y
acciones que mejorarn sus servicios y la administracin del programa, en lugar de solamente centrar su aten-
cin en revelar y responder a los problemas inmediatos identificados en la evaluacin. Es su responsabilidad
asegurarse de lograr que los hallazgos de una evaluacin sean bien utilizados, para mejorar tanto las activida-
des especficas de su programa como los aspectos administrativos en general, as como la efectividad y eficien-
cia de su organizacin y sus programas.

41



Actividades de la sptima semana
Individuales
1. Realice la lectura de la semana.
2. Visite una institucin gubernamental o no gubernamental, identifique quines podran ser los usuarios de la
informacin en su sistema de monitoreo y evaluacin.
3. Actualizar su diario de aprendizaje.
Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institucin, luego
elabore una propuesta comn para compartirla con el resto de la clase.
42

Autoevaluacin
1. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos?
2. Qu ideas tena usted acerca del uso que puede hacerse de la informacin?
3. Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin?
4. A qu le motiva la lectura anterior?















































43

OCTAVA
LECTURA
Herramientas para el monitoreo y la evaluacin
Instrumentos y tcnicas para construir evidencia emprica
La construccin de la evidencia emprica supone recolectar informacin que nos permita responder las pregun-
tas de la evaluacin y cumplir con los objetivos de la investigacin evaluativa. Para eso, el/la evaluador/a tiene
que seleccionar y disear los instrumentos que utilizar para recolectar informacin sobre su objeto.
En esta instancia, existe un amplio abanico de instrumentos y tcnicas a disposicin del evaluador o evaluadora.
Una de las claves es reconocer cul es la ms apropiada.
Para la eleccin de los instrumentos y herramientas deben tenerse en cuenta los objetivos de la evaluacin, los
recursos disponibles y los tiempos establecidos para su desarrollo. En este sentido resulta til preguntarse:
Cul es el mejor instrumento de recoleccin para cada indicador?
Cules de esos instrumentos son factibles de ser aplicados en esta evaluacin particular?
A continuacin, se presenta una ficha que describe cada uno de los formatos propuestos.

Ficha 1.
Encuestas
Qu son y para qu se utilizan?
Las encuestas son un instrumento para recolectar informacin. Puede aplicarse a cualquier tipo de evaluacin
(Cohen y Franco, 1988). Proporciona datos cuantitativos y permite su comparacin. Adems, facilita la sistema-
tizacin de la informacin proporcionada por un gran nmero de actores. En este caso, el cuestionario cuenta
con un nmero fijo de preguntas y, muchas veces, las respuestas deben ajustarse a una cantidad prefijada de
opciones. Este factor facilita la organizacin de la informacin, pero tambin puede generar que se pierdan de
vista otras respuestas posibles.
Pasos para disear e implementar una encuesta:
1. Esclarecer qu informacin se espera obtener.
2. Determinar quines sern los/as encuestados/as. Para eso es necesario definir tanto el universo como la
muestra. El universo es el conjunto de todos los actores que son objetivo de la encuesta; la muestra es el
pequeo grupo al que el/la evaluador/a decide encuestar. En un grupo pequeo, la muestra y el universo
son iguales. Pero en grupos grandes puede ser necesario elegir a partir de criterios que garanticen que la
totalidad del universo estar representado.
3. Redactar el cuestionario. Puede tener preguntas abiertas y/o cerradas. Las preguntas abiertas permiten
al/la encuestado/a desarrolla sus opiniones; las cerradas habilitan una cantidad limitada de respuestas po-
sibles. Una pregunta cerrada se utiliza, por ejemplo, para obtener informacin factual, valorar el acuer-
do/desacuerdo respecto de una propuesta o conocer la postura del encuestado o encuestada respecto a un
determinado juicio.
4. Aplicar el cuestionario. Para aplicarlo es necesario contar con un tiempo y un espacio apropiado para que
los/as encuestados/as puedan responderlo. Adems, se necesita un/a aplicador/a que distribuya el cues-
tionario entre los/las encuestados/as. Los cuestionarios pueden realizarse tambin en lnea, a travs de
aplicaciones gratuitas.
44

5. Sistematizar los resultados. Finalmente, el evaluador o evaluadora deber sistematizar los resultados para
poder utilizar la informacin. Las herramientas en lnea que permiten hacer encuestas suelen incluir tam-
bin modalidades para sistematizar la informacin y la opcin de sistematizar y descargar los resultados.
Encuestas o entrevistas?
Para redactar un cuestionario es necesario conocer, al menos, el contexto en el cual ser implementado y algu-
nas de las hiptesis sobre la potencial informacin que se desea obtener. En este sentido, en contextos explora-
torios se recomienda optar por la realizacin de entrevistas a los actores. La planificacin y organizacin de una
encuesta insume, en general, mayor cantidad de tiempo que las entrevistas y el proceso puede extenderse ms
de lo previsto.
Preguntas tiles para revisar un cuestionario
Una vez terminado el cuestionario, quien lo construya debe preguntarse.
Las preguntas permitirn generar toda la informacin buscada?, son necesarias todas las preguntas del cues-
tionario?, todos/as los/as encuestados/as comprendern cada una de las preguntas?, los/as encuestados/as
aportarn informacin exacta?, la extensin del cuestionario es adecuada para los/as encuestados/as.
Se sugiere hacer una prueba piloto: aplicar el cuestionario a actores con un perfil similar a los de nuestra mues-
tra para detectar potenciales obstculos o errores en su construccin.

Ficha 2
Entrevistas individuales
Qu son y para qu se utilizan?
La entrevista es una forma especial de encuentro cara a cara entre el evaluador o evaluadora y el entrevistado
o entrevistada. Es una herramienta no tan compleja, que requiere recursos moderados. Sin embargo, para ob-
tener la informacin pretendida, es necesario interiorizarse antes sobre el tema y planificar el encuentro. A
travs de las entrevistas es posible recabar informacin cualitativa que recupere la perspectiva de los actores
sobre distintos tipos de cuestionarios, hechos especficos, procesos, anlisis, propuestas, reacciones a las prime-
ras hiptesis de los evaluadores o evaluadoras, entre otras.
La entrevista es un instrumento flexible, ya que la persona que entrevista, puede indagar sobre varias reas
problemticas a travs de la seleccin de informantes y mediante preguntas diversas, que se muevan de lo pla-
nificado. Las principales limitaciones de est mtodo radican en el peligro de una eleccin sesgada de infor-
mantes, que atente contra la validez de los resultados.
Pasos para el diseo e implementacin de una entrevista
1. Esclarecer qu informacin se espera obtener.
2. Determinar quines son los actores clave que brindarn la informacin que se necesita.
3. Construir la gua de entrevista. La entrevista puede ser dirigida o semidirigida. En el primer caso, se aplica
la gua de entrevista de manera estricta. La persona que hace la evaluacin, ser responsable de realizar
las preguntas, una tras otra y no se pueden proponer de una u otra parte- temas imprevistos. Este tipo de
entrevistas permite optimizar el uso del tiempo y focalizar a los/as entrevistados/as en cuestiones puntua-
les, predefinidas por el/la entrevistador/a. La evaluacin semidirigida, por su parte, cuenta tambin con
una gua de entrevista, pero este guin es flexible y est abierto al surgimiento de temas imprevistos en
ambas partes. Esta gua puede complementarse tambin con preguntas aclaratorias o profundizadoras de
los temas que el/la entrevistador/a considera ms importantes.
45

La entrevista semidirigida requiere mayor experiencia por parte de la persona que realiza la entrevista. El
listado de preguntas est compuesto por todos los temas y las preguntas que se desean abordar durante la
entrevista.
4. Aplicar las entrevistas. A la hora de realizar una entrevista, debe destinarse un primer momento a la gene-
racin de confianza entre los entrevistados y entrevistadores. All el entrevistador/a puede compartir con
su interlocutor/a los objetivos de la entrevista y el tiempo aproximado de duracin. Si se desea grabar la
conversacin, es esencial pedir permiso antes de encender el dispositivo de grabacin. Luego el entrevista-
dor comienza a preguntar con mayor o menor nivel de flexibilidad, segn si se plane una entrevista semi-
dirigida o dirigida.
La entrevista finaliza con un agradecimiento al interlocutor/a. Adems de la grabacin o las notas de la en-
trevista, el entrevistado o entrevistadora puede recolectar informacin sobre la situacin de la entrevista,
reacciones del interlocutor no identificables a travs de la grabacin, etc.
Encuestas, entrevistas o grupos focales?
A diferencia de la encuesta, las entrevistas permiten indagar la perspectiva de los actores y recuperar la diver-
sidad de puntos de vista. Adems, constituyen la opcin ms adecuada si el evaluador tiene poco conocimiento
sobre el contexto. En contraste con los grupos, la entrevista es personal y, en este sentido, permite abordar
cuestiones conflictivas o menos explicitas a nivel grupal. En algunos casos, se ve limitada por la capacidad de
expresin de la persona entrevistada.

Ficha 3
Grupos focales
Qu son y para qu se utilizan?
Es un tipo de entrevista particular en la que se trabaja con un grupo en simultneo. Se organiza la interaccin
entre un conjunto determinado de personas y sobre un tema especfico de inters para la persona evaluadora.
Esta discusin es guiada por la persona entrevistadora, ya que se busca recolectar la informacin producida
durante la interaccin y el debate, adems de perspectivas y experiencias grupales. Cuando se agrupa a actores
con posturas diferentes, se habilita la expresin y la posibilidad de explicar los distintos puntos de vista y tam-
bin la profundizacin de sus opiniones. Est dinmica grupal es registrada y luego sistematizada para su anli-
sis. El grupo focal es la nica herramienta que sirve para analizar y confrontar la informacin con varios actores
clave en simultneo.
Pasos para el diseo e implementacin de un grupo focal
1. Seleccionar el tema y los sub temas que iniciarn y guiarn el grupo focal.
2. Seleccionar y convocar a los actores que participarn. Se debe prestar especial atencin a este punto ya
que, si bien es recomendable que el grupo de participantes sea homogneo en trminos de cdigos cultura-
les y categoras socio profesional, no es til tener muchas experiencias parecidas. Se recomienda que el
grupo focal se organice con un mnimo de ocho y un mximo de quince participantes, para que todos y to-
das puedan participar.
3. Realizar una gua que oriente las intervenciones de la persona moderadora. Esta gua es un listado de inter-
rogantes o temas problemticos a ser tratados durante la discusin.
Las preguntas deben ser abiertas, promover la diversidad de opiniones y la justificacin de posturas para
abrir la discusin. Tambin se pueden utilizar otros elementos para motivar el debate como videos, imge-
nes, fragmentos de documentos o situaciones ficticias creadas para la ocasin. Para la gua, se recomienda
prever momentos recreativos, es decir, lapsos en los que se espera que los y las participantes reaccionen
frente a estmulos propuestos por la persona moderadora y otros proactivos, en los cuales los participantes
46

sern quienes promueven un tema o discusin. En este sentido, la gua debe ser flexible y permitir estos
momentos, siempre que sean pertinentes y relevantes.
4. Implementar el grupo focal. Durante la implementacin se debe prever un primer momento destinado a
presentarles la actividad a los y las participantes y explicarles su dinmica y objetivos; un segundo momen-
to para realizar la discusin guiada y un momento final para las conclusiones y reflexiones finales.
5. Sistematizar la sesin de grupo focal. Nombrar a una persona para que documente, registre y luego siste-
matice lo realizado durante el grupo focal.

Grupos focales o entrevistas?
La principal diferencia entre las entrevistas y los grupos focales, es la cantidad de personas involucradas. No
obstante, el grupo focal no es la suma de entrevistas individuales, sino que se centra en un tema nico, a partir
del cual se busca profundizar, confrontar y justificar posiciones, adems de estimular nuevas ideas. En esta
herramienta, el foco est puesto en la interaccin y el debate. Con respecto a los actores principales, se reco-
mienda entrevistarlos en forma individual. A la hora de confrontar hiptesis sobre problemas relevantes, los
grupos focales pueden proporcionar informacin muy relevante. Sin embargo, est tcnica tiene algunas des-
ventajas: por ejemplo, las discusiones pueden reflejar normas sociales ms que comportamientos reales, preci-
samente porque los participantes estn respondiendo en pblico.

Ficha 4
Datos secundarios
Qu son y para qu se utilizan?
Los datos secundarios son la fuente ms econmica para conseguir informacin. En este caso, se utiliza la in-
formacin construida por otros. Al no estar diseados para el objetivo de la evaluacin, los datos pueden resul-
tar insuficientes o inadecuados; sin embargo, muchas veces es la mejor opcin para acercarse a un tema con
pocos recursos. En general las fuentes secundarias son datos cuantitativos, pero tambin puede tratarse de
datos cualitativos. Las fuentes secundarias pueden ser de tres tipos.
Datos que existen, pero que no estn publicados. Muchos son recolectados regularmente por organismos
pblicos y otros ad hoc para una poltica, programa o proyecto. Por ejemplo pueden ser datos recolec-
tados por centros de salud, escuelas, centros comunitarios o antroplogos entre otros.
Informes publicados por agencias del gobierno, organismos internacionales, universidades, organizacio-
nes sin fines de lucro o empresas.
Informes previos de la poltica, programa o proyectos a evaluar. Informes del proyecto, pero tambin
otros documentos (como artculos, actas de reuniones, etc.). El propsito de la revisin de la documen-
tacin es comprender mejor la historia y la evolucin del proyecto.
Pasos para el correcto uso de datos secundarios
1. Es necesario detectar, primero, qu tipo de datos estn disponibles y, entre ellos, seleccionar los que ms
se acercan a la informacin que se busca recopilar.
2. Detectar el objetivo para el cual fue producida la informacin. Esto permite tener en cuenta cun cerca o
lejos se encuentra de lo que se busca.
3. Recolectar y, de ser necesario, volver a sistematizar los datos obtenidos para el objetivo que se busca.
47

Se sugiere tener en cuenta la antigedad de los datos y la escala del anlisis. Es decir, si los datos fueron
producidos en el nivel nacional, regional, departamental, municipal o local y cuanto se acercan o alejan de
la escala donde se implementar la poltica, programa o proyecto a evaluar.

Ficha 5
Observacin participante
Qu es y para qu se utiliza?
La observacin es uno de los principales modos de conocer y acercarse a una cuestin. Su propsito es obtener
informacin sobre lo que las personas hacen, formularse nuevas preguntas, plantear hiptesis explicativas, veri-
ficar datos y priorizar cuestiones clave que puedan ser luego profundizadas, por ejemplo, a travs de entrevis-
tas o grupos focales. En la evaluacin, la observacin participante se enfoca en la implementacin de una pol-
tica, programa o proyecto dentro de su contexto de aplicacin.
Aunque uno de los beneficios principales de la observacin es la posibilidad de acceder a los hechos de manera
directa (y no a travs del discurso de otros actores), es cierto que la presencia de un agente extrao siempre
altera, en alguna medida, las interacciones y los comportamientos de los actores observados.
Pasos para el diseo e implementacin de una observacin directa
1. Definir el objeto a observar, as como el momento propicio para realizar la observacin.
2. Desarrollar una gua de observacin que funcione a modo de checklist e incluya una columna que permita
realizar comentarios y desarrollar temas relevantes.
3. Pactar con los actores a observar los tiempos de la observacin.
4. Realizar la sesin de observacin.
5. Sistematizar la informacin recabada y elaborar conclusiones.
Observaciones u otros instrumentos?
La observacin es una tcnica que requiere menos tiempo y capacidades especficas que otros instrumentos.
Puede ser utilizada por cualquier persona evaluadora. Una de las principales ventajas es que se puede obtener
informacin independientemente del deseo de proporcionarla y de la capacidad y veracidad de las personas que
integran el grupo o comunidad a estudiar. De esta manera, se evitan posibles distorsiones. Se trata de un pro-
cedimiento que permite estudiar los hechos dentro de una situacin contextual.
Como contraparte, quien observa no es una mquina que registra de manera neutra, asptica y desapasionada
todo lo que se pone bajo su mirada. Es necesario, entonces, adquirir la capacidad para distinguir entre los
hechos observados y su interpretacin. Otra de las dificultades de esta tcnica es la posible influencia de quien
observa sobre la situacin que es motivo de investigacin. Se recomienda que las observaciones sean comple-
mentadas con otros instrumentos de recoleccin, tanto para corroborar las hiptesis realizadas como para con-
traponer percepciones de los actores a los hechos observados.

Ficha 6
Lista de control con preguntas
Qu es y para qu se utiliza?
Una lista de control (por lo general, con preguntas) es un instrumento sencillo que puede ser utilizado para
apoyar la difusin de prcticas de monitoreo estructuradas y estandarizadas. Dichas listas pueden ser utilizadas
y comparadas en momentos diferentes y representan un instrumento prctico para ayudar al equipo a familiari-
zarse con los temas del proyecto y, por lo tanto, a volverse ms rpido y efectivo.
48

Estas listas suelen ser diseadas segn necesidades especficas, aunque pueden ser adaptadas y usadas para
proyectos diferentes en contextos similares. En todo caso, deben ser preparadas por personas con un profundo
conocimiento de los temas especficos. El equipo del proyecto puede utilizarlas como una gua para las entrevis-
tas o conversaciones informales y no debe tener ningn tipo de restriccin para investigar o plantear temas no
incluidos desde el principio. Las listas de preguntas pueden prever respuestas a preguntas cerradas (si/no) o a
preguntas con respuestas abiertas.
Pasos para la realizacin de una lista de control
1. Detallar los tems que sern monitoreados.
2. Redactar preguntas que puedan ser respondidas con s o no para cada uno de los tems.
3. Consensuar los tems seleccionados con todos los actores que harn uso de la lista de control.

Por qu utilizar una lista de control?
La principal ventaja de esta herramienta es su sencillez. Es fcil de confeccionar y utilizar. Adems, si el moni-
toreo es realizado por distintos actores, permite estandarizar la informacin y procesarla con mayor facilidad.

Ficha 7
Anlisis de las partes interesadas
Qu es y cmo se utiliza?
El anlisis de las partes interesadas puede ser fundamental a la hora de identificar a aquellos actores que se
deban involucrar en el proceso monitoreo y evaluacin o para definir la mejor manera de formalizar la informa-
cin relevada. Puede ayudar tambin a identificar los conflictos potenciales o en curso y evidenciar las vas para
enfrentarlos. Se suele utilizar en procesos de evaluacin ex ante, ya que permite el juego de actores en el que
se ejecutar la poltica, programa o proyecto. Hay varias partes interesadas que pueden tener un papel impor-
tante en un ejercicio de monitoreo y evaluacin, entre ellas, el equipo del proyecto, los o las titulares o grupos
meta del proyecto, los grupos excluidos de los beneficios del proyecto, los informantes clave, los donantes, etc.
Pasos para realizar el anlisis de las partes interesadas
1. Utilizar las herramientas necesarias para obtener la informacin sobre los actores vinculados al proyecto y
sus intereses y expectativas sobre la poltica, programa o proyecto. Para eso, se pueden utilizar documen-
tos de la intervencin, entrevistas a actores relevantes u observaciones participantes.
2. Realizar una matriz donde se incluyan todos los actores detectados, su vinculacin con la poltica, programa
o proyecto, sus intereses y expectativas (explicitas o implcitas) y una jerarquizacin de su poder. Esta
ltima columna implica destacar la capacidad del actor para obstaculizar o vetar la ejecucin del proyecto
(Estvez, 1999)
3. Realizar inferencia a partir del anlisis de la matriz. Cun complejo es el espacio social en el que se im-
plementar la poltica, programa o proyecto? qu dificultades podran interponer los actores para su im-
plementacin? qu cuestiones deben tenerse en cuenta para cumplir con las expectativas de los actores
ms relevantes?
Por qu realizar un anlisis de las partes interesadas?
En toda decisin pblica hay grupos e instituciones con demandas, intereses y capacidades polticas y econmi-
cas diferenciadas. Segn el tema del que se trate, los intereses que se diriman y cmo se organicen y relacionen
los grupos interesados, se producirn alianzas o conflictos (Estvez 1999).
49

Por eso, durante la evaluacin ex ante resulta fundamental el anlisis de los actores interesados. Sin embargo,
como toda esquematizacin, puede tener sesgos y limitaciones. Por eso, cuando se utiliza esta herramienta es
importante triangular la informacin, hacer presentes las voces de los actores diversos, con distintas vincula-
ciones e intereses respecto de la poltica, programa o proyecto.

Ficha 8
Tcnica Delphi/panel de expertos/as
Qu es y para qu se utiliza?
La tcnica Delphi o panel de expertos busca respuestas consensuadas a cuestiones especficas, es decir que
potencia la generacin de acuerdos entre diversas subjetividades.
Los informantes deben ser expertos en los temas a indagar. Por eso, la condicin sine qua non para que se pue-
da realizar este proceso es la calidad y pertinencia de los profesionales que se convoca.

Pasos para la realizacin de un panel de expertos/as
1. Seleccionar a los expertos. Es el paso que prcticamente determina el xito o el fracaso de la tcnica. Se
sugiere que los expertos convocados tengan una combinacin de experiencia profesional, independencia
respecto del programa que se va a evaluar y capacidad de trabajo en equipo. El nmero ideal de exper-
tos/as oscila entre 10 y 30, pero puede realizarse tambin con 5.
2. Pactar modelo de trabajo del panel. No existe un nico modo de trabajo, puede ser presencial, semi pre-
sencial o a distancia. Lo ms importante es que la metodologa de trabajo sea acordada con todos los parti-
cipantes y presentada de manera explcita a cada uno.
3. Construir consensos. El resumen de los juicios de los expertos (en las formas de evaluaciones cuantitativas e
informes escritos) se provee, como retroalimentacin, a los mismos expertos, quienes evalan sus opiniones
a la luz de esta nueva informacin. En ese marco, tiende a emerger un consenso de grupo.
Tcnica Delphi u otros instrumentos?
La principal ventaja de esta herramienta es la credibilidad de las conclusiones, asociada a la experiencia de los
profesionales, pero tambin su independencia con respecto al programa evaluado. Sin embargo, esta tcnica
tiende a omitir las opiniones minoritarias y a suavizar las conclusiones.

Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados?
Los resultados de una evaluacin o monito-
reo son relevantes tanto para los actores
involucrados en la poltica, programa o
proyecto como para aquellas personas
interesadas o implicadas de formas menos
directas.
Existen muchos canales posibles para presentar los resultados del M&E. Como en cualquier tipo de comunica-
cin, estos deben estar muy relacionados con las caractersticas de los destinatarios de la informacin.
Por tanto, a la hora de elaborar un informe de evaluacin es importante definir:
A quin estar dirigido? Para algunas audiencias, un solo enfoque puede ser suficiente. En otros casos,
ser necesario elaborar distintos informes para asegurar que el mensaje llegue a toda la audiencia ob-
jetivo.
50

Cul es el objetivo de esta comunicacin? Los objetivos pueden ser: informar, convencer, rendir cuen-
tas o promover el aprendizaje y la discusin entre los actores. De acuerdo con los objetivos, se disear
el mensaje para que cumpla con alguna o varias de estas funciones: funcin informativa; funcin pre-
ventiva y correctiva; funcin de autoevaluacin o funcin de intercambio.
Con qu recursos se cuenta? Es necesario considerar los recursos disponibles: presupuesto, personas
que pueden desempear la tarea y tiempo para hacerlo. La comunicacin puede ser desarrollada por el
personal involucrado en la poltica, programa o proyecto, o se puede hacer en colaboracin con exper-
tos externos.
A partir de las respuestas a estas preguntas, ser preciso disear la difusin de los resultados de la evaluacin.
Actividades de la octava semana
Individuales
1. Realice la lectura de la semana.
2. Seleccione los instrumentos que propondr a su grupo para su utilizacin al realizar una evaluacin, indi-
cando las razones del por qu? de su eleccin.
3. Actualizar su diario de aprendizaje.
Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de su propuesta de herramientas a utilizar en el
proceso de evaluacin.
Autoevaluacin
1. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos?
2. Por qu es importante elegir las herramientas adecuadas?
3. Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin?
4. A qu le motiva la lectura anterior?












51

NOVENA Y DCIMA SEMANAS
El uso de modelos lgicos para una evaluacin de programas sociales
Lectura
Por qu son tiles los marcos y modelos?
Cuando se planica un programa, puede ser til trabajar dentro de un modelo o marco estructurado. Los mar-
cos son bsicamente herramientas de planicacin, que pueden ser usados para ayudar a congurar las ideas y
la estructura en que se apoyan la planicacin y evaluacin de proyectos. Los marcos ayudan a crear y aclarar
las teoras, los supuestos y las actividades del proyecto, garantizando as que el proceso de evaluacin sea ms
ecaz, transparente y directo.

Qu caracteriza a una evaluacin bien hecha?
Las evaluaciones bien hechas demostrarn los siguientes aspectos:
Metas, objetivos y plazos claros.
Participacin de los beneciarios del proyecto en la planicacin y el seguimiento y evaluacin del
mismo.
Entendimiento y apropiacin comunes de los objetivos del proyecto, y la manera en que se han de al-
canzar por parte de los interesados y copartcipes.
Proceso de acopio y anlisis de datos manejable y realista. Mientras ms complejos sean los instrumen-
tos y mtodos utilizados, mayores son las probabilidades de que fallen.
La armonizacin de las herramientas y recursos para el acopio de datos con otros sistemas existentes.
Los recursos nancieros y humanos apropiados para llevar a cabo el seguimiento y evaluacin en los ni-
veles necesarios. Cuando la capacidad tcnica no es adecuada, el diseo del programa debe compren-
der formacin y asistencia tcnica.
Pertinencia y transparencia. El seguimiento de los programas debe ser realizado de forma transparente
y los datos deben ser generados y posedos por la comunidad.
Retroinformacin adecuada para apoyar los procesos de planicacin y proyectos futuros.
El seguimiento y evaluacin deben ser culturalmente apropiados y corresponder a las normas ticas es-
tablecidas en las directrices locales y nacionales.

Etapas de establecimiento y planicacin del proyecto y su evaluacin

Elaboracin de un marco de evaluacin El presente manual recomienda planicar e ini-
ciar el seguimiento y la evaluacin desde el comienzo del proyecto
Se recomienda usar el marco de modelo lgico (presentado en la Seccin 3) para ayudar a planicar y llevar a
cabo las etapas siguientes.
Las principales etapas son:
1. Determinar los resultados
Determinar los resultados a corto y largo plazo a partir de las metas y objetivos del proyecto.
En este punto debe recordarse la necesidad de actuar con realismo. Al tratar de obtener fondos puede caerse
en la tentacin de ambicionar ms de lo que se puede hacer. Ello puede dar lugar ms tarde a una percepcin
de fracaso, en tanto que una gran parte del trabajo positivo y bene ioso se pierde debido a que se han jado
objetivos inapropiados.
52

2. Indicadores
Para cada uno de estos resultados, determine los indicadores que se pueden utilizar para demostrar si se han
obtenido esos resultados.
3. Mtodos de evaluacin?
Establezca estrategias para asegurar que el proyecto est sometido continuamente a evaluacin y examen.
4. Quin realizar la evaluacin?
Decida quin realizar la evaluacin; puede ser conveniente que diversos grupos de personas lleven a cabo dis-
tintas partes de la evaluacin. Por ejemplo, el personal del proyecto puede encargarse de un aspecto del traba-
jo y los miembros de la comunidad, de otro. Considere la manera en que la comunidad ser incorporada al an-
lisis.
5. Herramientas de evaluacin
Determine las herramientas de evaluacin apropiadas
para recopilar los datos necesarios.
6. Lista de control de la evaluacin
Aplique la lista de control de la evaluacin que gura al
nal de la presente Seccin, y asegrese de que se ha
contemplado cada punto.
7. Establecimiento de prioridades
Establezca prioridades y sea realista. Asegrese de que
todo lo que hace es til y tiene un propsito, y de que el
personal del proyecto comprende cabalmente los moti-
vos de la evaluacin.

El modelo lgico de programa Qu es?
Qu son los modelos lgicos de programa?
Los modelos lgicos han sido descritos de diversas maneras y con distintos nombres:
un marco lgico
una herramienta de planicacin
un marco para ayudar a explicar y registrar cmo funciona el programa y las teoras y supuestos que lo susten-
tan
un modelo sensible que muestra la manera en que se supone debera funcionar el proyecto
un modelo para sealar las relaciones lgicas entre los diferentes componentes del proyecto; ayuda a ofrecer
un panorama simplicado de toda la intervencin
El modelo vincula los resultados (a corto y largo plazo) con los procesos y las actividades y con los supuestos
tericos en que se basa el programa. El modelo proporciona un marco de planicacin, que subraya la manera
en que se espera que se desarrolle el programa, y en qu orden escalonar las actividades, y observa la forma en
que se logran los resultados. Incluye un anlisis de los insumos necesarios para mantener el proyecto en funcio-
namiento, y puede contribuir a la elaboracin de los indicadores que se utilizarn para seguir los avances del
proyecto hacia las metas y resultados previstos.
Los componentes habituales de un modelo lgico de programa se indican en el siguiente diagrama.
53




Cules son las ventajas de la utilizacin de un modelo lgico de programa?
Utilizar este tipo de sistema tiene muchas ventajas, que van ms all de la elaboracin de un marco de evalua-
cin coherente.
Entre los benecios observados guran:
Planicacin y diseo del programa
Elaborar un modelo lgico ayuda a aclarar el razonamiento y a examinar las actividades y los resultados respec-
to de las metas y objetivos del proyecto. Una vez que el proyecto est en curso de ejecucin, el modelo puede
utilizarse como herramienta para garantizar que las actividades estn correctamente orientadas y proceder a
las recticaciones necesarias.
Fomentar la apropiacin conjunta y el compromiso con las metas del proyecto
Lo ideal, es que las primeras etapas de la elaboracin del modelo lgico se aborden como un ejercicio conjunto,
con la participacin de todos los protagonistas fundamentales del diseo y la ejecucin del proyecto. Entre ellos
se cuentan el personal del proyecto, los nanciadores, los representantes de la comunidad interesada y otros
agentes clave de la infraestructura comunitaria local. El trabajo conjunto desde una etapa temprana ayudar a
establecer relaciones de trabajo productivas y nociones comunes entre los diferentes interesados.
Adems, permite promover una visin y comprensin compartidas de las teoras y supuestos en los que se basa
el proyecto.
54

Revisar los supuestos en que se basa el proyecto
En proyectos comunitarios complejos destinados a producir cambios mediante diversos cauces entre los parti-
cipantes del proyecto, los mecanismos que intervienen en el logro de cada resultado previsto y las teoras que
subyacen al proyecto, son a menudo oscuros para el personal del proyecto. El modelo lgico debera ayudar a
todos los que intervienen en el proyecto (particularmente su personal y la poblacin interesada) a comprender
los mecanismos previstos para inducir el cambio.
Un anlisis detallado, que examine cada aspecto de la actividad del proyecto y de los impactos previstos, dar
lugar a intervenciones ms ecaces y dirigidas apropiadamente. Esta etapa es adems una buena oportunidad
para aclarar deniciones bsicas que pueden prestarse a confusiones y equvocos, tales como la autonomizacin
y la participacin.
Evaluacin permanente El modelo
ayuda a centrarse en cada componente
de la actividad del programa.
Las partes individuales pueden desglo-
sarse en actividades y vinculadas a re-
sultados que puedan evaluarse indepen-
dientemente, registrando los avances
hacia los resultados provisionales y a
largo plazo. De esta manera se estable-
cen mecanismos slidos para medir los
resultados. Qu ocurre? Qu es lo que
surte efectos? Para quin? El modelo
permitira al equipo del proyecto detec-
tar los obstculos que impiden que el
proyecto funcione de manera ptima.
Tambin le brinda la posibilidad de
valorar la facilidad con la que se podrn medir los indicadores seleccionados.
Adems, el proceso debera ayudar a encontrar las maneras de medir los resultados ms intangibles (por ejem-
plo, niveles de participacin, grado de autonomizacin, cohesin de los grupos, etc.). Esto permite registrar el
progreso de iniciativas ms complejas e introducir mejoramientos, en base a la nueva informacin que va sur-
giendo.
Participacin
El proceso de elaboracin del modelo se basa en tcnicas participativas que requieren el trabajo conjunto de
los interesados para claricar los fundamentos del programa y las condiciones en las cuales el xito es ms pro-
bable. De esta forma hay ms posibilidades de elaborar los cambios sobre la base del consenso, despus de un
proceso abierto y transparente, y menos sobre la base de personalidades, poltica e ideologa. Se fomenta as
entre los interesados un sentido de pertenencia al proyecto ms fuerte.
Recuerde que el modelo lgico es slo un MODELO. Con el n de simplicar y presentar todo en una sola pgi-
na, usted puede producir modelos lgicos que muestren de modo abreviado las complejidades del programa. Lo
ms importante es que el modelo lgico sea claro y completo para quienes lo utilicen. Para aprehender la teora
del programa, el modelo lgico debe demostrar los vnculos entre los elementos.
Un modelo lgico es un instrumento para mejorar los resultados de un programa. Con frecuencia, el proceso de
elaboracin del modelo lgico es ms importante que el resultado nal. Reexionar sobre las etapas del pro-
yecto, de manera lgica y sistemtica, a menudo ayuda a detectar las insuciencias (estructurales, econmicas
o tericas).
El uso que se piensa dar al modelo lgico determina su nivel de detalle y la informacin que se incluye. Cuando
un modelo lgico se utiliza especcamente con nes de evaluacin, puede adaptarse para hacer ms hincapi
en los resultados. La presentacin y el nivel de detalle pueden ser muy diferentes. Las personas que trabajan en
las comunidades y necesitan medir los resultados pueden desear mostrar ms detalles en la cadena de resulta-
dos y anar los componentes de insumos y productos.
55

Aspectos clave
Considere quines sern los usuarios del modelo lgico. Quin necesita comprender la utilidad y/o el propsi-
to del modelo: usted, su personal, la comunidad, los nanciadores, los administradores, los servidores pblicos.
Elija la representacin grca que ms convenga al usuario y al uso.
Tenga en cuenta que decidir acerca de una imagen nica que exponga la teora del programa es a menudo la
parte ms difcil de la elaboracin y el uso de un modelo lgico. Probablemente, el proceso de elaboracin de
la imagen nal sea ms importante que sta.

Terminologa
Familiarizarse con los trminos que siguen le ayudar a estructurar un modelo lgico.
Visin y meta del proyecto
La visin ms amplia y general es: qu est tratando de hacer por la comunidad? Puede tratarse directamente
de mejorar los niveles de salud y bienestar (que se reejan en ndices ms bajos de morbilidad y mortalidad).
Tambin puede tratarse de educacin o de fortalecimiento de capacidades: elevar los niveles educativos, la
formacin o el bienestar.
Los proyectos comunitarios suelen estar basados en una serie de valores bsicos (por ejemplo, equidad, justicia
social, libertad, participacin).
Puede ser interesante discutir sobre los principales obstculos para alcanzar las metas en el seno del grupo
beneciario.
Pueden intervenir algunos de los siguientes factores:
- desigualdad de ingresos
- situacin y clase social
- nivel de exclusin social y de justicia social
- redes de apoyo social
- educacin
- empleo y condiciones de trabajo
- entorno fsico
- prcticas personales de salud y estrategias de adaptacin
- problemas de desarrollo infantil
- servicios de salud
- nutricin
- funcin de los nanciadores (posible imposicin de limitaciones)
Esta lista puede ser tan larga como quiera. El ejercicio es importante porque pone en perspectiva el gran nme-
ro de variables que pueden tener repercusiones en el proyecto, lo que ayuda a comprender la complejidad de
las intervenciones en la comunidad y el limitado impacto que pueden tener las intervenciones a pequea esca-
la.
Al tiempo que considera su meta ms amplia, es importante centrarse ms especcamente en las prioridades
del proyecto. Para un buen seguimiento de la ecacia del proyecto es fundamental contar con metas y objeti-
56

vos claramente articulados. stos demostrarn cmo se est alcanzando el objetivo general o la visin. Si la
meta, por ejemplo, es reducir la incidencia de la infeccin por el VIH, los propsitos y objetivos pueden referir-
se a un mejor conocimiento de los modos de transmisin, modicar la percepcin del VIH, informar sobre el
cambio de comportamiento o aumentar la autoestima. Las metas y objetivos pueden tambin referirse simple-
mente a establecer la infraestructura necesaria para alcanzar objetivos futuros a ms largo plazo (proporcionar
locales, capacitar al personal, etc.). Las metas y objetivos deben estar directamente relacionados con los indi-
cadores.
Es importante claricar desde el principio la funcin de los nanciadores. Han impuesto obligaciones
especcas, como por ejemplo, actividades de seguimiento, reuniones, participacin en el proyecto? Estas
condiciones alterarn el desarrollo oportuno de las actividades del proyecto?

Insumos
Los insumos son los recursos y contribuciones que usted y otros aportan a la iniciativa. Puede tratarse de tiem-
po, personas (personal, voluntarios, beneciarios, si participan), la comunidad, el dinero, los materiales y el
equipo, los asociados, entre otras cosas.
Los insumos son exibles y pueden variar en estilo y con-
tenido, en funcin del tipo de proyecto emprendido. Por
ejemplo, un proyecto de educacin sobre las drogas nece-
sitar distintos tipos de insumos, segn que tenga su base
en entornos formales (escuelas, centros de jvenes) o est
dirigido ms generalmente a muchachos de la calle o a
grupos transitorios (trabajadores migrantes o de tempora-
da).
Es imposible determinar la importancia relativa de los
insumos. Sin embargo, hay un mbito que a menudo se
pasa por alto por causa de las actividades ms tangibles:
el establecimiento de relaciones de colaboracin slidas y
apropiadas. Los asociados pueden ser organizaciones loca-
les directa o indirectamente relacionadas con la actividad
del proyecto, proveedores de servicios, nanciadores (nacionales e internacionales), autoridades y grupos de
usuarios.

Productos
Los productos son las actividades, servi-
cios, eventos y otros elementos que lle-
gan a las personas (individuos, grupos,
organismos) que participan en el proyecto
o a quienes est destinado.
Los productos son lo que hacemos u ofre-
cemos. Comprenden talleres, servicios,
conferencias, encuestas comunitarias,
facilitacin, asesoramiento local, etc.

Esos productos deben llevar a resultados concretos.


57

Resultados
Los resultados son los efectos, benecios, ventajas o desventajas directos para individuos, familias, grupos,
comunidades, organizaciones o sistemas. Son ejemplos los cambios en el conocimiento, el mejoramiento de las
habilidades, las modicaciones del comportamiento, las capacidades o la toma de decisiones, y la elaboracin
de polticas. Los resultados pueden ser a corto plazo, a medio plazo y a largo plazo. Pueden ser positivos, nega-
tivos, neutros, deliberados o involuntarios, y pueden medirse a lo largo del ciclo de vida del proyecto.
En este modelo los impactos se reeren a las consecuencias o efectos nales del programa. Por ejemplo, una
mayor seguridad econmica, menores ndices de tabaquismo entre los jvenes, o una mejor calidad del aire. En
este caso los impactos son sinnimo de resultados a largo plazo de su meta. Se encuentran en el extremo dere-
cho del diagrama del modelo lgico. Se re eren a los cambios nales, a largo plazo, de las condiciones socia-
les, econmicas, cvicas o ambientales. En el lenguaje comn, los trminos efectos y resultados suelen ser in-
tercambiables.
Al considerar los impactos se deben tener en cuenta no slo los que se procuraba obtener sino tambin los ines-
perados. Un ejemplo de ello son los proyectos relacionados con las diferencias entre hombres y mujeres, desti-
nados a elevar la autoestima y mejorar las posibilidades de estas ltimas para obtener medios de sustento. Los
impactos a largo plazo tendrn relacin con el mejoramiento de la condicin econmica y social de las mujeres.
El resultado de la autonomizacin de stas y el fortalecimiento de su situacin puede ser importante en trmi-
nos de redenicin del equilibrio del poder y la situacin en el hogar, lo que a su vez puede modicar los su-
puestos locales acerca del statu quo.






58

Examinar los supuestos (teora)


Los supuestos son los principios, creencias e ideas que
tenemos acerca del programa y las personas interesadas,
y sobre la manera en que pensamos que el programa
funcionar.
Los supuestos conducen a la creacin de creencias subya-
centes al respecto; son validados gracias a la evaluacin
y la experiencia. Los supuestos subyacen tras las decisio-
nes que hacemos acerca del programa y a su vez inuyen
sobre ellas. Pueden tener relacin con:
El problema o la situacin
Los recursos y el personal
La manera en que funcionar el programa
Lo que el programa espera lograr
La base de conocimientos
El contexto externo
El contexto interno
Los participantes: cmo aprenden, su comportamiento, motivaciones, etc.
Al elaborar un modelo lgico queremos explicitar todos los supuestos que hacemos intervenir. Aun si no se ex-
plicitan todos en el grco, es importante explorarlos y discutirlos.
Considere y aclare sus supuestos relativos a todas las dimensiones de su modelo lgico.
Qu es lo que sabe? Qu es lo que est suponiendo? Siga vericando y aclarndolos a medida que avanza. Los
supuestos errneos o que se han pasado por alto son a menudo una de las razones que explican la falta de resul-
tados. Puede ser til incorporar un ciclo de reexin en el proceso. En otras palabras, el modelo lgico puede
disearse desde el origen del proyecto y ser revisado a intervalos regulares, a n de reevaluar los supuestos
utilizados y examinar lo que ha cambiado y por qu.
Enlaces teora de la accin
Las echas direccionales pueden ser utilizadas
en el modelo lgico para indicar la manera en
que se vinculan los diferentes elementos del
modelo. Las conexiones pueden ser verticales y
horizontales, unidireccionales o bidireccionales,
e indicar los circuitos de retroinformacin.



Son los enlaces, y no solamente los insumos, los productos y los resultados, lo que conere su poder al modelo.
Disear las conexiones es a menudo una tarea larga y engorrosa, pero necesaria. Es lo que nos garantiza que
hemos establecido todas las conexiones lgicas. A veces, a n de simplicar, incluimos solamente los enlaces
primarios, ya que de otro modo el modelo lgico sera muy difcil de leer.
59

Al cabo del proceso, el resultado nal nos remite tericamente al comienzo. Se anticipa que, al concluir el
proyecto, la situacin inicial habr sido transformada. La gran echa de retroinformacin que gura en la
parte superior derecha del modelo lgico tiene por objeto ilustrar esta conexin y la dinmica de la programa-
cin. Algunos preeren indicar el ujo circular del modelo lgico que conecta explcitamente el nal con el
principio. En la prctica, los contextos de programa son dinmicos y cambian constantemente, de manera que
el comienzo rara vez es el mismo.
Muchos calican estos enlaces de relaciones si... entonces.... Leyendo de izquierda a derecha, un modelo
lgico muestra una serie de relaciones si... entonces.... Al elaborar un modelo lgico hay que tener en cuenta
los supuestos implcitos, es decir, cmo se han hecho los enlaces? Son los supuestos realistas y consistentes?
En qu pruebas o hechos fundamentamos los supuestos?
Factores externos
Un programa no existe aislado, fuera o lejos de su entorno. Un programa est bajo la inuencia de factores
externos, sobre los que a su vez inuye. Se trata por ejemplo del medio cultural, el clima, la estructura econ-
mica, las pautas de vivienda, los parmetros demogrcos, el entorno poltico, los antecedentes y la experien-
cia de los participantes en el programa, la inuencia de los medios de comunicacin, las polticas y prioridades
cambiantes. Todos ellos pueden tener importantes efectos en el logro de los resultados, y no pueden ser igno-
rados. Entre los elementos que pueden ser afectados guran:
la ejecucin del programa
la velocidad y el grado de los cambios
los participantes y los receptores
las pautas de personal y de recursos disponibles

Un ejemplo simple es la migracin masiva tras la apertura de una fbrica en la ciudad, que ofrece oportunida-
des de empleo; en ese proceso se puede perder tanto al personal del proyecto como a sus beneciarios.
Inversamente, un proyecto exitoso que promete el desarrollo de medios de sustento sostenibles para los ms
vulnerables puede alentar a ms personas a migrar hacia la zona del proyecto, planteando tal vez ms deman-
das a los recursos del proyecto.
Un ciclo de reexin, podra constituir un foro adecuado para estimar el impacto de los factores externos (tanto
esperados como imprevistos).
Explicar la diferencia entre productos y resultados
Es importante comprender la distincin entre productos y resultados. Los productos designan lo que hacemos.
Los resultados y los impactos se re eren a lo que constituye una diferencia entre la situacin anterior al pro-
yecto y la situacin posterior al proyecto.



60


Anteriormente se haca hincapi en la columna relativa a los productos: lo que hacemos y a quines llega-
mos. Registrar los productos ayuda a informar a los clientes, nanciadores e interlocutores de la comunidad
acerca de la ndole de la actividad del proyecto.
La mayor parte de los proyectos se ocupan en grado razonable de la descripcin y el recuento de actividades y
del nmero de personas atendidas. La cuestin ms difcil se reere a: Cul es la diferencia?. Se trata de una
cuestin de RESULTADOS e impactos.
En algunos modelos lgicos se pueden ver las actividades separadas de los productos, algunas de ellas presenta-
das a menudo antes de stos. En esos modelos, los productos se designan generalmente como los logros o el
producto de la actividad. Por ejemplo, el nmero de talleres efectivamente realizados o el nmero de personas
que escucharon el mensaje de comunicacin. El supuesto es que es preciso realizar la actividad tal como estaba
previsto antes de que puedan ocurrir los resultados esperados.

Qu es la teora programtica?
Un modelo lgico indica la serie de conexiones o relaciones lgicas que se espera lleven con el tiempo a los
resultados deseados.
El modelo es bsicamente un marco o instrumento de planicacin; sin embargo, en el marco hay una serie de
supuestos lgicos que constituyen las bases tericas de la labor del proyecto. Esta base lgica ha sido denomi-
nada teora de accin del programa (Patton, 1997) o teora del cambio (Weiss, 1998).
Una teora del cambio es una descripcin de cmo y por qu se espera que un conjunto de actividades (que
pueden ser parte de un programa muy especco o una iniciativa general) lleven a resultados tempranos, inter-
medios y a largo plazo en un periodo determinado.
Algunos pueden considerar que la nocin de teora es demasiado acadmica, pero en realidad se re ere slo a
lo siguiente:
Expectativas
61

Creencias
Experiencia
Sabidura tradicional

Por ejemplo, la teora en que se basa un programa de intervencin sobre drogas puede consistir en que, si se da
autonoma y educacin a los jvenes sobre el mal uso de las drogas, el proyecto les dar conocimientos y
conanza para decidir no usarlas o para consumirlas de manera menos perniciosa, dndoles as capacidades y
estrategias para seguir distintos rumbos.
Ejemplos de enlaces de un programa de educacin sobre drogas























Un anlisis ms detallado de esas relaciones ayuda a establecer una impresin acerca de su solidez. Por ejem-
plo, en la medida en que un taller sobre drogas sea bien planicado, estructurado y orientado (sus supuestos),
no es irrealista esperar un mayor nivel de conocimiento sobre las drogas al nal de la actividad. Sin embargo, es
un poco ms dudoso esperar que los resultados de los talleres educativos previstos a plazo medio y largo lleven
62

a modicaciones comportamentales o a una salud o situacin econmica mejores. Son numerosos los factores
externos que pueden intervenir, y que se podran sealar como echas que salen del modelo lgico. Por ejem-
plo, algunos factores externos que podran dicultar a los individuos la adopcin de un comportamiento ms
seguro en materia de drogas son los siguientes:
Cmo disear un modelo lgico
El comienzo
Etapa 1: Determinar el propsito del modelo lgico: quin lo utilizar, y para qu?
Por qu est formulando un modelo lgico?
Su objetivo es cumplir un requisito administrativo? Mostrar a sus nanciadores lo que est haciendo? Relle-
nar una propuesta de subvencin? Denir un plan de trabajo? Evaluar su programa? Mejorar la calidad de su
trabajo? Incorporar a todos los interesados en un proceso participativo para obtener comprensin y compromi-
so acerca del proyecto?
Asegrese de que todos los que trabajan en el modelo comprenden su utilidad.

Etapa 2: Incorporar a otros
Quines deberan participar en la elaboracin del modelo lgico?
Quines deberan facilitar este proceso?

Etapa 3: Establecer los contornos del modelo lgico
Qu expresar el modelo lgico?: una actividad nica, especca (por ejemplo, un simple espectculo de
tteres para educar sobre el VIH y el SIDA en un contexto determinado), o una iniciativa ms amplia consistente
en actividades diferentes, pero complementarias? Por ejemplo, una serie de espectculos de tteres, junto con
una distribucin de octavillas y trabajo de difusin en la comunidad a lo largo de varios meses.
Qu nivel de detalle se necesita?
Quin utilizar el modelo lgico? Cmo?

Etapa 4: Comprender la situacin
La informacin necesaria para esta etapa puede obtenerse de la evaluacin de necesidades.

Etapa 5: Escribir un anlisis de la situacin
Ese texto ser el cimiento de su modelo lgico. Estar basado en las siguientes preguntas:
De qu problema o cuestin se trata?
Por qu es un problema? (Cul es la causa del problema?)
A quin se plantea este problema y en qu niveles (individual, domstico, grupal, comunitario, de la socie-
dad en general)?
Quines tienen inters en el problema? (Para quin es importante que se resuelva?)
Qu sabemos acerca del problema, la cuestin o la gente de que se trata? De qu experiencia e investiga-
ciones disponemos?
63


El anlisis de la situacin puede ser un texto anexo del modelo lgico. Es conveniente incluir algunas palabras a
la izquierda del modelo lgico, que expresen la esencia del proyecto. Cul es el problema o situacin?
Con frecuencia diseamos y ejecutamos programas sin considerar y comprender plenamente la situacin. Mien-
tras mejor comprendamos la situacin y analicemos el problema, ms fcil ser elaborar modelos lgicos e
caces.
El anlisis de la situacin constituye la base del resto de su trabajo y sobre la cual se elaborar el modelo lgi-
co. El contexto social del proyecto est abierto a ujos y cambios constantes y por lo tanto debe ser actualiza-
do cuando sea preciso.
El anlisis de la situacin establece un punto de referencia para comparaciones durante la ejecucin del pro-
yecto y para la nalizacin del programa. Una descripcin del problema y sus sntomas proporciona una direc-
triz que permite seguir el avance del proyecto.
Describir a los afectados por el problema ayuda a determinar quines son los beneciados.
Fijacin de prioridades Del anlisis de la situacin se
deriva la jacin de prioridades. Una vez analizados la
situacin y el problema en su totalidad, se pueden jar
prioridades. Rara vez es posible hacer todo, de modo
que es necesario priorizar. En este caso intervienen
varios factores: su cometido, valores, recursos, compe-
tencia, experiencia, historia, lo que sabe acerca de la
situacin y de lo que otros hacen en relacin con el
problema. Las prioridades conducen a la determinacin
de los insumos y resultados deseados.

Etapa 6: Examinar las investigaciones y conocimien-
tos de base
La manera en que produce su modelo depender de la
etapa en que se encuentra su proyecto y de sus cono-
cimientos. Es ms conveniente utilizar un modelo lgi-
co de programa como herramienta para ayudar a
planicar el proyecto (ejecucin, entrega y evalua-
cin), aunque tambin puede ser til si se introduce en
una etapa ulterior de la ejecucin del proyecto.

Etapa 7: Comenzar a rellenar las casillas vacas
Cul es la diferencia a la que aspira al nal del programa con relacin a la situacin anterior? Al escribir su
modelo lgico debe expresar claramente lo que desea conseguir con el proyecto:
64

Conviene dedicar uno o dos das a reunirse con todos los miembros del equipo del proyecto y las partes intere-
sadas. El proceso puede exigir tiempo, pero ser provechoso. Prepare una hoja de papel de gran tamao, hojas
para tomar notas, muchos lpices marcadores de colores, cinta adhesiva para unir listas y diagramas a medida
que desarrolla sus reexiones. Dibuje varios grandes crculos en la hoja y rotule cada uno con los componentes
clave del proyecto que desea examinar. Puede tratarse de:
1. Meta o visin
2. Metas y objetivos del proyecto
3. Actividad: cul es su intervencin proyectada?
4. Productos del proyecto
5. Resultados del proyecto
6. Metodologa de evaluacin
7. Supuestos sobre la meta del proyecto
Cada crculo estar unido de algn modo a todos los dems; usted debe formular los enlaces y conexiones. A
medida que reexiona y discute, anote en su diagrama la nueva informacin.
Recuerde!
No hay una manera correcta o incorrecta de disear un modelo lgico. Experimente y encuentre el proceso
que mejor funciona para usted y su grupo.
Para planicar un programa se recomienda el mtodo de empezar por el nal.
Un modelo lgico es dinmico: modifquelo a medida que cambian su programa, el entorno o la gente.
Dedique intervalos peridicos a la revisin de su modelo lgico, esto es, ciclos de re exin.
65

En gran parte, la utilidad de un modelo lgico reside en el proceso de su creacin, vericacin y modicacin.
En este proceso, de carcter iterativo, los interesados trabajan conjuntamente para claricar los supuestos de
base, las expectativas y las condiciones en las cuales el xito ser ms probable. Recuerde que las principales
partes interesadas son los destinatarios del proyecto.
Los dems interesados pueden ser el personal, los nanciadores, las organizaciones no gubernamentales y orga-
nizaciones anes, y las autoridades locales.

Estructurar y denir su evaluacin
En qu punto se inserta la evaluacin en un modelo
lgico?
El modelo lgico describe su programa o iniciativa,
los resultados esperados y el modo de lograrlos. La
evaluacin le ayuda a saber qu tan satisfactoria-
mente funciona en la prctica su programa o inicia-
tiva. Qu funcion bien, qu fall y por qu? Cmo
hacerlo mejor? De qu manera el modelo lgico
facilita la evaluacin?
Tal vez se pregunta: Por qu dedicar tanto tiempo a modelos lgicos cuando lo nico que necesito es eva-
luar medir resultados y contar mi historia? En ese caso, recuerde:
Efectuar una evaluacin de un programa mal concebido es una utilizacin inecaz de recursos. Los modelos
lgicos pueden ayudar a mejorar la concepcin del programa de modo que la evaluacin sea ms til y ecaz.
Realizar una evaluacin de programas que no estn listos para ser evaluados tambin supone un malgasto de
recursos. Los modelos lgicos pueden ayudar a determinar cules datos sern tiles y cundo es ms oportuno
el acopio de datos.
Para organizar una evaluacin que ponga razonablemente a prueba la teora programtica, debe tener una
idea clara de la reexin terica que sustenta la iniciativa (Weiss, 1998). Un modelo lgico incita a emprender
ese proceso reexivo.
En sntesis, los modelos lgicos facilitan las siguientes tareas:
Qu evaluar? El objetivo
Una de las principales ventajas del modelo lgico es que clarica qu es el programa. Al determinar
lo que se debe evaluar, pregntese:
Qu desea evaluar en particular? Se centra la evaluacin en la totalidad o el conjunto del programa, o en un
componente del programa? Tal vez preera concentrarse en la campaa meditica de su programa de extensin
o en un determinado grupo destinatario.
Los programas son a menudo complejos. Puede que no disponga de recursos sucientes para examinarlo todo, o
no necesite hacerlo. Utilice el modelo lgico para elegir el aspecto especco, el alcance, el componente o las
partes que desea evaluar.
A qu procurar responder la evaluacin?
Las preguntas
Evaluar consiste en hacer preguntas acertadas y crticas, para ayudarnos a aprender y a responder adecuada-
mente. Encontrar las preguntas apropiadas es un aspecto importante de la elaboracin de evaluaciones tiles.
Qu es importante medir? A qu dedicar tiempo y recursos?
Elementos clave para reexionar sobre las preguntas de la evaluacin:
66

No podr medirlo todo, y no lo har. Encontrar respuestas correctas a unas pocas preguntas es mejor que
contestar inadecuadamente a muchas. Recuerde las palabras de Einstein: No todo lo que se puede contar,
cuenta. Ni todo lo que cuenta, se puede contar.
Con frecuencia una evaluacin cobra vida propia. Surge la tentacin de pensar que necesitamos ms y ms
datos. Es importante, empero, mantener la evaluacin lo ms centrada y simple posible. De otro modo, se corre
el riesgo de intentar hacer demasiado y terminar con informacin con la que no se sabe qu hacer. Por ejem-
plo, si est evaluando un programa de educacin sobre el VIH y el SIDA, cercirese de que los datos que acopia
guardan relacin con una serie de objetivos muy concretos relativos a los conocimientos, las actitudes y los
comportamientos relacionados con el tema. Incluir otros tipos de informacin, por ejemplo, sobre otros com-
portamientos saludables (dieta, consumo de medicamentos, pertenencia a grupos comunitarios, etc.), es tenta-
dor, pero puede complicar excesivamente el anlisis nal.
Lo que decida medir depende de quin utilizar los resultados, y con qu nes. Tambin inuyen el tiempo,
el dinero y las competencias disponibles.
Recuerde que es importante evaluar resultados no previstos (esto es, cosas que no previ que sucederan) as
como resultados esperados. Se pueden producir algunos cambios que no se consideran positivos: es tan impor-
tante tomar nota de stos como de los cambios que han sido beneciosos.
Recuerde que la evaluacin debe ajustarse a la etapa en que se encuentra el programa. Por ejemplo:
Puede ser inadecuado evaluar un cambio de comportamiento cuando el programa slo consiste en un nico
seminario o una iniciativa meditica limitada; por ejemplo, no es pertinente intentar medir cambios en la auto-
estima de personas que slo miraron un dibujo animado educativo o asistieron a una clase destinada a padres.
Es preciso saber con la mayor claridad posible lo que usted REALMENTE quiere saber, a n de concentrar sus
esfuerzos.
Las preguntas de la evaluacin que son amplias y vagas, tienden a generar respuestas igualmente vagas que son
difciles de interpretar y poco tiles para la adopcin de decisiones relativas al programa. Sac usted prove-
cho de la sesin educativa sobre el uso indebido de drogas a la que asisti? es un ejemplo de pregunta amplia
de evaluacin. Se le podra conferir ms precisin descomponindola en unidades ms pequeas. Por ejemplo:
Han cambiado las ideas que tena sobre las personas que consumen drogas? De qu modo?
Piensa que una persona que consume drogas es condenable?
Ha cambiado su comportamiento (o es probable que cambie) como resultado de su participacin en el curso?
Aprendi usted nuevas estrategias que puedan ayudar a modicar comportamientos?
Obtuvo alguna otra cosa del curso? (Esto puede no tener que ver con la educacin sobre drogas).

Ejemplo de un modelo lgico con preguntas para la evaluacin
El modelo lgico puede ayudarle a denir preguntas apropiadas para su evaluacin.

67















Indicadores. Cmo sabr si se han alcanzado las metas y los objetivos?

Un indicador es la prueba del fenmeno sobre el que est haciendo preguntas, o informacin que lo representa.
Por ejemplo:
Los indicadores le ayudan a evaluar los progresos en curso del proyecto (indicadores de proceso) y a determinar
si se han logrado o no resultados previstos (indicadores de resultados). Los indicadores de nen los datos que se
acopiarn y deben estar directamente relacionados con las metas y los objetivos esenciales del proyecto. Pue-
den ser vistos (observados), odos (respuestas de participantes), ledos (archivos de una organizacin), sentidos
(clima de la reunin), tocados u olidos. Es la prueba que responde a las preguntas.
Algunos indicadores pueden ser explcitos y fciles de medir; otros son ms complejos.
Las evaluaciones deben incluir siempre una combinacin de indicadores de proceso e indicadores de resultados.

Los indicadores de proceso se reeren a una actividad en curso del proyecto y pueden incluir:
el nmero de personas que asisten a los actos pblicos del proyecto
la nalizacin de la infraestructura vinculada al proyecto (edicios, publicaciones, espectculos, cursos de
formacin, etc.)
el grado de conciencia de la comunidad y la respuesta a las iniciativas en curso
Entre los ejemplos de indicadores de resultados a corto plazo en un programa educativo sobre las drogas pue-
den gurar:
un mayor conocimiento de los efectos del consumo de drogas en la salud
una mayor conanza para encontrar nuevas estrategias para evitar consumir drogas
68


Los indicadores a ms largo plazo pueden comprender:
una disminucin del consumo de drogas
una mejora de salud comprobada
una mayor integracin en la comunidad

Son necesarias consideraciones similares al tratar la transmisin del VIH, cuando es igualmente importante dife-
renciar los indicadores a corto y a largo plazo. Los cambios en los indicadores a largo plazo, como la incidencia
de la infeccin del VIH, no sern perceptibles en el plazo en que se realizan las intervenciones a corto plazo en
la comunidad (y son sumamente difciles de medir). Si bien es importante vigilar la incidencia del VIH, es tam-
bin fundamental ser realista en cuanto al posible efecto de la intervencin programada. Por esta razn, es
imprescindible denir indicadores a corto plazo realistas para lograr una evaluacin efectiva. En el caso de los
proyectos encaminados a reducir la transmisin del VIH, posibles indicadores a corto y mediano plazo pueden
incluir mediciones como las siguientes:
un cambio en las percepciones relativas a las personas con VIH
un aumento de los conocimientos sobre la transmisin del VIH
el nmero de personas que piden pruebas de deteccin del VIH en clnicas locales
el nmero de personas que utilizaron preservativos en el ltimo acto sexual

Los indicadores a corto y mediano plazo en los proyectos educativos sobre drogas pueden incluir:
los cambios en el peligro percibido con respecto al consumo de drogas
un aumento de los conocimientos sobre los efectos secundarios de la droga

Entre los indicadores relativos a la participacin de la comunidad pueden gurar mediciones como el nmero de
grupos de autoayuda existentes en la zona, el nmero de personas que asisten a reuniones de la comunidad, y
otros.
Cabe sealar que los datos correspondientes a los indicadores slo deben acopiarse si tienen un valor y una
utilidad reales para el proyecto. Por ejemplo, slo vale la pena contar el nmero de personas que asisten a un
espectculo de tteres si este ltimo tiene algn efecto signicativo. Puede consistir en un cambio en los cono-
cimientos o el comportamiento de las personas que se cuentan. Es necesario que en los proyectos se comprenda
el valor de los indicadores que se estn recolectando, pues de otro modo stos podran convertirse en una carga
que genera complicaciones suplementarias.
En el caso de indicadores ms abstractos como el aumento de autonoma, estar libre de un uso indebido o con-
trol/eleccin de sustancias, habr que procurar denir criterios antes que efectuar mediciones ms precisas y
cientcas. Al intentar evaluar grados de autonoma, por ejemplo, el primer paso puede consistir en explorar
por qu la autonoma es importante en relacin con los objetivos del proyecto. En un proyecto educativo sobre
las drogas esto puede referirse a dar a las personas los medios para elegir formas diferentes de utilizar su tiem-
po libre; evitar reunirse con usuarios de droga conocidos como tales; o modicar los hbitos de consumo de
drogas, pasando a sustancias menos dainas. Determinar el nivel de conanza y la frecuencia de cambios de
comportamiento como stos puede ayudar a estimar el grado de autonoma alcanzado.
Sea realista en cuanto a lo que puede hacer! Se pueden emplear diversas tcnicas para vericar la informacin
(triangulacin) con el n de descubrir los cambios que ha ocasionado el proyecto en las vidas de los
beneciarios.
69

Los indicadores deberan tener las siguientes caractersticas:
ser directos
ser especcos
ser tiles
ser prcticos
ser adecuados
ser apropiados desde el punto de vista cultural
no ser demasiado numerosos!

Calendario, programacin y recoleccin de datos
Examine su modelo lgico y las preguntas de la evaluacin y decida en qu punto de la trayectoria desear aco-
piar datos. El programa deber haber llegado a una etapa en que esa operacin es a un tiempo posible y e caz.
Por ejemplo, la informacin de la evaluacin sobre quin est participando debe recogerse en cada reunin,
mientras que los datos que responden a preguntas relativas a cambios de comportamiento deberan obtenerse,
en funcin de los indicadores que est midiendo, en la mitad del programa o en algn momento despus de que
haya concluido.
El acopio de datos puede efectuarse en varios momentos:
los datos se examinan durante el ciclo de reexin
al comienzo del programa o durante un evento o actividad especcos
durante la ejecucin
a mediados de la ejecucin del programa
al nal del programa, el evento o la actividad
segn un periodo determinado (cada mes, cada trimestre o anualmente)
despus del programa, para determinar los resultados a un plazo ms largo

Actividades de la novena y dcima semanas

Individuales
1. Realice la lectura correspondiente
2. Busque a un estudiante de Prctica Profesional Supervisada y coordine con el la realizacin del modelo
lgico de su proyecto de intervencin.
3. Actualice su diario de aprendizaje.

Grupales
1. En grupo comparta el avance en la construccin de su marco lgico.
70

2. Presente a su docente un informe semanal del avance.

Autoevaluacin

1. Qu cosas que no saba aprendi con la lectura?
2. Qu aportes hara usted para complementar la lectura y el aprendizaje?
3. Puede sealar al menos tres aspectos que considere importantes, a considerar en la construccin de un
modelo lgico?
4. Qu relacin le encuentra al uso de un modelo lgico y un proceso de evaluacin?























71

DCIMA PRIMERA SEMANA
TEMA
Los pasos de una evaluacin
Objetivos de la semana
Al finalizar el estudio de la sptima semana las y los estudiantes.
Identificarn los principales pasos para realizar una evaluacin.

LECTURA
Paso 1: Identificar y empoderar al gerente de evaluacin

El Rol del Gerente de Evaluacin
El primer paso para llevar a cabo una evaluacin bien planificada consiste en designar una persona como geren-
te de la evaluacin. Esta persona suele ser el gerente del proyecto o el responsable de monitoreo y evaluacin
(M&E), pero podra ser cualquier otra persona con un claro compromiso hacia el proyecto. El gerente de evalua-
cin es responsable de garantizar que se cumplan de manera oportuna las tareas especficas previas a la eva-
luacin. En proyectos ms grandes, con equipos mltiples y varios cronogramas, las responsabilidades de un
gerente de evaluacin se pueden distribuir entre varias personas. Sin embargo, cuando esto sucede, es necesa-
rio definir claramente la nueva distribucin de funciones, y es fundamental que exista una buena comunicacin
entre las personas involucradas.
Ubicacin del Gerente de Evaluacin
Algunas organizaciones desean que el gerente de evaluacin est ubicado en la oficina sede, otros en la oficina
regional, o en la oficina principal del programa de pas donde se implementa el proyecto. Pero mientras la co-
municacin sea confiable (Internet, telfono, etc.), la ubicacin no es tan importante como la capacidad de la
persona para organizar, coordinar y cumplir el trabajo. Sin embargo, si el gerente de evaluacin no se encuen-
tra en el mismo pas en el que se llevar a cabo la evaluacin, es necesario entonces que un miembro del per-
sonal local respalde el proceso, a fin de garantizar una adecuada representacin desde el terreno y una ptima
coordinacin de campo durante toda la evaluacin. Esto ayudar a facilitar la comunicacin entre el equipo de
evaluacin y el personal del proyecto.
Paso 2: Clarificar los lineamientos y expectativas
Determinar los Requerimientos
Generalmente los donantes tienen estndares para las evaluaciones. Las organizaciones implementadoras tam-
bin tienen estndares que a menudo son ms rigurosos. Antes de redactar los trminos de referencia, investi-
gue cules son los requerimientos para la evaluacin. Esto proporcionar la informacin necesaria para el pro-
ceso de evaluacin, incluyendo el calendario de actividades y las destrezas requeridas para el equipo de eva-
luacin. Existen dos documentos donde se pueden encontrar los estndares de evaluacin: la gua original de la
propuesta del donante y el plan de M&E aprobado para el proyecto. Existen adems otros recursos que pueden
brindar informacin sobre aquellos indicadores que los evaluadores necesitarn medir directamente, y aquellos
que requerirn la recoleccin complementaria de datos (tales como encuestas). El personal del proyecto puede
brindar insumos sobre quin puede responsabilizarse de los diferentes elementos (por Objetivo Estratgico, por
ejemplo).

72

Necesidades de Comunicacin
El siguiente paso es convocar a una reunin entre el gerente de evaluacin, el gerente del proyecto y los geren-
tes senior para analizar los requerimientos para la evaluacin. Esta reunin brindar informacin anticipada a
los gerentes senior sobre la asignacin de recursos y una resea de antecedentes, antes de invitarles a revisar
los trminos de referencia de la evaluacin (TdR). Tambin los prepara para otras tareas organizacionales ms
importantes del proyecto.
Paso 3: Elaborar el Borrador de los Trminos de Referencia y el Plan de Trabajo para
la Evaluacin
Desarrolle un Calendario
Establezca el calendario para la preevaluacin, retrospectivamente desde la fecha de inicio de la evaluacin.
Para los proyectos, el gerente de evaluacin debe reservar 15 das de trabajo, mientras algunos miembros del
personal del proyecto debern planificar 19 das. El gerente a nivel de la oficina de pas y de campo probable-
mente requerirn alrededor de 4 das en cada caso. Esto puede implicar una inversin total de 42 das por parte
del personal, antes de la evaluacin, repartidos generalmente de manera no consecutiva entre los diferentes
miembros del personal (vea la seccin 2 del mdulo completo para ms sugerencias sobre el calendario). El
nmero de das podra ser mayor o menor dependiendo de la complejidad del proyecto y la organizacin de los
materiales existentes.
Elabore el Borrador de la Propuesta de Trminos de Referencia y el Plan de Trabajo de la Eva-
luacin
Cul es la diferencia entre los Trminos de Referencia y un plan de trabajo para una evaluacin? Los TdR pro-
porcionan detalles sobre lo que se har y el por qu es necesaria la evaluacin, mientras que el plan de trabajo
describe quin har qu, cundo y cmo. Ambos son necesarios para organizar una evaluacin de forma eficaz.
El borrador de los TdR proporciona al equipo del proyecto la oportunidad de enfocarse en las preguntas ms
importantes a realizar durante la evaluacin y en los mtodos a utilizarse. El gerente de evaluacin puede mo-
dificar un TdR ya existente para adaptarlo a las necesidades de la evaluacin. El gerente necesita asegurar que
el personal de campo y los actores involucrados cuenten con tiempo suficiente para revisar el borrador del TdR,
formular observaciones, y analizar los requerimientos de la evaluacin.
El plan de trabajo ayuda a organizar la evaluacin paso a paso, incluyendo la logstica; y ayuda al personal de
campo a administrar su tiempo en preparacin para la evaluacin.
Factores a Considerar
Existen muchos factores a considerar cuando se prepara los TdR y el plan de trabajo. Si se requiere mucho
tiempo en el campo, quin organizar este proceso? Existen permisos especficos por parte de las autoridades
locales que deberan obtenerse con anticipacin? Existen preguntas de evaluacin especficas que respondan a
los criterios de diseo, tales como fortalecimiento de la capacidad del socio o la gestin del proyecto, que de-
beran incluirse dentro de un formato plantilla existente? Obtenga la mayor cantidad de respuestas posibles
antes de avanzar al paso 4. En este momento una comunicacin y organizacin adecuadas significan una correc-
ta coordinacin ms adelante.
Un Evaluador Interno o Externo?
Un desafo adicional es determinar si quienes conduzcan la evaluacin sern evaluadores internos o externos.
Hay ventajas y desventajas en cada opcinel mdulo completo analiza este tema en ms detalle pero la
decisin final bsicamente depende de tres factores: la curva de aprendizaje, el nivel de objetividad y la facili-
dad de acceso. Los evaluadores internos tienden a tener curvas de aprendizaje ms cortas y un mejor acceso.
Los evaluadores externos tienden a ser ms objetivos, ya que ven los eventos sin el contexto institucional y
aportan una perspectiva nueva. Establecer un equipo que combine las ventajas y minimice las desventajas de
cada opcin puede ser lo ms eficaz.

73


Paso 4: Identificar al Equipo de Evaluacin y Finalizar los Trminos de Referencia
Seleccione Alguien Experimentado para Liderar el Equipo
Un buen lder para un equipo de evaluacin debe haber demostrado experiencia en la evaluacin de este tipo
de proyectos o tener experiencia con proyectos similares. Este antecedente es importante para garantizar que
la evaluacin cumpla con las expectativas del donante.
Los lderes de equipo tambin deben tener una capacidad demostrada para manejar y sintetizar los insumos y la
participacin de los principales miembros del equipo de evaluacin, y equipos de trabajo del donante. Cada una
de estas personas o grupos tienen una meta o agenda diferente. El trabajo del lder del equipo es involucrar a
las diferentes personas y grupos para que cada miembro clave del equipo pueda encontrar respuestas a algunas
de sus preguntas especficas de evaluacin, mientras continua aportando a la meta comn de una evaluacin
constructiva. Es esencial una alta capacidad de comunicacin verbal y escrita. Tome en cuenta que la comuni-
cacin no significa slo hablar, sino que tambin implica escuchar de manera activa. Esta es una habilidad clave
que no se puede evaluar mediante ensayos escritos. Obtener referencias es importante!
Elegir al equipo de evaluacin
El primer paso para contratar a un equipo de evaluacin especialmente al lder del equipo es identificar un
adecuado grupo de candidatos. Las organizaciones a menudo tienen una lista de personas con quienes han tra-
bajado anteriormente y a quienes desean contratar nuevamente. Inicie con esa lista institucional, luego solicite
recomendaciones a otras organizaciones aquellas ubicadas en el mismo sector y pas. Inicie con un nmero
moderado de candidatos, no ms de cinco. Una vez que se han identificado los candidatos, enve a todos el
borrador de los Trminos de Referencia y solicite a los candidatos que manifiesten su inters y presenten sus
ensayos escritos.
A continuacin, elija un lder de equipo de entre los candidatos. Esta persona debe estar disponible para toda la
evaluacin, incluyendo tiempo adicional antes y despus de la misma. El tiempo extra es necesario para que el
lder del equipo discuta con el gerente de evaluacin respecto a la metodologa de evaluacin y respecto a los
otros miembros del equipo y la logstica, a fin de garantizar que la evaluacin est debidamente organizada y
asegurar que el informe de evaluacin se presente a tiempo.
El aporte del lder del equipo de evaluacin es clave para finalizar los trminos de referencia con el gerente de
evaluacin. Pueden existir metodologas de recoleccin de datos especficas que son preferibles en funcin de
la estacionalidad u otros temas locales (por ejemplo, si es temporada de lluvias y muchas de sus comunidades
estn inaccesibles, el muestreo aleatorio en visitas de campo ser inferior al de un muestreo aleatorio com-
pleto). El lder del equipo debe incluir estas variables en los TdR finales.
Un Equilibrio de Experiencias
Asegrese que el equipo de evaluacin aporte un equilibrio de experiencias, en especial, experiencia a nivel del
pas, experiencia sectorial y otra experiencia especfica de orden tcnico. Una vez que se ha seleccionado al
equipo, finalice los TdR con los aportes de este equipo, coloque la versin final en el manual informativo, y
enve una copia al donante y a la gerencia senior. Ahora que la decisin es an reciente, el gerente o lder del
equipo de evaluacin tambin podra tener inters de adjuntar un memo sobre el razonamiento que fundamen-
ta algunas de las opciones metodolgicas seleccionadas.
El donante y la organizacin implementadora pueden preferir determinados mtodos de evaluacin y, en algu-
nos casos, requieren enfoques particulares. El lder del equipo de evaluacin podr recomendar alternativas,
pero es importante respetar los requerimientos. En ltima instancia, el lder del equipo es responsable de la
seleccin de los mtodos de evaluacin.



74

Paso 5: Organizar la Documentacin del Proyecto
Definicin de la Documentacin del Proyecto
La documentacin del proyecto se refiere al archivo existente de los documentos del proyecto, empezando con
las evaluaciones iniciales. En el paso 5 se producirn dos productos: una bibliografa y un manual informativo
del proyecto.
La Bibliografa y el Manual Informativo
La bibliografa del proyecto es el listado de los principales documentos del proyecto clasificados por categora.
El manual informativo del proyecto incluye slo los documentos ms importantes. Agregue una bibliografa del
proyecto actualizada dentro del manual informativo. Organice todos los archivos del proyecto. Elimine los ar-
chivos que ya no se utilizan. Muchos documentos tambin estarn disponibles electrnicamente indique cules
son esos archivos en la bibliografa del proyecto. Grabe un CD (o coloque los archivos en una unidad extrable)
con los documentos ms importantes del proyecto.
El gerente de evaluacin debe asegurar que el personal de campo organice sus archivos para el equipo de eva-
luacin, antes de la llegada del equipo. Organizar todos los documentos del proyecto clasificados es algo que
nadie quiere hacer despus de 20 horas de vuelo, y no es algo por lo que el proyecto deba pagar a un consultor!
He aqu una oportunidad de oro para que todos organicen y limpien sus estantes y archivos electrnicos.
Si se conoce con anticipacin la ejecucin de una evaluacin, esto significa que esta tarea se puede programar
poco a poco, en lugar de hacerlo de prisa antes de que el lder del equipo de evaluacin llegue. Con el gerente
de evaluacin supervisando y coordinando, todos en la oficina pueden asumir la responsabilidad de organizar los
documentos ms importantes, por lo general en revisteros o en alguna especie de cajas de cartn pequeas que
puedan guardarse en los estantes. Mantenga un suministro de etiquetas a la mano para organizar los documen-
tos por caja.

Paso 6: Organizar la Informacin del Pro-
yecto
La informacin del proyecto no es lo mismo que la do-
cumentacin del proyecto. La informacin comprende
las piezas clave del proyecto, figurativamente hablara-
mos de las tuercas y tornillos, y requiere esfuerzo adi-
cional organizarlo. La mayor parte de la informacin
puede encontrarse en los informes anuales, pero por lo
general no se la ha trasladado a cuadros sinpticos.
En el recuadro de texto a la derecha, sobre Informacin
Clave del Proyecto, se describen los principales elemen-
tos de la informacin de un proyecto. A continuacin
algunos elementos ilustrativos:

Cronologa y Patrones para Dotacin de Personal
Conocer la cronologa de los acontecimientos del proyecto y los patrones para contratacin de personal es muy
til al evaluar los resultados del proyecto. Por ejemplo, si tres gerentes de proyecto fueron contratados durante
los dos primeros aos del proyecto y esta informacin es revisada de la mano de algunos otros eventos en la
historia del proyecto, tales como un disturbio civil, (vea la Tabla #2) se puede crear una imagen de los eventos
externos que afectaron la permanencia del personal. Se requiere una visin global, o las conclusiones podran
ser errneas. Que el personal contribuya a establecer este recuento histrico o cronolgico es un ejercicio de
grupo til; este proceso puede incluir al personal de apoyo administrativo y financiero. Sus contribuciones al
xito del proyecto, con frecuencia son componentes ignorados en una evaluacin, an cuando esos funcionarios
75

tienen por lo general la mejor memoria institucional, y no tienen un sesgo tcnico. El equipo de salud puede
hacer su propia cronologa sectorial y el equipo de agricultura lo propio se deben incluir factores relativos a la
gestin general y factores externos, para no perder conexiones e interacciones clave.
Tabla de Seguimiento de los Indicadores de Desempeo
La mayora de los evaluadores notarn que la tabla de seguimiento de los indicadores de desempeo (IPTT) es
una herramienta muy til para obtener una perspectiva general del proyecto. Sin embargo, muchos proyectos
no mantienen esta tabla actualizada, y con frecuencia cada ao se genera un arduo y alocado trabajo para ob-
tener las cifras actualizadas antes de la fecha de vencimiento de presentacin del informe anual, pese a ser un
requerimiento de un proyecto Ttulo II. Esto no es un buen proceso ni para una evaluacin de medio trmino ni
durante la evaluacin final. Y lo que es peor, los proyectos con frecuencia esperan que el evaluador llene, no
slo las cifras ms actuales, sino todos los datos faltantes. Recolectar muchos de los indicadores que se requie-
ren para la IPTT a mediados de la implementacin es por s mismo un desafo. El personal puede haber rotado y
nadie ms podra saber cmo volver a recolectar esa informacin. O el proyecto pudo cambiar de enfoque y un
conjunto de actividades particulares pudieron suspenderse. Todas estas pueden ser buenas excusas para pospo-
ner la oportuna actualizacin de la IPTT.
Paso 7: Planificar la Logstica de la Evaluacin
Una buena planificacin logstica es clave para el xito de una evaluacin. Al igual que el ejrcito avanza sobre
sus coordenadas, tambin lo hacen los equipos de evaluacin. Si la logstica est mal planificada y financiada,
incluso el mejor diseo de evaluacin fracasar. El resultado del sptimo, y ltimo, paso de la evaluacin debe
ser un plan de logstica bien detallado y claramente coordinado.
Los Principales Elementos de una Pre-planificacin incluyen:
Disponer de una persona clave que reporte al gerente de evaluacin responsable de la logstica.
Negociar las fechas preliminares y objetivos de las visitas de campo con las PVOs, organizaciones, fun-
cionarios de gobierno y lderes comunitarios; y finalizar el calendario y horarios de visitas in situ, una a
dos semanas antes de que el equipo de evaluacin llegue al lugar del proyecto.
Identificar las fechas en que los funcionarios del distrito sern notificados por los evaluadores sobre el
cronograma de visitas a comunidades especficas.
Elaborar un anuncio de una pgina, que deber ser firmado por un representante de la pastoral anfi-
triona del proyecto, informando a las comunidades sobre la prxima visita. El anuncio debe incluir una
breve descripcin del propsito de la visita, las fechas previstas para las visitas de campo y los nombres
de los miembros del equipo de evaluacin (en el idioma local).
Organizar temas logsticos como alimentacin, transporte, espacio fsico, facilidades de acceso a com-
putadoras e impresin y alojamiento para el equipo.

Actividades de la dcima primera semana
Individuales

1. Realice la lectura de la semana.
2. Elabore un mapa conceptual para los pasos de una evaluacin.
3. Actualizar su diario de aprendizaje.

Grupales
1. En grupo los y las estudiantes proceden a identificar una poltica, programa o proyecto social, para realizar
un proceso de evaluacin.

76

Autoevaluacin
1. Qu saba o conoca usted acerca de los pasos de una evaluacin, antes de realizar la lectura?
2. Qu nuevas ideas aprendi?
3. Explquese a usted mismo o misma, cul es la lgica que siguen los pasos de una evaluacin.


























77

DCIMA SEGUNDA SEMANA
TEMA
Preparando la evaluacin
Objetivos de la semana
Al finalizar el estudio de la octava semana las y los estudiantes.
Reconocen la importancia de preparar la evaluacin.
LECTURA
Tarea 1: Por qu quiere realizar una evaluacin?
Es importante saber por qu quiere comenzar el proceso de MyE ahora porque le ayudar a definir por dnde
comenzar y cmo enfocar el proceso. Por ejemplo, si quiere usar el proceso de MyE para entender por qu un
programa no funciona como se esperaba, lo primero que se puede hacer es hablar con el personal que imple-
menta el programa y revisar algunos datos bsicos de monitoreo. Si, en cambio, un financiador ha preguntado
qu impacto tuvo un programa recin terminado, entonces se debe clarificar primero con el financiador cules
son sus preguntas y necesidades respecto a la evaluacin.
Algunas razones comunes de querer realizar una evaluacin:
1. Un programa existente tiene problemas y se quiere averiguar cules son los problemas y cmo resolverlos.
2. Se quiere entender qu es lo que un programa existente ha logrado o est logrando.
3. Se est desarrollando un programa y se quiere que el plan de MyE sea parte del plan del programa desde un
principio.
4. Una persona u organizacin externa, probablemente un financiador, quiere saber el impacto del programa.
Tarea 2: Revisar objetivos, actividades e implementacin del programa - Es ahora el
momento de invertir en el proceso de MyE?
Sin importar sus razones por empezar un proceso de MyE, es un buen momento para revisar la lgica detrs de
sus objetivos y actividades de programa. Esto es, esencialmente, una mini-revisin de su trabajo para de-
terminar si su programa est preparado para un proceso completo de MyE.
Es muy importante tener claridad sobre lo que se quiere lograr con su programa para disear una evalua-
cin efectiva. Por ejemplo, si se revisa la razn por cada actividad y se descubre que algunas actividades
no estn bien conectadas a un objetivo, quizs quiera considerar cambiar esa actividad. O quizs si revisa
su curriculum de capacitacin, descubre que algunos mensajes ya no se relacionan a su actual forma de
pensar. Entonces, a lo mejor querr hacer los cambios a su curriculum antes de seguir con el proceso de
MyE.
Hay que saber si el programa generalmente se est implementado como se haba planeado antes de com-
pletar el proceso de MyE. Por ejemplo, si se descubre que las mujeres y los hombres a los que ms se quie-
re llegar no asisten sus talleres, entonces quizs se debe enfocar en esfuerzos de reclutamiento para los ta-
lleres antes de empezar la evaluacin. Si no es as, entonces ya se habr logrado algo con su proceso de
evaluacin.
Tarea 3: Evaluar su programa: Manejar el riesgo
Realizar una evaluacin de programa puede ser especialmente difcil para las personas que han desarrollado y
estn implementando el programa. Es importante abordar desde el principio lo que puede pasar con los hallaz-
gos, particularmente qu pasar si los hallazgos no son los que se esperaban. Si se descubre que el programa no
logr sus objetivos, qu pasar? Se usarn estos hallazgos para modificar el programa? Se afectar el finan-
ciamiento del programa? Se pondr en riesgo algn empleo?
78


Paso 2: Formar un equipo de Monitoreo y Evaluacin
Fundamento
Se necesita un grupo principal de personas que son responsables para crear e implementar el monitoreo y eva-
luacin (MyE) de su programa. Un equipo con experiencia y perspectivas diversas le ayudar a entender y medir
mejor el impacto de su trabajo. Debe haber 3 o 4 personas en el equipo de MyE y debe haber otros actores
interesados claves que participan cuando sea posible y necesario.
Tarea 1: Elegir un lder del equipo de MyE
Alguien tiene que dirigir el proceso de monitoreo y evaluacin. Lo ideal es que esa persona tenga las siguientes
caractersticas:
una visin de lo que el MyE puede hacer para la vida de un programa;
un entendimiento profundo del programa;
autoridad para realizar de verdad el MyE;
una buena relacin de trabajo con el personal del programa.
Tarea 2: Identificar a los actores interesados que quiere invitar a participar y en qu momento
quiere que participen
Los actores interesados o implicados (tambin conocidos como stakeholders en ingls) tienen un inters o
compromiso fuerte en su programa y/o el problema al que quiere impactar. Por ejemplo, el personal del pro-
grama, financiadores/donantes, clientes y lderes comunitarios son actores interesados. Hay que tener partici-
pacin de los actores interesados en su proceso de MyE; algunas deben formar parte del equipo de MyE y otras
deben participar solo en ciertos momentos del proceso de MyE. Sin embargo, probablemente no ser posible
que todos los actores interesados participen en el proceso de MyE.
Los actores interesados deben tener por lo menos una de las siguientes caractersticas:
un conocimiento profundo del problema que el programa aborda
un entendimiento completo del impacto deseado del programa
un conocimiento profundo de la implementacin real del programa
Para su equipo de MyE, considere a personas que tengan las siguientes caractersticas:
Alguien que pueda y est dispuesto/a a manejar el proceso de MyE de principio a fin
Personal que est involucrado en implementar el programa
Personas que tengan un conocimiento profundo de los objetivos y actividades del programa y cmo se
implementa en realidad. Incluya a personal que realice el programa adems de personas que partici-
pen en el programa. Algunas personas, como personal clave del programa y participantes siempre de-
ben ser una parte principal del equipo de MyE, mientras otros deben incluirse solamente cuando se ne-
cesiten y cuando sea factible. Lo ideal es que los tomadores de decisin de su organizacin, cuya par-
ticipacin puede legitimar el proceso de MyE y proporcionar recursos adicionales, se incluyan en alguna
capacidad. Si es posible, el/la director/a de la organizacin debe participar en cierto nivel. Quizs no
pueda participar en todas las reuniones del equipo de MyE, pero debe considerarse un miembro del
equipo y estar presente en reuniones importantes si es posible.
Alguien que entienda las implicaciones de una perspectiva de justicia social basada en derechos para la
implementacin y evaluacin de programas.
Alguien que tiene por lo menos un poco de conocimiento de monitoreo y evaluacin y/o investigacin.
Si nadie de las categoras previas tiene esa especialidad o conocimiento. Pero si no puede encontrar a
nadie, no se preocupe! Este juego de herramientas ser su acompaante en cada paso del proceso de
MyE y recomendar referencias de las cuales puede aprender ms cuando es necesario.

79

Cundo y cmo involucrar a los actores interesados que no forman parte del equipo de
MyE?
Decida cules personas de inters quiere tener como participantes ocasionales y en qu punto del pro-
ceso quiere incluirlos.
Explique el proceso de MyE que se est realizando y cmo la participacin de ellas cabe dentro de ese
proceso.
Sea claro sobre los detalles de su participacin, por ejemplo: cuntas reuniones, cmo tendrn que par-
ticipar ellos, las opiniones y recomendaciones que se les pedir, la importancia de mantener la confi-
dencialidad, etc.
Establezca si van a recibir alguna remuneracin por su tiempo, gastos de viaje u otros, particularmente
si viajan desde lejos y/o tienen que pasar la noche.
Establezca la autoridad final de tomar decisiones. Si el equipo de MyE tiene esa autoridad, deje enten-
der que es as, pero tambin que sus consejos se considerarn y se los agradecer.

La participacin de actores interesados que no son personal de su organizacin puede:
Ayudar a mantener una relacin importante con la comunidad y las personas con las que se quiere tra-
bajar
Contribuir a hacer el programa y la evaluacin responsables a las personas que se quiere servir
Dar a los involucrados una voz y un rol en el proceso de realizar el programa
Asegurar que se entienden y se toman en cuenta perspectivas diversas sobre el programa y sus objeti-
vos
Aumentar el involucramiento de la comunidad
Ayudar a comprender cmo hablar sobre temas muy ntimos con clientes
Asegurar que se tomen en cuenta normas locales, culturales, y de clase y gnero para facilitar un plan
de accin sensata
Ayudar a apalancar recursos adicionales y crear coaliciones
Crear destrezas entre los actores interesados que les permite a influir la evolucin del programa
Crear un lenguaje comn para hablar y pensar en los objetivos y actividades del programa

Las realidades:
Hay que ser sensible a los que se invita a participar y los que no. Las personas no incluidas pueden sen-
tirse ofendidas o las que se invitan pueden sentir que es una obligacin que no pueden cumplir pero no
quieren decir que no.
Algunas personas tomarn una invitacin a participar como un acuerdo implcito de que se respondern
y se incorporarn sus sugerencias en el proceso de planificar, monitorear y evaluar el programa. Incluir
a las personas y escucharlas de verdad requiere una inversin. Si se incluyen las personas y no se to-
man sus perspectivas en cuenta, el resultado puede ser peor que si no se hubieran incluido. Adems,
no siempre es factible, ni tiene sentido, invitar a todos los actores interesados en el proceso de MyE pa-
ra cada reunin. Use su tiempo, y el tiempo de Ud., sabiamente; enfoque su participacin en momen-
tos claves del proceso.
Las organizaciones que tienen una misin parecida pueden ser participantes interesados de mucho va-
lor. Sin embargo, invitarlos a participar puede ser difcil porque, de alguna forma, a lo mejor son sus
competidores (compiten para la misma financiacin y apoyo).

80

Hoja de trabajo: Herramienta para seleccionar a actores interesados

Categoras de actores inte-
resados para considerar
Nombres de posibles candidatos y
sus afiliaciones*
Especialidad, caractersticas que
contribuiran al proceso de MyE
Caractersticas para considerar:
1. Familiarizado/a con los temas relacio-
nados a los objetivos del programa.
2. Familiarizado/a con las problemticas
que sern medidas.
3. Disponible durante el tiempo planeado
para el proceso de evaluacin.
4. Cuyos gastos caben dentro de los recur-
sos que tienes disponibles.
5. Conocen a la comunidad y tienen el
poder de fomentar apoyo para la comu-
nidad.
6. Grupos que han sido marginados e igno-
rados histricamente por los lderes de
la comunidad, tienen alto riesgo para el
problema que se est abordando y tie-
nen acceso limitado a los servicios y
programas.
Personal del programa

Participantes del programa

Otro personal

Lderes comunitarios

Donantes/Financiadores

Otras organizaciones

Otros


81

Tarea 3: Nombrar a los miembros de su equipo de MyE
Puede utilizar la hoja de trabajo para generar su equipo de MyE.
Hoja de trabajo: La hoja de trabajo para el equipo de MyE puede ayudar a decidir a quin va a incluir.

Nombre
Posicin/Departamento de la Orga-
nizacin o Tipo de Persona Intere-
sada
Especialidad (por ejemplo: conoce a
la comunidad, tiene experiencia en
anlisis, etc.)
Escoja de 3 a 4 personas.
Incluya a alguien con experiencia en MyE.
Incluya a alguien familiarizado con la perspec-
tiva de justicia social basada en los derechos.
Si es posible, incluya a un representante de su
organizacin que tiene autoridad para tomar
decisiones.
Asegure la representacin de todas las partes
relevantes de su organizacin o el programa.
Nombre a una persona responsable para coordi-
nar el equipo.













82

Tarea 4: Crear una perspectiva de aprendizaje en su equipo de MyE
Asegrese de que el/la director(a) enfatiza a todo el personal que considera el proceso de MyE una activi-
dad de alta importancia para la organizacin. Si los lderes apoyan el proceso de MyE ser ms fcil que los
participantes inviertan el tiempo necesario y sean honestos respecto a buscar las verdaderas respuestas.
Ayude a los miembros del equipo de MyE a expresar sus preocupaciones sobre el proceso de MyE. El proce-
so de MyE requiere la disponibilidad de examinar de verdad el impacto que el programa ha tenido; por eso
tensiones y hasta luchas de poder pueden surgir. Ayude a los miembros del equipo a expresar sus preocu-
paciones. Aborde sus preocupaciones como grupo y busque llegar a un acuerdo sobre cmo manejarn los
aspectos del proceso que tienen potencial a ser incmodos.
Clarifique que los hallazgos no sern usados en contra de nadie. Cree un ambiente seguro y asegure que los
hallazgos no sern usados para medir desempeo o penalizar al personal de ninguna manera.
Enfatice que los hallazgos del proceso de MyE sern usados para mejorar el programa y podrn atraer finan-
ciacin adicional.
Hablen de lo que puede pasar si se encuentra que el programa no ha tenido el impacto esperado.

Actividades de la dcima segunda semana
Individuales
1. Realice la lectura de la semana.
2. Elabore un diagrama de flujo para los pasos de una evaluacin.
3. Actualice su diario de aprendizaje.

Grupales

1. Trabajando en grupo, inicien la elaboracin de la matriz de la evaluacin.
2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada?
2. Qu sentimientos concretos han llegado a su mente?
3. Puede sealar al menos tres valores que estn implicados en el trabajo de esta semana? Enumrelos en
orden de importancia y justifique su respuesta.









83

DCIMA TERCERA SEMANA
TEMA
Identificacin del pblico y las preguntas de la evaluacin
Objetivos de la semana
Al finalizar el estudio de la novena semana las y los estudiantes.
Reconocen la importancia de la identificacin del pblico y las preguntas de la evaluacin.
LECTURA
Paso 3: identificar al pblico y las preguntas para la evaluacin
Las opciones para disear su evaluacin sern formadas por los interesados en sus hallazgos (el pblico) y tam-
bin las preguntas principales que hay que contestar. Uno de nuestros principios gua (los valores que nos
motivan) del proceso de MyE es que el personal del programa debe ser una parte principal del pblico de la
evaluacin; debern realizar el proceso por y para su personal mismo para aprender de los hallazgos y mejorar
su trabajo. Sin embargo, reconocemos que son los financiadores en particular, adems de otros pblicos, que
querrn ver, o quizs exigirn ver los hallazgos de la evaluacin.

Determinar los diferente pblicos principales de la evaluacin
Determinar qu preguntas quieren que se contesten
Averiguar qu tipos de informacin ser ms til para ellos
Renanse con su equipo de MyE y hagan las Tareas 1 y 2. (Incluya a actores interesados claves que no son
parte del equipo si es factible y apropiado)
Tarea 1: Determinar el pblico y comprender sus necesidades
Piense en los diferentes miembros de su pblico las personas que querrn ver los hallazgos de su evaluacin.
Cules son las preguntas que ms quieren contestar? Algunos miembros de su pblico (como los oficiales de
gobierno o directores de programas pblicos, asesores econmicos y algunos financiadores) quizs tengan ms
inters en preguntas enfocadas en la magnitud del cambio, antes y despus del programa y sern ms conven-
cidos por los nmeros o datos cuantitativos. Otros (como periodistas y organizaciones colegas) buscarn pre-
guntas enfocadas en cmo ocurri el cambio y qu significa para los participantes y sern ms convencidos por
los datos cualitativos como las historias personales y las palabras de las personas involucradas. Su equipo de
MyE y su organizacin probablemente querrn ambos tipos de informacin. Debe tratar de recibir aporte de
algunos actores interesados, especialmente su personal y financiadores del programa, para pensar en los miem-
bros de su pblico para el proceso de MyE y sus necesidades.
Quizs quiera utilizar la hoja de trabajo Necesidades de informacin de su pblico para categorizar a los
miembros de su pblico y su inters en la evaluacin.





84

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) potencial(es)
del pblico
Quin(es)
es/son? (Nom-
bre(s))
Dles un nmero en
orden de importancia
(1,2,3, etc.)
Qu preguntas
quieren contes-
tar?
Qu tipo de informacin
necesitan o prefieren?
(Nmeros? Historias?)
1. Identifique quin necesita enterarse
de sus hallazgos.
2. Cun importantes son? El nmero 1
corresponde al pblico principal de
los hallazgos de su evaluacin.
3. Sea claro sobre qu quiere Ud. que
se haga con los hallazgos.
4. D prioridad a los miembros del
pblico que son ms importantes pa-
ra su programa en este momento.
5. Identifique las preguntas que tienen
los miembros prioritarios.
6. Identifique qu tipo de informacin
sera ms til y convincente para
ellos.
Beneficiarios

Lderes comunitarios

Polticos

Otros de la comunidad o
de otras instituciones

Financiador(es)

Periodistas y lderes de
opinin

Miembros de su junta
directiva

85

Personal de la organizacin
fuera del programa eva-
luado

Otros




Tarea 2: Definir las interrogantes de la evaluacin: Monitoreo y Evaluacin
Hay que contestar preguntas que tienen que ver con monitoreo y tambin evaluacin:
Las preguntas de monitoreo se enfocan en el proceso cmo su programa se realiza/fue realizado.
Las interrogantes de la evaluacin se enfocan en el impacto el cambio que el programa ayud a crear o el que produjo en la poblacin objetivo.

Cuando se escriben las interrogantes de la evaluacin, tenga en mente:
El problema de enfoque
Los objetivos y actividades del programa
Los diferentes miembros de su pblico

Algunas preguntas comunes para una evaluacin:

Monitoreo (Proceso):
o Cules estrategias fueron implementadas en realidad?
o Fueron implementadas las actividades cmo se pretenda?
o Hubo factores que cambiaron o hicieron ms difcil la realizacin del programa?
o Quin particip? Los participantes que queran? Otros?
Evaluacin (Cambio):
o Qu impacto tuvo el programa?
Tuvo el impacto deseado?
Hubo algn impacto no esperado?
Hubo algn impacto negativo?
Cul fue la diferencia cuando se hace una comparacin antes y despus de la par-
ticipacin en el programa?
Hubo alguna diferencia entre los que recibieron la intervencin y los que no?
o A qu nivel tuvo impacto el programa?
Individuo
Pareja
Familia
Comunidad
Institucional (por ejemplo, fomentar capacidades o cambiar polticas)
o Cules aspectos del programa tuvieron el impacto deseado?
Cules actividades produjeron el cambio deseado?
o Cul fue la experiencia de los participantes del programa?
Desde su perspectiva, cul fue el aspecto ms importante del programa?
Si los participantes experimentaron un cambio, lo atribuyen al programa? Si as es,
cul fue el cambio ms importante para ellos?
o Fueron ms beneficiados ciertos participantes en comparacin con otros?
Cules factores formaron el impacto del programa respecto a los participantes?
Hubo alguna diferencia de impacto entre mujeres y hombres? adultos y jvenes?
personas de diferente estatus socioeconmico? Personas de diferentes grupos
tnicos?
Hubo alguna diferencia en la experiencia o impacto del programa para los que son
marginalizados de alguna forma y los que no?
Tarea 3: Identificar un enfoque para su evaluacin
Ahora hay que determinar cules de las necesidades del pblico y cules interrogantes de la evaluacin
deben y pueden ser contestadas.
o Cules son las preguntas que ms quieren contestar el personal del programa y los actores
interesados?
o Cmo puede el equipo de MyE priorizar las diferentes necesidades para informacin dados
el tiempo, los fondos y los recursos humanos disponibles en este momento?
Haga la lista de preguntas que se contestarn y comprtala con los miembros principales de su pblico para
aporte y retroalimentacin. Podr encontrar que este esfuerzo ayude a recaudar ms fondos para el proce-
so de MyE, particularmente si el financiador es su pblico principal.
Actividades de la dcima tercera semana
Individuales
1. Realice la lectura de la semana.
2. Actualice su diario de aprendizaje.

87

Grupales

1. Preparen el paso 3 del plan de evaluacin.
2. Actualicen su matriz de evaluacin.
3. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada?
2. Qu nuevo ha aprendido durante esta semana?
3. Qu cree que debe investigar ms, para una mejor comprensin del tema?.





















88
DCIMA CUARTA SEMANA
TEMA
Seleccin de informacin para una evaluacin

Objetivos de la semana
Al finalizar el estudio de la dcima semana las y los estudiantes.
Seleccionan la informacin a considerar en una evaluacin.
LECTURA
El monitoreo y la evaluacin no han sido pensados para espiar tu trabajo, sino para reflejar las marcas
de tu desarrollo - Mr. Casius Chuma
Durante esta semana, veremos en mayor profundidad los procesos y las herramientas necesarias tanto para
el monitoreo como para la evaluacin. El diseo del sistema de MyE se realiza desde el inicio del proyecto
(con posibles modificaciones sobre la marcha) y consiste en la identificacin y la seleccin del tipo de infor-
macin que ser necesaria para el MyE y los medios para obtenerla. Un sistema completo de MyE consta de 6
fases (Guijt y Woodhill, 2002).8 Veamos:

1. Identificacin de las preguntas de desempeo.
2. Identificacin de las necesidades de informacin e indicadores.
3. Conocer la informacin base que se requiere.
4. Seleccionar los mtodos de recoleccin de datos
5. Identificar el apoyo prctico necesario para la recoleccin de datos.
6. Organizar el anlisis, la retroalimentacin y el cambio.
Las necesidades especficas de informacin se pueden identificar reflexionando sobre las preguntas que se
quieren responder (preguntas de desempeo clave) con el MyE; la identificacin de los cambios que se espe-
ra observar (indicadores); la comparacin de la situacin inicial (lnea base) con la situacin intermedia y
final (metas) y los medios para verificar los logros (medios de verificacin).

Preguntas de desempeo
Comnmente, cuando comenzamos a disear el sistema de MyE, se pasa directamente de elaborar los obje-
tivos de la intervencin a la formulacin de los indicadores. Esto puede ser problemtico, pues existe el
riesgo de perderse en el detalle de los indicadores y su adecuado diseo, y no nos detenemos a pensar por
qu los indicadores que proponemos son de utilidad y de qu forma podran apoyar el proceso de adopcin
de decisiones. Formular preguntas de desempeo claves para cada nivel de objetivos (ver Tabla 8), antes de
la elaboracin de indicadores, puede ayudar de manera significativa a guiar el MyE de tal forma que real-
mente sirva a nuestras necesidades y permita mejorar el desempeo del proyecto. (Guijt y Woodhill, 2002).

89
En la siguiente tabla, se presentan ejemplos de preguntas de desempeo (generales y especficas) para cada
nivel de intervencin y los indicadores que se desprenden de ellas.





Una vez formuladas las preguntas, el siguiente paso consiste en identificar la informacin necesaria para
responderlas. Con este fin, se definen indicadores para cada nivel de intervencin.

Indicadores objetivamente verificables

Los indicadores son las descripciones operativas (cantidad, calidad, grupo meta, tiempo y ubicacin) de los
objetivos de un proyecto (Comisin Europea, 2002). Los indicadores permiten especificar la forma en que se
verificar el grado de cumplimiento de los resultados y objetivos. Estos se formulan a manera del efecto
esperado (o cambio que se quiere generar) para cada nivel de la lgica de intervencin. En el caso de las
actividades, los indicadores se formulan como medios (insumos) y recursos (presupuesto) necesarios.

De manera general, los indicadores sirven para:
Clarificar la lgica entre las actividades, los resultados y los objetivos del proyecto.
Focalizar de forma ms especfica la intencin del proyecto, al indicar qu se quiere lograr, con qu
caractersticas, en dnde, en qu tiempo, para qu poblacin, etc.
90
Medir el avance y los logros permiten saber si efectivamente se est realizando lo planeado y cono-
cer el impacto de nuestra accin.
Informar la toma de decisiones para hacer cambios en el curso de la accin.
Revisar el desempeo del proyecto y del equipo encargado de su ejecucin, as como los tiempos y
recursos disponibles.

Los indicadores describen el avance del proyecto y son esenciales para todo su MyE. Una formulacin correc-
ta de los indicadores es crucial para todo el sistema de MyE, porque funcionan como mapa para guiar las
actividades, al definir claramente las necesidades y el enfoque para la recoleccin de datos.


Categoras de indicadores

Por sus caractersticas
Cuantitativos: son medidas estadsticas que miden los logros en:
Nmero
Porcentaje
Frecuencia
Tasa (por ejemplo, tasa de mortandad infantil, 100 de cada 1.000)
Proporcin (por ejemplo, proporcin de mujeres del total de la poblacin)

Cualitativos: Reflejan un comportamiento, una situacin o una descripcin de cmo se hacen o perciben las
cosas. Pueden ser opiniones, actitudes, prcticas y comportamientos de la poblacin hacia una situacin o
en relacin con un tema. En las personas, los indicadores cualitativos pueden incluir cambios en actitudes,
comprensin, conocimiento, sensibilizacin o empoderamiento. Miden los avances en trminos de:
Cumplimiento con.
Calidad de.
Las caractersticas
Grado en el que
Nivel de.
Percepcin acerca de.

Indicadores sustitutos o Proxy: para aquellos casos en los que
no hay datos disponibles para los indicadores ideales, o que es
muy difcil o costoso obtener estos datos, se pueden emplear
indicadores sustitutos o proxy para medir el objetivo. No es
una medida directa de la situacin sino una forma paralela de
obtener la informacin con base en una relacin conocida en-
tre ambas variables.

Por ejemplo, ante la falta de datos sobre la corrupcin en al-
gunos pases, muchas agencias de cooperacin emplean infor-
macin de encuestas sobre la percepcin del nivel de corrup-
cin en el pas como un indicador alternativo. De forma similar,
la medicin del ndice de Desarrollo Humano por agencias de la
ONU emplea el indicador de expectativa de vida al nacer
como un indicador sustituto de las condiciones de vida y de
servicios de salud (se puede hacer una correlacin entre el
nmero de aos que vive la gente y las condiciones de vida y
de servicios de salud en un pas) (PNUD, 2009).


Por el nivel de intervencin

Se requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la jerarqua
de intervencin. As, en el enfoque de marco lgico, se pueden identificar tres tipos de indicadores:
91
Indicadores de Proceso para las Actividades
Indicadores de Efecto (o impacto) para los Resultados
Indicadores de Impacto para el Objetivo general y el objetivo especfico.

Por lo general, a medida que se pasa de las actividades al objetivo general o meta en la jerarqua de inter-
vencin, la informacin del MyE tiende a perder concrecin. En el nivel de las actividades y los resultados es
mucho ms fcil de medir y mostrar avances en los indicadores al ser informacin sobre procesos y produc-
tos. Sin embargo, el impacto del conjunto de productos o resultados es por lo general ms difcil de deter-
minar y ms complicado de medir (Guijt y Woodhill, 2002).

Indicadores de Proceso
Son indicadores sobre la realizacin de las actividades, enfocados en medir eventos importantes que puedan
reflejar el resultado de la ejecucin de varias actividades. Si bien estos indicadores describen acciones,
etapas y procesos que conducen a los resultados, por s mismos no aseguran que se logren los resultados. Sin
embargo, son importantes, debido a que son insumos bsicos del proceso de MyE. Las fallas o el mal desem-
peo de resultados u objetivos muchas veces dependen de fallas en la implementacin de las actividades, y
estos indicadores permiten identificarlas.
Los indicadores de proceso permiten adems precisar la estrategia que se sigue al monitorear la calidad de
los procesos en curso con la participacin de la poblacin involucrada. El nivel de cumplimiento con los
tiempos y el presupuesto programado se puede medir como un indicador paralelo de proceso.
La matriz de marco lgico no prev la inclusin de indicadores de proceso (en la seccin de actividades se
incluye, en lugar de indicadores, un resumen de los recursos y costos del proyecto), aunque pueden ser in-
cluidos para facilitar el monitoreo de los avances.

Ejemplos de indicadores de proceso:

Nmero de participantes en un taller.
Nmero de talleres de capacitacin impartidos
Nmero de beneficiarios de la entrega de ayuda alimentaria


Indicadores de Efecto
Son indicadores para medir el progreso y los cambios generados a nivel de resultados y objetivo especfico.
Para el caso de la medicin de los resultados, los indicadores de efecto emplean descripciones especficas
(de cantidad, calidad y tiempo) de los productos generados.
Es importante que los indicadores de efecto no sean un resumen de los productos generados, sino el efecto
de tener dichos productos: deben medir cambios en las condiciones o capacidades y no la entrega de pro-
ductos o servicios. Para que estos indicadores reflejen la calidad del efecto que se produce, se recomienda
considerar:

Descripcin de la calidad: no basta con que algo se produzca, se modifique o se cambie. Es nece-
sario que este cambio o logro tenga las cualidades que consideramos adecuadas. As, los indicado-
res cuantitativos deben ir acompaados de especificaciones cualitativas que describan el cambio
ideal y la utilidad para los beneficiarios.
Sostenibilidad: un indicador esencial para medir la calidad es su capacidad de producir efectos aun
despus del cierre del proyecto. Algunos factores relacionados con la sostenibilidad son: aceptacin
cultural, social e institucional de las soluciones y los cambios propuestos e introducidos; continui-
dad econmica y financiera; capacidades y conocimientos adquiridos; variables organizativas y par-
ticipacin de la poblacin involucrada en el diseo y la ejecucin del proyecto.
Fortalecimiento de capacidades: aunque no todos los proyectos tienen como componente central
el fortalecimiento de capacidades locales, es importante considerarlo y reflejarlo en la medicin,
pues est directamente vinculado con el empoderamiento de la poblacin local y la sostenibilidad
de los resultados.
92
Participacin: en la medida en que los grupos meta y beneficiarios del proyecto participen en su
diseo y en su implementacin, el proyecto tendr ms pertinencia con relacin a las necesidades
de la poblacin local y tendr ms posibilidades de ser sostenible en el tiempo. En este sentido, es
fundamental incluir indicadores sobre el nivel de participacin que se ha logrado a raz de la inter-
vencin.

Ejemplo de indicador de efecto:
Resultado - Servicio mejorado: al final del cuarto ao de ejecucin del proyecto, 23 pueblos rurales de Saca-
tepquez, cada uno con una poblacin de 2.500, estn servidos con 115/litros/persona por da de servicio
continuo de agua potable.

Indicadores de Impacto
Son indicadores que miden el cambio logrado en el mediano o largo plazo, al final del proyecto o incluso
despus de su cierre. Estn directamente relacionados con la medicin de nuestro objetivo general (en algu-
nos casos con el objetivo especfico) y ayudan a revisar que el cambio positivo que se buscaba realmente se
haya logrado. El impacto puede ser un cambio social, econmico, poltico, ambiental o de comportamiento y
se puede dar a nivel local, regional o nacional. Cuando se habla de indicadores de impacto ms amplios, de
contribucin a un objetivo general a nivel regional o nacional, su medicin puede ser ms complicada, debi-
do a que involucra datos y estadsticas macro sobre niveles de bienestar social y econmico que en algunos
pases o en ciertos momentos no estn disponibles. Adems porque al ser problemticas ms amplias, es
muy complejo determinar el impacto de nuestra accin especfica en una situacin sobre la cual pueden
influir mltiples factores. En estos casos, para mejorar el alcance y la posibilidad de reunir los indicadores
de impacto, se pueden emplear indicadores proxy o substitutos y es muy recomendable emplear indicadores
complementarios, cuantitativos y cualitativos.



El proceso de MyE se basa primordialmente en la comparacin. Los indicadores que definamos nos permi-
tirn obtener informacin sobre la situacin generada por la intervencin del proyecto. Para conocer el
nivel de impacto de nuestra accin esta informacin debe ser comparada, y esta comparacin puede hacerse
de tres formas (Guijt y Woodhill, 2002):

93
1. Comparar la situacin inicial o anterior a la del proyecto con la situacin despus de la in-
tervencin.
2. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en
otros lugares similares.
3. Comparar las diferencias entre dos grupos: Uno que haya trabajado con el proyecto y otro que
no (grupo de referencia).
Para hacer una comparacin de los indicadores y medir nuestro impacto, es recomendable emplear informa-
cin de lnea base, ya sea que haya sido recopilada antes de la intervencin, en la primera medicin de
avances, o a travs de fuentes secundarias (documentacin existente: encuestas nacionales o estudios e
investigaciones).Tambin se debe definir las metas por alcanzar, estableciendo claramente el nivel de cam-
bio que se espera conseguir (PNUD, 2009).

Actividades de la dcima cuarta semana
Individuales
1. Realice la lectura de la semana.
2. Elabore un flujograma para describir el proceso a seguir en la seleccin de la informacin.
3. Actualice su diario de aprendizaje.

Grupales
1. Comparta con sus compaeros y compaeras de grupo, en la clase su flujograma, luego construyan uno
de manera grupal.
Autoevaluacin
1. Qu sentimientos concretos han llegado a su mente al realizar la lectura anterior?
2. Est usted de acuerdo con los criterios enumerados por la lectura para la seleccin de la informa-
cin?
3. Con cules criterios no est de acuerdo y por qu?
4. Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuen-
ta, cules?
5. Cun bien cree usted que ha comprendido esta parte? En una escala del 1 al 10, en la que 1 es "no
la he comprendido" y 10 es "he comprendido todo muy bien", dnde se ubicara usted? Explique sus
razones.









94
DCIMA QUINTA SEMANA
TEMA
Identificacin de las fuentes de informacin para la evaluacin
Objetivos de la semana
Al finalizar el estudio de la dcima segunda semana las y los estudiantes.
Identificarn las fuentes de informacin, para su plan de evaluacin.
LECTURA
Monitoreo: un proceso de planteamiento y exploracin de preguntas inteligentes, que propo-
ne provocar y apoyar reacciones y decisiones gerenciales que garantizan la generacin de va-
lor pblico.
El monitoreo se asocia con indicadores. Y, a su vez, la seleccin de indicadores idneos para el monitoreo no
resulta completa hasta cuando se identifiquen las fuentes de informacin que brindarn los datos necesarios
para construir los indicadores.
Tratndose de un proceso que se realiza continuamente durante la ejecucin de un programa, el monitoreo
requiere de fuentes de datos e informacin que podrn ser actualizados (y monitoreados) a travs del tiem-
po, en plazos que brindarn informacin pertinente y oportuna para los gestores. As, el monitoreo requiere de
fuentes de informacin que se actualizan continuamente o que brindan actualizaciones con una periodicidad
idnea para verdaderamente generar informacin til para los que toman decisiones con respecto al programa,
sus actividades y sus inversiones.
En la unidad 3.2 propusimos que la identificacin de indicadores debe incluir la definicin de las fuentes de
informacin o los mtodos de recopilacin de datos para su elaboracin. En esta unidad, vamos a proponer unas
pautas para contemplar posibles fuentes de informacin o mtodos de recopilacin.

Fuentes primarias y fuentes secundarias
Iniciamos la reflexin con una distincin bsica entre dos tipos de fuentes de informacin:
Fuentes primarias (o directas): se tratan de los datos obtenidos "de primera mano", por los que estn gestio-
nando el proceso de monitoreo, por medio de procesos de recopilacin que ellos mismos disean y gestionan.
Cuando contemplamos el uso de datos de fuentes primarias, tenemos que referirnos a mtodos de recopilacin
de datos.
Fuentes secundarias: consisten en datos recopilados por otros gestores, frecuentemente para otros fines. Se
trata de datos ya recopilados, que pueden ser utilizados directamente o pueden ser procesados de tal manera
que resulten tiles para el proceso de monitoreo. Cuando nos referimos a datos de fuentes secundarias para el
monitoreo, nos obligamos a analizar la capacidad de los datos ya recopilados a suplir las necesidades de infor-
macin del proceso.
El cuadro que se presenta a continuacin propone resumir posibles fuentes primarias y fuentes secundarias,
para los procesos de monitoreo de programas sociales. Vern que se presentan primero las fuentes secundarias.
Esto, porque en general, se recomienda que los procesos de investigacin y anlisis tomen las fuentes secunda-
rias, pues se pueden economizar los esfuerzos y los recursos de recopilacin de datos. A su vez, se reconoce que
las fuentes secundarias de datos pueden obligar a acomodar las demandas y necesidades del anlisis o investi-
gacin a los mtodos de recopilacin de datos ya aplicados.
El cuadro intenta caracterizar cada posible fuente de informacin con ejemplos, una identificacin preliminar
de ventajas y desventajas que podran presentar para los procesos de monitoreo y una identificacin de algunas
95
fuentes de informacin impresa y de acceso electrnico. Cabe anotar que la mayora de los links electrnicos
llevan a referencias redactadas en ingls. Las fuentes impresas son, en su mayor parte, disponibles en espaol.





96















97








98

Analicemos las posibles fuentes, contemplando los diferentes datos necesarios para un proceso de monitoreo:
Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspon-
dientes procesos y recursos. Por tanto, los datos necesarios van a ser descriptivos de procesos internos a las
organizaciones ejecutoras del programa. Resulta apenas lgico que la mayora de los datos van a resultar de
fuentes primarias, en buena parte de registros administrativos de las organizaciones ejecutoras. Se pueden
utilizar datos contables, de recursos humanos, de procesos y rutinas, de auditora, entre otros. Evidentemente,
los datos de registros administrativos se podran complementar y cualificar con datos de entrevistas con diver-
sos actores de estas organizaciones.
Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la po-
blacin usuaria (el encuentro de la oferta del programa con la demanda). En su mayor parte, estos indicadores
se pueden construir con datos recopilados por los establecimientos o los mbitos donde se entregan los produc-
tos o servicios del programa. Para estos datos, lo ms comn sera utilizar registros administrativos y, en algu-
nos casos, fichas de atencin a usuarios y entrevistas o encuestas con usuarios. Todos estos, clasificados como
fuentes primarias, pues se recopilaran directamente por los gestores del programa, para fines de monitoreo.
Indicadores de efectos y impactos: describen evidencias cambios en los consumos, comportamientos, conoci-
mientos y/o actitudes de los afectados por el programa y evidencias cambios en el bienestar consecuentes de la
generacin de los efectos. La construccin de estos indicadores de efectos e impactos requiere de datos que se
recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se
producen en las comunidades, en los hogares y en los individuos. Como tal, abren la posibilidad de uso de fuen-
tes secundarias de informacin. Se podra utilizar datos de encuestas -- bien sean recopiladas primordialmente
para fines del monitoreo (fuentes primarias) o que sean tomados de encuestas realizadas para otros fines (en-
cuestas de ingresos y gastos, o encuestas de condiciones de vida, por ejemplo). Asimismo, se pueden utilizar
datos censales, datos de registros administrativos de organizaciones beneficiarias del programa u organizaciones
que interactan con la poblacin objetivo del programa.
99
Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del
riesgo y las acciones y resultados de la gestin de estrategias de manejo del riesgo. Estos indicadores requieren
de datos que se recopilan entre las poblaciones y comunidades objetivo del programa y tambin de datos inter-
nos de la organizacin. Como tal, se pueden utilizar datos de fuentes primarias y/o secundarias de informacin:
fuentes que hacen seguimiento de evidencias de posible ocurrencia del riesgo (por ejemplo, observatorios de la
actividad empresarial o de los indicadores macroeconmicos) y fuentes que monitorean la gestin de estrate-
gias de manejo del riesgo (que muy probablemente se tratarn de datos internos).

Factores que se deben tomar en cuenta para la seleccin de fuentes de informacin
Relevancia de los datos: Los datos que utilizamos en el monitoreo tienen que facilitar las respuestas a
las preguntas que proponemos explorar en el proceso. La relevancia de los datos es, por lo tanto, el cri-
terio primordial para la seleccin de las fuentes de informacin. Una fuente de informacin secundaria
solo va a ser til si los datos recopilados efectivamente reflejan (directa o indirectamente) los fenme-
nos que efectivamente estamos tratando de monitorear. De la misma forma, si se toma la decisin de
levantar los datos primarios, hay que ser fiel a los fenmenos que se proponen monitorear.
Cobertura: El monitoreo requiere datos sobre ciertos procesos, determinadas poblaciones, organizacio-
nes o grupos. Si se propone realizar una recopilacin de datos primarios, es necesario preguntar si se va
a recopilar datos sobre el universo de los miembros de los grupos que se desean monitorear o de una
muestra representativa del mismo. De la misma manera, la viabilidad del uso de datos de una fuente
secundaria depende de la cobertura del mismo: los datos cubren las poblaciones, los grupos, los
procesos o las organizaciones que proponemos monitorear? Cubren una muestra representativa de
ellos, de forma que podramos proponer generalizar a partir de los datos recopilados?
Periodicidad: Por definicin, el monitoreo va a requerir de datos que se recopilan con cierta periodici-
dad regular; la posibilidad de actualizar los datos regularmente tiene que ser tomada en cuenta al di-
sear un mtodo de recopilacin y/o juzgar la idoneidad de una fuente secundaria de informacin.
Para el monitoreo, vamos a requerir de actualizaciones muy frecuentes (mensual, trimestral, etc.) de
datos sobre actividades, inversiones y productos y menos frecuentes (semestrales, anuales, bianuales,
etc.) de evidencias de efectos e impactos. Si no es posible contar con una frecuencia suficiente de ac-
tualizacin de datos (por la exigencia de los mtodos de su recopilacin), conviene definir unos indica-
dores intermedios o unos indicadores proxy para poder hacer un seguimiento de evidencias que sugie-
ran que pueda (o no) estar presentando evidencias de posibles efectos e impactos.
Otro elemento importante para tener en cuenta al definir la periodicidad con que se van a recopilar los
diferentes datos particularmente de los efectos e impactos tiene que ver con el tiempo necesario
para que se produzca una varianza en el indicador. Una tasa de escolaridad de la poblacin mayor de
10 aos, un coeficiente Gini (de desigualdad distributiva) o una tasa de analfabetismo entre los mayo-
res de 25 aos solo produce varianzas lentas en el tiempo. En caso de incluir indicadores de esta natu-
raleza en el proceso de monitoreo, tambin podra convenir incluir en el monitoreo unos indicadores in-
termedios para poder explorar evidencias que sugieran que estemos (o no) en el camino que conduce
hacia ese logro.
Costos: Evidentemente, en el monitoreo, hay que buscar un equilibrio entre lo ideal y lo alcanzable en
la definicin de fuentes de informacin. Es importante tener en cuenta los recursos necesarios (recur-
sos financieros, y de tiempos de los gestores del proceso de monitoreo) para poder utilizar las diversas
alternativas de fuentes de informacin.




100
Hoja de trabajo: Seleccionar fuentes de datos
Indicador Fuentes potenciales
de datos
Criterios para la seleccin de fuentes de datos
Completitud, preci-
sin, pertinencia
Facilidad en el ac-
ceso y factibilidad
Falta de riesgos
para las personas
que responden









Si se comienza la evaluacin de un programa nuevo:
Construir una lnea de base quiz constituya el paso ms importante para asegurar que se llegue a hallazgos
tiles. Es necesario recolectar al menos algunos datos de base acerca de las interrogantes ms importantes de
la evaluacin.
Cundo recolectar datos de base:
1. antes del inicio del programa.
Si se realiz un diagnstico de necesidades (evaluacin de necesidades) que incluy la recoleccin
de datos sobre los indicadores, habr que utilizar dichos datos como la lnea de base.
Aplicar el instrumento para la recoleccin de datos cuando las personas se apuntan para el progra-
ma.
Revisar los documentos antes del comienzo del programa.
2. al inicio del programa
En los casos en que las personas se inscriben o comienzan a participar a partir de un momento es-
pecfico, se puede aplicar un instrumento pre-prueba con las mismas preguntas que se utilizar en
las valoraciones medias y/o finales.
En los casos en que los y las participantes en el programa no son un grupo cautivo, aplicar el ins-
trumento pre-prueba a una muestra de personas, eventos o documentos, que estarn expuestos al
programa.
3. en una etapa temprana del programa, antes de poder esperar resultados.
Cmo mantener los gastos bajos:
1. utilizar datos del diagnstico de necesidades, si
a. son aptos para los indicadores que se han determinado como necesarios para la evaluacin
101
b. se recolectaron de la misma fuente de datos que se utilizar en la lnea media y/o final
c. se recolectaron de la misma manera en que se recolectarn en la lnea media o final
2. priorizar las preguntas ms importantes
a. centrarse en los objetivos especficos y en las actividades ms importantes respecto al equipo del
programa, los actores interesados y los donantes
b. enfocarse en los subgrupos ms importantes dentro de la poblacin potencial, como seran las ma-
dres solteras, los nios menores, los polticos o la prensa ms conservadora, las personas ms es-
tigmatizadas, es decir, las personas ms importantes para los resultados del programa.
Si se evala un programa ya en marcha:
Es un desafo comn evaluar un programa que no cuenta con una lnea de base adecuada.
Si existe una lnea de base:
Aunque no es muy comn, es posible encontrar que se ha realizado algunas mediciones iniciales. Se podr hacer
uso de dichos datos, si:
la lnea de base existente incluye informacin acerca de los indicadores que ya se han determinado
como necesarios para evaluar los cambios respecto a los objetivos inmediatos e intermedios
los datos existentes pueden ser analizados de nuevo o reagrupados, con el fin de proveer la informacin
necesaria para medir el cambio respecto a los objetivos inmediatos e intermedios del programa
se aplic la lnea de base en personas que participan en el programa, o muy similares a ellas
se recolectaron los datos de formas similares a las que se utilizar para recolectar los datos post-
prueba

Icono de punto importante: Es mejor no tener una lnea de base, que llegar a conclusiones errneas de una
lnea de base mal construida.

Si no existe una lnea de base:
Esta constituye la situacin ms comn.
Utilizar un grupo de comparacin.
Si no hay un grupo de comparacin disponible o apropiado, construir una comparacin de lnea de base
retrospectiva, mediante:
o La creacin de versiones retrospectivas de las preguntas medias o finales, por ejemplo, antes
del programa o en tal ao, cmo era la situacin respecto a X, Y o Z?
o La utilizacin de percepciones cualitativas de los cambios, al preguntar a las personas que res-
ponden cmo perciben la diferencia entre la situacin antes del programa y el momento ac-
tual.
o La utilizacin de diferentes maneras de indagar sobre cmo eran las cosas antes del programa,
por ejemplo, las percepciones de las personas, ms los registros municipales. Ello es otro
ejemplo de cmo puede ayudar la triangulacin.
o Siempre habr que incluir una pregunta respecto a si los y las participantes en el programa
perciben cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta
con una lnea de base slida, este tipo de pregunta complementar los datos y puede llevar a
conocimientos significativos.
Cmo ayudar a la gente a recordar?
Siempre existe un riesgo al preguntar a las personas cmo estaban las cosas antes del programa. Quiz se hayan
olvidado, u otros eventos hayan causado que recuerden las cosas de otra manera. Con el fin de ayudarles a
recordar, habr que ubicarles en el perodo de tiempo de inters para la evaluacin. Por ejemplo, en la intro-
duccin a la entrevista o la seccin, pedir que recuerden dnde vivan, con quin vivan, a qu se dedicaban.
Una vez ubicadas en el perodo de tiempo, se les puede plantear preguntas especficas respecto a la lnea de
base.
102
Cundo constituye la lnea final el fin?
En qu momento despus del fin del programa se desea medir la lnea final?
Si se espera varios meses o aos:
o Es ms probable que se detecte cambios que han persistido e incluso que se han vuelto ms
marcados con el tiempo.
o Puede ser ms difcil y costoso encontrar a las personas o los registros necesarios para evaluar.
o Es posible que las personas ya no recuerden nada o lo que recuerdan est distorsionado.
o Otros factores pueden haber aumentado o reducido los resultados que se intenta evaluar.
Si se mide inmediatamente despus del cierre del programa:
o Se puede medir cambios inmediatos (objetivos). Los cambios pueden ser de corta duracin, y
no se podr demostrar resultados ms duraderos.
o La evaluacin podr ser ms fcil y menos costosa.

El escenario ideal es hacer ambos, pero con recursos limitados, habr que realizar las mejores comparaciones
posibles, en el momento en que se cuenta con los recursos.
De qu tamao debe ser la muestra?
El asunto puede reducirse a cuestin de tiempo y dinero.
o Determinar cunto tiempo, dinero y personas estn disponibles para recolectar los datos.
o Determinar cunto tiempo y dinero se necesita para cada tipo de recoleccin (una vez disea-
dos los instrumentos de recoleccin de datos, en el Mdulo 6), y proceder a la inversa.
o Equilibrar el tipo de instrumento con el nmero de fuentes a incluir. Por ejemplo, quiz se
pueda aplicar una encuesta breve a todas las personas, pero si se quiere realizar entrevistas a
profundidad, probablemente se tendr que elegir una muestra pequea.
o Tener en mente el tipo de interrogante de la evaluacin, al que se pretende dar respuesta. A
veces ser mejor una recoleccin de datos ms profunda en una muestra ms pequea, que
muchos datos superficiales de una muestra ms grande.
Si se utiliza instrumentos de recoleccin de datos cualitativos (vase el Mdulo 6), habr que planear
la inclusin de al menos 3, pero de preferencia 5 personas para cada categora que se utiliz para se-
leccionar la muestra. Ejemplo: Si la muestra debe incluir hombres que tienen relaciones sexuales slo
con hombres, hombres que tienen relaciones sexuales slo con mujeres, y hombres que tienen relacio-
nes sexuales con ambos, habr que intentar formar una muestra de 3 a 5 hombres para cada una de
estas categoras.
Evitar sesgos en las comparaciones
Comparaciones de lnea de base versus lnea final:
Es importante establecer la confianza durante la valoracin de base, a fin de evitar el sub-registro de con-
ductas o actitudes que son criticadas socialmente, y evitar el sobre-registro de conductas o actitudes popu-
lares o de mucho status.
o Al recolectar datos para la lnea de base, quiz sea necesario explorar temas sobre los cuales
es difcil hablar. Las personas entrevistadas que an no ingresan al programa, quiz sub-
registren conductas o actitudes delicadas o polmicas, o bien, se jacten de sus hazaas.
o Por medio de la participacin en el programa, donde probablemente se desarrolle la confianza,
quiz se encuentre niveles ms elevados de conductas respecto a las cuales no se pudo hablar
cuando se realiz la lnea de base; asimismo, es posible encontrar niveles reducidos de jactan-
cia acerca de actitudes o conductas de mucho status. En ambos casos, se alterarn las compa-
raciones.
o Preguntar a los y las participantes si se sienten bien al hablar de temas delicados, y en la valo-
racin post-prueba, si se sintieron ms o menos cmodos/as que antes, hablando de dichos te-
mas.
o En la lnea media o final, preguntar si las personas participantes percibieron cambios y si consi-
deran que dichos cambios se deben al programa. Aun si se cuenta con una lnea de base slida,
una pregunta de esta ndole complementar dichos datos y puede llevar a importantes conoci-
mientos nuevos.
103
Planear y utilizar los datos de monitoreo para medir cambios en el desarrollo u otros eventos o interven-
ciones que alteran la vida, mismos que pueden ocurrir entre la valoracin de base y la final.
o Las personas jvenes pueden haber cruzado umbrales en su desarrollo durante su estancia en
el programa, como sera el inicio de la actividad sexual. Si el programa buscaba reducir la acti-
vidad sexual insegura, ello no significa que el programa no tuvo efecto. Su conducta an podra
ser mucho ms segura en comparacin con jvenes similares que no tuvieron contacto con el
programa (un grupo de control).
o Pudieron haber ocurrido eventos externos que afectan los hallazgos, como seran disturbios
polticos, escndalos, desastres naturales, la transmisin de programas educativos en televisin
o radio, etc.
o Si se est haciendo uso de registros pblicos, el personal pudo haber recibido nuevos incentivos
o capacitacin para redondear su preparacin, o bien, un nuevo gerente o un nuevo sistema de
evaluacin les pudo haber intimidado en cuanto al registro de cierta informacin.
Revisar la composicin de los grupos reales que se estn comparando.
o La desercin durante el programa o la incorporacin tarda de personas (despus de haberse
aplicado la pre-prueba), puede llevar a que los grupos pre-prueba y post-prueba ya no sean
iguales en algunas caractersticas esenciales, como la motivacin, la escolaridad, el apoyo fa-
miliar, etc. Al revisar los datos de monitoreo continuamente, ser posible percatarse de esta
situacin, y ojal evitar sesgos en las comparaciones.
o Decida si se van a utilizar solamente encuestas apareadas, en las cuales se ha diseado una
forma de identificar a las personas en la pre-prueba y post-prueba aun manteniendo su anoni-
mato, para saber el impacto del programa en el individuo.
Planear la forma de realizar comparaciones persona por persona en los momentos de pre-prueba y
post-prueba. Aun si se cuenta con un subgrupo pequeo, cuyos integrantes se pueden aparejar con
personas que responden, se puede obtener informacin valiosa acerca del cambio a nivel individual, de
tal forma que si los grupos terminan variando, an se podr saber si el programa tuvo impacto o no.
o Si el anonimato constituye un asunto a manejar, asegurar la inclusin de un identificador nico
(Un grupo reducido de preguntas que la persona respondedora recordar y contestar de la
misma manera cada vez que se le entreviste, sin revelar su identidad, como sera el nombre de
la hermana o el hermano ms cercano en edad, el color favorito, el nmero de hermanos y
hermanas) en el instrumento de recoleccin de datos, a fin de aparejar las personas que res-
ponden sin revelar su identidad.
Ms vale prevenir que lamentar
Siempre es algo riesgoso depender de una lnea de base reconstruida despus del hecho. Siempre es mejor
recolectar datos base al comienzo del programa. Sin embargo, si no existe un grupo lgico de comparacin, y se
necesita estimar una lnea de base, se obtendr mejores resultados si se hace lo siguiente:
enfocarse en eventos ms concretos, y pedir que se den ejemplos
pedir a la persona que responde que d las razones o explicaciones de sus percepciones
captar datos de diversas fuentes y compararlos para corroborar los hallazgos, por ejemplo, el personal
adems de los registros del hospital
hablar con personas que tienen diversos grados de identificacin con el programa
Se puede confiar en los registros?
En muchos casos, los registros existentes y disponibles en archivo, habrn sido plasmados en condiciones no
ptimas. Ser conveniente entrevistar a las personas que registran los datos, e indagar sobre el nivel de confia-
bilidad de estos, antes de depender de registros que pueden ser muy engaosos. Si la valoracin final depen-
der de esos mismos registros, habr que evitar cualquier influencia que pudiera afectar la precisin con la que
se asientan durante el perodo de la evaluacin, entre la pre-prueba y la post-prueba. Las influencias podran
ser por ejemplo, un mayor inters en el tema, o una nueva poltica que requiere que el personal dedique tiem-
po a la diligencia de los formularios.
Seleccionar fuentes de datos
Para cada fuente potencial de datos, plantearse las siguientes preguntas:
Qu fuente o fuentes proporcionarn la informacin ms completa, precisa y pertinente?
104
La fuente estar libre de sesgos importantes y responder con honestidad?
La persona que responde ser capaz de, y estar dispuesta a proporcionar respuestas completas y
honestas?
Si la fuente es un documento, como la minuta de una reunin, expedientes clnicos, etc., es probable
que la informacin est bien registrada y que se haya registrado sistemticamente?
La observacin directa puede proveer informacin que no se podra obtener de otra manera, y puede
llevarse a cabo de tal forma que se evite cualquier cambio innecesario en el comportamiento de las
personas?
Se tiene acceso fcil a esta fuente de datos?
Qu tan difcil ser encontrar a las personas con las que se necesita hablar?
Qu tan difcil ser lograr que las personas hablen o diligencien el cuestionario?
Los documentos estn disponibles y accesibles al equipo o a ciertos/as integrantes del equipo?
El/la lder del equipo o ciertos/as integrantes particulares del equipo pueden asistir a los eventos que
se desea observar, sin alterar lo que se desea observar?
La recoleccin de datos representa un riesgo potencial para la fuente de datos?
El hecho de que se intenta encuestar/entrevistar a ciertas personas les causar algn dao o incomodidad, por
ejemplo, al identificarles como pertenecientes a una categora estigmatizada? Cmo se podra protegerles de
dicho dao o incomodidad?
Ser posible proteger el anonimato, la confidencialidad y la privacidad de las personas involucradas?
Se pedir que las personas cuenten experiencias cuya discusin pueda perturbarlas?
Anonimato condicin en la que nadie jams pueda identificar a la persona o el tem por su nombre.
Confidencialidad condicin en la que nadie jams pueda identificar a la persona o el tem, excepto la
persona recopiladora de datos, incluidos los dems integrantes de los equipos de evaluacin y del progra-
ma.
Privacidad condicin en la que nadie pueda escuchar a la persona proveedora de datos, o de alguna mane-
ra incomodarla por proporcionar respuestas honestas.
Diligenciar la siguiente tabla para cada indicador y sus posibles fuentes. Elegir las fuentes de datos que renen
mejor los criterios. Se incluye un ejemplo despus de la tabla:
Actividades de la dcima quinta semana
Individuales
1. Realice la lectura de la semana.
2. Responda a la pregunta Desde su punto de vista por qu es importante hacer una buena identificacin de
las fuentes de informacin?
3. Actualice su diario de aprendizaje.

Grupales

1. Trabajando en grupo, elaboren las fichas u hojas de trabajo de la semana, de acuerdo a las indicaciones de
la lectura.
2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada?
2. Qu sentimientos concretos han llegado a su mente?
3. Puede sealar al menos tres nuevos aprendizajes?
105
4. En una escala de 1 a 10 como se catalogara en la identificacin de las fuentes de informacin, conside-
rando 10 como el valor ms alto, 5 valor intermedio y 1 como valor ms bajo.































106
DCIMA SEXTA SEMANA
TEMA
Recopilacin de datos e informacin para la evaluacin
Objetivos de la semana
Al finalizar el estudio de la dcima tercera semana las y los estudiantes.
Identifican los datos e informacin a recolectar para la evaluacin.
LECTURA
Paso 1: determinar el tipo de datos a recolectar y con qu instrumentos
Fundamento
Como existen varias maneras de recolectar datos sobre un indicador, hay que determinar la manera que
funcionar mejor para la evaluacin en cuestin, esto con base en la experiencia, la eficacia y el costo
(tiempo y dinero).
Las siguientes son dos preguntas importantes para plantear en cuanto a cada indicador:
Recolectar datos cualitativos o cuantitativos?
Qu mtodo habr que utilizar para recolectar los datos?
Aun cuando los recursos sean escasos, siempre hay manera de medir un indicador.
Tarea 1: Determinar el tipo de datos a recolectar para indicadores especficos
Este paso depender de lo siguiente:
El tipo de preguntas a las que los datos deben dar respuesta
La familiaridad que se tiene con las posibles categoras de respuestas
Los datos cuantitativos indican quin(es), qu, dnde y cunto.
Utilizan categoras fijas ligadas a definiciones y cifras
Tienen categoras de preguntas y respuestas, predeterminadas por quienes han desarrollado el instru-
mento de recoleccin de datos
Son ms estructurados y estandarizados (significa que se utiliza exactamente el mismo procedimiento
para cada persona) que los mtodos cualitativos
Presentan el desafo de organizar los datos numricos, de manera que tengan sentido y significado
Aplican a un mayor nmero de fuentes de datos ms econmicamente que los datos cualitativos
Los datos cualitativos indican por qu y cmo, y usualmente implican hablar con, u observar a las personas,
leer textos o ver imgenes.
Utilizan palabras en lugar de cifras
Se centran en los significados, los patrones en las relaciones y las percepciones
No requieren tener conocimiento de categoras predeterminadas de respuestas
Presentan el desafi de organizar en temticas o tipologas los pensamientos y las creencias de los y las
participantes
Normalmente implican un nmero menor de fuentes de datos (ej., personas o documentos) que los da-
tos cuantitativos
Pueden ser usados para formular preguntas (cerradas) ms efectivas en encuestas a travs de propor-
cionar una comprensin del lenguaje, significado y experiencia de los encuestados.
Casi siempre es buena idea recolectar ambos tipos de datos.
Para ver un ejemplo de diversas preguntas relacionadas con diferentes tipos de datos:
107
Si se intenta mostrar que se dieron cambios en la manera en que los hombres jvenes entienden el significado
de la masculinidad, despus de participar en una serie de talleres de sensibilizacin, quiz se desee saber lo
siguiente:
Cuntos hombres jvenes cambiaron su actitud hacia la violencia y su necesidad de tener varias parejas
sexuales? Los cambios fueron marcados y predecibles? En este caso, se recolectara datos cuantitativos.
Alternativamente, quiz se desee saber lo siguiente:
Cmo visualizan los hombres jvenes la nueva forma de masculinidad que han asumido, y qu significa para sus
relaciones con mujeres y su imagen de ellos mismos? En este caso, sera mejor recolectar datos cualitativos, al
captar las palabras de los propios jvenes.
Para cada indicador y fuente de datos, habr que considerar lo siguiente:
Cmo se dar mejor respuesta a las preguntas
Qu enfoque coincide con el presupuesto
Qu enfoque tiene ms sentido en el contexto local
Si se podr utilizar ambos tipos de datos provechosamente, y cmo se hara
No hay que tomar la decisin respecto al enfoque a utilizar slo con base en experiencias o conocimien-
tos previos. Habr que tomar la decisin con base en qu enfoque, o qu combinacin de enfoques, arro-
jar el tipo de informacin necesaria para dar respuesta a las preguntas necesarias.
Ello se logra al contar las categoras que se encuentran en los datos originales.
Ejemplo:
Si no est claro por qu, en el contexto local, las mujeres con complicaciones en el embarazo tardan mucho
en acudir al hospital, primero sera conveniente recolectar datos cualitativos mediante el dilogo con ellas y
sus familiares. Si el director de la clnica desea saber con qu frecuencia se mencionan ciertas razones, por
ejemplo las razones relacionadas con la discriminacin por parte del personal de salud, se podra crear cate-
goras con base en las razones mencionadas en cada entrevista. Al contar el nmero de mujeres con eviden-
cias de discriminacin en su historial, se tendra un indicador numrico (un porcentaje o una tasa) de la fre-
cuencia con la que se reporta dicho problema.
Para elegir qu tipo de datos se necesita recolectar, vase Hoja de trabajo: Elegir el tipo de datos que dar
respuesta a las preguntas
Hoja de Trabajo: Elegir el tipo de datos que dar respuesta a las preguntas
Indicador
Qu tipo de pregunta se plantea? Por qu?
Cunto? Etc.
Por tanto, los datos
deben ser
El indicador ser (puede ser
ambos, en el caso de datos
cualitativos)

cualitativos
cuantitativos
numrico
no numrico

cualitativos
cuantitativos
numrico
no numrico

cualitativos
cuantitativos
numrico
no numrico

108
Tarea 2: Determinar los mtodos a utilizar para la recoleccin de datos

Independientemente de que se utilice indicadores numricos o no numricos, ser necesario elegir entre
una variedad de mtodos de recoleccin de datos. Cada mtodo tiene sus ventajas y desventajas, y es ms
til en ciertas circunstancias que en otras.
Elegir los mtodos que:
Sern ms respetuosos de las personas que proporcionarn los datos
Sean pertinentes y apropiados para el contexto local
Ayuden a obtener, en lo posible, los datos ms precisos y completos
Eviten los sesgos innecesarios
Aspectos clave que habr que considerar:
Los requisitos o las limitantes relacionadas con el tamao de la muestra
Lo apropiado de los mtodos, tomando en cuenta las caractersticas particulares de ciertas personas
que responden, ej., su nivel de alfabetizacin, si estn dispuestas a hablar en grupo o no
El conocimiento que se tiene de las potenciales categoras de respuestas respecto a temas no explora-
dos
La necesidad del anonimato, la confidencialidad, o la relacin personal que se necesitara para obtener
informacin delicada.
Los recursos con los que se cuenta: dinero, tiempo y experiencia del personal
Para cada mtodo, se puede utilizar varios tipos de instrumentos.
La evaluacin ser ms rigurosa si se utiliza ms de un mtodo de recoleccin de datos para los indicadores
clave. El uso de varios mtodos de recoleccin de datos (y/o fuentes de datos) para un mismo tema (llamado
triangulacin), puede ayudar a validar los datos y puede llevar a una comprensin ms rica de los temas explo-
rados.

Tarea 3: Desarrollar los instrumentos de recoleccin de datos

Una vez que se haya decidido sobre los mtodos a utilizar (ej., grupo focal, observacin directa, entrevista
corta, encuesta), habr que disear los formularios en los que se registrar los datos.
Se puede hacer lo siguiente:
Utilizar instrumentos que otras personas han usado en situaciones similares.
Adaptar instrumentos existentes a la situacin particular.
Disear instrumentos propios.
En los instrumentos, incluir secciones para 3 tipos de informacin:
Informacin descriptiva acerca de la fuente de los datos y el evento de recoleccin de datos
La recoleccin de datos acerca de los indicadores
El registro de apuntes de campo u observaciones

Verificar que los instrumentos de recoleccin de datos sean entendibles, apropiados y pertinentes a nivel
cultural.
Habr que reunirse con las partes interesadas, con el fin de que revisen los instrumentos existentes, los que se
han adaptado, los que se pretende adaptar y los que estn en proceso de desarrollo. Las partes interesadas
pueden:
Aportar insumos cualitativos acerca de las categoras ms relevantes en el contexto local;
Sugerir preguntas importantes, y ayudar a pensar en cmo plantearlas; y
109
Ayudar a probar los instrumentos, ANTES de comenzar a recolectar los datos. Se les puede plantear las
preguntas ms difciles, a fin de ver si las entienden, o si dan el tipo de respuesta que se espera.
Contribuir a detectar problemas con anterioridad y realizar los cambios necesarios, antes de comenzar
a recolectar los datos. Ser conveniente aplicar los instrumentos con dichas personas, preguntarles
cmo llegaron a sus respuestas y qu significan esas respuestas.
Con el fin de asegurar que los instrumentos sean apropiados para el contexto local.

Una vez diseado el instrumento de trabajo:
Asegurar que el instrumento de recoleccin de datos incluya elementos (preguntas, observaciones, lis-
tas de verificacin, etc.) especficos para cada indicador que se haya identificado con base en los obje-
tivos que le incumben a la organizacin, agencia o programa (es decir, los resultados inmediatos y posi-
blemente intermedios)
Asegurar que el instrumento est diseado para recolectar algunos datos acerca de las brechas que se
identificaron en la Ruta Causal
Reconsiderar si se puede utilizar el instrumento para la lnea de base, la lnea media (si es relevante),
la lnea final y/o el grupo de comparacin. Recordar que las mismas preguntas sern planteadas en di-
ferentes momentos o a diferentes grupos para medir el cambio.
Asegurar que el instrumento est diseado para recolectar informacin que sirva para medir los cam-
bios que pueden ocurrir realsticamente, entre la primera aplicacin y la siguiente.

Paso 2: Desarrollar el plan de recoleccin de datos
Ahora que se cuenta con los instrumentos de recoleccin de datos, es necesario determinar lo siguiente:
Quines aplicarn cada instrumento
Cundo se recolectar los datos
Dnde se aplicar el/los instrumento(s)
Cmo se recolectar los datos

Cada uno de estos aspectos tiene importantes implicaciones para la calidad de los hallazgos.
Utilizar la Hoja de trabajo: Formulario para la recoleccin de datos, conforme se avance en las Tareas 1 3
del presente Paso 2.
Hoja de Trabajo Formulario para la recoleccin de datos
QUINES
Posibles personas que recolectan los
datos
COMENTARIOS/NOTAS/POR QU/POR QU NO
En quines confiarn las personas que
responden?

Quines podrn ser objetivos/as y estar
libres de sesgos?

Quines no tienen una relacin de
poder con las personas que responden?

110
Quines estn suficientemente familia-
rizadas con los temas?

Quines tienen buenas habilidades
interpersonales y saben escuchar?

CUNDO
Posibles momentos para la recoleccin
de datos
COMENTARIOS/NOTAS
Cundo estarn disponibles las perso-
nas que responden?

Se darn variaciones estacionales no
deseadas en su comportamiento?

Se llegar con diferentes tipos de
personas en diferentes momentos?

DNDE
Opciones respecto a dnde recolectar
los datos
COMENTARIOS/NOTAS
Dnde es probable encontrar a las
personas que responden?

Es posible establecer una buena rela-
cin ah, sin demasiadas distracciones,
suficiente tiempo, etc.?

El lugar estar libre de presiones socia-
les en el sentido de someterse a la
norma (es decir, lejos de la pare-
ja/cnyuge, figuras de autoridad,
amistades, parientes)?

Los derechos de las personas sern
respetadas, y su identidad ser confi-
dencial en caso necesario?


111
Tarea 1: Determinar quines recolectarn los datos
Si se hace uso de mtodos que implican contacto directo con las personas, es fundamental elegir a las personas
idneas para la recoleccin de datos que puedan obtener las respuestas y hacer, en lo posible, las observacio-
nes ms completas y honestas. Personas que:
Entiendan y sean sensibles a los temas que se discutir
No juzgarn a las personas participantes
Puedan ganarse la confianza de estas ltimas
Les har sentir cmodas
Las caractersticas podran incluir personas que:
No tengan un inters creado en los resultados, puedan ser objetivas y libres de sesgos
No tengan una relacin de poder con las personas que responden, especialmente si stas ltimas son
muy vulnerables o marginadas
Tengan las cualidades en las que las personas que responden probablemente puedan confiar dentro de
una situacin social y cultural especfica; en algunos casos ellos significa una persona similar a la que
responde, pero en otros casos significa una persona respetada pero diferente; en algunos entornos, pa-
ra hablar del sexo, la persona entrevistadora debe ser casada y del mismo sexo que la entrevistada.
No tengan prejuicios que podran interferir con la recoleccin de datos
Tengan buenas habilidades interpersonales y puedan lograr que otras personas se relajen
Conozcan y tengan la suficiente confianza para hablar del tema en cuestin
Sepan escuchar bien
Sean confiables, tengan un alto estndar tico y una tica de trabajo responsable
Hayan respondido bien a la capacitacin y hayan demostrado que acatarn las instrucciones relaciona-
das con la recoleccin de datos y el protocolo de aplicacin
Tarea 2: Determinar cundo se recolectarn los datos
Muchos factores pueden afectar el tiempo en que se puede recolectar datos.
Los aspectos estacionales incluyen la temperatura y el clima, el trabajo de temporada, la cosecha, la
poca de lluvias, los niveles de delincuencia o las fiestas; cualquier cosa que altere el comportamiento
de las personas y su disponibilidad.
La hora del da puede afectar el acceso a los y las participantes. Por ejemplo, quiz las personas que
trabajan slo estarn disponibles a la hora de su descanso o al final de la jornada. Las personas que lle-
gan temprano a un sitio pueden diferir de las que llegan tarde. Tal vez slo se encuentre a las personas
en casa en ciertos momentos del da, pero no estarn dispuestas a participar en esos momentos.
Los das del mes o de la semana tambin pueden cambiar las conductas y la disponibilidad, por ejem-
plo, en relacin con el da de pago, de mercado o de asistencia a las ceremonias religiosas.
Dichos factores varan segn la poblacin en diferentes lugares, por lo que habr que estar consciente de las
barreras locales a la recoleccin de datos, y adaptarse a ellas.
Tarea 3: Determinar dnde se recolectarn los datos
El lugar donde se recolecta los datos puede influir en lo siguiente:
El acceso a los datos
La calidad de los datos (qu tanto se completan, franqueza)
Los riesgos que tienen las personas proveedoras de los datos
El grado en que la muestra refleja la poblacin prioritaria de la evaluacin
Algunos aspectos comunes a tomar en cuenta en el trabajo de SDSR, incluyen los siguientes:
Dnde es ms probable encontrar al tipo de persona o documento que se busca? Por ejemplo, para en-
contrar a los y las jvenes que no asisten a la escuela quiz se tenga buscarlas a ellas en su casa, pero a
aqullos en las calles, clubes o las instalaciones militares.
Hay suficiente tiempo para recolectar los datos con la persona que responde, o la situacin es dema-
siado apresurada?
El entorno fsico provee suficiente privacidad? Por ejemplo, hacer preguntas ntimas en una sala de es-
pera abierta puede limitar mucho la franqueza de las respuestas. Dnde se puede diligenciar un cues-
112
tionario de autoevaluacin, de tal forma que no se tenga que temer que alguien vea las respuestas? Las
mujeres probablemente no muestren apertura si estn cerca de sus hijos/hijas, sus amistades o la pa-
reja. Los hombres quiz no se sientan cmodos al hablar de temas delicados en lugares pblicos.
En una clnica u otros servicios es importante aclarar que, las respuestas no afectarn de ninguna ma-
nera la calidad de los servicios que recibir la persona; las personas deben confiar en que no perdern
su derecho a la atencin u otros beneficios si critican el programa.
Las reuniones comunitarias son buenos lugares, si la informacin que se busca no es demasiado delica-
da; pero se necesita un enfoque ms personalizado, si las respuestas pueden causar conflictos en el
grupo o incomodidad a algunas personas.
Asegurar que el simple hecho de buscar a cierta persona o de que otras personas puedan ver la entre-
vista, no pondr en riesgo a la persona que responde, al revelar una identidad secreta, despertar suspi-
cacia entre los vecinos, etc.
Tarea 4: Asegurar la correcta recoleccin de datos
Aun si los instrumentos son excelentes, la manera en que se recolectan los datos puede afectar la calidad de los
datos obtenidos.
Asegurar lo siguiente:
Claridad en las instrucciones sobre cmo aplicar los instrumentos
La adecuada capacitacin y supervisin de las personas que recolectan los datos
Que se aliente a las personas que recolectan los datos a reflexionar crticamente, con el fin de aclarar
los procedimientos y evitar que se repitan los errores
Que existan oportunidades para que las personas que recolectan los datos se junten a discutir los retos,
las preocupaciones y los xitos con las personas recientemente reclutadas, as como respecto al uso de
los instrumentos
Desarrollar una gua para la recoleccin de datos
Antes de capacitar a las personas que recolectarn los datos, establecer el protocolo o conjunto de reglas
de cmo hacer las cosas, esto debido a que se necesitar capacitar a dichas personas sobre estos mismos
aspectos, as como asegurar que sepan cmo facilitar o entrevistar adecuadamente.
La gua debe incluir lo siguiente:
Indicaciones claras respecto a cmo se obtendr el consentimiento informado. Es muy importante
obtener el consentimiento informado de las personas que responden, as como proteger su privaci-
dad, anonimato y/o confidencialidad.
En el caso de entrevistas individuales o grupales o encuestas, es preciso obtener el consentimiento ver-
bal o escrito. En el caso de la observacin, normalmente la persona que da acceso al sitio es la que da
el consentimiento, adems del adulto responsable de los y las menores de edad. Sin embargo, la perso-
na observadora tambin debe ganarse la confianza de los y las participantes, y obtener su permiso me-
diante su manera de construir relaciones en el lugar. Para realizar observaciones en lugares pblicos,
no hay nadie de quien obtener el consentimiento.
La manera en que la persona recolectadora de datos debe presentarse a las personas que respon-
den o a las personas observadas:
o cmo saludar a las personas que responden
o cmo vestirse
o la explicacin de por qu estn ah y cmo se utilizar la informacin
o cmo deben representar al programa o a la organizacin ante la comunidad
Instrucciones respecto a si la entrevista o el evento ser grabado, filmado o fotografiado
Qu procedimientos habr que seguir cuando no es posible recolectar datos, debido a que no se
encuentra la persona o el documento. Es importante asegurar que las personas que recolectan los
datos sigan los procedimientos y registren los casos faltantes.
Procedimientos especficos para salvaguardar los derechos de las personas, el anonimato, la confi-
dencialidad y la privacidad.
Directrices para terminar un evento de recoleccin de datos prematuramente, si las condiciones, la
calidad de la interaccin, la seguridad o el estado de la persona que responde indican que est en
alto riesgo la validez de la recoleccin de datos

113
Capacitar a las personas que recolectarn los datos
Si no se aplica bien el instrumento, las personas posiblemente no querrn responder, o se termine con datos
que no se puede utilizar, o que no son tan precisos como se requiere. Con el fin de asegurar que ello no suceda,
es necesario realizar lo siguiente:
Proveer la capacitacin correcta
Establecer reglas claras y aplicadas acerca de cmo recolectar los datos
Brindar apoyo continuo a las personas que recolectan los datos, y entablar discusiones con ellas de ma-
nera continua
Todas las personas que recolectan datos deben recibir capacitacin sobre el proyecto y su papel en l, aun si
son integrantes del personal o personas con experiencia en la recoleccin de datos o el MyE.
Qu hacer si nunca se ha capacitado a personas que recolectan los datos?
Como mnimo, la capacitacin debe incluir lo siguiente:
Los objetivos de la evaluacin
Una revisin de las tcnicas para la recoleccin de datos
Una revisin a fondo de los instrumentos
Ensayos en el uso de los instrumentos
Ejercicios para fortalecer las capacidades relacionadas con la conduccin de entrevistas y la comunica-
cin interpersonal.
Una discusin acerca de los aspectos ticos (incluyendo la privacidad, la confidencialidad, el anonimato
y el consentimiento informado)
Consideraciones en torno a los lmites profesionales (ej., si la persona que responde comienza a llorar,
es aceptable que la persona entrevistadora la abrace?; si la persona que responde le pregunta a la en-
trevistadora si experiment X en su embarazo; si la persona que responde invita a la entrevistadora a
pasar a su casa a tomar un caf despus de terminar la entrevista)
Una discusin acerca de cmo se sienten con su participacin en la evaluacin, ej., abordando temas
delicados; si forman parte del personal, cmo se sentirn si descubren que el programa no es tan bueno
como se imaginaban
La importancia de seguir las instrucciones y el protocolo de aplicacin
Ejercicios que les ayuden a convertirse en observadores/as analticos/as, y a hacer observaciones de
campo tiles y que reflejen un conocimiento adquirido
Una vez que se haya capacitado a las personas que recolectan los datos:
Hacer que practiquen sus habilidades nuevas, mediante dramatizaciones o juegos de roles
Observar a cada persona recolectadora de datos aplicando una verdadera encuesta, o realizando una
entrevista, sesin de grupo focal u observacin (el o la lder de la evaluacin tambin debe aplicar uno
o algunos de dichos mtodos, aun si no va a recolectar datos ms adelante)
Revisar la trascripcin de las primeras entrevistas a profundidad o grupos focales, y proveer una retroa-
limentacin especfica
Utilizar una lista de verificacin sobre lo que se busca, con base en lo que aprendieron en la capacita-
cin
Reforzar buenas conductas y proveer capacitacin correctiva si las cosas no se hacen como debe ser
No utilizar personas que recolectan los datos que no cumplen con las expectativas mnimas establecidas
al inicio de la capacitacin
Tarea 5: Realizar una prueba piloto de los instrumentos y del plan de recoleccin de datos
Antes de invertir tiempo y recursos en la recoleccin de datos, habr que pilotear o probar los instrumentos
creados o elegidos, con las siguientes personas:
las partes interesadas
personas similares a las de la muestra, pero que en realidad no formarn parte de la misma
Es preciso realizar la prueba piloto con personas, eventos o documentos similares a los de la verdadera reco-
leccin de datos.
114
Una prueba piloto contribuir a descubrir lo siguiente:
Cunto tiempo realmente lleva la recoleccin de datos
Si se puede recolectar los datos, dnde y cundo se haba planeado
Si existen problemas con la manera en que funcionan los instrumentos en el mundo real

Probar el plan de recoleccin de datos
Con dos o tres personas de cada uno de los subgrupos principales de la muestra.
O bien, con dos o tres personas de las diversas subcategoras de la muestra. Para ver un ejemplo. Si la
muestra es de jvenes que no asisten a la escuela, y las subcategoras incluyen a las nias versus los ni-
os, empleados/as y desempleados/as, que viven en la calle o en casa, pero los recursos son muy limi-
tados, se puede probar el plan de recoleccin de datos con los grupos ms difciles de contactar. La
prueba piloto podra incluir: dos jvenes varones que viven en casa, dos nias jvenes, y dos jvenes
varones que viven en la calle.
Asegurar que:
Las personas que recolectan los datos midan su tiempo, con el fin de ajustar el plan segn la necesidad
Las personas que recolectan los datos reporten cualquier pregunta confusa o los problemas que tuvie-
ron con entender cmo completar la aplicacin del instrumento
El o la lder de la evaluacin tambin realice algn ensayo de recoleccin de datos, con el fin de detec-
tar cualquier problema que podra seguir presente
Se observe a los y las entrevistadoras en accin
Se revise sus apuntes de campo
Se verifique que hayan diligenciado el instrumento correctamente
Se invite a las personas que recolectan los datos a que den retroalimentacin acerca de cmo funciona-
ron las cosas y cualquier observacin que tengan acerca del instrumento y su aplicacin
Crear un ambiente de trabajo colaborativo, a fin de que las personas que recolectan los datos se sien-
tan cmodas compartiendo con el Equipo de MyE. Sus observaciones y la calidad de su trabajo son funda-
mentales para el xito del proceso de MyE.

Verificar que los instrumentos sean confiables y vlidos
Estos conceptos son muy importantes para la evaluacin, pero con frecuencia intimidan a las personas a tal
grado que ni siquiera intentan evaluar conceptos sociales complejos. Probablemente no se cuente con re-
cursos para probar los instrumentos a profundidad, pero se puede hacer lo siguiente:
Para verificar la confiabilidad:
Programar que dos personas que recolectan los datos colecten datos de la misma persona
Hacer que la misma persona recolectadora de datos repita la recoleccin de datos en la misma persona,
documento o evento al da siguiente
Revisar los pares de instrumentos para ver si se llega a las mismas conclusiones. Ejemplo: En un instru-
mento que contempla las actitudes de las y los polticos respecto a la legalizacin de los derechos de
herencia de las mujeres, el instrumento no sera confiable si una vez mostr que una persona estaba
completamente de acuerdo, y al da siguiente mostr que no tena opinin o estaba en desacuerdo.

Para verificar la validez:
Asegurar que se haya desmenuzado los conceptos sociales complejos abordados, en componentes me-
dibles (si no, habr que regresar al Mdulo 4).
Asegurar que las preguntas no tengan varias respuestas. No use y u o porque no se sabr a qu
parte de la pregunta se est respondiendo.
Asegurar que las personas que responden a un instrumento, entiendan las preguntas.
Asegurar que las preguntas u observaciones coincidan con la realidad del contexto local.
Se puede plantear ms de una pregunta sobre el mismo tema en diferentes momentos de la entrevista,
a fin de ver si coinciden.
115
Se puede pedir a la persona entrevistada, su valoracin cualitativa de qu opina sobre algn aspecto
que se intenta evaluar. Ejemplo: Si se aplica una lista de preguntas sobre la toma de decisiones en el
hogar (como un componente de la equidad de gnero), preguntar si la persona que responde siente que
se toma las decisiones en el hogar con igualdad entre ella y su cnyuge.
Utilizar ms de una fuente de datos, a fin de obte-
ner informacin acerca de aspectos clave de la evaluacin. Ejemplo: Si la evaluacin busca evaluar el
nivel del empoderamiento de las nias en la toma de decisiones vitales, se podra aplicar una lista de
verificacin de decisiones en que cada nia tiene confianza, pero tambin pedir que la o el maestro de
las nias las califique en cuanto al nivel de empoderamiento que demuestran; incluso hablar con sus
amistades o familiares para preguntarles acerca de los mismos aspectos de empoderamiento
Adaptar los instrumentos a la situacin del programa
Si se ha encontrado un instrumento, como una escala o lista de verificacin, apto para el indicador, pero que se
desarroll en otra cultura o entorno socioeconmico, qu se debe hacer? Es necesario encontrar el equilibrio
entre la seguridad de que el instrumento es apto para el contexto local del programa, y el hecho que modificar
el instrumento puede alterar su capacidad para funcionar bien.
Elegir instrumentos que sean muy aptos para el indicador que se intenta medir
Elegir instrumentos relativamente sencillos y que no requirieron de anlisis complejos para desarrollar-
los
Aplicar el instrumento con un grupo de partes interesadas, pedir que expliquen lo que significa cada
elemento para ellas, y preguntar cul fue su respuesta
Ajustar los elementos que no se entendieron o que parecieron estar fuera de lugar en el contexto local;
pero ser conveniente sustituir los elementos que se refieren al mismo tema o componente, con una
terminologa adecuada para el contexto local
Reaplicar la escala modificada a un grupo de personas similares a la muestra que se utilizar en la eva-
luacin. Cuando hayan contestado, plantearles preguntas acerca del significado de sus respuestas, de
tal forma que se confirme si sus respuestas tienen sentido. Por ejemplo, si se aplic una escala sobre la
comunicacin entre la pareja, y la persona obtuvo un puntaje muy alto en cuanto a la comunicacin
equitativa, preguntarle cmo siente la comunicacin con la pareja.
Verificar que no existan elementos que rinden resultados confusos: ya sea que todas las personas res-
pondieran de la misma manera o que respondieran de maneras muy diferentes respecto a otras pregun-
tas. Preguntar a las personas por qu respondieron as. Una vez que se entienda el problema con la
pregunta, hacer las modificaciones necesarias. Reaplicar la escala para ver si las respuestas coinciden
mejor con las expectativas
Al reportar los resultados de la escala, habr que describir el proceso mediante el cual se modific la
escala original. No se podr aducir el mismo nivel de confiabilidad y validez que se report con la esca-
la original, pero se sabr que el instrumento probablemente fue til para la evaluacin

Algunas consideraciones a tener en mente, al desarrollar o elegir las preguntas y cate-
goras
Asegurar que las personas que responden entiendan el lenguaje de las preguntas:
Entienden los trminos que se utilizan, de la misma manera que se pretende?
Habr que considerar el lenguaje local. La formulacin de la pregunta, las palabras que quedan fuera,
el doble sentido y los modismos (especialmente respecto a las prcticas sexuales), pueden variar de
una comunidad o barrio a otro, y pueden surgir prcticas respecto a las cuales no se haba formulado
preguntas.
Asegurar que se entienda los conceptos de la manera en que el Equipo pretende que se entiendan.
Asegurar que los conceptos tengan el mismo sentido para la persona que responde, respecto a lo que se
espera. Ejemplos: Quiz se le pregunte a los y las maestras acerca de la autoestima de las nias. Si se
obtiene muchos tipos de respuestas, quiz se tenga que trabajar sobre un entendimiento compartido o
una definicin de las palabras o las frases clave. Si se desconoce los significados locales, es mejor utili-
zar datos cualitativos primero para indagar, antes de crear categoras cerradas que no tienen sentido
en el contexto local.
116
Quiz se pregunte Tienes relaciones sexuales? Qu significa eso? En algunos lugares, las personas no
consideran que el sexo oral o anal constituya relaciones sexuales, aunque la persona entrevistadora s.
Los y las jvenes exploran mucho antes del coito; cmo se puede asegurar la captacin de dichas ac-
tividades? Como las conductas sexuales son temas tabes, y las personas a menudo suponen que saben
lo que significa el sexo y quines tienen relaciones con quines, es buena idea explorar la realidad me-
diante datos cualitativos primero, para posteriormente poder disear una herramienta cuantitativa que
incluya categoras reales y pertinentes a nivel local.
Asegurar que el instrumento sea aplicable a las caractersticas especficas de la poblacin/el entorno.
Las personas que recolectan los datos no deben tener supuestos innecesarios acerca de las personas que
responden.
Ejemplo. Si se est aprendiendo acerca de las relaciones sexuales de la poblacin meta, se apli-
car la herramienta slo a mujeres heterosexuales? Algunas mujeres habrn tenido o tienen rela-
ciones con otras mujeres? Todas estarn en una relacin con un solo hombre a la vez? Algunas
tienen mltiples parejas en el mismo perodo de tiempo? Algunas parejas casadas no tienen rela-
ciones sexuales?
Mantener en mente cuestiones de gnero (y edad). Las preguntas son apropiadas tanto para las nias
como los nios, para las mujeres como para los hombres? Si se plantea las mismas preguntas a diferen-
tes sub-poblaciones, posiblemente se deje de captar informacin, o se capte diferente informacin de
cada grupo
Las situaciones son suficientemente realistas como para que las personas puedan responder? Ejemplo.
Si se busca evaluar la calidad de las relaciones de pareja, con base en la toma de decisiones respecto a
la anticoncepcin, quiz se podra preguntar si la pareja de una mujer se pondra violento si se le pi-
diera que usara un condn. En algunas culturas, ello no sera apropiado, ya que pedir que se use un
condn realmente no constituye una causa de violencia. Casi todas las respuestas obtenidas seran
No. Por tanto, esta pregunta no dira mucho acerca del poder en la relacin de pareja.

El contexto social o de las polticas hacen que la pregunta sea inapropiada, aunque fuera apropiada en
otro entorno? Ejemplo. Las preguntas acerca de la toma de decisiones sobre el nmero de hijos/hijas a
tener, son apropiadas en muchos entornos donde las parejas lo deciden libremente. Sin embargo, en
China, donde durante muchos aos ha existido en zonas urbanas, la poltica de tener un solo hijo/hija,
dichas preguntas seran inapropiadas, ya que la decisin es restringida por la poltica social y el contex-
to. Quiz sean apropiadas en zonas rurales o en otros pases.
Formular buenas preguntas
Las preguntas deben ser precisas:
Hacer uso de un lenguaje sencillo que todo mundo pueda entender, especialmente los grupos con nive-
les ms bajos de escolaridad y los grupos que hablan diferentes dialectos o idiomas
o Mantener el nmero de palabras en 20 o menos, y el nmero de comas en menos de 4
o Evitar el uso del negativo, especialmente el doble negativo
Evitar la ambigedad. El Equipo se debe preguntar qu significa una respuesta a la pregunta. Si se ob-
tiene diferentes respuestas, aun dentro del propio Equipo, definitivamente falta especificidad!
Asegurar que no existan mltiples interpretaciones de lo que se pregunta o de lo que significan las res-
puestas
Plantear las preguntas con neutralidad. Evitar preguntas que tengan una respuesta socialmente correc-
ta, y no inducir que la persona que responde conteste de cierta manera
Cada pregunta debe preguntar una sola cosa. Evitar preguntas que incluyan y u o, ya que no se
sabr a qu elemento se responde
Evitar opciones que coincidan en algn aspecto, si se pide que la persona que responde elija una res-
puesta
Las preguntas no deben contener supuestos acerca de las personas que responden:
Incluir una opcin de no aplica, por si la persona realmente no puede dar respuesta a la pregunta
117
Plantear preguntas filtro que aclaren los supuestos e identifiquen a las personas que responden en
cuanto a ciertas preguntas, por ejemplo, preguntar Tiene hijos o hijas?, Estn vivos o vivas? antes
de preguntar acerca del comportamiento de los nios y las nias. Ha tenido relaciones sexuales?,
Ha incluido la penetracin vaginal? antes de preguntar acerca de la prevencin del embarazo.
Las preguntas deben ser planteadas de manera equilibrada:
Presentar ambos lados de una actitud dentro de la propia pregunta
Proporcionar un conjunto equilibrado de respuestas, tanto negativas como positivas
Preguntar acerca de una gama completa de conductas, incluyendo las que son tabes o estigmatizadas,
a fin de reducir el efecto de hablar de stas ltimas
Asegurar que la persona entrevistadora no sesgue las respuestas mediante gestos o el tono de voz.
Las preguntas deben tener una secuencia lgica, como en una conversacin:
Agrupar las preguntas por temas
Introducir cada tema nuevo con una breve explicacin de las preguntas que se plantear a partir de ese
momento
Las preguntas no deben leerse de manera rgida, sino que deben fluir como en una conversacin
Las preguntas no deben contener la respuesta
Las pregunta no deben incomodar a la persona que responde o hacerle sentir culpable
Al abordar conductas ilegales o no aceptadas a nivel social, asegurar la legitimacin de la discusin.
Posiblemente se decida preguntar acerca de lo que hacen otras personas, si no se logra que las personas hablen
de s mismas respecto a algo ilegal o estigmatizado. Ejemplo: En una evaluacin de un programa dirigido a
hombres reclusos, centrado en la prevencin del VIH, posiblemente sea demasiado difcil lograr que los hombres
reporten que tienen relaciones sexuales con otros hombres, y de manera particular, que reporten la violencia
relacionada con dichos encuentros. Quiz se tenga que pedir que reporten si han odo de encuentros sexuales
entre los hombres reclusos y/o con los guardias, y si dichos encuentros fueron violentos.
Cmo dar con las preguntas correctas?
El primer paso es hablar con las personas en sus propios entornos y aprender su propio lenguaje. Preguntarle a
una persona de confianza si ciertas preguntas tienen sentido y qu significan. Una vez que se cuente con las
preguntas a utilizar, aplicarlas en un grupo pequeo de personas, que pueden retroalimentar el proceso. Pre-
guntarles si las preguntas tienen sentido, en qu pensaron para contestarlas y cmo les hicieron sentir las pre-
guntas.

Cmo salvaguardar los derechos de las personas?
Es preciso implantar ciertos procedimientos, a fin de asegurar la confidencialidad, el anonimato, la privacidad,
etc. que se prometieron a las personas que responden.
Establecer los cdigos necesarios para identificar la fuente de los datos sin revelar la identidad de la
persona
Asegurar que las personas que recolectan los datos tomen muy en serio la importancia de no chisme-
ar o tomar a la ligera la informacin que oyen durante las entrevistas
Asegurar que existan procedimientos para ofrecer ayuda a las personas que revelan algn problema
crtico o algn riesgo durante la entrevista, sin violar la confidencialidad o alguno de sus derechos
Si una persona no puede responder debido a que hay alguien cerca que pueda or, habr que concertar
una cita en otra parte para continuar la conversacin.
Cul es la diferencia entre preguntas abiertas y preguntas cerradas?
Las preguntas abiertas son interrogaciones que permiten que la persona que responde conteste como
guste, sin categoras determinadas de respuestas. Por ejemplo, Qu opina usted de la atencin en sa-
lud que ha recibido de la clnica durante el ltimo ao?
Las peguntas cerradas tienen un conjunto fijo de respuestas posibles, y la persona que responde elige
entre una o varias opciones. Por ejemplo, Usted siente que la atencin en salud que ha recibido de
118
la clnica durante el ltimo ao ha sido: a) excelente; b) buena; c) regular; o d) deficiente? o bien,
Cmo lleg a la clnica hoy da? a) autobs, b) taxi, c) carro propio, d) ped prestado un carro o al-
guien ms me trajo, e) camin, f) bicicleta, g) combinacin de ms de una respuesta, h) otro medio
Cuando el personal se recolecta los datos
Cuando integrantes del personal del programa se convierten en recolectadores de datos, necesitarn ayuda
para mantener separados sus diferentes papeles:
Para evitar que sus expectativas del programa influyan en los datos que recolectan
Para evitar que ayuden a las personas durante la recoleccin de datos
Para asegurar que las personas que responden confen en que pueden responder honestamente, sin
perder los servicios o el acceso como resultado de sus respuestas o conductas
Tomar en cuenta las siguientes sugerencias:
discutir las cuestiones ticas desde el inicio de la capacitacin, y asegurar que todos y todas entiendan
la necesidad de separar sus roles
o asegurar que el personal entienda que no se utilizar la evaluacin como una evaluacin del
desempeo, y asegurar que ello se cumpla
o hacer hincapi en la importancia de la evaluacin para aprender nuevas maneras de mejorar el
programa y volverse an ms eficaces en su papel programtico
o ensearles respuestas estndares que puedan dar cuando las personas que responden les pidan
consejos o ayuda, como sera eso lo podemos discutir ms tarde, esto con el fin de que no
respondan improvisadamente ni interrumpan la entrevista; al mismo tiempo asegurar que de-
muestren empata, que sean compasivos/as y que brindan alguna respuesta til o realicen la
canalizacin necesaria al trmino de la entrevista
establecer directrices muy claras respecto a su papel como recolectadores/as de datos
o decirles lo que pueden y lo que no pueden hacer en el sentido de ofrecer ayuda o consejo a las
personas que responden
o asegurar que puedan brindar ayuda al final de la entrevista o sesin de observacin
o asegurar que registren exactamente qu consejo o informacin se brind
o ofrecer un folleto o un conjunto fijo de informacin al trmino de la recoleccin de datos
hacer todo lo posible por evitar que el personal recolecte datos con personas de las que se hace res-
ponsable dentro del programa
o de ser posible, asignar al personal la recoleccin de datos con personas de otra rea u otro sitio
del programa
o asignar al personal a recolectar los datos de personas que no conozcan personalmente
o evitar decir al personal si la persona que entrevistan u observan est en el programa o forma
parte de un grupo de comparacin
incluir explicaciones claras para todas las personas que responden y que participan en el programa
o explicar cmo se utilizar los datos
o explicar que no se espera una respuesta especfica
o asegurar que se sientan cmodas al proporcionar informacin precisa, sin tener que preocupar-
se por ofender a alguien o por perder el acceso a los servicios
utilizar cuestionarios auto-aplicables (si estos son adecuados para captar el tipo de datos necesarios)
o asegurar que las personas que responden puedan depositar el cuestionario sin tener que pre-
ocuparse de que el personal sepa quines son o cmo respondieron
en la seccin de limitantes en el informe final, incluir una referencia sobre quines del personal fue-
ron recolectadores de datos
o explicar las precauciones que se tomaron para reducir el posible impacto de dicha prctica
o hacer hincapi en los beneficios observados
o presentar con honestidad cualquier cuestin o preocupacin persistente
Cundo es mejor ser diferente?
Frecuentemente se supone que las personas iguales a las que responden sern las ms confiables y por
tanto, obtendrn las respuestas ms honestas. Pero a menudo no es el caso. En ocasiones, las personas se
sienten ms cmodas al confiar en alguien que consideran diferente y que no les juzgar, como posible-
mente lo hara alguien de la comunidad propia. A veces las personas externas a un grupo cultural o social
119
pueden ver las cosas con mayor claridad. Lo importante es la capacidad de la persona de no emitir juicios,
lograr que la que responde se sienta cmoda y escuchar abierta y compasivamente.

Cundo obtener solamente el consentimiento verbal?
Evite pedir una firma (consentimiento escrito) si piensa que hacerlo har que la persona no participe, la pondr-
a en una posicin riesgosa o de alguna manera la incomodara tanto que se comprometera la honestidad de sus
respuestas. Si trabaja con una poblacin que podra ser iletrada, debe tener un proceso de consentimiento
verbal usted explica la naturaleza de la participacin y los derechos del participante y consigue su consenti-
miento [verbalmente].

Cundo hay que cuidar el lenguaje?
Si se analiza el mismo concepto con diferentes subgrupos, estos pueden entender las palabras utilizadas de
diferentes maneras, por ejemplo, los y las adolescentes y sus padres y madres. Es ms importante que las
personas que responden entiendan la pregunta, que utilizar exactamente las mismas palabras con todas las
personas. Alternativamente, se puede utilizar ambos lenguajes para todas las personas que responden, ej.,
Estoy entendiendo el concepto X como (insertar la definicin), aunque a veces se conoce como (insertar
el modismo).
Si se ajusta las palabras de las preguntas para los diferentes grupos,
Habr que adelantar cmo se tendr que analizar los hallazgos, probablemente como comparaciones,
en lugar de poner todas las respuestas juntas
Dejar claro en el informe final, cmo se plantearon las preguntas
Explorar el significado de cualquier diferencia encontrada

Cuando uno no es suficiente
Con el fin de que la recoleccin de datos sea ms rigurosa, se debe recolectar ms de un elemento de informa-
cin sobre cada concepto, especialmente los conceptos que causan mayor incertidumbre. Ello se puede hacer
mediante lo siguiente:
varias preguntas acerca de un mismo componente de un concepto social complejo
una lista de diferentes ejemplos que corresponden a una pregunta; por ejemplo, diferentes mbitos de
la vida domstica, en la que una mujer tiene o no tiene autoridad para tomar decisiones autnomas
Tener cuidado al reportar lo anterior como un solo indicador. Existen ventajas y desventajas de hacerlo:
Ventajas:
o si las respuestas realmente deben ir juntas, se puede tener mayor seguridad de que realmente
se est midiendo el concepto que se pretenda medir
o se podr presentar menos hallazgos
Desventajas:
o es posible que las respuestas realmente no reflejen el mismo concepto
o algunas respuestas pueden tener mucha ms importancia que otras y al juntarlas, se puede
perder informacin
o uno o ms elementos de la informacin puede contrarrestar los dems y ocultar los resultados
verdaderos
Para evitar los errores comunes:
Siempre considerar los segmentos de datos por separado primero. Todos indican lo mismo? Cuando uno
est alto o bajo, los dems estn altos o bajos? Habr que hacer esto durante la prueba piloto del ins-
trumento, as como durante la etapa del anlisis en s.
Averiguar qu piensan las partes interesadas de la medicin de las diferentes preguntas u observacio-
nes. Consideran que todas se refieren al mismo concepto? Pero quiz convenga acudir de nuevo a las
partes interesadas, una vez que se cuente con los instrumentos reales de recoleccin de datos, a fin de
asegurar que las partes interesadas concuerden en que las preguntas realmente reflejan un cierto con-
cepto.)
120
Reportar segmentos de datos separados de manera separada, a menos que exista un antecedente cre-
ble o una justificacin claramente vlida para combinar los datos.



Cuntas personas se necesitarn para recolectar los datos?
Ello depender de lo extenso de la recoleccin de datos, cuntas personas/eventos/documentos sern
valorados y el grado de dificultad del proceso de recoleccin de datos
Determinar cuntas sesiones de encuesta/entrevista/observacin puede manejar cada persona con
precisin en el mundo real, con base en la prueba piloto del instrumento y del plan de recoleccin de
datos
Si no se cuenta con los recursos para que suficientes personas entrevistadoras apliquen bien el instru-
mento, habr que reducir el nmero de entrevistas y/o el tamao y complejidad del instrumento
Siempre es mejor recolectar pocos datos bien, que recolectar muchos datos mal.
Grabar o no grabar?
Siempre es tentador grabar las entrevistas o algunos eventos, pero tiene sus ventajas y desventajas.
ventajas
o es la mejor manera de saber que se ha captado los detalles de eventos o entrevistas complejas
o otras personas pueden verificar los datos respecto a la confiabilidad
o permite hacer diversos conjuntos de codificacin y anlisis una y otra vez
o la mayora de las personas se siente bien y acta con naturalidad, a pesar de la grabacin
desventajas
o puede afectar negativamente la libertad con la que se comportan las personas o comparten in-
formacin
o es necesario tomar precauciones, a fin de mantener la confidencialidad y el anonimato, inclu-
yendo el almacenaje y el borrado de las cintas despus del anlisis
o puede ser muy costoso revisar las cintas, en trminos de dinero y tiempo
o crea un adicional elemento fsico de informacin que debe ser protegido en virtud del plan de
confidencialidad
Hay suficiente tiempo para tener un impacto?
Anteriormente, en la planeacin de los indicadores, se hizo hincapi en la importancia de establecer indicado-
res de los cambios que realmente pudieran ocurrir como resultado del programa. Si se ha tenido que recurrir a
una lnea media en lugar de una lnea de base, y si se realizar la lnea final en un corto lapso de tiempo des-
pus del fin del programa, habr que considerar qu tipos de cambios pueden darse en el tiempo disponible. Si
la lnea media y la lnea final tienen lugar dentro de un perodo de slo tres meses, y se busca cambios en as-
pectos como la equidad de gnero, habr que asegurar que las preguntas reflejen aquellos antecedentes o ele-
mentos especficos que podran cambiar en ese perodo de tiempo. Alternativamente, considerar si conviene
recolectar los datos al final del programa y dar seguimiento ms adelante.
La confidencialidad y el anonimato
Como es muy ntima la informacin personal acerca de la sexualidad, las relaciones personales, las conductas y
la salud, es preciso que todas las personas que proporcionan informacin confen en que no se compartir su
informacin personal con cualquiera. En los pueblos pequeos donde todo mundo conoce a todo mundo, las
personas pueden estar especialmente temerosas de que se dar a conocer los detalles de su vida personal. Res-
petar la confidencialidad y el anonimato puede ser clave para asegurar la obtencin de informacin precisa, as
como para proteger la privacidad de los y las participantes.
Algunas cosas que se puede hacer para asegurar la confidencialidad y el anonimato incluyen lo siguiente:
Garantizar que las respuestas individuales de los y las participantes no se compartan con nadie excepto
el Equipo de evaluacin, a menos que quien responde presente un inminente intento de daarse a s
mismo/a o a otras personas. Explicar que se reportar sus respuestas de manera resumida junto con las
de otras personas, de tal forma que no se podr identificar a nadie.
Recolectar los datos annimamente, y no pedir los nombres de las personas. Si se necesita aparejar en-
cuestas con personas que responden, habr que utilizar cdigos secretos o numricos u otra identifica-
121
cin nica en lugar de los nombres. Asimismo, se puede pedir que la persona elija un nombre para s
mismo/a. Jams decir que la encuesta es annima y luego registrar la identidad en secreto.
Si es absolutamente necesario utilizar los nombres de las personas, asegurar que se salvaguarde muy
cuidadosamente cualquier material que contenga informacin personal. Almacenar dichos materiales
bajo llave en una gaveta o cuarto, y controlar el acceso al mismo.
Tener cuidado con los materiales, aun al deshacerse de ellos. Si se tiran a la basura, las personas de la
oficina los podrn ver, o el viento se los puede llevar y pueden terminar en otras manos. Es mejor tritu-
rarlos o quemarlos. Similarmente, los datos electrnicos deben ser desordenados.
Enfatizar claramente al personal y a las personas que recolectan los datos que se considera de suma
importancia la confidencialidad de los y las participantes. Comunicar a todas las personas con las que
se trabaja, cunto se valora su confianza.
En un entorno en el que todas las personas se conocen, se puede cuidar el anonimato y la confidencia-
lidad al reportar nicamente los datos agregados, es decir, slo los hallazgos grupales y no los indivi-
duales.
Una nota sobre el anonimato
Siempre que sea posible, recolectar los datos de tal forma que cada participante pueda ser annimo/a. Sin
embargo, si se busca medir los cambios en los y las participantes a travs del tiempo (ej., la lnea de base com-
parada con la lnea final), quiz se tenga que cotejar las respuestas del puntaje obtenido en la lnea final de un
individuo especfico. Con el fin de emprender algn tipo de anlisis estadstico, quiz tambin sea necesario
poder identificar cada caso en diferentes momentos. Por tanto, si se necesita proteger el anonimato, ser nece-
sario incluir algn identificador nico cada vez. Ello puede ser el cdigo que la persona aprende a proporcionar
cada vez, o la respuesta a algunas cuantas preguntas que no revelan la identidad, aunque son nicas a l o ella,
esto para poder aparejar los datos. Por ejemplo, el lugar de nacimiento de la madre o su color favorito.
NOTA: Si se piensa utilizar fotos o citas en los informes o las presentaciones, ser indispensable obtener el per-
miso de las personas involucradas. A veces no es apropiado dar los nombres verdaderos, sino utilizar un nombre
que las personas han elegido y slo identificadores generales, como edad, estado civil y escolaridad, depen-
diendo de lo que sea pertinente para el informe.




122
Mtodos para la recoleccin de datos
Mtodo: Discusin de grupo focal
Descripcin Los grupos focales son discusiones de grupos conformados por una muestra de personas que han sido cuidadosamente seleccionadas, y que se re-
nen con el fin de contribuir sus opiniones sobre temas especficos. Un grupo focal tpico rene de 4 a 12 individuos, normalmente similares en al
menos una dimensin (ej., mujeres casadas u hombres VIH positivos) y seleccionados segn el tema a explorar (uso del condn entre parejas casa-
das, o acceso al tratamiento antirretroviral). La discusin es dirigida por una persona moderadora o lder del grupo, y se centra en temas preselec-
cionados.
Instrumentos Gua para la discusin: Una lista de preguntas y temas a discutir. La discusin puede ser estructurada o no estructurada; la primera cuenta con una
lista de preguntas ms desarrollada, mientras que la discusin no estructurada sigue un boceto o una gua, y permite mayor variacin en el tema de
conversacin y en cmo fluye la discusin.
La persona moderadora coordina la discusin, mientras que otra persona toma apuntes y diligencia una lista de verificacin de las observaciones.
A menudo se graba la conversacin para su trascripcin y codificacin posteriores.
Pericia necesaria
Habilidades relacionadas con la facilitacin de discusiones grupales
Habilidades relacionadas con la observacin cualitativa y la toma de apuntes
Habilidades relacionadas con el anlisis de datos cualitativos
La capacidad de cuantificar las respuestas en caso necesario
Cundo utilizarla
Para recolectar informacin cualitativa y cuantitativa de varias personas con caractersticas similares
Para obtener retroalimentacin de las percepciones que se tienen respecto al programa, o para captar una idea de un pblico particular
(ej., los y las clientes de una clnica, nias adolescentes)
Para identificar las normas, los valores y las creencias socialmente aceptadas, respecto a temas o aspectos especficos
Para identificar qu lenguaje se utiliza para entender ciertos conceptos, ej., para identificar los componentes de conceptos sociales com-
plejos, como la equidad de gnero y el empoderamiento
Para probar el lenguaje y/o los conceptos que se consideran pertinentes en ciertos grupos y/o el programa
Para dar retroalimentacin a cuestiones como los avisos de servicio pblico o carteles de sensibilizacin
Ventajas
Es una forma rpida de obtener informacin (los grupos focales duran de 1 a 2 horas)
Es una manera til de obtener informacin (ej., modismos, normas conductuales) antes de disear las preguntas y las opciones de respues-
ta de una encuesta
Recolecta datos ricos y descriptivos
Tiene una alta tasa de respuesta, si coincide con el horario de los y las participantes
Desventajas
La logstica relacionada con organizar entrevistas grupales lleva mucho tiempo (ej., la necesidad de programarlas en torno al tiempo de los
y las participantes, no el propio; la posibilidad de tener que ofrecer cuidado de los nios y las nias o algn alimento ligero, etc.)
Tiende a dar con las normas en lugar de la gama entera de experiencias o conductas, especialmente si stas son delicadas o estn estigma-
tizadas
Los grupos mixtos pueden inhibir la participacin de las mujeres. Aun en grupos de un solo sexo, una o dos personas pueden dominar la
discusin.
No debe utilizarse para suplir un nmero grande de entrevistas individuales
Posiblemente sea necesaria la trascripcin (escuchar y registrar), lo que puede llevar mucho tiempo
Consideraciones para el
anlisis (errores comunes,
sesgos)
Posiblemente las personas slo den respuestas socialmente aceptables
Una persona o unas cuantas personas pueden establecer una tendencia, o dirigir la discusin, de tal forma que quedan suprimidas las ideas
de los dems
123
Mtodo: Ejercicios participativos basados en la comunidad
Descripcin Se puede utilizar varios mtodos participativos para generar datos. Los mtodos principales incluyen los siguientes:
mapeos, tarjetas ilustradas, juegos de roles
anlisis FODA, anlisis del poder, anlisis del campo de fuerzas
Instrumentos Hojas de codificacin, listas de verificacin, apuntes y conclusiones escritas o grabadas; hojas de tabulacin de datos
Pericia necesaria Habilidades para ejecutar programas participativos y para facilitar procesos grupales
Cundo utilizarlos Mapeos, tarjetas ilustradas, juegos de roles con poblaciones con bajo nivel de alfabetizacin; dentro de proyectos participativos para demostrar los
cambios en la distribucin de atributos, problemas comunitarios y conductas interpersonales percibidas
Anlisis FODA, anlisis del poder, anlisis del campo de fuerzas son ms pertinentes en los programas de abogaca y otros programas que trabajan
para cambiar el entorno poltico y de polticas; para demostrar los cambios en el contexto sociopoltico ms amplio
Ventajas Si se aplica sistemticamente en situaciones de pre- y post-prueba o en grupos de comparacin, pueden proveer datos ricos provenientes de una
amplia gama de poblaciones
Desventajas El grado en que se pueda comparar depender mucho de la composicin de los grupos y de qu tan sistemticamente se realiza la aplicacin
Consideraciones para el
anlisis (errores comu-
nes/sesgos)
Se puede contar las categoras o proveer descripciones cualitativas

Mtodo: Encuesta
Descripcin En una encuesta, se plantea una serie de preguntas de manera igual a todas las personas que responden (personas que diligencian el cuestionario).
Se puede aplicar encuestas de las siguientes maneras:
por medio de una persona entrevistadora en un entorno de persona a persona (una persona entrevistadora lee el cuestionario a la persona
que responde y la primera marca las respuestas), por telfono o por Internet.
autoaplicada: (la persona que responde diligencia el cuestionario sola, sin la entrevistadora)
Las encuestas frecuentemente utilizan preguntas cerradas, y se aplican a nmeros grandes de personas. Algunas encuestas tambin pueden incluir
unas cuantas preguntas abiertas.
Instrumentos Gua de la entrevista: Un documento que orienta a las personas entrevistadoras respecto a qu preguntas plantear y en qu orden.
Introduccin: Un texto que la persona entrevistadora lee en voz alta o que lee la persona que responde, el cual proporciona informacin acerca de
la naturaleza y el uso de la encuesta, incluyendo instrucciones generales para responder a las preguntas; asimismo, explica cmo se proteger la
confidencialidad/el anonimato.
Cuestionario: un conjunto de preguntas planteado a cada participante o persona que responde, de manera exactamente igual, ya sea de manera
verbal o escrita.
Pericia necesaria
Diseo de la encuesta
124
Habilidades relacionadas con la conduccin de una entrevista de persona a persona (en el caso de este tipo de aplicacin)
Diseo de una base de datos computarizada, si se utiliza terminales de computadoras en encuestas autoaplicadas
Suficiente conocimiento para poder distribuir sistemticamente
Habilidades relacionadas con el anlisis de datos (cuantitativos y/o cualitativos, dependiendo de los datos recolectados)
Cundo utilizarla
Para recolectar datos cuantitativos (preguntas cerradas) o cualitativos (preguntas abiertas)
Cuando se desea recolectar datos de grandes nmeros de personas, haciendo uso de preguntas cerradas
Las encuestas autoaplicadas y las entrevistas de persona a persona son ms apropiadas en el MyE a pequea escala, que en encuestas a
grande escala
Ventajas De la encuesta en general:
Es fcil comparar las respuestas
Es relativamente fcil analizar
Permite tener una muestra relativamente grande
Es fcil presentar y entender los resultados
La aplicacin requiere menos habilidades que la entrevista abierta
De la encuesta autoaplicada:
Puede ser annima; baja en costo
Sirve para valorar conductas, actitudes y creencias difciles de reconocer en presencia de otra persona, como las conductas ilegales o muy
estigmatizadas
De la encuesta aplicada de persona a persona:
Faltan menos datos, se puede asegurar la diligencia de todas las preguntas a las que la persona que responde est dispuesta a contestar; se
puede aclarar la terminologa y las respuestas de manera sistemtica
Se puede adaptar al contexto y a las personas especficas, incluyendo la instruccin de saltarse preguntas que no aplican
Permite canalizar los casos en los que se detecta alguna crisis o un problema
Desventajas De la encuesta en general:
Si las preguntas o las opciones cerradas son inapropiadas para el contexto local, incorrectas o estn sesgadas, pueden faltar datos o estos
pueden ser engaosos.
Se puede dificultar el diseo que evite sesgos y que sea apropiado a temas delicados
No capta informacin espontnea
Slo arroja respuestas predeterminadas que posiblemente no sean las mejores para entender el aspecto en cuestin
Impone opciones predeterminadas a la persona que responde
A menudo no se sabe lo que una respuesta realmente significa
A menos que se acompae de preguntas abiertas, no habr oportunidad para aclarar las respuestas

De la encuesta autoaplicada o telefnica:
Faltan datos debido a que no hay oportunidad para aclarar el significado de una pregunta (autoaplicada)
No es posible aplicarla en poblaciones analfabetas o de bajo nivel de alfabetizacin
Requiere una computadora y programas especializados en el caso de grupos grandes; un sistema confiable de correo si se enva el cuestio-
nario por este medio; o acceso amplio al telfono
Presenta la posibilidad de obtener una baja tasa de respuesta, si se realiza por correo/Internet/telfono

De la encuesta aplicada de persona a persona
125
Falta de anonimato
Requiere de mucho tiempo del personal
La presencia de la persona entrevistadora puede afectar las respuestas
Consideraciones para el
anlisis (errores comunes,
sesgos)
De persona a persona:
Los sesgos y las expectativas de la persona entrevistadora pueden alterar las respuestas
La persona entrevistadora debe evitar mostrar aprobacin o desaprobacin de las respuestas

Autoaplicada o telefnica:
Es necesario realizar un seguimiento para lograr una tasa de respuesta aceptable, si se enva por correo o se aplica va telefnica
Mtodo: Entrevista a profundidad
Descripcin Una entrevista a profundidad es un tcnica utilizada para recolectar datos cualitativos y/o cuantitativos, mediante una discusin detallada y perso-
nalizada entre la persona entrevistadora y la entrevistada; permite que la primera entienda las percepciones, actitudes y pensamientos que tiene la
segunda acerca de varios temas.
Instrumentos La persona entrevistadora utiliza una gua o un protocolo de la entrevista: una lista de preguntas y temas a abordar. La entrevista puede ser es-
tructurada o no estructurada; la primera conlleva una lista de preguntas ms estandarizada y especfica, mientras que la entrevista no estructurada
sigue un boceto o gua del tema, y permite mayor variacin en el tema de conversacin y en cmo fluye la discusin.
La entrevista puede abordar la historia de vida de la persona, o puede estar organizada en torno a temas especficos.
Pericia necesaria
Buenas habilidades para conducir entrevistas, de tal forma que propicien que la persona que responde proporcione informacin completa y
precisa acerca de una amplia gama de temas, algunos de los cuales pueden ser bastante delicados
Sensibilidad respecto a las diferencias culturales y lingsticas en el significado de las palabras; comprensin del lenguaje corporal
Habilidades relacionadas con el anlisis de datos cualitativos y/o cuantitativos
Cundo utilizarla
Para obtener informacin acerca de temas que no se prestan a entrevistas grupales (i.e., aspectos delicados e historias de vida)
Para entender las variaciones y los puntos comunes en la experiencia, la comprensin y el lenguaje
Cuando se necesita comprender cmo elaboran las experiencias las personas
Cuando se est explorando temas desconocidos y se necesita utilizar preguntas abiertas
Para indagar sobre una amplia gama de temas respecto a los cuales la persona que responde comparte sus opiniones, actitudes y percep-
ciones, y reporta la ocurrencia de ciertas conductas o eventos
Ventajas
Permite obtener informacin profunda, detallada y desde adentro de una situacin o entorno
Una persona entrevistadora capaz puede obtener informacin excelente y brindar apoyo o hacer la canalizacin a otros servicios en caso
necesario
Desventajas
La presencia de la persona entrevistadora y su posicin pueden sesgar las respuestas y limitar la espontaneidad de la que responde
La persona entrevistadora puede transmitir sus opiniones sutilmente, lo que influira en las respuestas
Se obtiene opiniones de pocos individuos a un costo relativamente alto
Requiere de habilidades bien desarrolladas para evitar sesgar las respuestas
Consideraciones para el
anlisis (errores comu-
nes/sesgos)
Tiene una alta tasa de respuesta, si la entrevista se acomoda al horario de los y las participantes
Requiere de habilidades para poder aprovechar los datos
Es necesario evitar la sobre generalizacin de los hallazgos y los datos recolectados de un grupo reducido de personas
126

Mtodo: Observacin (participativa, no participativa)
Descripcin
La observacin es un proceso sistemtico mediante el cual se registra los patrones de conducta de las personas, objetos y ocurrencias,
de maneras que difieren del planteamiento directo de preguntas y de la comunicacin directa (aunque frecuentemente se realiza la
observacin en conjunto con una entrevista). Las personas que evalan pueden utilizar tcnicas de observacin con el fin de observar
componentes o actividades del programa, as como el comportamiento de individuos y grupos. Las observaciones normalmente quedan
registradas en un escrito, en forma de apuntes de campo. En ocasiones, tambin se utiliza el video o la pelcula.
La observacin participativa implica que la persona observadora participa en la actividad, grupo u ocurrencia bajo investigacin.
La observacin no participativa significa que la persona observa la actividad, el grupo o la ocurrencia desde fuera.
El cliente simulado es una forma de observacin en la que la persona hace creer que es un/una participante o cliente, y no revela su ver-
dadera identidad. Con el fin de evitar problemas ticos, el personal debe saber que se presentar un cliente simulado en momentos indefi-
nidos, esto ltimo con el propsito de evaluar ciertas caractersticas de la prestacin del servicio. Es necesario obtener el debido consenti-
miento de las personas con autoridad en el entorno en cuestin.
Se hace uso frecuente de entrevistas in situ junto con la observacin. Aqullas son entrevistas informales con participantes que se encuen-
tran en el lugar, donde la interaccin es mucho ms natural y conversacional.
Instrumentos Los instrumentos que se puede utilizar en las observaciones incluyen listas de verificacin, cuestionarios con preguntas abiertas y formularios
(descriptivos o narrativos), que permiten que la persona observadora registre sus apuntes y observaciones.
Pericia necesaria
Habilidades para hacer entrevistas que dejan que el observador hable con los participantes de una manera discreta, respetuosa y efectiva.
Sensibilidad a las diferencias culturales y lingsticas en los significados de las palabras y el entendimiento del lenguaje corporal
Conocimiento de cmo escribir apuntes de campo para grabar observaciones
Conocimiento de cmo desarrollar un formulario para recolectar datos
Cundo utilizarla
Cuando se necesita ver conductas observables en el momento en que se dan en la vida real, especialmente las relacionadas con temas o
conductas muy delicadas, as como actitudes tabes, debido a que la observacin permite ver cmo suceden las cosas en realidad, no cmo
estn dispuestas las personas a reportarlas
Cuando se necesita entender cmo sucede algo en un contexto social y en la vida real, tal y como se vive
Cuando se desea saber cmo actan las personas y no slo cmo hablan de las cosas
Cuando se desea entender significados implcitos y no hablados
Cuando ciertos eventos, como la interaccin entre el/la paciente y el mdico/la mdica, las reuniones de comits, los debates legislativos,
son centrales al programa, y el comportamiento que ocurre en ellos constituye un indicador importante
Cuando se necesita evitar que las personas enmarquen sus experiencias, creencias y actitudes dentro de un conjunto predefinido de pala-
bras o valores determinados por la persona que evala, es decir, la encuesta tradicional con preguntas cerradas
Cuando se desea valorar con mayor precisin, los cambios en la conducta, evitando los casos en que las personas reportaran lo que consi-
deran que la persona entrevistadora desea saber
Ventajas
Permite ver un programa en operacin y obtener informacin acerca de cmo funciona
Permite ver conductas y actitudes socialmente indeseables en accin
Permite construir confianza entre la persona observadora y los y las participantes
Permite captar el silencio que se da en torno a aspectos importantes
Desventajas
Los y las participantes pueden portarse bien cuando saben que se les observa
Consideraciones para el
anlisis (errores comu-
nes/sesgos)
Posiblemente no se observe las conductas poco frecuentes dentro del periodo de tiempo disponible

127
Mtodo: Revisin documental y de registros, incluido el anlisis de los medios
Descripcin Este mtodo implica revisar documentos como los registros de las actividades del programa, registros mdicos, datos demogrficos, datos oficiales
(ej., educativos o municipales), minutas de reuniones, contenidos en los medios, inventarios, estadsticas del servicio y otros registros. Otras fuen-
tes de datos incluyen las estadsticas rutinarias del proyecto, encuestas realizadas en las instalaciones, encuestas de proveedores de clientes, peri-
dicos, programas televisivos, publicidad e informacin de la gerencia.

Dichas revisiones documentales normalmente implican contar la frecuencia de diversos comportamientos u ocurrencias, como el nmero de visitas a
la clnica, el nmero de embarazos no deseados, la frecuencia en las visitas prenatales, etc. En muchos casos, el programa ya cuenta con datos
recolectados sistemticamente.

En algunos casos, se puede obtener datos cualitativos de estas fuentes y presentarlos de manera no numrica, mediante citas y ejemplos que de-
muestren las tendencias en los cambios, como por ejemplo, el cambio a travs del tiempo en la cobertura que los peridicos dan a los derechos
relacionados con el aborto.
Instrumentos Las herramientas que se pueden utilizar para la revisin documental incluyen listas de verificacin o formularios en los que se registra apuntes y se
tabula la frecuencia de la ocurrencia encontrada en los registros. Es necesario contar con un esquema claro de codificacin para tabular con efica-
cia.
Pericia necesaria
Conocimiento de cmo desarrollar un esquema de codificacin
Familiaridad con el medio a revisar (ej., crticas de los medios, anlisis de datos oficiales)
Cundo utilizarla
Cuando ya existen sistemas para la recoleccin de datos, sta es relativamente sistemtica, los sistemas estn bien estructurados y reco-
lectan datos confiablemente
Cuando de otra manera no se tendra acceso a la informacin
Para estudiar tendencias en el pasado
Para documentar la provisin del servicio como se da actualmente o como se daba anteriormente
Para reconstruir datos de base
Cuando los objetivos se centran en cambios en los medios, en la provisin del servicio, en los comits entre organismos, etc.
Ventajas
Es una fuente objetiva de datos
Los datos pueden existir con anterioridad, lo que elimina algunos costos de la recoleccin de datos
Ciertos datos recolectados con regularidad tienen en marcha un mecanismo congruente para la recoleccin de los mismos
Permite estudiar tendencias en el pasado
Puede proporcionar informacin acerca de poblaciones grandes, incluso acerca de resultados finales, ej., registros de salud
Desventajas
Los datos no siempre estn completos, no siempre son confiables y pueden tener sesgos indeterminados
Puede ser difcil la interpretacin, sin el contexto apropiado sobre el programa/la ocurrencia que se est investigando
Puede llevar mucho tiempo si es difcil encontrar los registros y si son extensos
Consideraciones para el
anlisis (errores comu-
nes/sesgos)
Tiende a contener grandes categoras de datos sin mucha atencin al detalle
Frecuentemente no contiene todas las categoras posiblemente requeridas por el proceso de MyE en cuestin
Las categoras de los datos pueden ser similares en apariencia a las del MyE, pero no lo suficiente para permitir comparaciones reales
Posiblemente fueron insuficientes las definiciones utilizadas y la capacitacin impartida para la diligencia de los registros, de tal forma que
se desconoce las condiciones bajo las cuales se ingresaron los mismos
Posiblemente los datos estn falsificados, si las personas que los registraron estaban bajo presin para registrar altos niveles en indicadores
de desempeo

128
Por qu convertir datos cualitativos en indicadores numricos?
Porque puede ser muy eficaz. Posiblemente se tenga que recolectar datos cualitativos si se desconoce cmo se
presenta algn fenmeno en el contexto local. Pero una vez que se conoce la gama de conductas que describen
dichos datos y los tipos de significados que expresan, quiz se quiera reportar cuntas personas de las observa-
das o entrevistadas hicieron o dijeron algn elemento de inters. Al transformar los datos cualitativos no num-
ricos en datos numricos, se podr cuantificar y graficar las cifras (va grficas, histogramas, etc.) y se lograr
identificar tendencias.
Qu es lo que realmente significa consentimiento informado?
Es necesario tomar en serio ambas partes de este concepto:
Informado significa que las personas tienen que haber recibido y entendido la naturaleza del estudio
y su participacin en l, cmo se utilizar la informacin y cmo se proteger su privacidad y/o la con-
fidencialidad. No es suficiente presentar una descripcin escrita o verbal; es preciso asegurar que la
persona entienda la explicacin. Ello constituye un desafo especial cuando las personas que responden
son analfabetas, hablan un idioma o dialecto diferente, tienen un nivel muy bajo de escolaridad, o son
tmidas o reservadas en el sentido de hacer preguntas.
Consentimiento la persona que responde realmente tiene que tener la posibilidad de negar su parti-
cipacin, sin presin, coercin o sentimientos de culpa. Pueden existir tambin consideraciones de
ndole jurdico, por ejemplo, si la persona es menor de edad, o en algunas situaciones, una mujer sin
autoridad para otorgar el permiso autnomamente. Si bien este tipo de situacin violenta el anonima-
to, an se podra garantizar la privacidad y la confidencialidad de los datos realmente recolectados.
Qu habilidades habr que fortalecer?
De ser posible, elegir personas que:
Puedan ser objetivas al escuchar y registrar, as como en las interacciones con las personas que respon-
den
Se sientan cmodas al hablar con el tipo de personas de quienes recolectarn datos
Estn motivadas para indagar sobre qu tan bien funciona el programa, no slo mostrar lo bueno que
es. Ello significa que las personas que recolectan los datos deben ser capaces de distanciarse de la re-
troalimentacin negativa que puedan recibir respecto al programa, y de saber que a la larga, dicha in-
formacin contribuir al mismo.
Pedir al educando que haga apuntes de campo. Revisarlos conjuntamente y discutirlos. Asegurar que
sean pertinentes y objetivos, y que estn completos.
La capacitacin para fortalecer habilidades debe incluir lo siguiente:
Tcnicas de observacin y de escucha, haciendo uso de los juegos de roles entre las y los educandos
Cmo evitar preguntas que inducen una respuesta:
o Ser conveniente dar muchos ejemplos de este tipo de preguntas
o Desarrollar un guin detallado para cada persona entrevistadora, con elementos especficos de
sondeo, para cuando se necesite ms informacin
Cmo evitar sesgar las respuestas y reforzar conductas:
o Cuidar los gestos y ademanes
o Cmo ser neutral pero compasivo/a
o Lo que hay que evitar y lo que se puede hacer
Tcnicas tendientes a legitimar la discusin de temas tabes o muy delicados; por ejemplo, posible-
mente los hombres necesiten que se legitimen algunos temas para que puedan hablar de sus sentimien-
tos.
o Incluir una introduccin a cada seccin o sub-seccin que aborda aspectos delicados. Explicar
qu tema ser abordado y las partes que pueden ser difciles, pero que es ms comn que lo
uno cree; o bien, algn enunciado preciso que legitime el tema, por qu es importante la in-
formacin y cmo se utilizar.
o No emitir juicios de valor
129
o Si se utiliza respuestas cerradas, quiz convenga poner las preguntas ms estigmatizadas pri-
mero, para que se consideren ms aceptables. De esta manera, la persona que responde no
tiene que descartar lo que no es, antes de llegar a lo que es.
Sensibilidad a respuestas atpicas y cmo manejarlas
o Sensibilizar a las personas entrevistadoras respecto a las posibilidades atpicas, y ensearles a
evitar los supuestos
o Asegurar que sepan que en sus reuniones regulares, pueden reportar si ciertas preguntas les in-
comodan, y que obtendrn ayuda para manejar dichas situaciones
Captar informacin acerca de conductas inseguras o peligrosas
o Tener claras las directrices legales aplicables en el contexto local. Si la persona entrevistadora
tiene la obligacin por ley de reportar cierta informacin, debe comunicar dicha situacin a la
persona que responde antes de comenzar la entrevista
o Aun si no existe la obligacin por ley, el Equipo de MyE debe establecer un protocolo claro, con
el fin de que las personas entrevistadoras sepan qu hacer en caso de enterarse de conductas
inseguras o ilegales
o El protocolo debe incluir una manera sistemtica de ofrecer ayuda o de canalizar a la persona
que responde
Las normas culturales de las personas que responden (cuando la subcultura tiene normas diferentes)
o Evitar situaciones en las que la persona entrevistadora no pueda obtener la informacin debido
a algn prejuicio cultural, como sera que las mujeres casadas sientan que no pueden hablar de
relaciones sexuales con una mujer ms joven y soltera
o Asegurar que las personas entrevistadoras sepan que pueden reportar los dilemas culturales
que enfrenten
Qu hacer cuando no hay nadie en casa?
No slo en el caso de las visitas domiciliares sino en cualquier recoleccin de datos, posiblemente no se
encuentre a las personas o los documentos donde y cuando se esperaba. Asegurar el establecimiento de
reglas claras para el seguimiento, y que las personas que recolectan los datos las acaten; asimismo, que se
registre los datos faltantes y los intentos por encontrar dichos datos, en un formulario preestablecido.
seguimiento determinar reglas claras respecto a lo que deben hacer las personas que recolectan los
datos para dar seguimiento, a fin de obtener los datos necesarios o suplir fuentes de datos, esto para
evitar que se filtren los sesgos. Habr que decidir lo siguiente:
o cuntas veces las personas que recolectan los datos visitarn el sitio para obtener los datos
o cuntas llamadas telefnicas se realizar para fijar un cita
o qu debe hacer la persona recolectadora de datos cuando falta un documento o cuando una
persona se rehsa a dar informacin
tasas de rechazo las variaciones en el nmero de personas que se rehusaron a participar en la reco-
leccin de datos, segn los diferentes subgrupos o grupos de comparacin, pueden afectar el significa-
do de los hallazgos. Habr que monitorear lo siguiente:
o el nmero total de participantes dentro de cada subgrupo
o el nmero de rechazos en cada grupo
cuestiones de ausentismo - algunos grupos pueden ser ms difciles de localizar, y posiblemente se
presenten con menos frecuencia en el sitio acordado para la recoleccin de datos. La tasa de desercin
en valoraciones de segunda y tercera vuelta puede ser el resultado de factores tanto internos como ex-
ternos. Es necesario monitorear lo siguiente:
o las veces que se acudi al sitio para la recoleccin de datos y que no se encontr a la persona
necesaria
o cuntas personas de ciertos grupos o cuntos documentos de cierto tipo faltaron, ej., en clase
o en los archivos. Ejemplo. Si la lnea de base empez con un nmero igual de nios y nias,
pero los nios no se presentaron para la lnea media o final, los hallazgos quedarn fuertemen-
te alterados y pueden indicar la necesidad de hacer cambios en el programa o bien, pueden re-
flejar algn evento externo que impidi que los nios asistieran, como sera un nuevo club de
ftbol en el pueblo.


130
Qu pasa si esta informacin es muy delicada?
Siempre es indispensable respetar el nivel de comodidad de la persona. Jams presionar a nadie a contestar
una pregunta respecto a la cual parecen ser reacios/as a contestar. Recordar que las personas pueden rehusarse
a contestar cualquier pregunta, y pueden terminar la entrevista/encuesta en cualquier momento.
Una buena introduccin y un buen proceso de consentimiento ayudarn si se explica claramente por
qu se necesita la informacin y cmo se utilizar. Habr que hacer el esfuerzo por conseguir el apoyo
de la persona. Asimismo, habr que explicar cmo se proteger el anonimato y/o la confidencialidad. Si
an as la persona se rehsa, habr que respetar su derecho de hacerlo.
Si un nmero inesperadamente alto de personas quiere saltarse una pregunta o se rehsa a participar
en la recoleccin de datos del todo, habr que repensar el mtodo, la tcnica de la entrevista y quiz
las comparaciones que se necesitan. Preguntarles directamente, de una manera no amenazante, por
qu se rehsan a participar, a fin de entender por qu no funciona el plan.
Si las respuestas a las preguntas delicadas son indispensables para la utilidad de los datos, ser conve-
niente incluir dicha(s) pregunta(s) en una etapa temprana de la entrevista; de esta manera, si la perso-
na se rehsa a proporcionar la informacin, se podr terminar la entrevista antes de recolectar la de-
ms informacin.
Las personas entrevistadoras deben preguntarse: Estoy contribuyendo a que hable(n) de este tema?
Habr que intentar diferentes maneras de lograr que las personas se sientan bien al hablar de temas
difciles y delicados.

Qu tipo de informacin deben contener los instrumentos de recoleccin de datos?
Informacin descriptiva acerca de la fuente de datos y del evento de recoleccin de datos:
Incluir informacin acerca del sitio/la ubicacin, fecha, hora, duracin de la recoleccin de datos, y el nombre
de la persona recolectadora de datos. Al recolectar datos directamente de las personas, se debe incluir una
seccin de preguntas que recolecten informacin acerca de la situacin social y demogrfica de la persona que
responde, como seran edad, raza/etnia/religin, ocupacin y sexo. Se debe recolectar informacin socio de-
mogrfica, independientemente del mtodo utilizado para la recoleccin de datos grupos focales, encuestas,
etc. Las preguntas socio demogrficas son importantes porque permiten lo siguiente:
Entender de quines se recolecta datos
Dividir las personas que responden segn criterios importantes y pertinentes para las preguntas que se
pretende contestar
Identificar los factores que podran alterar los hallazgos
Asegurar que sean comparables las recolectaciones pre- y post-prueba y el grupo de comparacin
Qu pasa si esta informacin es muy delicada?
Centrarse en los indicadores:
El grueso del instrumento de recoleccin de datos estar conformado por preguntas especficas, temas a abor-
dar o sitios donde se observar, que proporcionan informacin relacionada con los indicadores. Cada seccin del
instrumento debe tener instrucciones claras de cmo se debe introducir y/o aplicar la seccin.
Al desarrollar las partes del instrumento que tienen que ver con los indicadores:
Asegurar que se haya convertido cada indicador en una o ms preguntas, temas o categoras de obser-
vaciones
Asegurar que cada pregunta o categora a codificar corresponda a uno o varios indicadores. Para indi-
cadores complejos, quiz sea necesario utilizar varias preguntas para llegar a un cierto aspecto. Incluso
se podra crear una escala o un ndice.
No incluir preguntas o categoras de informacin que no correspondan a los indicadores, excepto cuan-
do la informacin permite identificar la fuente de los datos o la persona que responde, cuando la in-
clusin es necesaria para asegurar que fluyan las preguntas o para identificar qu conjunto de pregun-
131
tas es aplicable a cierta persona, evento o documento. Una excepcin sera cuando se ha decidido con
anterioridad, recolectar una cantidad reducida de datos acerca de algunas brechas en la lgica del pro-
grama. Pero el nmero de dichos casos debe mantenerse bajo, y habr que anticipar cmo se utilizar
esta informacin.
No incluir preguntas o categoras de codificacin que son tan ambiguas que ser difcil interpretarlas.
Ejemplos:
o Cuando mi pareja y yo estamos juntos, yo soy algo callada debe ser Soy ms callada que
lo normal, de tal forma que sea relativo al nivel normal de callar. Pero si el indicador se enfo-
ca a la calidad de la relacin de pareja, una pregunta as significa que existe suficiente con-
fianza para estar callada (quiz una seal de una buena relacin), o que la mujer se siente in-
hibida por la presencia del marido (quiz una seal de una mala relacin)? Sera mejor pregun-
tar: Cundo mi pareja y yo estamos juntos, me siento suficientemente cmoda para estar ms
callada que lo normal? O bien,Me siento menos capaz de hablar y me vuelvo ms callada que
lo normal.
Asegurar que cada pregunta y cada opcin de respuesta estn enmarcadas de tal forma que coincidan
con el tipo de datos necesarios. Proveer categoras especficas para las respuestas, si se busca datos
cuantitativos. Dejar las categoras abiertas y un espacio para registrar la respuesta completa, si se tra-
ta de datos cualitativos.

Observaciones y apuntes en campo:
Dejar un espacio para que la persona recolectadora de datos incluya notas u observaciones acerca de circuns-
tancias no anticipadas, as como datos no verbales o espontneos, como los silencios, la incomodidad, las inte-
rrupciones; pistas informales que podran alterar el significado de los datos recolectados, incluidas las impresio-
nes subjetivas acerca de lo adecuado de los datos. El que las personas que recolectan los datos hagan apuntes,
constituye una verdadera oportunidad, y puede contribuir significativamente a la calidad de los datos.


132
Tipo de datos a utilizar
Datos cuantitativos Datos cualitativos

CUNDO se utiliza
Se pretende medir acciones, tendencias, niveles de conocimiento
Para determinar cuntos, cunto y con qu frecuencia
Las caractersticas de lo que se est midiendo son bien conocidas
y es factible organizarlas por categoras con precisin
El Equipo tiene algn conocimiento de las estadsticas bsicas o
puede obtener ayuda de expertos en la materia
La significancia estadstica es de inters para la evaluacin
Ya se ha determinado exactamente de qu preguntas se quiere
obtener respuestas, y se requiere que los datos estn completa-
mente estandarizados

Se busca informacin acerca de la explicacin que dan las personas que responden, de sus
actitudes, percepciones y motivaciones
Se desea entender el contexto del programa y los procesos que tuvieron lugar
Se desea explicar por qu o cmo ocurren las cosas
Se desconoce cmo se ve en un cierto entorno, un aspecto que se desea medir
Se desea abordar brechas en la Ruta Causal y se desea explorar temas no estudiados
Se desea saber algo sobre una conducta socialmente indeseable o de alguna manera estig-
matizada
Se requiere informacin sobre algo que se considera privado y/o indeseable o de alguna
manera estigmatizado, por lo que sera mejor entrevistar a las personas y/o observarlas en
un entorno social
Es algo implcito y difcil de expresar, pero se ve en accin a travs de las observaciones
Para contribuir a explicar datos extraos, confusos o aparentemente contradictorios
Como un diagnstico de necesidades preliminar
Para pedir a las personas que responden, que expliquen las respuestas que dieron a pregun-
tas cuantificables/ cerradas
CMO se recolecta
los datos
Algunos de los mtodos e instrumentos ms comunes de recoleccin
de datos son los siguientes:
Estadsticas del servicio
Registros del programa
Encuestas a nivel del programa (proveedores, encuestas de satis-
faccin del/de la cliente, evaluaciones de las capacitaciones)
Encuestas a nivel de poblacin (local, regional o nacional)
Preguntas cerradas o datos de conteo en entrevistas o cuestiona-
rios
Observaciones de conductas, eventos o nmero de personas, que
una persona observadora puede contar
Algunos de los mtodos e instrumentos ms comunes de la recoleccin de datos son los siguien-
tes:
Entrevistas a profundidad
Preguntas abiertas en encuestas o entrevistas
Grupos focales
Tcnicas de observacin
Anlisis de textos pesados o imgenes, como son programas televisivos, artculos periodsti-
cos, minutas de reuniones

VENTAJAS
Permiten recolectar datos congruentes y comparables, que pue-
den llevar a conclusiones sobre la dimensin de las diferencias
entre grupos o a travs del tiempo.
Es ms eficaz en cuanto al costo, recolectar y analizar datos
provenientes de un nmero relativamente grande de personas
que responden.
Permiten proteger la privacidad de las personas que responden,
mediante encuestas autoaplicadas.
Permiten generalizar los hallazgos hacia poblaciones ms gran-
des, si se hace bien el muestreo.
Se puede medir el cambio, al comparar las respuestas a pregun-
tas idnticas antes y despus del programa, o entre grupos con
diferentes niveles de exposicin al programa.
Es posible realizar anlisis bsicos ante la falta de habilidades y
Permiten recolectar datos congruentes y comparables, si se plantea las mismas preguntas a
todas las personas relevantes.
Permiten explorar dimensiones sociales y culturales.
Permiten identificar trminos locales y su significado.
Revelan resultados no intencionados del programa.
Propician que las personas que evalan aprendan de la recoleccin de datos y exploren
nuevas pistas hacia la comprensin de los significados.
Permiten evaluar los objetivos del programa cuya cuantificacin se dificulta.
Permiten entender y documentar por qu y cmo un programa tuvo impacto, lo cual cobra
importancia en el sentido de que aporta maneras de mejorar y/o replicar el programa.
Permiten documentar no slo que algo ocurre, sino tambin cmo y por qu ocurre.
Se puede medir el cambio al comparar las respuestas a preguntas idnticas antes y despus
del programa, o entre grupos con diferentes niveles de exposicin al programa.
No requieren programas especiales de estadsticas o de otra ndole, aunque s requieren
133
software especializados. otras habilidades.
DESVENTAJAS

Se limita uno a categoras predeterminadas, que pueden coincidir
con la realidad o distar de ella.
En ocasiones, las respuestas pueden ser superficiales o estar
sesgadas por las opciones de respuesta o la manera en que se
plantea las preguntas.

No se puede generalizar los hallazgos hacia una poblacin ms grande.
Los hallazgos atpicos posiblemente no queden contrarrestados por los hallazgos tpicos en
un conjunto ms grande de datos.
Requieren muchas habilidades de observacin y gran sensibilidad, que posiblemente requie-
ran capacitacin especial.
En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por la manera en que
se plantea las preguntas o las caractersticas de la persona recolectadora de datos.

Utilizar ambos tipos de datos
A menudo es buena idea utilizar ambos tipos de datos en la misma evaluacin, ya que con enfoques cuantitativos se podr responder a las preguntas
qu? y cunto?, mientras que con enfoques cualitativos se podr responder a las preguntas por qu? y cmo?.
Frecuentemente, los datos cualitativos
permitirn el desarrollo de mtodos cuantitativos con pertinencia local
contribuirn a explicar los hallazgos cuantitativos
Asimismo, con frecuencia, los datos cuantitativos
darn legitimidad a los datos cualitativos
demostrarn la dimensin de los hallazgos que se han descrito cualitativamente

Algunos consejos generales
La calidad y confiabilidad de la informacin obtenida en el proceso de MyE son fundamentales para asegurar la credibilidad de los resultados. Algunos
consejos bsicos para asegurar la calidad en la informacin se enlistan a continuacin:
Recoger nicamente la informacin que ser til y que podr emplearse. Comnmente se cae en el error de reunir demasiados datos de baja calidad y
formulamos un sistema de MyE demasiado complejo, lo cual dificulta un anlisis adecuado. Menos datos (de mayor calidad) pueden ofrecer informacin
mucho ms til, sin complicarnos demasiado en etapas posteriores del proceso de manejo de informacin.
134


Realizar una planeacin adecuada: como se mencion anteriormente, un diseo adecuado del proyecto
as como del sistema de MyE es esencial para obtener informacin de calidad, esto incluye: formulacin de
indicadores adecuados y variados, identificacin clara de las necesidades de informacin de lnea base,
diseo cuidadoso del plan de monitoreo, seleccin de los mtodos y las tcnicas de recoleccin de datos
ms convenientes.
Reunir datos fiables, vlidos y crebles: aunque no sea un enfoque riguroso o cientfico, necesitamos
recolectar datos que sean confiables, precisos y consistentes recopilados con una metodologa rigurosa
y pertinente de acuerdo a las necesidades de informacin. Los datos confiables dependen asimismo de
la seleccin de una muestra representativa y de la unidad de anlisis adecuada.
Validacin de la informacin: los datos obtenidos con un mtodo de seguimiento, se verifican con la
informacin obtenida con otro mtodo.
Triangulacin de las fuentes: para asegurar la calidad de la informacin, es muy importante contar
con diferentes fuentes, con distintos tipos de mtodos e informantes diversos, para obtener una visin
completa de la situacin.
Combinar datos cuantitativos con informacin cualitativa: esto facilita el anlisis, pues permite ex-
plicar, a travs de la informacin cualitativa, algunos de los resultados que se obtienen con los datos
cuantitativos.
Participacin de beneficiarios: eso es fundamental para asegurar la pertinencia de los mtodos y de
la informacin obtenida.
Capacitacin y preparacin de quienes participan en la recoleccin: los encuestadores y entrevista-
dores deben estar capacitados para hacer bien su trabajo. Previo al ejercicio de recoleccin de infor-
macin, se recomienda tener preparados los apoyos materiales (formatos y bases de datos para guar-
dar la informacin) y de capacitacin, asegurando que todos tengan las herramientas necesarias y sufi-
cientes recursos financieros.
Flexibilidad en la revisin de indicadores: conforme se desarrolle el proyecto, ser necesario revisar
las necesidades de informacin y los indicadores formulados en un inicio. Es necesario ser flexibles e
incluir nuevas necesidades o eliminar aquellas que ya no sean relevantes.

Actividades de la dcima sexta semana
Individuales
1. Realice la lectura de la semana.
2. Actualice su diario de aprendizaje.

Grupales

1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura.
2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Despus de realizar la lectura, cules conceptos estn claramente comprendidos por usted y cules no?
2. Qu conoca antes de realizar la lectura acerca del tema o temas tratados en la lectura de la semana? Es
distinto a lo planteado por la lectura, por qu?
3. Para usted, qu importancia tiene el hacer una buena seleccin de las fuentes de informacin?
4. Qu desafos le presenta la lectura realizada?
5. Cules son los conceptos que debe ampliar o profundizar en la seleccin de las fuentes de informacin?

135

DCIMA SPTIMA SEMANA
TEMA
Anlisis y empleo de la informacin
Objetivos de la semana
Al finalizar el estudio de la dcima cuarta semana las y los estudiantes.
Comprendern la forma ms adecuada de realizar el anlisis y empleo de la informacin generada con
una evaluacin.
LECTURA
Analizar e interpretar los datos
Paso 1: Desarrollar el plan de anlisis
Fundamento
Aun si se plane bien la evaluacin y se disearon excelentes instrumentos y un plan de recoleccin de datos es
necesario prestar mucha atencin a la planeacin del anlisis de los mismos,
Antes de comenzar a recolectar los datos
Durante la recoleccin de los datos
Nunca debe comenzarse la recoleccin de los datos hasta que se sepa cmo se analizarn dichos datos, y se
haya probado los instrumentos de recoleccin y el plan de anlisis.
Tarea 1: Desarrollar el plan de anlisis
Si tiene acceso a alguien con experiencia en el anlisis de datos, con suerte ya se habr invitado a dicha perso-
na a formar parte del Equipo de MyE (ver el Mdulo 1), aun cuando esa persona no haya estado involucrada en
todo el proceso. Si se va a entrar en contacto con una persona experta en evaluacin, no debe esperarse hasta
que los datos hayan sido recolectados. El equipo debe asegurarse de planear el anlisis cuidadosamente, ya sea
por s mismo o con el apoyo de una persona experta, antes de empezar la recoleccin de los datos.
Hay dos tipos de interrogantes para el anlisis de datos: uno se enfoca en entender cmo se realiz el programa
y el otro se enfoca en el impacto del programa. Usted se enfocar el anlisis de datos en entender o evaluar el
impacto que ha tenido el cambio que se realiz en la poblacin de enfoque. Para entender el impacto del
programa tambin hay que poner atencin en cmo se realiz el programa los datos de monitoreo.
Revisar las interrogantes de la evaluacin y los objetivos del programa. Centrarse en las comparaciones
que darn respuesta a las interrogantes de la evaluacin y que indicarn si el programa alcanz sus objeti-
vos o no lo hizo.
Las comparaciones bsicas son:
Pre-programa versus a medio programa y/o post-programa
Post-programa versus grupo de comparacin
136

Dentro de cada una de las filas de la siguiente tabla, puede haber subgrupos cuya exploracin puede ser de-
seable, segn las dimensiones relevantes del programa; en particular, puede ser interesante determinar si cier-
tos grupos de personas se han beneficiado del programa ms que otros.
Dentro de cada columna, tambin puede haber variaciones cuya exploracin sea necesaria. Obtuvieron ma-
yor puntaje en la medicin de resultados inmediatos o intermedios, las personas que asistieron al programa con
mayor frecuencia, o las que fueron expuestas a sus mensajes de manera ms intensa, quienes percibieron el
programa ms positivamente, o las que tenan ms habilidades inicialmente?



Hacer una lista de todas las comparaciones vinculadas a las interrogantes y los objetivos de la evaluacin
Verificar el tipo de datos disponible y decidir cul anlisis se puede y debe realizar
Recordar que los indicadores sern numricos o no-numricos.
Se puede transformar los datos cualitativos en datos numricos o no numricos
Los datos cuantitativos sern analizados como indicadores numricos
Si se est analizando indicadores no numricos:
se podr describir los hallazgos en trminos de temticas y tipologas y demostrar sus hallazgos con citas y
testimonios.
se deber indicar cuntas fuentes de datos analizadas (ej. personas o documentos) mostraron los hallazgos
que se reportan para el grupo estudiado; ej. 5 de 7 peridicos publicaron en forma negativa artculos sobre
violencia domstica que denigraban o criticaban a las mujeres y defendan a los hombres.

Si se est analizando indicadores numricos, se podr calcular las diferencias en medias, medianas o porcenta-
jes.
Para elegir el tipo de anlisis que puede hacerse dependiendo del nivel de los indicadores disponibles o tipo de
dato numrico.

137

Decidir cules comparaciones intragrupales son necesarias para abordar las interrogantes de la evalua-
cin
Al utilizar los datos de monitoreo, se podr explorar la manera en que los diferentes aspectos del programa
y la asistencia o la exposicin al programa pueden haber afectado los resultados de la evaluacin
Al utilizar datos sociodemogrficos que se hayan recolectado y evidencia que utiliz para construir su Teora de
Cambio (Mdulo 2) y Senda Causal (Mdulo 3), se puede explorar si hubo resultados diferentes dentro de cada
grupo, ya sea por edad, sexo, estado civil, nivel econmico, historia sexual y/o reproductiva, nivel de motiva-
cin, factores de predisposicin, etc. Hay otras comparaciones necesarias, que reflejen mejor una perspectiva
de justicia social basada en los derechos?
Para cada conjunto de indicadores, diligenciar la Hoja de trabajo: Planeacin del anlisis
Tarea 2: Probar el plan de anlisis
Por qu es tan importante?
Porque mejora las herramientas de recoleccin de datos antes de que sea demasiado tarde
Porque determina si se est recolectando o no toda la informacin necesaria, o si se est recolectando
informacin que no ser til
Porque determina si se est recolectando informacin de las fuentes correctas de datos

Tabular los datos obtenidos de la prueba (piloto) de los instrumentos de recoleccin de datos y del plan
de recoleccin de datos, aplicando el mismo sistema que se utilizar para el anlisis de los datos.

Verificar si hay problemas con:
o datos faltantes
o instrumentos diligenciados de manera incorrecta
o respuestas que son drsticamente diferentes a lo que se esperaba, lo cual podra indicar que
las preguntas no se entendieron como se esperaba
las respuestas no se codificaron correctamente
se pregunt a las personas equivocadas

Se debe preguntar a quienes recolectan los datos, acerca de sus impresiones al respecto.
Puede ser necesario
reformular las preguntas
aclarar las instrucciones
actualizar la capacitacin de quienes recolectan los datos

Al probar el plan de anlisis, marque cada elemento de informacin que se utiliza en el instrumento de reco-
leccin de datos. Hay elementos sin marcar despus de haber especificado el anlisis para cada objetivo? De
ser as, debe revisarse si son necesarios y, en caso de serlo, determinar por qu no han sido considerados en los
objetivos.
Ejemplo: En un diagnstico de necesidades sobre derechos sexuales, realizado mediante entrevistas a jvenes,
se les pregunt cules derechos eran los ms importantes. Una de las opciones de respuesta era: este derecho
es indispensable. Despus de una prueba piloto, el Equipo encontr que muy poca gente marcaba esta opcin.
Las personas entrevistadoras haban observado que muchas de las personas entrevistadas parecan confundidas
con el trmino indispensable. En este caso, las preguntas haban sido probadas inicialmente con las y los edu-
cadores pares, pero no con personas similares a las que seran entrevistadas.
138

Para cada una de las interrogantes de la evaluacin, utilizar los datos provenientes de la prueba piloto
para probar las comparaciones que se planea utilizar, segn el plan de anlisis. Marcar cada elemento de
informacin que se usa en el instrumento de recoleccin de datos.
Habr que preguntarse:
Se cuenta con los datos necesarios?
Se tienen esos datos en la forma requerida para los anlisis que se planea realizar?
Hay algunos elementos de informacin sin marcar, despus de haber especificado el anlisis para cada objetivo
o interrogante de la evaluacin? De ser as, son necesarios? Debe determinarse por qu no fueron abordados en
las comparaciones y corregir este error. Por el contrario, si no son necesarios, habr que eliminarlos si es posi-
ble. Ejemplo. Si existe la expectativa de que el impacto del programa ser diferente en mujeres que han teni-
do ms de un aborto, que entre aquellas que han tenido un aborto o ninguno, pero solamente se les pregunta si
alguna vez han tenido un aborto (s vs. no), no se podr realizar la comparacin. Es ahora el momento de ajus-
tar las opciones de preguntas y respuestas necesarias para el anlisis.

Despus de considerar cmo se usar los datos, habr que eliminar los elementos que no son tiles.
Realizar las modificaciones segn sea necesario.
Consultar a las personas que recolectan los datos, para fundamentar los cambios en sus percepciones y
observaciones.
Ajustar:
o los instrumentos
o la manera en que los datos son recolectados y codificados
o la manera en que los datos son tabulados
Cuando los ajustes son lo suficientemente importantes para cambiar la forma en que la gente podra res-
ponder, excluir del anlisis las respuestas obtenidas antes de la revisin.

139

Paso 2: Asegurar un anlisis adecuado de los datos
Fundamento
Aun si se planearon bien las cosas, los errores pueden infiltrarse a los anlisis, lo que posiblemente limite el
valor de la evaluacin.
Con el fin de evitar lo anterior, asegurar que se realice lo siguiente cuidadosamente:

Supervisar la recoleccin de datos y corregir los errores encontrados
Procesar los datos conforme van llegando
Realizar anlisis sencillos que den respuesta a las interrogantes de la evaluacin
Tarea 1: Supervisar la recoleccin de datos
Reunirse de manera regular con las personas que estn recolectando los datos:
Revisar los procedimientos de recoleccin de datos que se han desarrollado y asegurar que todo mundo los
siga
Solicitar a quienes recolectan los datos que describan cmo va el proceso, tratando de identificar los aspec-
tos que puedan tener un impacto en los datos que se estn obteniendo, pero que no han sido identificados
como problemas
Escuchar a las y los encuestadores en lo referente a los retos que hayan encontrado y cualquier conocimien-
to nuevo o sugerencia que hayan desarrollado;
Realizar juegos de roles para poner a prueba la manera de superar los problemas que dichas personas hayan
encontrado
Animar a las personas que recolectan los datos, y hacerles saber que estn haciendo un buen trabajo segn
el caso
Identificar las diferencias que ocurren entre los resultados obtenidos de las diferentes personas que aplican
las encuestas, ya que dichas diferencias podran tener un impacto en la calidad y/o la consistencia de los
datos, y realizar los ajustes necesarios
Revisar y depurar los datos conforme van llegando:
Codificar los datos tan pronto como sean entregados
Buscar errores de codificacin, cotejando contra los formularios originales de recoleccin de datos, y tam-
bin verificando que las respuestas codificadas estn dentro del rango esperado y que tengan sentido
Revisar datos faltantes y tratar de encontrar la fuente y resolver cada problema. Verificar si hay ms datos
faltantes
o en ciertos puntos ms que en otros
o entre ciertos subgrupos de personas entrevistadas/encuestadas
o en los datos provistos por ciertos/as encuestadores/as
Asegurar que existan notas de campo tiles y legibles, y discutirlas con las y los encuestadores en reuniones
peridicas
Todas las notas y datos cualitativos deben transcribirse de inmediato
o Si las personas que aplican las encuestas/entrevistas toman notas (en lugar de grabar las entrevistas),
deben completar sus notas inmediatamente.
o Debe constatarse que se ponga comillas antes y despus de las citas directas, y que se encierre entre
corchetes o parntesis los casos de parfrasis, aun cuando sean muy parecidas a lo que se dijo.
Estar alerta ante los hallazgos que pudieran sugerir la necesidad de hacer cambios en la forma de recolec-
tar los datos, como seran
o respuestas demasiado ambiguas
o respuestas que no se refieren al tema que se trata de explorar
o diferencias entre los sitios de recoleccin de datos, poblaciones o personas encuestadoras
Analizar los datos cualitativos conforme se avanza.
Proporcionar capacitacin adicional o de refuerzo en caso necesario:
Si hay problemas que surgen de manera persistente
Tan pronto como se detecte el problema. No esperar a que se agudicen los problemas.
140

Hacer los ajustes urgentes:
Es mejor realizar cambios, que esperar a descubrir que los hallazgos son intiles
Considerar las implicaciones de dichos cambios, para el anlisis y los hallazgos
Registrar cundo y cules cambios se realizan
Informar sobre dichos cambios al presentar los hallazgos
Hoja de trabajo: Lista de verificacin para supervisar la recoleccin de datos

Fecha:
Quin asisti a la reunin?
Qu nmero consecutivo tiene esta reunin?
Verificar que: Problemas observados Correcciones/soluciones adoptadas
Procedimiento Fecha
Las personas que recolectaron los datos hayan expresado
libremente sus observaciones, sugerencias e inquietudes cons-
tructivas

Se halla codificado los datos oportunamente y sin errores
Se halla examinado y tabulado los datos con regularidad
Se halla examinado las implicaciones de las respuestas inespe-
radas

Se halla realizado chequeos peridicos de confiabilidad
Tarea 2: Procesar los datos cuidadosamente
Para evitar la introduccin de errores y nuevos sesgos en los anlisis, asegurar que los datos sean manejados
cuidadosamente, desde el momento en que son recolectados hasta el momento del anlisis. Los datos cualitati-
vos y cuantitativos debern manejarse en forma diferente.
Un aspecto importante de procesar los datos es crear y aplicar cdigos. Un cdigo es una regla para convertir
un tem de informacin, por ejemplo, los datos que se recolectan, en otra forma. Por ejemplo, todas las muje-
res pueden ser codificadas como 1 o todas las mujeres que atendieron todos los talleres pueden ser codifica-
das como participantes intensivos. Usted puede determinar los cdigos y todos los miembros del equipo de-
ben aplicarlos de la misma forma.
Para los datos cualitativos:
Asegurar que las y los encuestadores editen y completen sus notas inmediatamente en campo o lo ms
pronto posible despus de la recoleccin de datos. Ello significa que necesitarn un lugar en donde registrar de
manera oportuna las notas valiosas.

Transcribir las grabaciones para contar con una versin escrita de lo que se dijo en la entrevista.
Asegurar que las y los encuestadores tomen notas sobre aspectos no verbales de la entrevista, tales co-
mo:
gestos
silencios
cualquier sensacin de incomodidad
expresiones faciales
forma de vestir, el entorno, etc.
Aun cuando una entrevista haya sido transcrita en su totalidad, puede haber situaciones en las que lo dicho
no tenga sentido o su real significado no pueda apreciarse sin los aspectos no verbales.
141


Empezar a desarrollar un enfoque al anlisis de datos para asegurar que se recolectan los datos que se
necesitan. Para mayor informacin acerca de los enfoques bsicos del anlisis cualitativo.
Para datos cuantitativos:
Revisar en campo, los formularios de recoleccin de datos
Asegurar que estn completos y sean legibles
Hacer lo anterior cuando la o el entrevistador an pueda regresar a la fuente de datos para completar o
corregir lo necesario (sin violar los acuerdos de confidencialidad/anonimato).
Asegurar que los datos faltantes sean codificados en forma separada
Codificar los datos faltantes como 9 99
Codificar los datos no aplicables como 8 u 88
A pesar de los mejores esfuerzos, siempre habr algunos datos faltantes.
Habr que tener cuidado en no confundir los nmeros anteriores con datos reales. Hay que separarlos an-
tes de hacer cualquier clculo. Y siempre debe reportarse el porcentaje de datos faltantes para cada indicador.
Asegurar que las reglas para codificar los datos sean muy claras
Verificar que cada persona que recopila datos las conozca bien
Si surgen preguntas respecto a la codificacin durante el proceso de recoleccin de datos, asegurar que
todas las decisiones sean registradas, fechadas y conocidas por las personas que recolectan los datos.
Crear una hoja de trabajo para tabular los datos a mano (a menos que se utilice un programa de computa-
dora)
Crear una hoja de trabajo usando un programa como Excel o Lotus
Asegurar que cada una de las celdas tenga un nmero, de tal forma que se pueda ver si algo hace falta.
Tarea 3: Usar estadsticas descriptivas para resumir las respuestas de los grupos y para realizar compara-
ciones que den respuesta a las interrogantes de la evaluacin
Ahora se utilizar tcnicas analticas sencillas para:
describir los grupos principales sobre los que se ha recolectado datos
realizar las comparaciones bsicas que se haba planeado
explorar las diferencias al interior de los grupos estudiados
Describir los hallazgos para cada grupo.
Llevar el conteo de cuntas personas dieron cada tipo de respuesta (por ejemplo, usaron o no usaron
condn en la ltima relacin sexual) en cada categora significativa (por ejemplo, hombres antes y despus
de participar en el programa, mujeres expuestas al programa y las que no lo estuvieron), haciendo esto a
mano o utilizando una funcin del programa de hoja de clculo. Ello deber hacerse para los datos tanto
cualitativos como cuantitativos.
Puede utilizarse un formulario de recoleccin de datos en blanco para registrar el nmero de respuestas
recibidas de cada tipo
Aun en este punto, verificar los aspectos que no tengan sentido y que podran ser errores de codificacin.
Verificar tambin que los conteos sean consistentes con otras respuestas. Ejemplo: Si 21 mujeres respon-
dieron haber sido vctimas de violencia, se debe asegurar que tambin haya 21 mujeres que dieron respues-
tas a las preguntas sobre la violencia que haban experimentado. Si el nmero es diferente, puede ser nece-
sario regresar a las entrevistas para revisar si algo fue codificado errneamente o si se necesita codificar al-
gunos casos como datos faltantes.
Agrupar los resultados segn temas relacionados de manera lgica.
o Observar cuidadosamente los datos recolectados de diferentes fuentes sobre un indicador en particular,
a fin de ver de qu forma conducen o no a la misma conclusin
o Revisar las respuestas recibidas sobre diferentes aspectos del mismo indicador, para ver si presentan lo
mismo
Presentar los hallazgos en tablas o grficas sencillas, mostrando conteos, frecuencias, promedios, medianas
o porcentajes de respuesta por tema. Consejos: Cundo no debe usarse un porcentaje?
142


Las tabulaciones cruzadas sern un buen mtodo para presentar los datos que comparan dos elementos diferen-
tes, para ver cmo se relacionan, por ejemplo, cuntos hombres y mujeres con alto versus bajo nivel educativo
difieren en trminos del puntaje que obtienen al final de un taller.
Se recomienda que se discuta el anlisis con las personas que recolectan los datos, personal
del programa y otros actores interesados cercanos.
Es conveniente presentar los hallazgos preliminares antes de preparar los grficos o transparencias finales. Uti-
lizar formatos sencillos para presentarlos y discutirlos, primero con la gente ms estrechamente involucrada con
la recoleccin de datos. Se puede escribir las estadsticas descriptivas relevantes directamente en un formulario
de recoleccin de datos en blanco, a un lado de los elementos correspondientes. Las personas que recolectan
los datos estarn familiarizadas con el formulario, el cual vincula claramente los hallazgos con los datos, y tiene
un formato ya creado.
En este punto, el propsito de la discusin es:
Identificar los hallazgos que no coinciden con las observaciones de quienes tiene una relacin ms estrecha
con los datos. Dichas discrepancias pueden estar sealando errores en la codificacin o el anlisis, o pueden
ser hallazgos interesantes y valiosos en s mismos.
Entender las comparaciones entre diferentes fuentes de datos para el mismo indicador. Cualquier discre-
pancia entre dichos datos debe ser examinada cuidadosamente para saber qu est sucediendo, antes de
concluir que un tipo de fuente de datos es mejor que otro. En realidad, dichas discrepancias pueden condu-
cir a un mayor conocimiento de los instrumentos, del programa o de la gente a la que se est llegando.
Determinar si es necesario realizar otros anlisis para comprender los datos a fondo. Las personas que
recolectaron los datos o el personal plantea preguntas que se puede contestar mediante un mayor desglose
de los datos? Ejemplo: Las personas que recolectaron los datos preguntan si hay diferencias en los hallazgos
entre tres diferentes sitios clnicos, puesto que han odo que el director de uno de los sitios tiene actitudes
muy negativas hacia el programa. Se decide comparar los hallazgos por clnica, para ver si el aspecto de li-
derazgo ha tenido algn impacto en la eficacia del programa.
El tiempo dedicado a tratar de comprender lo que dicen los datos es tiempo bien empleado.

143

Paso 3: Interpretar los hallazgos
Ahora que se cuenta con los hallazgos derivados del anlisis, se necesitar describir lo que significan. Esto ser
especialmente difcil si los hallazgos son diferentes a lo que se esperaba. Habr que realizar ciertas acciones
para interpretar los hallazgos, de tal forma que tengan sentido para:
los actores interesados
el pblico a influenciar
el programa
Recordar que los hallazgos no significan nada en s mismos! Su significado proviene de la realidad del
programa y de la vida de las personas involucradas.
Tarea 1: Comprender los aspectos de los hallazgos que sean particularmente inesperados, tanto para la
persona lder cmo para el resto del Equipo de MyE.
Ellos pueden deberse a:
Factores independientes que interfirieron en que el programa tuviera los resultados deseados. Todos los
programas ocurren en el mundo real. Ello significa que otros aspectos que no tienen que ver con el progra-
ma, tambin pueden influenciar los resultados. Ejemplo: Un programa diseado para ayudar a padres y ma-
dres de familia a que se expresen con sus hijos e hijas ms abierta y positivamente acerca de la sexualidad,
puede tener resultados menos positivos que los esperados, debido a que una nueva radio novela pudo haber
infundido en los padres y las madres vergenza y temor acerca de la sexualidad; o por el contrario, tuvo re-
sultados positivos porque los grupos tanto del programa como de comparacin estuvieron expuestos a un
nuevo y bien informado programa de TV que les prepar y predispuso favorablemente a hablar del sexo con
sus hijos e hijas.
Problemas con los datos recolectados. Las evaluaciones no son infalibles, por lo que puede concluirse que
algn aspecto en la recoleccin de datos o el anlisis condujo a resultados falsos. Si este fuera el caso, se
necesitara determinar qu fue lo que sali mal en la manera de recolectar los datos. Debe darse marcha
atrs y verificar los formularios originales de la recoleccin de datos, discutir la situacin real de la reco-
leccin de datos con las personas que la realizaron, y verificar si hubo errores en la codificacin. Desde lue-
go, si no se encuentra errores, se necesitar hacer frente al hecho de que los resultados fueron decepcio-
nantes, y se deben utilizarlos para mejorar el programa.
Que es demasiado pronto para demostrar resultados. La evaluacin y los hallazgos pueden ser prematuros.
Quiz el programa ha estado operando solamente durante seis meses, y se espera encontrar cambios impor-
tantes que se vern tiempo despus. Es necesario recordar que los programas de SDSR influyen en procesos
sociales complejos que requieren tiempo para cambiar. Habr que asegurar que se contine con el monito-
reo del programa y que se mida los resultados inmediatos que puedan conducir a los resultados intermedios
que se espera encontrar.
Que no se haya especificado los resultados inmediatos correctamente y por lo tanto, no se perciba los
cambios anticipados o deseados.
Factores que no se tomaron en cuenta en la planeacin del programa. Si la teora del cambio o la senda
causal del programa fueron deficientes, pudieron existir brechas importantes que no se tomaron en cuenta,
haciendo que el programa fuera menos eficaz que lo esperado. Si se pudo recolectar alguna informacin
acerca de dichas brechas, identificadas en el Mdulo 2, ser posible explicar por qu los resultados no fue-
ron tan buenos como lo esperado. Se debe trabajar con el personal del programa para identificar lo que
hace falta y realizar los cambios necesarios.
La falta de eficacia del programa. Si se analiza los resultados a fondo, y estos no muestran algn beneficio
derivado del programa, se deber realizar cambios significativos al programa o dejar de ejecutarlo. La his-
toria de la salud pblica y del desarrollo est llena de ejemplos de programas que terminaron o fueron mo-
dificados justamente por esta razn.
o Quiz el programa sea bueno pero constituye una intervencin demasiado pequea como para producir
el resultado esperado. Por ejemplo, si se intenta combatir la homofobia, la produccin de un slo car-
tel o un conjunto de mensajes radiales quiz no sean suficientes para tener el efecto esperado, a pesar
de que el programa est cumpliendo con sus metas, y los productos sean atractivos y culturalmente re-
144

levantes. La evaluacin tambin debe identificar cambios inmediatos e intermedios que puedan demos-
trar la eficacia del programa de manera gradual y parcial.
Los resultados son demasiado buenos. Aunque resulte difcil hacer esto, si los resultados son mucho ms
positivos que lo esperado, debe resistirse la tentacin natural de suponer que todos son debidos al progra-
ma. Hay que preguntarse si algo ms sucedi que pudo haber influenciado los resultados. Es mejor ser cau-
teloso que demasiado confiado, a menos que el anlisis aporte suficiente evidencia para indicar que los re-
sultados son reales y que estn directamente relacionados con el programa.
Reunirse con los actores interesados clave
Convocar pequeos grupos de discusin con las y los beneficiarios del programa. Preguntarles acerca de sus
percepciones del programa y de las preguntas que se les plantearon acerca del mismo. Mostrarles los resul-
tados encontrados y preguntarles si estn de acuerdo o en desacuerdo, as como lo que significan los hallaz-
gos. Ejemplo: El equipo de MyE ha decidido convocar a un grupo focal con algunas de las personas jvenes
que participaron en un programa de educacin sexual. Los hallazgos muestran niveles de actividad sexual
ms altos despus del programa. Se ha solicitado a las y los jvenes que analicen los instrumentos de la en-
cuesta y que indiquen si hubieran contestado en forma diferente antes y despus del programa. La mayora
de jvenes dijo que haba mentido en la encuesta de lnea base por temor a que la informacin fuera utili-
zada en su contra. En el cuestionario de evaluacin posterior al programa, fueron ms honestos/as, pues el
propio programa haba creado un mayor nivel de confianza. Ciertamente, esta informacin debe reportarse
para que la gente no piense que el programa fue un fracaso cuando en realidad tuvo xito en ayudar a la
gente joven a sentirse ms cmoda al hablar del sexo, lo cual es una clave para tener una sexualidad ms
saludable a largo plazo!
Es necesario reunirse con el personal que estuvo involucrado en el programa. Preguntarles lo que significan
los hallazgos para ellos. Ejemplo: El personal de un programa de educacin sexual puede haberse dado
cuenta que originalmente la gente joven haba tenido temor de revelar sus experiencias sexuales al princi-
pio del programa, pero que se abri durante las discusiones participativas. El personal tambin puede haber
observado que las y los jvenes respondieron el cuestionario de lnea base cuando todava estaban en la es-
cuela primaria, pero que contestaron el cuestionario de evaluacin posterior al programa, cuando ya esta-
ban en la secundaria, cuando el desarrollo y la exploracin sexuales forman parte normal del proceso de
desarrollo, y posiblemente cuando las relaciones sexuales son ms aceptables o alentadas por los grupos de
pares nuevos y mayores.
Tambin es necesario reunirse con otros actores interesados de la comunidad que conocen el programa y
sus participantes para comprender lo que significan los hallazgos. Es posible que dichas partes puedan ex-
plicar de una manera ms completa, el contexto de los resultados inesperados. Por ejemplo: Aunque se
podra pensar que un programa de apoyo social para mujeres embarazadas de alto riesgo tuvo muy poco
efecto en la frecuencia con la que las mujeres acudieron a una determinada clnica para la atencin prena-
tal, los actores interesados pueden saber que las mujeres fueron a una clnica diferente que haba abierto
con precios muy bajos, por lo que las mujeres participantes en el programa haban acudido a mayor nmero
de consultas que las del grupo sin intervencin, aunque no a la clnica esperada.
Comparar los hallazgos con los que otros grupos han obtenido
Revisar la literatura existente sobre programas similares
o tratar de encontrar ejemplos de casos similares a los propios
o buscar hallazgos ajenos que contrasten con los propios, de tal forma que se haga necesario explicar las
diferencias. En dichos casos, analizar cuidadosamente las fuentes de los datos, los instrumentos utiliza-
dos, as como las diferencias en los programas y las poblaciones atendidas
Presentar los hallazgos a colegas en otras organizaciones que trabajan en reas similares
o Dichas personas han observado el mismo tipo de hallazgos inesperados? Qu interpretacin dieron
ellas a los hallazgos?
Tarea 2: Realizar anlisis que puedan contribuir a saber si los hallazgos son el resultado del programa.
Utilizar los datos de monitoreo para saber si hubo diferentes niveles de exposicin entre los diferentes sub-
grupos, y cmo se relaciona ese hecho con los hallazgos. Ejemplo. Si los hallazgos de la evaluacin mostra-
ron que las nias y los nios tenan un mayor conocimiento sobre el VIH, pero los datos de monitoreo mues-
tran que muy pocas nias asistieron al centro juvenil, no se podr atribuir los hallazgos positivos al progra-
ma. En un grupo focal con jvenes entrevistados/as durante la evaluacin, podra encontrarse que al mismo
tiempo que el programa analizado, se transmiti un nuevo programa de TV muy popular que incluy un im-
145

portante componente educativo sobre el VIH, y que las nias lo estuvieron sintonizando fiel y regularmente
(puesto que eran retenidas en casa por sus padres/madres despus de la escuela).
Utilizar los datos de monitoreo para que revelen si ocurrieron otros factores que pudieron haber influencia-
do los resultados. Ejemplo. Al revisar los informes de campo, posiblemente se encuentre que las personas
que recolectaron los datos observaron aumentos en la violencia domstica entre las mujeres que asistan a
las clases de alfabetizacin del programa, esto como un resultado negativo inmediato no planeado. Aunque
el programa ya haya incorporado dichas observaciones, y haya tratado de resolver el problema, pudo haber
sido demasiado pronto para que los nuevos cursos motivacionales con los esposos de las mujeres en cues-
tin, tuvieran un impacto positivo en los resultados finales o intermedios.
Si los datos de monitoreo son insuficientes, habr que complementarlos, convocando a una reunin con el
personal del programa, para discutir las formas en que consideran que los resultados puedan o no relacio-
narse con las caractersticas del programa. Se necesitar hacer un esfuerzo para hacerles sentir cmodos al
hablar de lo que no funciona del programa. Ser mejor si se tiene preparado un conjunto de preguntas, con
el fin de concentrarse en la explicacin de los hallazgos. Ello mantendr la discusin alejada de las crticas
al trabajo del personal.

Cmo se puede saber si una diferencia o cambio tiene significancia o representatividad estadstica?
Aun si el Equipo cuenta con un analista de datos experimentado, quien usar estadsticas inferenciales para
valorar si es probable que los cambios o las diferencias observadas se deban al azar o a otro factor, se necesi-
tar determinar si los cambios o las diferencias son lo suficientemente grandes para tener significancia o repre-
sentatividad.
En proyectos pequeos de bajo presupuesto, es muy probable que no se pueda usar el tipo de anlisis que per-
mita calcular la significancia estadstica. Por tanto, cmo se puede saber si los resultados son representativos?
Antes de recolectar los datos o realizar los anlisis, determinar lo que se considerara significativo; realizar
una lluvia de ideas con el Equipo antes de recolectarlos datos, para determinar qu magnitud de cambio o
diferencia sera satisfactoria o notable; as como qu cambios son demasiado pequeos para tomar en
cuenta
Conviene consultar la bibliografa acerca de otros programas similares, con el fin de saber qu tipo de cam-
bios pudieron lograr y qu podra esperarse demostrar del programa en cuestin; conviene saber qu es
tpico y qu es posible, para poder comparar los resultados del programa con dichos estndares.

Cundo no debe usarse un porcentaje?
Los porcentajes se calculan dividiendo el numerado entre el denominador y multiplicando el resultado por 100.
En el sentido ms estricto del trmino, el porcentaje significa cuntas veces sucedi algo en 100 oportunidades.
Los porcentajes frecuentemente se calculan con denominadores menores de 100, pero pueden ser engaosos si
el denominador es muy pequeo. Si la muestra es pequea, digamos menos de 20, debe reportarse los hallazgos
como el nmero de veces que se obtuvo una respuesta, respecto al nmero total de casos analizados. Por
ejemplo, 3 de 5 casos mostraron X resultado, en lugar de decir que el 60% lo hizo, esto debido a que cada caso
tiene una engaosamente gran influencia en el porcentaje, cuando el denominador es pequeo.
Cundo se puede usar estadsticas inferenciales?
El siguiente nivel de anlisis despus de las estadsticas descriptivas, es el de las estadsticas inferenciales. Este
es el tipo de anlisis que permite llegar a conclusiones acerca de la poblacin general ms amplia. Sin embargo,
para poder utilizar este tipo de anlisis, es preciso:
tener una muestra adecuada, algo planeado desde el principio
contar con el apoyo de personas expertas
tener acceso a programas de cmputo que ayuden a realizar los clculos
contar con una cantidad de datos suficientemente grande (normalmente al menos 200 casos)
tener indicadores numricos de intervalo sin sesgos
Cundo usar la media, la mediana o la moda?
146

Estas son formas de destacar la respuesta tpica en datos a nivel de intervalo. El uso de la media o el promedio
(calculndose al sumar todas las respuestas y dividiendo este resultado entre el nmero de elementos), puede
llevar a malinterpretar los datos, si estos se inclinan hacia uno lado u otro, i.e. si estn desviados estadsti-
camente. Por ejemplo, si se pregunta a un grupo de personas cuntas parejas sexuales tienen o han tenido,
normalmente respondern con un nmero relativamente reducido, como 1 un nmero entre 5 y 10. Solamente
unas cuantas personas respondern con nmeros mayores, como 50 ms. En este caso, la distribucin de las
respuestas est desviada (o tiende hacia) los nmeros bajos. Si se reporta el promedio y se tiene una persona
que report un alto nmero de parejas, el promedio no ser tpico. En estos casos, sera mejor reportar la me-
diana (que es el valor en medio de un juego de datos, con la mitad de los valores por arriba, y la mitad abajo).
La mediana proporciona el valor tpico aun cuando el grupo de datos est desviado hacia un lado u otro. Cuando
los datos no estn desviados (cuando estn distribuidos normalmente) la media y la mediana sern esencialmen-
te el mismo nmero. Tambin puede utilizar la moda los valores ms comunes en un juego de datos. Esto
puede ser til, por ejemplo si hay una encuesta que mide el aumento de conocimiento despus de una capaci-
tacin y se quiere saber el puntaje ms comn de los participantes.
Estadsticas descriptivas para el anlisis de indicadores numricos
Se utiliza estadsticas descriptivas para explicar las caractersticas generales de un conjunto de datos.
Se puede utilizar dichos mtodos con cualquiera de los indicadores numricos que se tenga, en cual-
quier etapa del monitoreo y la evaluacin. Las estadsticas descriptivas incluyen:
frecuencias
porcentajes
conteos
promedios (medias y medianas).
Una frecuencia representa el nmero de ocurrencias u observaciones de una variable. Por ejemplo, si
la variable en cuestin es la persona que responde tiene un hijo/una hija, y se ha encontrado que de
las 135 adolescentes entrevistadas que dieron respuestas vlidas, 52 tienen un hijo/una hija, se est
estableciendo una frecuencia. Cuando las frecuencias relacionadas con un slo elemento se presentan
en una lista, se le llama distribucin de frecuencias. Por ejemplo, si se encontr que de esas 135
adolescentes, 65 no tenan hijos/hijas, 52 tenan un hijo/una hija, 14 tenan dos hijos/hijas y 4 tenan
3 hijos/hijas, se podra presentar la distribucin de frecuencias de estas estadsticas como se muestra
a continuacin.
Formas de anlisis cualitativo
Categoras predeterminadas si se ha determinado de antemano lo que se desea saber, se puede revisar los
datos y codificarlos, utilizando categoras referentes a la presencia o ausencia de ciertos eventos, hallazgos,
percepciones, etc. Normalmente, se reportan dichas categoras en trminos de la frecuencia con la que las
personas o los documentos expresan una cierta actitud, percepcin, etc., o utilizan ciertas palabras o frases.
Esta es la forma ms bsica y realista de anlisis para la mayora de las personas sin una amplia experiencia en
el anlisis de datos cualitativos.
Temtica interpretativa una forma de realizar el anlisis es leyendo y releyendo documentos o transcripcio-
nes de entrevistas, con el fin de identificar temticas que aparecen como relevantes para el programa. Dichas
temticas provienen de los datos y no estn predeterminadas antes de leer los datos. Muchas veces, las temti-
cas son tiles para explorar nuevas reas y revelar obstculos o problemas que quiz no eran evidentes de an-
temano para quienes planificaron el programa.
Citas o testimoniales constituyen la manera en la que se puede informar sobre los datos en s. Las citas direc-
tas provenientes de entrevistas son utilizadas para sustentar algn punto que se plantea respecto a la forma en
que las personas entrevistadas perciben la situacin. Las citas o testimoniales deben escribirse entre comillas
para distinguirlas de la parfrasis; i.e. cuando alguien condensa la comunicacin de otra persona, usando sus
propias palabras, esto sin utilizar comillas.
Tipologas o tipos ideales despus de revisar todos los datos, quiz convenga informar que hay uno o ms ti-
pos de personas o experiencias relevantes para el programa. Por ejemplo, puede encontrarse que cuando las
147

mujeres jvenes tienen una hermana de mayor edad con la que mantienen una relacin estrecha, las primeras
experimentan su sexualidad de una manera ms positiva, se sienten ms felices y tienen mayor poder de deci-
sin en sus relaciones de pareja. Los tipos ideales se generan a partir de los datos; uno no sabe de antemano
que existen.
Taxonoma o diagrama de significados una forma de presentar los datos sera con un diagrama de la manera
en que las personas entrevistadas vinculan diferentes palabras y significados relacionados con el programa; ello
aporta importantes conocimientos sobre cmo las personas realmente entienden los conceptos clave. La mane-
ra en que las personas entienden conceptos como la equidad de gnero, la salud reproductiva y la sexualidad
sana, puede cambiar a lo largo del programa, por lo que este tipo de diagrama podra revelar efectos importan-
tes.
Pasos a realizar en el anlisis de datos cualitativos
Existen mltiples formas de analizar los datos cualitativos, mismas que varan en trminos de:
La habilidad requerida de la persona que analiza los datos
El tiempo necesario para el anlisis
La profundidad y riqueza con la que se quiere comprender los significados que las personas asignan
a los temas discutidos
Para desarrollar las categoras analticas:
Si se cuenta con personas altamente preparadas en el anlisis de datos cualitativos, se podra hacer lo siguien-
te:
Primero leer cada trascripcin completa sin escribir nada, simplemente como si se leyera una novela. El
propsito es lograr una comprensin general de los significados expresados, y comenzar a identificar tem-
ticas que puedan surgir
Enseguida, leer de nuevo y empezar a escribir cdigos descriptivos, entendindose estos como palabras que
describen la esencia de lo que alguien ha dicho, a un lado de las citas o prrafos en la trascripcin
Posteriormente, leer las transcripciones de nuevo, prestando particular atencin a los cdigos que se han
generado, con lo que se empezar a crear las temticas ms amplias que conectan dichos cdigos
Entonces se deber leer de nuevo y codificar los datos con dichas temticas ms amplias
Enseguida se deber discutir las temticas con el Equipo y tratar de encontrar referencias a dichos temas
en la bibliografa o en los hallazgos de programas similares. Con esto se podr refinar los cdigos.
Entonces se leer las trascripciones, codificando cada mencin de las temticas identificadas
Finalmente se puede dividir las trascripciones en grupos de personas, documentos o eventos que difieren en
caractersticas importantes relacionadas con el programa, esto con el fin de llevar a cabo el tipo de compa-
raciones contemplado en el plan de anlisis
Si el equipo tiene menos experiencia en el anlisis cualitativo, se puede:
Analizar por separado, las respuestas obtenidas de diferentes grupos de preguntas
Utilizar cdigos determinados con anterioridad, directamente impulsados por, y vinculados a las interrogan-
tes especficas de la evaluacin y los objetivos del programa; o bien, que hayan surgido de una primera lec-
tura de las transcripciones y de la retroalimentacin proveniente de las personas entrevistadoras, respecto
a los principales hallazgos observados

Una vez que se haya llegado a un acuerdo sobre las categoras de anlisis:
Leer las trascripciones y marcar las veces en que aparecen las categoras analticas o las temticas
acordadas
Enseguida, ser conveniente separar las trascripciones segn las comparaciones que se ha planea-
do realizar; ej., las personas que asistieron al programa versus las que no lo hicieron; entrevistas
previas al programa versus entrevistas posteriores al programa
Tambin ser conveniente revisar cmo pueden diferir los resultados dentro de cada grupo. Exis-
ten diferencias en la manera en que respondieron ciertos tipos de personas? Por ejemplo, los hom-
bres jvenes que reconocieron haber golpeado a su pareja, muestran mayores cambios despus
148

del programa, que los cambios ocurridos en los hombres jvenes que reportaron no haber tenido
conductas violentas? El decidir qu tipos de comparaciones internas habr que realizar debe:
o Haberse planeado con anterioridad
o Derivarse de las discusiones con el personal del programa y otras actores interesados
Por qu analizar los datos cualitativos conforme se avanza?
Una de las virtudes de los datos cualitativos es que permiten adquirir conocimientos sobre nuevos aspectos a
explorar y nuevos significados que no se esperaban. Esta flexibilidad permite aadir elementos, revisar y recon-
siderar lo que se desea preguntar, o qu eventos se desea observar. Por otra parte, se debe cuidar el punto de
saturacin; ello se refiere al punto en que se cuenta con abundantes datos para explicar las variaciones en los
tipos de respuestas que se estn obteniendo a las interrogantes o temticas, y en que nuevos datos no aaden
soporte adicional a los hallazgos obtenidos, ni a la identificacin de nuevos hallazgos. Es posible llegar al punto
de saturacin en un cierto rango de respuestas a una pregunta, o en una temtica, sin que ello ocurra en otras.
Esto es aceptable: se necesita identificar los hallazgos ms importantes para que sea precisamente en ellos
donde se invierta los recursos para obtener el apoyo adecuado.
Sugerencias para la tabulacin manual de datos
Crear una hoja de clculo que tenga:
Una fila para cada caso, i.e. persona, documento o evento
Columnas para identificar el caso, la persona que recopil los datos, la fecha, el sitio / ubicacin de la re-
coleccin de datos y otra informacin esencial de identificacin
Una columna para cada elemento del instrumento de recoleccin de datos
Si se compara el mismo caso a nivel de lnea base, media y/o final, codificar los datos subsecuentes a la
lnea base, a mano derecha de los datos iniciales, en la misma fila. Idealmente, cada caso tendr todos sus
datos en una sola fila.
Asimismo, asegurar que:
haya un dato en cada celda. Por ejemplo, codificar datos deliberadamente como faltantes o no aplicables
se verifique cada dato captado para asegurar que sea correcto. Buscar respuestas improbables como por
ejemplo, un 3 respecto a la edad de la primera relacin sexual voluntaria, la cual deba haber sido 23. Para
hacer las correcciones, es necesario referirse a los instrumentos originales de recoleccin de datos
se registre todos los datos conforme vayan llegando no debe esperarse hasta el final del proceso de reco-
leccin de datos
Tipo de anlisis segn el nivel de los indicadores numricos
Categrico o nominal grupos de datos sin valores numricos reales. No hay que confundir lo anterior con
datos identificados por nmeros, como 1 = casado/a, 2 = soltero/a, pues no son valores reales. En estos ca-
sos:
o informar el porcentaje de personas que dio cada respuesta
o repetir lo anterior, pero separando por subgrupos de personas entrevistadas o encuestadas
o el denominador debe representar el nmero de personas con datos completos
o al mismo tiempo, reportar el # de casos con datos faltantes (Si el nmero de casos con datos faltantes
es similar para todos los tems, debe reportarse solamente una vez)
Ordinal grupos de datos con valores numricos relativos, pero sin la misma distancia entre los diferentes
valores, como sera 1 = alto, 2 = medio, 3 = bajo. En estos casos:
o reportar la mediana o el valor medio (que sera el tipo de promedio a utilizar con este tipo de datos)
Para calcular una mediana a mano el valor que se encuentra en medio, al ordenar los datos de
menor a mayor
o calcular con base en el nmero de personas con datos vlidos
o tambin se puede presentar el porcentaje de respuestas en cada categora
o se puede fusionar algunas categoras similares, ej. totalmente de acuerdo y de acuerdo
o para realizar comparaciones de una misma persona con base en el puntaje ordinal obtenido en dos
momentos diferentes (como la lnea base y la lnea final), slo se puede identificar la direccin del
cambio, i.e., no hay cambio negativo, no hay cambio, cambio positivo; si se cuenta con suficientes da-
tos, es posible desglosar los que iniciaron con valores altos o bajos, para ver si vara la cantidad o la di-
reccin del cambio.
149

Intervalo una serie de nmeros que tienen igual distancia o valor entre cada uno. Es necesario contar con
este nivel de datos para poder calcular la significancia estadstica. En estos casos:
o usar frecuencia, porcentaje, tabulacin cruzada
Calcular el promedio aritmtico y la mediana para verificar que la distribucin no est desviada (esto es, que se
acumulan muchos casos con respuestas muy altas o muy bajas, lo cual puede crear una imagen engaosa cuan-
do se representan los datos solamente con la media); si la media y la mediana son similares, se puede reportar
la media aritmtica o el promedio.
Actividades de la dcima sptima semana
Individuales
1. Realice la lectura de la semana.
2. Actualice su diario de aprendizaje.

Grupales

1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura.
2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada?
2. Qu sentimientos ha aprendido acerca del anlisis de datos?
3. Puede diferenciar entre datos e informacin? cules son las principales diferencias?
150

DCIMA OCTAVA SEMANA
TEMA
Comunicacin y difusin de los resultados de una evaluacin
Objetivos de la semana
Al finalizar el estudio de la dcima quinta semana las y los estudiantes.
Reconocen la importancia de comunicar y difundir los resultados de una evaluacin.

LECTURA

Los resultados (positivos o negativos) de todo el proceso de MyE deben ser difundidos entre diversos actores
directa o indirectamente involucrados en el proyecto, para asegurar la implementacin y continua
retroalimentacin de aprendizajes. La adecuada difusin de los resultados es fundamental para optimizar el
valor agregado del MyE. No existe solo una forma para desarrollar una estrategia eficaz de comunicacin, pero
esta puede guiarse por alguna preguntas bsicas:

Quin es el pblico meta de los resultados del MyE?
Cul es la informacin ms pertinente y til para compartir?
Cul es la mejor manera para llegar al pblico meta?

Las estrategias y mensajes de comunicacin, que van desde boletines informativos, reuniones de dilogo y
talleres hasta la difusin en materiales impresos, dependern del tipo de audiencia:

Equipo responsable de la implementacin
Beneficiarios
Donantes
Donantes potenciales
Individuos asociados a la organizacin
Otras organizaciones
Utilizar los hallazgos
Paso 1: Presentar los hallazgos al pblico interno

Fundamento
Mediante la presentacin de los hallazgos a las personas ms cercanas al programa, se logra lo siguiente:
demostrar el compromiso que se tiene de informar a quienes han apoyado el proceso de evaluacin
establecer un excelente campo de pruebas para experimentar con las presentaciones que se harn o
enviarn posteriormente al pblico externo
Tarea 1: Compartir los hallazgos con el personal de la organizacin:
Incluir al personal de todas las reas de la organizacin, aun aquellas personas que no hayan participado en
la evaluacin.
151

Las percepciones de todas estas personas son tiles y se les debe alentar a conocer lo provechoso que ha
sido el proceso de evaluacin hasta el momento; en el futuro, esas percepciones continuarn siendo de
gran utilidad.
Realizar una reunin con el personal de toda la agencia o circular un boletn de noticias entre todas las reas
de la agencia, incluyendo un resumen de los hallazgos
Es importante presentar los hallazgos de tal forma que no sean percibidos como crticas a un departamento
o grupo respecto a otro
Destacar los xitos y logros
Sealar las limitaciones y fallas que indiquen las lecciones aprendidas y las acciones que se requieren en el
futuro
Invitar a las personas a aportar y a entrar en la discusin, de tal forma que se asegure que realmente se les
est tomando en cuenta
Realizar reuniones individuales con el personal del programa, con el objeto de discutir a mayor profundidad
los hallazgos con las personas directamente involucradas en los aspectos especficos del programa, mismos que
el equipo ha estado evaluando.
Dichas sesiones de retroalimentacin motivan al personal y le ayudan a tener un mayor aprecio por el gran
trabajo que ha venido realizando
Con demasiada frecuencia, se elabora los informes y se enva slo a los donantes, y las personas que real-
mente realizaron el trabajo nunca los ven, ni se enteran de todo lo que han logrado.
Tarea 2: Compartir los hallazgos con los actores interesados de la organizacin:
Ya sea que los actores interesados hayan orientado el proceso y apoyado el programa desde un principio, o que
su participacin haya sido relativamente reciente, deben conocer los hallazgos antes que el pblico externo,
esto por varias razones:
Es muy probable que los actores interesados estn comprometidos con, e interesados en los resultados del
programa y por lo tanto, deseosos de conocerlos
El hacer una presentacin minuciosa y solicitar retroalimentacin y opiniones, har ms fuerte el compro-
miso de los actores interesados con el programa, y ser ms probable que continen apoyndolo en el futu-
ro
Si los hallazgos no son lo que se esperaba, pregunte a los actores interesados cules creen que fueron los
factores que inhibieron el cambio deseado
Si se presenta una controversia potencial en torno a los resultados, los actores interesados a quienes se les
informa oportunamente pueden apoyar y defender la causa del programa
Los actores interesados pueden contribuir a formular los argumentos, el plan de difusin (e incluso ayudar a
difundirlo) y a reflexionar sobre los siguientes pasos a seguir
Los actores interesados pueden convertirse en voceras del programa
El Consenso de El Cairo desafa a todos los programas a que se hagan ms responsables ante las comunida-
des en las que trabajan. El informar primero a los actores interesados constituye un componente importan-
te del compromiso con la rendicin de cuentas que asumen las organizaciones
Tarea 3: Compartir los hallazgos con los donantes actuales:
Independientemente de que algn donante realmente haya financiado o no el proceso de MyE, es esencial pre-
sentar los hallazgos a todos los donantes actuales. Tomando en cuenta que la retroalimentacin a los donantes
es una de las claves del xito del programa, no debe dudarse en presentarles los hallazgos, aun si todava no
llega la fecha de presentar un informe formal sobre el donativo correspondiente.
Recordar que los donantes actuales pueden ser los ms entusiastas promotores del programa por haber inverti-
do en ello.
Si se est presentando un informe parcial o final, asegurar que se entregue oportunamente, de tal forma que
los donantes puedan aprovecharlo.
Oportunamente significa, en este caso, que el informe sea presentado en el plazo sugerido originalmente
por los donantes, y antes de que tomen decisiones sobre las subvenciones para el prximo ciclo de finan-
ciamiento.
152

Usar el formato proporcionado por el donante. Sin embargo, si no se proporcion formato alguno, es reco-
mendable que el informe sea corto, idealmente de 10 a 15 pginas, incluyendo:
qu es lo que se esperaba obtener del programa?
qu se logr? incluyendo:
o acuerdos de colaboracin establecidos, fortalecidos o debilitados
o retos enfrentados durante la ejecucin y cmo se afrontaron
o conclusiones basadas en los hallazgos
o implicaciones y/o recomendaciones para:
la agencia
el tema que abordado
el campo del trabajo
o los siguientes pasos con base en los hallazgos, incluyendo cmo se puede ajustar el programa (Paso 2).
El hacer un excelente trabajo de monitoreo y evaluacin no garantiza que se lograr la continuidad del fi-
nanciamiento. Los donantes cambian sus prioridades y tambin enfrentan cambios en la cantidad de fondos
disponible. Sin embargo, el tener buenos datos de evaluacin colocar a la agencia en una mejor posicin para
poder sustentar los argumentos de un apoyo continuo.
Si se planea solicitar al donante que contine o aumente el financiamiento, es necesario explicarle lo si-
guiente claramente:
Lo que se tiene pensado para la(s) siguiente(s) etapa(s) del proyecto
Por qu el apoyo de este donante ha tenido una importancia particular
Algunos donantes desearn continuar financiando el trabajo actual, pero otros probablemente se interesen
en llevar el trabajo actual un paso ms hacia adelante.
o En este caso, convendr conversar acerca de dnde caben las nuevas ideas del programa en el con-
texto del campo de trabajo en general; y cmo la agencia puede contribuir a dicho campo, al am-
pliar el enfoque actual, aplicando enfoques novedosos o promoviendo que el enfoque actual sea
adoptado ms ampliamente.
Debe pensarse en las razones por las que un donante estara interesado en seguir impulsando los objetivos
generales de la agencia, y en las razones que sta tendra para seguir impulsando los del donante
o Habr que estar preparados para negociar con el donante, ya que ste puede plantear ideas nuevas que
desea poner a prueba a travs de la agencia, o puede proponer elementos programticos que le gustar-
a que fueran incorporados. Por su parte, la agencia tambin puede tener ideas nuevas respaldadas con
evidencia, con las que impresionar positivamente al donante.
Si los hallazgos son promisorios, puede ocurrir que se desee usarlos para convencer al donante de que con-
tribuya fondos destinados a una evaluacin ms slida y una posible multiplicacin del programa.
Debe recordarse que la relacin entre la agencia y el donante es un acuerdo de colaboracin; y que el donan-
te tambin tiene necesidades de informacin que la agencia puede satisfacer, as como l satisface las necesi-
dades de financiamiento de la agencia.
Paso 2: Mejorar el programa
Fundamento
La funcin ms importante de los hallazgos es mejorar el programa o desarrollar nuevos programas. Los hallaz-
gos pueden:
indicar si el programa est funcionando a toda su capacidad
si se est logrando los resultados deseados
Un anlisis minucioso de los hallazgos remitir al diagnstico de necesidades, a un proceso de autorreflexin
organizacional y al mejoramiento del programa.

153

Tarea 1: Refljese en los abordajes de la justicia social basada en los derechos y pregunte qu se aprendi
en cuanto a cada uno respecto al programa
Qu se ha aprendido acerca de:
la proteccin y el cumplimiento de los derechos de las personas, as como los obstculos que deben supe-
rarse
las maneras de satisfacer las necesidades de salud sexual y reproductiva de las personas, en sus propios
trminos y desde una perspectiva holstica
las estrategias que funcionaron para modificar la dinmica de poder de gnero, y qu obstculos todava
quedan por superar
los retos involucrados en promover un enfoque a la sexualidad sana con los grupos de edad con los que se
trabaja, y la manera de vencer dichos retos
la importancia de la contribucin de los grupos de mujeres y otros grupos de la comunidad, al contenido y
la calidad del programa, las estrategias eficaces para trabajar con grupos marginados y/o vulnerables. De
qu forma influy este trabajo en otras actividades que realiza la agencia y en los otros grupos con los que
trabaja?
Tarea 2: Planear cmo hacer modificaciones al programa:
Es necesario que el Equipo de MyE y el de planeacin del programa diligencien de manera conjunta la Hoja
de trabajo para la mejora del programa, la cual servir de gua para realizar el tipo de cambios que ayudar a
que el programa sea an ms eficaz.
Hoja de Trabajo para la Mejora del Programa
Ciclo del programa Interrogantes Acciones
Comprender el pro-
blema relacionado con
el proyecto
De qu manera alteran los hallazgos la com-
prensin que se tiene del problema?
Hay algunos aspectos de los PPT a los que se
deba dar ms atencin, como seran las nor-
mas de gnero, la sexualidad y los derechos
humanos?
Discutir estas nuevas formas de
comprender el problema con los
equipos de planificacin del
programa
Construir una Ruta
Causal
Hay cambios que deben aplicarse a la Ruta
Causal establecida?
Completar una Ruta Causal nue-
va o modificada, con base en los
hallazgos del MyE
Definir el objetivo
general
El objetivo general sigue siendo el mismo?
Se le entiende de manera diferente?
Hay nuevos objetivos generales que hayan
sido revelados por los hallazgos?
Elegir un nuevo objetivo general
Modificar la forma en que el
actual objetivo general est
redactado
Reafirmar el objetivo general
Definir el objetivo
especfico
Hay algunos cambios en la forma en que se
ha redactado los objetivos especficos, o res-
pecto a cules objetivos deben ser abordados?
Hay factores que estn operando a otros
niveles que interfieren con los logros?
Identificar nuevos resultados; o
bien, modificar o reafirmar los
que se espera alcanzar
Redactar objetivos especficos
que coincidan con cada resultado
esperado
Actividades
Cules son las implicaciones de los hallazgos
y de la nueva forma de comprender el pro-
blema relacionado con la organizacin, para
mantener o modificar las actividades del pro-
grama?
Se necesita aumentar, disminuir, cambiar o
interrumpir algo de lo que el programa est
Revisar todos los componentes
de las actividades:
poblacin atendida y alcan-
zada por el programa
contenido de las interven-
ciones,
154

realizando?
Est dirigido el programa a la poblacin
apropiada? Sus necesidades han sido satisfe-
chas? Debe el programa ampliar su alcance?
Debe el programa cambiar el contenido de su
componente de capacitacin o sus mensajes?
Debe el programa abordar temas a otros
niveles?
formas de colaboracin con
otras organizaciones para
complementar las activida-
des
formas de ampliar las activi-
dades o de dirigirlas ms efi-
cazmente a los grupos que
ms las necesitan
Insumos
Hubo sesgos en los insumos, que influencia-
ron los resultados y que requirieron cambios?
Necesita el programa ajustar su logstica; ej.
horario, lugares de ejecucin, nmero y fre-
cuencia de los eventos?
Qu nuevos recursos sern necesarios para
llevar a cabo las modificaciones al programa?
Qu representan los resultados para el perso-
nal, en trminos de fortalecimiento de capa-
cidades y trabajo en equipo?
Retomar las necesidades de ca-
pacitacin del personal

Revisar la manera en que se los
recursos fueron asignados y gas-
tados, corregir problemas y eli-
minar obstculos
MyE
Qu se hara diferente en el proceso de MyE
la prxima vez?
Qu lecciones se aprendieron acerca de la
incorporacin del MyE en programas en mar-
cha o desde el inicio de los nuevos?
Planear el MyE desde el inicio de
todos los programas nuevos y
modificados
Apoyo de la agencia
Necesita la organizacin reorganizarse para
alcanzar mejor los objetivos del programa?
Existen tensiones debido a aspectos clave del
programa, que necesitan ser resueltas?

Ir a La agencia pone en prctica
su discurso?
Alentar la discusin interna sobre
las maneras de superar los pro-
blemas detectados
Nuevos donantes
Los hallazgos han abierto nuevas reas que
podran interesar a los actuales donantes del
programa y a otros nuevos?
De qu forma pueden sus hallazgos demostrar
los xitos del programa y las nuevas direccio-
nes que deber tomar?
Incorporar los hallazgos a las
herramientas de mercadeo diri-
gidas a los donantes, a los infor-
mes a donantes y a las nuevas
propuestas

Realizar reuniones de manera regular, con el fin de trabajar este proceso y establecer planes de accin es-
pecficos que tomen en cuenta todos los hallazgos y recomendaciones.
Si se trabaj con los actores interesados de la comunidad, habr que informar a la comunidad sobre los
cambios que se estn implementando. Esto ayudar a fomentar:
la buena voluntad hacia la organizacin
las alianzas a largo plazo con la comunidad
Tarea 3: Utilizar los hallazgos para disear un programa nuevo:
Si la agencia ha decidido disear un programa nuevo que buscar los mismos objetivos generales u otros simila-
res, los hallazgos del MyE sern insumos muy valiosos.
Habr que utilizarlo desde el principio, con el fin de:
orientar la comprensin del problema relacionado con la SDSR y ayudar a crear una Senda causal completa
disear nuevas actividades
emprender cambios dentro de la agencia
trabajar de manera ms productiva con la comunidad
155

Planear el nuevo proceso de MyE desde el principio. Cuando el programa todava est en la etapa de planea-
cin, habr que seleccionar el Equipo de MyE para que trabaje con quienes planean el programa, y recorran
juntos todos los PASOS desde el principio. Esta vez el proceso ser ms fcil, pero a la larga se cosechar an
mayores beneficios por haber iniciado desde el principio del ciclo del programa.
Tarea 4: Utilizar los hallazgos para identificar nuevos donantes:
Ya sea que el programa actual se modifique o no, o que se disee uno nuevo, probablemente se querr
identificar nuevos donantes que apoyen el trabajo de la agencia. Aunque los hallazgos del MyE no garanti-
cen por s mismos que se encontrar financiamientos nuevos, ellos proporcionan una base mucho ms sli-
da desde la cual se podr buscar apoyos nuevos.

Buscar donantes que apoyan temas ms amplios, como el empoderamiento de las mujeres, la promo-
cin de la equidad de gnero, los derechos humanos, la justicia social, etc. Todos estos temas son perti-
nentes a la labor del programa, por lo que debe ser posible poner de relieve las conexiones que muestran
cmo el trabajo que se propone encaja con lo que el donante desea lograr.

Utilizar historias y testimoniales que involucren al donante en el tema del programa y/o le demuestren
la importancia del trabajo que se est realizando.

Mostrar la manera en que el programa encaja en el panorama ms amplio de esfuerzos encaminados a
alcanzar el objetivo final, mediante la descripcin, en trminos sencillos, de la lgica de la Senda causal.

Explicar de manera concisa lo que el programa ha logrado en el pasado. Puede elaborarse una lista pun-
teada de logros relevantes para entregar al donante.

Justificar las direcciones futuras, al describir los hallazgos, las conclusiones y recomendaciones que
demuestran la necesidad del enfoque propuesto.
Describir la manera en que la agencia se ha beneficiado del proceso de MyE y del programa mismo, as
como los cambios que ha implementado para evitar problemas, cerrar brechas y ejecutar los programas de
una manera mejor.

Destacar la disposicin de modificar el trabajo con base en los datos: ello demuestra el compromiso con
la bsqueda de un impacto real; as como con el propsito de aprender y crecer.

Ofrecer al donante razones para confiar en que el programa tendr xito, y que los esfuerzos perma-
nentes de MyE continuarn orientando el buen trabajo para hacerlo aun mejor.

Paso 3: Presentar los hallazgos al pblico externo

Fundamento
Usar los hallazgos para cambiar el mundo! Hay que compartir los hallazgos del MyE con diversos pblicos exter-
nos, fuera de los donantes y actores interesados del propio programa, de tal forma que contribuyan al avance
de la agenda del programa

Usar los hallazgos para abogar por el programa con el pblico clave a influenciar.
Identificar las personas o los grupos que se desea influenciar, como seran funcionarios de gobierno y perso-
nas que formulan las polticas, la prensa, lderes comunitarios. Hay algunos polticos que recientemente se
hayan pronunciado de tal forma que sugiere que se interesan en el tipo de trabajo que realiza el programa?
Cmo se puede cultivar inters en el trabajo del programa, entre personas que se desea interesar y en las
que se desea influir?
Acercarse a legisladores/as y otros/otras tomadores/as de decisiones pblicas
156

o Es conveniente informar a las figuras polticas relevantes antes de presentar el informe al pblico.
Esto es especialmente importante si los hallazgos de la evaluacin ponen en evidencia que habr
necesidad de cambios en las polticas
o Quienes formulan las polticas o funcionarios de las agencias tambin pueden estar en condiciones de
ofrecer una respuesta pblica a los hallazgos de la evaluacin. Por ejemplo, si la evaluacin demuestra
que el programa de prevencin de VIH con nios de la calle, basado en pares comunitarios, es altamen-
te eficaz pero carece de fondos suficientes, las agencias de servicios en la zona quiz deseen informar
a la gente que planean aumentar el financiamiento para el proyecto en el siguiente ciclo presupuestal.
Acercarse a los medios y periodistas
o Al informar a los medios, se les estar habilitando para que puedan defender el programa de una mane-
ra ms completa
o Es necesario proporcionar un gancho para que los y las periodistas vean la importancia de los hallaz-
gos del programa. Un gancho es una historia, un evento actual, un tema bajo investigacin, un tema
que preocupa e interesa a la gente
o Presentar los hallazgos de manera sencilla y clara; no perder el tiempo describiendo los detalles de la
metodologa de MyE. Hay que esforzarse por dar a las y los periodistas el rostro humano y el significado
de los hallazgos
o Presentar los hallazgos en eventos pblicos como conferencias o ruedas de prensa, as como en confe-
rencias acadmicas o polticas
o Si se ha producido un informe o video acerca del programa, puede realizarse un evento pblico para
presentarlo a los medios y a los y las polticas locales
o Si el programa est abriendo una nueva oficina, o amplindose a unas nuevas instalaciones, o si se est
iniciando una nueva campaa, se puede presentar los hallazgos de la evaluacin en el lanzamiento
de ese nuevo trabajo o acontecimiento
o Siempre debe proporcionarse los hallazgos clave por escrito, para que las y los periodistas pueden lle-
varse la informacin precisa
o Si es posible y apropiado, tratar de incluir testimoniales e historias; haciendo que las y los beneficiarios
presenten sus propias historias en cualquier evento pblico que se est realizando
Vincularse con redes de abogaca que estn promoviendo los mismos temas que preocupan a la agencia,
como la igualdad de gnero y los derechos en el rea de la salud. Es posible que al colaborar con otros pro-
gramas afines, se pueda construir un argumento ms slido, con base en los hallazgos conjuntos.

Usar los hallazgos para informar a la comunidad en general sobre el programa
Incluir hallazgos y testimoniales clave en los materiales promocionales
Realizar reuniones pblicas en donde se presente el programa y se describa sus ventajas y resultados positi-
vos
Telefonear a los programas de radio y proporcionar informacin sobre los hallazgos y testimoniales

Usar los hallazgos para construir y fortalecer el movimiento de las ONGs
La organizacin que conduce el programa no est sola, y sus hallazgos podran ser de gran inters para otras
organizaciones.
Compartir prcticas promisorias: Probablemente muchas otras organizaciones en la localidad, estado o
pas, estarn realizando un trabajo similar y estarn deseosas de aprovechar la experiencia de la organiza-
cin que conduce el programa. Podra entonces realizarse seminarios o reuniones con la participacin de las
diferentes agencias, en las cuales los grupos podran compartir sus hallazgos e identificar lecciones apren-
didas en comn; incluso cada agencia podra hacer referencia al trabajo de las otras en sus respectivos in-
formes. El compartir las buenas prcticas ayuda a mejorar los programas en el campo de trabajo, al intro-
ducirlos a mtodos y conocimientos que han sido refinados a travs de la experiencia. Todo ello contribuye
al ahorro de tiempo y recursos que pueden dedicarse a la innovacin de nuevos enfoques e ideas.
Realizar un cambio en la atencin que se presta a un tema: Las actividades de difusin aumentan la con-
ciencia que se tiene sobre lo que los resultados dicen acerca de la comunidad o el grupo meta. Si los resul-
tados revelan que, a pesar de sus intervenciones, las y los clientes en la clnica de planificacin familiar to-
dava consideran que los y las proveedores de servicios de salud no son sensibles a sus necesidades, el llevar
157

esta informacin al lugar y al nivel adecuados ser crtico para presionar, con el fin de que dichos/as pro-
veedores avancen en su sensibilizacin.
Fomentar las relaciones de colaboracin entre las ONGs locales: El compartir informacin tambin crea un
ambiente que estimula la resolucin colectiva de problemas y el cambio sostenido a largo plazo. La difusin
de actividades que arrojan luz sobre un tema importante puede ayudar a revitalizar o construir una nueva
red o grupos comprometidos con la atencin al problema en cuestin. Los grupos interesados, aun aquellos
que nunca se haban involucrado en los temas compartidos, pueden ver la conexin con su propio trabajo, y
se puede formar grupos nuevos que crucen las lneas tradicionales de colaboracin.
Movilizar el apoyo comunitario para lograr intervenciones eficaces: Construir una base de partidarios para
el trabajo, conformado por colegas, ser muy til si se llegara a aplicar presin a quienes formulan las pol-
ticas para que promuevan el cambio. Las organizaciones afines tienen sus propias bases de membresa que
pueden ofrecer como red para diseminar lo que revelaron los resultados de la evaluacin y cmo pueden
estos ayudar a provocar el cambio que se desea ver.
Usar los hallazgos para construir una base de conocimiento en torno a temas de las ONGs
Con demasiada frecuencia los programas de las ONGS llevan a cabo procesos de MyE y piensan que el nico uso
de sus resultados es local. Asimismo, puede existir la preocupacin de que los procesos de MyE no fueron lo
suficientemente rigurosos como para ser presentados fuera del crculo local. Con al presente metodologa, se
invita a pensar en la posibilidad de llegar todava ms lejos y tratar de presentar los hallazgos del programa a
nivel nacional e internacional. Para ello se recomienda lo siguiente:
Identificar espacios apropiados para la difusin, como son las conferencias profesionales/acadmicas, talle-
res y revistas que se enfocan a programas y a la evaluacin de los mismos.
Invitar a colegas de las universidades locales o de otras agencias, que ayudaron con el proceso de MyE, para
que participen en la presentacin de los resultados en dichos espacios.
Vincular los hallazgos a temas crticos relacionados con la equidad de gnero, los derechos sexuales, el
empoderamiento de las mujeres, los derechos humanos, etc., y tratar de presentarlos en sesiones donde se
podr llegar a acuerdos respecto a dichos temas.
Establecer contacto con otros programas similares y relacionar los resultados propios con esos programas.
Quiz se pueda unir los resultados o presentarlos conjuntamente a manera de panel, sustentando de mane-
ra ms slida lo que el programa ha encontrado.
Concentrarse en los hallazgos ms interesantes e ilustrarlos con historias y testimoniales.
Presentar con franqueza las limitaciones metodolgicas del trabajo propio, pero tambin mostrar satisfac-
cin con los hallazgos obtenidos. Todas las evaluaciones, aun las mejor sustentadas, tienen algunas limita-
ciones; y todos los hallazgos son tiles cuando se unen a otros hallazgos sobre temas y experiencias simila-
res.
Proporcionar descripciones cuidadosas de la metodologa, quiz en un escrito por separado, para que las y
los colegas puedan revisarla en detalle.
158

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) poten-
cial(es) del pblico
Quin(es)
es/son? (Nom-
bre(s))
Dles un nmero
en orden de impor-
tancia (1,2,3, etc.)
Qu pregun-
tas quieren
contestar?
Qu tipo de informa-
cin necesitan o
prefieren? (Nme-
ros? Historias?)
1. Identifique quin necesita
enterarse de sus hallazgos.
2. Cun importantes son? El
nmero 1 corresponde al
pblico principal de los
hallazgos de su evalua-
cin.
3. Sea claro sobre qu quiere
Ud. que se haga con los
hallazgos.
4. D prioridad a los miem-
bros del pblico que son
ms importantes para su
programa en este momen-
to.
5. Identifique las preguntas
que tienen los miembros
prioritarios.
6. Identifique qu tipo de
informacin sera ms til
y convincente para ellos.
Beneficiarios
Lderes comunitarios
Polticos
Otros de la comunidad

Financiador(es)
Periodistas y lderes
de opinin

Miembros de su junta
directiva

Personal de la organi-
zacin fuera del
programa evaluado

Otros
Actividades de la dcima octava semana
Individuales
1. Realice la lectura de la semana.
2. Determine cul es la importancia de comunicar los resultados de la evaluacin?
3. Actualizar su diario de aprendizaje.

Grupales

1. Trabajando en grupo procedan a preparar la comunicacin de los resultados de la evaluacin.
Autoevaluacin
1. Para usted, cul es la relacin entre evaluacin y aprendizaje?
2. Explquese a usted mismo o misma, las principales caractersticas de una plan de comunicacin de la
informacin o resultados de la evaluacin.
3. Qu nuevas ideas aprendi de la lectura, acerca de la comunicacin de la informacin? es diferente a
lo que ya saba?



















160

DCIMA NOVENA SEMANA
TEMA
Proceso y estilo de redaccin
Objetivos de la semana
Al finalizar el estudio de la dcima sexta semana las y los estudiantes.
Comprendern la importancia del estilo de la redaccin en la preparacin de informes tcnicos.
LECTURA
Sea breve y conciso y vaya directamente al grano
El redactor o redactores del informe deberan actuar con juicio y moderacin. No es necesario reportar cada
hecho, ocurrencia y detalle menor. Deben ampliarse nicamente los datos realmente importantes, con-
densndose los menos importantes y reconociendo que algunos asuntos ni siquiera tienen que ser reporta-
dos. En un informe realmente bien elaborado, el lector debera poder comprender, en su primera lectura,
los hallazgos y conclusiones principales, sin tener que referirse a los apndices.
Un equilibrio adecuado entre texto, cuadros y diagramas hace que el informe sea fcil de leer, y al mismo
tiempo claro e informativo. Tambin produce una economa considerable de espacio, ya que el texto sin
cuadros y diagramas de apoyo tiende a volverse demasiado largo y verboso. Evite la repeticin, ya que alar-
ga innecesariamente el informe y aburre al lector.
Use un lenguaje simple y claro
Siempre que sea posible, use palabras sencillas en vez de palabras rebuscadas o altamente tcnicas. Una
dificultad comn que debe superarse en un informe de M&E es la diversidad de antecedentes educativos
entre los lectores meta. Evite un estilo pomposo. Las oraciones largas con un exceso de ideas tienden a
confundir. Casi siempre es posible dividir largas oraciones complicadas en varias oraciones ms cortas fci-
les de comprender.
Divida el texto en prrafos cortos que se centren en un solo aspecto o idea. Establezca lazos entre la se-
cuencia de los temas de cada prrafo, utilizando cuidadosamente las primeras y ltimas oraciones de los
prrafos contiguos. La sensacin de continuidad se incrementa si la primera oracin del siguiente prrafo
recoge el tema tratado en la oracin anterior.
Siga una secuencia lgica en la presentacin
Un orden claro, uniforme y lgico para tratar los temas resulta sumamente til al lector por dos razones.
Primero, una secuencia lgica es mucho ms fcil de comprender y de seguir. Segundo, el lector serio tendr
que hacer referencia a secciones anteriores del informe a medida que lo estudie. La referencia a otras sec-
ciones se vuelve mucho ms fcil si el informe tiene un orden uniforme y lgico. Para conveniencia en
trminos de las referencias cruzadas dentro del informe, debe incluirse algn sistema lgico de numeracin
y encabezados para las secciones, subsecciones, cuadros y diagramas.
Evite afirmaciones y recomendaciones que no tengan un respaldo
Todas las conclusiones deberan ser respaldadas por datos reales. Los lectores inteligentes no se dejarn
convencer por afirmaciones emotivas y subjetivas. Las afirmaciones sin respaldo pueden llevar al lector a
cuestionar la fiabilidad del autor/investigador, al punto de rechazar o descartar el informe en su totalidad.
Vuelva a hacer referencia a los objetivos, reflexionando sobre la forma en que los resultados efectivamente
obtenidos se relacionan con dichos objetivos. Recuerde que el hecho de incluir opiniones opuestas, en casos
donde tales opiniones efectivamente existen, puede contribuir a la comprensin los interrogantes involucra-
dos.
161

Sea pragmtico y constructivo
Un buen informe de evaluacin ser prctico en trminos de su orientacin, conclusiones y recomendacio-
nes. De esta manera los lectores fcilmente pueden utilizar los resultados de la evaluacin en su propia si-
tuacin de trabajo. Otra justificacin de adoptar el enfoque pragmtico es que los informes de evaluacin y
monitoreo de proyectos no son principalmente documentos cientficos; al contrario, son herramientas para
generar mejoras en trminos de estrategias y resultados de los proyectos.
Tambin es necesario que los informes sean discretos y constructivos en lugar de negativamente crticos. Si
el autor no hace esto, entonces el informe no tendr el equilibrio debido y har que se pierda el inters y
concentracin de todos los lectores salvo los ms resueltos y dedicados. En lugar de tener una lectura am-
plia, en el mejor de los casos el informe no se saldr de un pequeo crculo de especialistas y stos no siem-
pre son las personas con la influencia o los recursos necesarios para ayudar a ejecutar las recomendaciones
del informe.
Haga que el producto final sea atractivo
Haga que el informe sea grato de leer y est bien diseado. Comience con una portada atractiva; demuestre
su orgullo por su trabajo duro y esfurcese por que el resultado final sea atractivo. Divida el texto con grfi-
cas apropiadas. Algunos tipos de informacin, por ejemplo, las discusiones y las conclusiones, se transmiten
mejor a travs de palabras y texto. Otros se comprenden mejor cuando sin expresados visualmente en la
forma de tablas, cuadros y diagramas. La informacin que se presenta de esta manera es fcil de compren-
der y propicia la reflexin. Los mapas son especialmente tiles en la presentacin de datos tales como reas
de captacin, densidad demogrfica y/o sistemas agrcolas.
Utilice citas directas y de primera mano desde diferentes perspectivas, por ejemplo, poblacin meta, diri-
gentes comunitarios, proveedores de servicios, personal de planificacin, etc. Las citas dan sabor y un senti-
do de realidad a un texto seco. En la medida de lo posible, las citas deben dejarse en las palabras y frases
utilizadas por los sujetos. No slo ser ms fcil de leer el informe sino que las personas provenientes de la
comunidad meta tambin tendrn una mayor probabilidad de identificarse con el contenido y sentir que el
informe realmente aborda de una manera genuina y til sus problemas e inquietudes. Asegrese de incluir
un identificador mnimo con la cita, ya que esto puede ayudar a los lectores a identificar patrones sin violar
la confidencialidad.
La siguiente tabla incluye algunos lineamientos generales respecto al volumen de los documentos dirigidos a
diferentes grupos de lectores previstos.



Apreciacin general del informe final
El informe final debera incluir una discusin de los datos cualitativos y cuantitativos recolectados durante el
estudio, organizados y analizados con miras a proporcionar al proyecto informacin relacionada con lo si-
guiente: 1) la magnitud de los problemas actuales, y 2) los logros y limitaciones del proyecto existente res-
pecto a los impactos proyectados sobre dichos problemas. Los hallazgos y las recomendaciones tendrn una
162

mayor utilidad si se priorizan con el objeto de reforzar la planificacin que puede servir para abordar los
interrogantes ms importantes. El informe final debera proporcionar informacin adecuada en la que pue-
dan basarse decisiones tcnicas y polticas orientadas a mejorar el proyecto, la que idealmente debera
incluir un plan de accin para el ao siguiente.
Seguimiento
Se recomiendan en particular dos reas de seguimiento.
a) Ejecucin de estrategias y evaluacin subsiguiente: Una vez que se han diseado planes especficos y
se han ejecutado estrategias en respuesta a los hallazgos, pueden seleccionarse indicadores o descripto-
res apropiados del estudio para propsitos de monitoreo. Estos podran incluir indicadores de los resul-
tados (por ejemplo, efectivamente se iniciaron las revisiones propuestas del proyecto?) como tambin
efectos (por ejemplo cules fueron las percepciones y comportamientos de la poblacin meta en res-
puesta a las actividades nuevas?).
b) Anlisis posteriores: Aunque los sistemas de informacin de proyectos han sido presentados como una
estrategia de investigacin relativamente rpida y con orientacin a la accin, la abundancia de los da-
tos que generan sugiere la conveniencia de considerar anlisis adicionales o posteriores. Una aplicacin
de este tipo consiste en hacer que el conjunto de datos sea accesible para propsitos del anlisis secun-
dario por otros investigadores, por ejemplo, estudiantes de post-grado, personal de planificacin de di-
ferentes sectores, etc.

Una segunda aplicacin implica hacer comparaciones entre los hallazgos del estudio y los de otros estudios
de investigacin.
Finalmente, es probable que surjan del estudio numerosos temas potenciales para la investigacin operativa
que podran priorizarse y convertirse en propuestas de financiamiento

Actividades de la dcima novena semana
Individuales
1. Realice la lectura de la semana.
2. Actualizar su diario de aprendizaje.

Grupales

1. Trabajando en grupo, elaboren un mapa conceptual de los aspectos a considerar en la
redaccin.
Autoevaluacin
1. Qu relacin puede establecer entre la lectura y sus conocimientos previos acerca
de redaccin de informes tcnicos?
2. Qu uso puede hacer con lo aprendido de la lectura, al momento de preparar el in-
forme de la evaluacin?




163

VIGESIMA SEMANA
TEMA
ESTRUCTURA PAR LA PRESENTACIN DEL INFORME DE UNA EVALUACIN
Objetivos de la semana
Al finalizar el estudio de la dcima sptima semana las y los estudiantes.
Estn en la capacidad de preparar el informe de la evaluacin.
LECTURA
I. Resumen ejecutivo
II. Introduccin
III. Antecedentes del Proyecto
IV. Examen de los Objetivos y del Diseo del Proyecto
A. Justificacin
B. Objetivos
C. Diseo del Proyecto (pertinencia del proyecto)
V. Examen de la Ejecucin, Eficiencia y de la Gestin
A. Presupuesto y Gastos del Proyecto
B. Actividades y Productos
C. Apoyo de los donantes
D. Gestin del Proyecto (administracin)
E. Apoyo Tcnico y Operacional
VI. Evaluacin de los Resultados y de la Eficacia
1. Efectos e Impacto
2. Sostenibilidad e Impacto de los Resultados alcanzados
3. Equidad y Consideraciones de Gnero en la Ejecucin y en la
A. Distribucin de Beneficios
4. Anlisis de la Relacin de Costo-Eficacia
5. Principales Factores que han incidido los Resultados del Proyecto
VII. Conclusiones y Recomendaciones
A. Conclusiones
B. Recomendaciones
VIII. Lecciones Aprendidas
I. Resumen Ejecutivo (Principales Conclusiones y Recomendaciones)
Esta seccin debe presentarse como un resumen ejecutivo, conteniendo una breve recapitulacin de las
principales conclusiones y las recomendaciones para accin inmediata. Los puntos a cubrir son:
Un resumen de los objetivos y de la estructura del proyecto y una breve descripcin de las razones
que justifican la evaluacin.
Las principales conclusiones, incluyendo un examen crtico de los principales factores que han afec-
tado positiva o negativamente la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del pro-
yecto. Esto debe incluir el anlisis de la concepcin original y del diseo del proyecto (incluyendo
los supuestos del marco lgico), de las condiciones que han afectado la ejecucin del proyecto (limi-
taciones institucionales e infraestructurales, gestin del proyecto, limitaciones para movilizar los
recursos necesarios) y de los factores socioeconmicos y de poltica que inciden en la participacin
de los beneficiarios en el proyecto.
164

Las recomendaciones para la orientacin futura del proyecto y las acciones consecutivas a la evalua-
cin a ser emprendidas por el ejecutor y donantes del proyecto.
Para asegurarse de que puede ser fcilmente ledo por las personas concernidas, el resumen debe ser breve
(no ms de 2-3 pginas) haciendo las referencias necesarias al texto principal.
II. Introduccin
Razones para organizar la evaluacin (los trminos de referencia deben anexarse al informe) y objetivos de
la evaluacin. Las personas entrevistadas, metodologa utilizada y la documentacin consultada por los
miembros del comit de evaluacin deben ser tambin, mencionados en un anexo.
III. Antecedentes del Proyecto
Breve descripcin y razn de ser del proyecto, incluyendo los problemas y las limitaciones que deben enfren-
tarse, as como, el marco institucional Principales cambios acontecidos en dicho marco desde entonces;
complementariedad con otros programas o proyectos en el pas o regin; fecha de iniciacin, duracin y
costos del proyecto.
IV. Examen de los Objetivos y Diseo del Proyecto
A. Justificacin
Anlisis crtico de la concepcin del proyecto y de su incidencia econmica y social, para satisfacer las nece-
sidades poblacin participante del proyecto, en el contexto de operacin del proyecto.
La relacin costo-eficacia y la pertinencia de los enfoques escogidos en el diseo del proyecto.
B. Objetivos
A. Resumen de los objetivos del proyecto original y de las eventuales revisiones que se han presentado
desde la aprobacin del proyecto.
B. Una revisin crtica de los objetivos, inmediatos y a largo plazo, buscando analizar la claridad en su
formulacin, la precisin, y la pertinencia de estos para: (a) orientar la(s) accin(es) de desarrollo;
(b) satisfacer las necesidades por las cuales se concibi el proyecto; y, (c) validez de los supuestos
de base crticos al alcance de los objetivos. Cuando los objetivos, especialmente los inmediatos, no
estn claramente especificados, la misin debe proceder a una interpretacin de lo que el proyecto
supone alcanzar hacer.
C. Diseo del Proyecto
1. Claridad y pertinencia en la identificacin de los beneficiarios inmediatos y finales del proyecto, in-
cluyendo el examen de sus necesidades especficas y la definicin de los mecanismos a travs de los
que se espera alcanzar a dichos beneficiarios.
2. Evaluacin de la lgica global del proyecto, es decir, si la relacin entre insumos, actividades, pro-
ductos y objetivos es apropiada; y, si el diseo del proyecto representa una alternativa viable (co-
sto-efectiva) para responder a los problemas identificados.
3. Claridad y precisin en la descripcin de los productos; acierto en la especificacin de los insumos y
en su vinculacin con la realizacin de los objetivos inmediatos.
4. Claridad y precisin en la descripcin de las actividades previstas; realismo del plan de trabajo (ca-
lendario y duracin de las principales actividades del proyecto); adecuacin de los insumos para el
proyecto que deben ser suministrados por el donante y por el Gobierno beneficiario; realismo en los
plazos identificados para el proyecto.
5. Claridad y validez de la estructura interna para la gestin del proyecto.
6. Principales supuestos, explcitos o implcitos en el diseo del proyecto.
Examen de la Ejecucin, Eficiencia y de la Gestin
A. Presupuesto y Gastos del Proyecto
Evaluacin de la tasa de realizacin del presupuesto y la calidad de los insumos (tanto aquellos financiados
por el donante como por la contribucin del Gobierno) en relacin a lo previsto en el documento del proyec-
to.
165

B. Actividades y Productos
Anlisis comparativo y sistemtico de la cantidad, calidad y pertinencia de las actividades y productos reali-
zados en relacin con lo previsto en el documento del proyecto original y los planes de trabajo elaborados
durante la ejecucin: identificacin de las carencias y retrasos en la ejecucin de las actividades y en la
obtencin de los productos previstos y anlisis de sus causas, incluyendo aquellos factores que estn fuera
del productos previstos y las acciones ulteriores; medidas correctivas contempladas o tomadas.
C. Apoyo de los donantes
Apoyo directo de los donantes y su nivel de participacin en las operaciones del proyecto; labor y eficacia de
los distintos entes de apoyo.
D. Gestin del Proyecto
Eficiencia y eficacia de la direccin del proyecto; lazos de colaboracin establecidos con otras instituciones;
pasos realizados para transferir la plena responsabilidad de gestin del proyecto a la poblacin.
E. Apoyo Tcnico y Operacional
Magnitud y calidad del apoyo tcnico y operacional/administrativo recibido por el proyecto; efectividad del
papel desempeado durante la ejecucin por el donante y la institucin encargada de la ejecucin del pro-
yecto.
VI. Evaluacin de los Resultados y de la Eficacia
A. Efectos e Impacto
Utilizacin dada por los grupos-meta de los productos generados y progresos realizados hacia la obtencin de
los objetivos previstos.
Examen de los efectos reales y previsibles deben ser identificados y comparados con los objetivos inmediatos
previstos. Los efectos no previstos tambin debern ser analizados.
Nivel al que los efectos del proyecto contribuirn a la realizacin del objetivo general; significado de dicha
contribucin (cambio evolutivo); perspectivas para decisiones de poltica apropiadas y para movilizacin de
recursos adicionales (internos y externos).
B. Sostenibilidad e Impacto de los Resultados en el Medio Ambiente
Probabilidad que los beneficiarios continen utilizando los resultados del proyecto: receptividad a su uso y
adaptacin de los productos para otras actividades de desarrollo; cimiento de las capacidades adquiridas a
nivel local e institucional.
C. Equidad y Consideraciones de Genero en la Ejecucin y en la Distribucin de Beneficios
Anlisis de las medidas que apuntan a incorporar orientaciones relativas al gnero de los beneficiarios; exa-
men de la determinacin, pertinencia y efectividad de estas en la reduccin de los factores limitantes.
D. Anlisis de la Relacin de Costo-Eficacia
Anlisis de la efectividad del proyecto en alcanzar los objetivos establecidos (en su diseo y ejecucin) de-
ntro del lmite de los recursos disponibles. O sea, sera posible lograr los mismos objetivos, a travs de otro
tipo de diseo de proyecto y con el mismo nivel de recursos? En esta seccin se debe verificar si se han ana-
lizado medidas u mtodos alternativos para el logro de los objetivos.
E. Principales Factores que han incidido en los Resultados del Proyectos
Anlisis resumido de los principales factores y condiciones que han incidido positiva o negativamente en la
eficiencia y eficacia del proyecto; estos pueden provenir del diseo, del proceso de ejecucin o de cambios
externos fuera del control del proyecto. El anlisis debera constituir la principal fuente para extraer leccio-
nes y recomendaciones para el futuro.

VII. Conclusiones y Recomendaciones
A. Conclusiones
166

Esta seccin debe presentar una sntesis sucinta de las principales conclusiones ya examinadas en las seccio-
nes precedentes del informe y deber exponer conclusiones sobre: la pertinencia, eficiencia, eficacia, im-
pacto y sostenibilidad del proyecto en la realizacin y logro de los objetivos previstos. Las conclusiones de-
ben proponer una base muy clara para la sustentacin de las recomendaciones a continuacin.
B. Recomendaciones
Las recomendaciones deben estar claramente dirigidas a cada una de las partes concernidas, es decir, al
donante, a la institucin ejecutante, beneficiarios y potenciales donantes. En la medida de lo posible, las
recomendaciones deben ser realistas, precisas y prcticas.
Las recomendaciones sobre las actividades que en curso y aquellas que cubren las actividades la continua-
cin una vez finalizado el proyecto deben ser presentadas por separado.
Una evaluacin de medio-camino normalmente debera incluir un plan de trabajo (a ser incluido
como anexo) y un resumen de los principales cambios necesarios en los insumos y productos ya pro-
gramados, y si es necesario, en los objetivos.
Si, en una evaluacin final, se recomienda una fase ulterior se deberan incluir: los objetivos, las
principales actividades y productos, as como la estimacin de los insumos requeridos.
Las recomendaciones tcnicas detalladas para el proyecto son bien venidas en el informe de evaluacin,
pero se debern consignar en uno de los Anexos.
VIII. Lecciones Aprendidas
Las lecciones que se pueden deducir de esta experiencia (ya sea, normativas, metodolgicas o de procedi-
miento) a nivel de la formulacin o ejecucin de proyectos similares deben ser presentadas en esta seccin,
incluyendo consideraciones criticas con implicaciones ms universales que necesitan particular atencin en
proyectos similares.
Actividades de la vigsima semana
Individuales
1. Realice la lectura de la semana.
2. Prepare una carta para su docente, haciendo una sntesis de la lectura, con una extensin no mayor de
una pgina.

Grupales
1. En grupo preparen el informe de su evaluacin.
Autoevaluacin
1. Est usted de acuerdo con los criterios enumerados por la lectura para la presentacin del informe
de la evaluacin?
2. Con cules criterios no est de acuerdo y por qu?
3. Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuen-
ta, cules?