Ceddet Documento 2

Seguimiento y Evaluacin de Programas y Proyectos de Intervencin Social 2 edicin
MDULO 2. La Evaluacin de Proyectos
Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin
NDICE
INTRODUCCIN ....................................................................................................... 3 MAPA CONCEPTUAL .................................................................................................. 4 CAPTULO 1. INTRODUCCIN A LA EVALUACIN. CARACTERSTICAS ESPECFICAS Y TIPOS DE EVALUACIN .................................................................... 5 1.1. El concepto de evaluacin ................................................................................... 5 1.2. Las funciones y propsitos encubiertos de la evaluacin ......................................... 6 1.3. Tipos de evaluacin .......................................................................................... 11 1.4. Diferencia entre una investigacin y una evaluacin16 .......................................... 16 1.5. Resumen del captulo ........................................................................................ 18 CAPTULO 2. AGENTES IMPLICADOS EN LA EVALUACIN. LOS STAKEHOLDERS ................................................................................................... 19 2.1. Introduccin .................................................................................................... 19 2.2. Tipos de stakeholders ..................................................................................... 19 2.3. La evaluacin participativa ................................................................................. 23 2.4. Resumen del captulo ........................................................................................ 25 CAPTULO 3. EL PROCESO DE LA EVALUACIN ....................................................... 26 3.1. Resumen del captulo ........................................................................................ 30 CAPTULO 4. DISEO Y PLANIFICACIN DE LA EVALUACIN ................................ 31 4.1. Definicin de la motivacin para evaluar .............................................................. 31 4.2. Delimitacin del evaluando y su contexto ............................................................37 4.3. Los criterios y las preguntas de evaluacin .......................................................... 40 4.4. El diseo de la evaluacin .................................................................................. 47 4.5. Resumen del captulo ........................................................................................ 53 CAPTULO 5. EJECUCIN DE LA EVALUACIN ........................................................ 54 5.1. Cierre del plan de trabajo .................................................................................. 54 5.2. Desarrollo del trabajo de campo ......................................................................... 55 5.3. Sistematizacin y anlisis de la informacin ........................................................ 56 5.4. Elaboracin del borrador del informe .................................................................. 58 5.5 Resumen del captulo ......................................................................................... 58 CAPTULO 6. DIFUSIN Y USO DE LA EVALUACIN ................................................ 59 6.1. Elaboracin del informe final ............................................................................. 59 6.2. Difusin y uso del informe final ......................................................................... 65 6.3 Resumen del captulo ......................................................................................... 68 RESUMEN ................................................................................................................ 69 BIBLIOGRAFA ....................................................................................................... 70 LECTURAS RECOMENDADAS ................................................................................... 72 PGINAS WEBS DE INTERS .................................................................................. 73
Mdulo 2. La Evaluacin de Proyectos
INTRODUCCIN
El mdulo 2 dedicado a la Evaluacin de proyectos establece los conceptos y nociones para entender la evaluacin como una herramienta fundamental para la gestin de los proyectos de intervencin social, ya que con su estudio y establecimiento se logra promover una toma racional de decisiones. De este modo, la evaluacin se constituye como una fase especfica y esencial dentro del ciclo de los proyectos, ligada directamente a la etapa de ejecucin. La funcin evaluadora, cualquiera de los tipos que se han venido desarrollando a lo largo del tiempo, ha adquirido cada vez una importancia mayor dentro de la cooperacin para el desarrollo. En este sentido, es generalizada la conviccin de la importancia de realizar evaluaciones, as como de insertarlas, dentro de los mecanismos de toma de decisiones.
MAPA CONCEPTUAL
MDULO 2: EVALUACIN DE PROYECTOS
CONCEPTO DE EVALUACIN
STAKEHOLDERS
PROCESO DE EVALUACIN
Definicin Objeto
Agentes Poblacin beneficiaria
Diseo y planificacin de la evaluacin Ejecucin de la evaluacin Participativas El informe final de evaluacin
Tipos de Evaluacin:
Vctimas
Segn el momento Segn el contenido Segn el agente Procedimientos Funciones Propsitos encubiertos Participacin de stakeholders La evaluacin participativa
Captulo 1. INTRODUCCIN A LA EVALUACIN. CARACTARSTICAS ESPECFICAS Y TIPOS DE EVALUACIN

1.1 El concepto de Evaluacin
Qu es una evaluacin de un programa o proyecto de intervencin social?
Las definiciones que se han desarrollado del trmino evaluacin, desde que sta emergi como disciplina cientfica en el marco de la evaluacin de programas y polticas de intervencin social, han sido muy numerosas. Entre las ms citadas y utilizadas destacan las siguientes: La evaluacin consiste en recoger y analizar tan sistemticamente como sea posible una informacin para poder determinar el valor o mrito de un intervencin. Joint Committee on Standars for Educational Evaluation. La evaluacin es una funcin que consiste en hacer una apreciacin, tan sistemtica y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o conjunto de lneas de accin, su concepcin, su realizacin y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realizacin, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la viabilidad. Comisin de Ayuda al Desarrollo, OCDE. Examen independiente y objetivo (realizado durante el proyecto o una vez finalizado) del contexto, objetivos, resultados, actividades y medios utilizados, efectuado para sacar conclusiones extrapolables. Comisin de las Comunidades Europeas. Todas estas definiciones ponen de manifiesto algunas especificaciones comunes que caracterizan al conjunto de evaluaciones: En cuanto al objeto, la evaluacin se centra en los programas y proyectos en general. Esto es en las intervenciones orientadas a abordar un problema social. Si bien, algunas de estas definiciones van ms all y especifican algunos aspectos a evaluar de estos programas o proyectos: su concepcin, su realizacin y sus resultados la pertinencia de los objetivos y su grado de realizacin, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la viabilidad. Comisin de Ayuda al Desarrollo, OCDE. del contexto, objetivos, resultados, actividades y medios utilizados Comisin de las Comunidades Europeas. Respecto a los procedimientos, si bien se apoya en los desarrollos metodolgicos de las Ciencias Sociales, la evaluacin junto con la recopilacin y anlisis de la informacin se caracteriza por realizar un enjuiciamiento sistemtico y objetivo de la misma. 5
En este caso, la evaluacin la entenderemos como la aplicacin sistemtica de los procedimientos de investigacin social para obtener una valoracin de un programa de intervencin social, o de algn aspecto de dicho programa como su concepcin o diseo, su ejecucin o sus resultados.
1.2
Las funciones y propsitos encubiertos de la evaluacin
Para qu puede servir realizar una evaluacin de un programa o proyecto de intervencin social?
Cuando se habla de evaluacin automticamente se suele pensar en inspecciones y auditoras, se tiene de la evaluacin un concepto policial y amenazante. Sin embargo, el control no es la nica funcin que puede cumplir una evaluacin. En este sentido, la evaluacin debe tener un carcter aplicado y prctico, orientada a generar conocimientos tiles. Asimismo, de acuerdo con los principales autores en materia de evaluacin, tres son sus funciones principales: La retroalimentacin o mejora (improvement) de los proyectos o acciones ejecutadas o en ejecucin. Cuando valoramos una accin realizada, en ocasiones, lo que pretendemos es mejorarla con reajustes o modificaciones que proporcionen los resultados deseados. En este caso, La evaluacin se entiende como un proceso de reflexin y anlisis que posibilita el aprendizaje sobre la propia prctica. La evaluacin ha de atender con especial nfasis al contexto del programa o proyecto as como a las necesidades especficas de la poblacin beneficiaria y de todos los agentes crticos. El aprovechamiento de las experiencias del pasado para actividades futuras (enlightenment). La evaluacin proporciona informacin que contribuye a la creacin de conocimiento cientfico del programa o proyecto, en concreto, y tambin del modo de afrontar ciertos problemas sociales. La rendicin de cuentas (accountability) hacia los donantes, la opinin pblica y todos aquellos implicados en los procesos de desarrollo iniciados (beneficiarios directos e indirectos, personas perjudicadas, financiadores,). La evaluacin ha de servir para rendir cuestas, en todos los niveles, sobre la gestin y los resultados de un programa o proyecto. Ahora bien, ms all de estas funciones de la evaluacin, las evaluaciones pueden ser utilizadas para lo que Weiss denomin propsitos encubiertos que tambin pueden calificarse como abusos evaluativos. Segn Bustelo (2001), cabe destacarse los siguientes: El aplazamiento: Una evaluacin se puede desarrollar con el objetivo de retardar una decisin.

La evasin de responsabilidades: Las evaluaciones se pueden llevar a cabo para forzar a los oponentes a compartir responsabilidades que no son populares. Tambin es posible que se desarrollen evaluaciones para eludir toda responsabilidad esperando que sean las evaluaciones las que dictaminen qu decisiones han de tomarse. La legitimacin de una decisin ya tomada: En ocasiones las evaluaciones pueden tener como objetivo presentar resultados que legitimen decisiones que ya han sido tomadas. Relaciones pblicas y ofrecimiento de una imagen determinada: En otros momentos, el inters por la evaluacin puede residir en cuestiones de imagen pblica. La evaluacin puede ser un modo de hacer publicidad sobre determinado programa, proyecto o servicio. Es ms, puede utilizarse la evaluacin para realizar una presentacin sesgada de los resultados alcanzados. Es importante que todo evaluador o evaluadora sea consciente de estos propsitos encubiertos de la evaluacin de cara a poder negociar y clarificar con el equipo que encarga la evaluacin los propsitos legtimos y reales de la misma. No obstante, ante situaciones extremas, los evaluadores y evaluadoras pueden recurrir a sus criterios deontolgicos ticos y profesionales, recogidos en los cdigos ticos.
Pero qu son los cdigos ticos? Y para qu pueden servir a la hora de evaluar un programa o proyecto de intervencin social?
Los cdigos ticos estn formados por una serie de reglas, principios, estndares profesionales de conducta deseable que se configuran como objetivo-compromiso de una organizacin en base a criterios de correccin y racionalidad y en coherencia con su misin y sus normas. En definitiva, son las caractersticas que diferencian a un buen equipo evaluador de un mal equipo evaluador. Numerosos son los cdigos elaborados por asociaciones tales como la Joint Committee on Standards for Educational Evaluation, Sociedad Canadiense de Evaluacin, Sociedad Australasitica de Evaluacin, Sociedad de Evaluacin de Reino Unido, entre otros. A continuacin se exponen los cuatro estndares ticos definidos por el Joint Committee on Standards for Educational Evaluation as como las dimensiones que los componen.
1.- Estndar de Utilidad: segn el cual, la evaluacin debe atender a las necesidades de informacin de los usuarios. Para ello es necesario cubrir las siguientes dimensiones: Identificar a las personas implicadas o afectadas por la evaluacin (stakeholders), para as poder atender sus demandas de informacin. Las personas encargadas de la evaluacin deben ser fiables y competentes, a fin de que los resultados de la misma tengan la mxima credibilidad y aceptacin. La informacin recogida debe ser seleccionada para abordar cuestiones pertinentes sobre el programa, respondiendo a las necesidades e intereses de los clientes y otras partes interesadas. Las perspectivas, procedimientos y fundamentos utilizados para obtener y analizar la informacin deben ser cuidadosamente descritos, a fin de que los juicios de valor tengan unas bases claras.

Los informes de evaluacin debe describir claramente el programa evaluado, incluyendo su contexto, del mismo modo que los objetivos, procedimientos y resultados de la evaluacin, de manera que se proporciona informacin esencial y de fcil comprensin. Las conclusiones provisionales importantes y los informes de evaluacin deben difundirse a los usuarios, con el objetivo de ser utilizados de manera oportuna. Las evaluaciones deben ser planificadas, llevadas a cabo y plasmadas de tal forma que fomenten la aplicacin y aumenten su posibilidad de ser utilizadas.
2.- Estndar de Factibilidad / Viabilidad: destinado a garantizar que se proceder a una evaluacin realista, prudente, diplomtica y frugal. Contiene las siguientes dimensiones: Los procedimientos implicados en la evaluacin han de ser de carcter prctico, para provocar mnimas interrupciones mientras son satisfechas las necesidades de informacin. La evaluacin debe ser planificada y realizada teniendo anticipndose a las distintas posiciones de los diversos grupos de inters, con el objetivo de obtener su cooperacin y evitas que puedan minimizar los efectos de la evaluacin, sesgarlos o contrarrestarlos. La evaluacin debe ser eficiente y producir informacin de suficiente valor, justificando de esta forma los recursos empleados en su obtencin. 3.- Estndar de Correccin / Legitimidad: con el objeto de garantizar una evaluacin tica, legal y con el debido respeto por el bienestar de las personas que participan en la evaluacin, as como las afectadas por sus resultados: Las evaluaciones deben disearse para ayudar a las organizaciones a abordar y atender las necesidades de toda la gama de participantes en el programa. Las evaluaciones deben propiciar y facilitar los acuerdos formales entre las partes (lo que hay que hacer, por quin, cmo, cundo) por escrito, a fin de que estos cumplan con todas sus obligaciones. Deben disearse y realizarse desde el respeto y la proteccin a los derechos humanos. Deben respetar la dignidad humana, poniendo en valor sus interacciones con otras personas relacionadas con el programa, para que los participantes no se vean amenazados o perjudicados. La evaluacin debe ser completa y justa en el registro y anlisis de puntos fuertes y dbiles del programa, de manera que identifique fortalezas y reas problemticas a abordar. Debe asegurarse de que el conjunto de los resultados de la evaluacin, junto con las limitaciones pertinentes, se haga accesible a las personas afectadas por la evaluacin y cualesquiera otras con derechos legales expresos para recibir los resultados. Los conflictos de intereses han de ser abordados con honestidad y abiertamente, con el objeto de que no comprometan el proceso de evaluacin y los resultados. Los gastos de la evaluacin y la asignacin de recursos deben reflejarse de manera prudente y ticamente responsable, de modo que los gastos se contabilicen apropiadamente. 4.- Estndar de Precisin: supone la garanta de que una evaluacin revele y ponga de manifiesto la informacin adecuada tcnicamente acerca de las caractersticas que determinan el valor o mrito del programa:

El programa que se evala debe ser descrito y documentado claramente y con precisin, de modo que sea ntidamente identificado. El contexto debe ser examinado con suficiente detalle, de modo que sus posibles influencias sobre el programa puedan ser identificadas. Los objetivos y procedimientos de la evaluacin deben ser monitorizados y descritos con bastante detalle, de modo que puedan ser identificados y valorados. Las fuentes de informacin utilizadas en una evaluacin deben ser descritas con detalle suficiente, de modo que la adecuacin de la informacin puede ser evaluada. Los procedimientos de recogida de informacin deben ser seleccionados o desarrollados y ejecutados de manera que se asegure que la informacin final sea vlida para el uso previsto. Los procedimientos de recopilacin de informacin deberan ser elegidos o desarrollados y ejecutados de manera que asegurar que la informacin obtenida es lo suficientemente fiable para el uso previsto. La informacin recogida, tratada y comunicada en una evaluacin debe ser sistemticamente examinada, para subsanar los errores que puedan haberse cometido. La informacin cuantitativa y cualitativa debe ser apropiada y sistemticamente analizada, a fin de que den respuesta a las preguntas de evaluacin. Las conclusiones alcanzadas en la evaluacin deben estar explcitamente justificadas, para que las personas implicadas puedan valorarlas correctamente. Los resultados deben ser presentados en los informes huyendo de las distorsiones causadas por sentimientos personales y prejuicios. La evaluacin debe autoevaluarse formativa y sumativamente en funcin de estos y otros estndares que se consideren pertinentes.
CDIGO TICO DE LA JOINT COMMITTEE ON STANDARDS
FOR EDUCATIONAL EVALUATION

Estndares ticos Estndar de utilidad Todo equipo evaluador ha de perseguir que la evaluacin sirva a las necesidades de informacin de sus usuarios pretendidos. Dimensiones
Identificacin de stakeholders (personas implicadas). Credibilidad del evaluador/a. Seleccin y alcance de la informacin. Identificacin de valores. Claridad del informe. Oportunidad y difusin del informe. Impacto de la evaluacin.
Estndar de factibilidad /viabilidad El equipo de evaluacin ha de poner especial nfasis en que la evaluacin sea realista, prudente y diplomtica. Estndar de correccin y legitimidad Se ha de asegurar que la evaluacin se desarrolle dentro de los marcos de la legalidad y la tica, con la debida atencin al bienestar de la poblacin implicada en ella as como de aquellos afectados y afectadas por sus resultados.
Procedimientos prcticos. Viabilidad poltica. Coste-efectividad.
Orientacin de servicio. Acuerdos formales. Derechos de los sujetos. Interacciones humanas. Valoracin completa y justa. Revelacin de resultados. Conflicto de intereses. Responsabilidad fiscal. Documentacin del programa. Anlisis del contexto. Descripcin de propsitos y procedimientos. Fuentes de informacin defendibles. Informacin vlida. Informacin fiable. Informacin sistemtica. Anlisis de la informacin cuantitativa y cualitativa. Conclusiones justificadas. Informe imparcial. Metaevaluacin.
Estndar de precisin El equipo evaluador ha de asegurar que se desarrolle de forma tcnicamente apropiada.
Fuente: Pgina web de la Joint Committee on Standards for Educational Evaluation.
10
1.3
Tipos de evaluacin
Cules son los distintos tipos de evaluacin que existen?
Diversos son los tipos de evaluacin que se pueden identificar. A continuacin, se presenta la tipologa ms comn que atiende a tres criterios de clasificacin: segn el momento de realizacin de la evaluacin, segn su contenido y segn el agente evaluador. Si bien es importante de cara a conocer sus caractersticas y ubicar el tipo de evaluacin que se solicita, no hay que olvidar que son distinciones tericas y que, en la prctica, tienden a desarrollarse combinaciones entre los diferentes tipos. Igualmente, aunque sta es la clasificacin ms utilizada, no agota las mltiples posibilidades de utilizar otros tipos de criterios para su denominacin (lvarez Rojero et al., 2006; Osuna et al., 2000).
Segn su momento de realizacin
Evaluacin previa o ex ante. Evaluacin simultnea. Evaluacin final. Evaluacin posterior o ex post.
TIPOS DE EVALUACIN
Segn su contenido
Evaluacin de objetivos o de diseo. Evaluacin del proceso. Evaluacin de resultados.
Segn el agente evaluador

Fuente: lvarez Rojero et al., 2006.
Evaluacin externa. Evaluacin interna. Evaluacin mixta.
11
Segn su momento de realizacin Evaluacin previa o ex ante: Tambin denominada evaluacin a priori, apreciacin, valoracin previa o estudio de viabilidad. Se realiza antes de implementar el programa o proyecto. No hace valoracin sobre los resultados o la ejecucin, su finalidad es valorar la adecuacin a las necesidades y las posibilidades de xito del proyecto o programa de intervencin social. Esta evaluacin proporciona informacin sobre si el programa o proyecto se debe ejecutar o no; cul es el proyecto ms pertinente, entre un conjunto, para recibir la financiacin; y qu cambios deben incluirse en la formulacin de un proyecto concreto antes de su implementacin. Aparte, la evaluacin previa analiza la calidad de los mecanismos de gestin y seguimiento; la coherencia interna de la formulacin del programa o proyecto; y las posibilidades de permanencia en el tiempo de los efectos esperados, es decir el posible impacto. Evaluacin simultnea: La evaluacin simultnea, concurrente o media persigue obtener informacin sobre el funcionamiento del proyecto. Analiza, de forma crtica, las hiptesis sobre las que se formul el programa o proyecto; la pertinencia de sus objetivos; y la calidad de su sistema de gestin y seguimiento. Se centra en los progresos y problemas detectados a lo largo de la implementacin del programa o proyecto, potenciando que la poblacin destinataria incremente sus capacidades y reduzcan su vulnerabilidad. Es posible diferenciar dos subtipos dentro de la evaluacin simultnea: Evaluacin intermedia: Se realiza en un momento determinado de la ejecucin y durante un perodo acotado en el tiempo. Evaluacin continua: Se desarrolla de forma permanente y contempornea a la implementacin. Tambin se la denomina evaluacin formativa en tanto que se supone que su carcter continuo permite extraer elementos de mejora en el proceso de ejecucin. Si bien la evaluacin continua en su conjunto tiene muchos puntos en comn con el seguimiento, que tambin se realiza de modo paralelo a la implementacin, a diferencia de ste la evaluacin continua implica un anlisis en profundidad de los procesos y una mayor reflexin crtica que alcanza a los propios objetivos del programa o proyecto. Evaluacin final: Denominada tambin de finalizacin, evaluacin a fin de proyecto, sumativa o de cierre, la evaluacin final valora el desempeo global de un programa o proyecto justo en el momento de cierre del mismo de cara a obtener enseanzas de la ejecucin. En concreto, valora el proceso de intervencin, su eficacia, calidad, pertinencia y eficiencia, entre otras dimensiones.
Su finalidad es contribuir a la toma de decisiones posterior a la finalizacin del programa o proyecto, as como al aprendizaje organizativo a raz de las buenas y malas prcticas del mismo. Evaluacin ex post: ntimamente asociada a la anterior, respecto a su naturaleza y procedimientos, este tipo de evaluacin se caracteriza por realizarse un tiempo despus de haber finalizado el programa o proyecto y se centra en las repercusiones en el contexto de la intervencin. Tambin es conocida como evaluacin de impacto o a posteriori.
12

La perspectiva temporal adecuada para la realizacin de este tipo de evaluaciones variar de forma notable en funcin de cada tipo de proyectos. En ocasiones, los efectos pueden ser apreciados en plazos temporales relativamente cortos, mientras que en otros casos ser necesario dejar pasar toda una serie de aos para valorar de forma adecuada el impacto de una intervencin (lvarez Rojero et al., 2006: 25).
Evaluacin previa o ex ante.
Valora la adecuacin a las necesidades y las posibilidades de xito del programa o proyecto Se centra en los progresos y problemas detectados a lo largo de la implementacin del programa o proyecto Valora el desempeo global de un programa o proyecto justo en el momento de cierre del mismo de cara a obtener enseanzas de la ejecucin Se centra en las repercusiones en el contexto de la intervencin, el impacto
Segn su momento de realizacin
Evaluacin simultnea.
Evaluacin final.
Evaluacin posterior o ex post.
Segn su contenido Evaluacin de objetivos o de diseo: Este tipo de evaluacin se centra en el anlisis y valoracin del diseo del programa, su lgica interna y coherencia. En concreto, contrasta la calidad del diagnstico sobre el que se sustenta la formulacin del programa o proyecto; la claridad y posibilidad de medicin de sus objetivos; y la estructura lgica del programa o proyecto. Evaluacin de procesos: Este tipo de evaluacin estudia el funcionamiento de una intervencin en un ambiente social determinado, valorando los procesos generados por ella y los efectos, tanto positivos como negativos, esperados o no, que la citada intervencin ha provocado (lvarez Rojero et al., 2006: 27). En general, la evaluacin de procesos tiende a tener un carcter abierto e inductivo. En este sentido, corre el riesgo de verse saturada de percepciones subjetivas que quiten valor a las conclusiones del informe. No obstante, por otra parte, este tipo de evaluacin suele realizarse, en la prctica, de forma combinada con evaluaciones de objetivos y/o de resultados presentando una valoracin ms global del programa o proyecto. Evaluacin de resultados: Estudia el grado de alcance de los objetivos establecidos atendiendo a los resultados y efectos del programa o proyecto. En concreto, valora el coste, la calidad y la adecuacin de los servicios y productos que el programa o proyecto genera. En este tipo de evaluacin resulta fundamental que el equipo evaluador deslinde los efectos del programa de otros externos para determinar en qu medida los cambios son debidos a la intervencin (Osuna et al., 2000: 19).
13
Evaluacin de objetivos o de diseo. Evaluacin del proceso.
Se centra en el anlisis y valoracin del diseo del programa, su lgica interna y coherencia Estudia el funcionamiento de una intervencin, valora los procesos generados y los efectos, esperados o no, que ha provocado Estudia el grado de alcance de los objetivos establecidos atendiendo a los resultados y efectos del programa o proyecto
Segn su contenido
Evaluacin de resultados.
Segn el agente evaluador Evaluacin externa: Tambin denominada evaluacin independiente, este tipo de evaluacin es realizada por entidades o personas que no forman parte del equipo responsable del diseo y ejecucin del programa o proyecto evaluado. En general, se trata de equipos multidisciplinares con formacin en materia de evaluacin as como en la materia a evaluar. Entre las ventajas destaca su presumible objetividad, su menor complacencia y su carcter independiente. Adems, se supone tambin que la persona externa tiene una mayor capacidad tcnica en evaluacin y un conocimiento ms amplio de otros programas o proyectos de similares caractersticas. Respecto a los inconvenientes, los equipos externos suelen tener dificultades para comprender de forma completa, en un perodo reducido de tiempo, los procesos internos y las diferentes relaciones que operan en la vida de un programa o proyecto (lvarez Rojero et al., 2006). Evaluacin interna: Es aquella que se realiza por parte del personal encargado de la ejecucin del proyecto. Suele vincularse con la evaluacin simultnea y con el seguimiento. A diferencia de la evaluacin externa, la evaluacin interna proporciona un anlisis ms cercano a la realidad y al funcionamiento diario del programa o proyecto. Sin embargo, corre el riesgo de presentar una visin excesivamente positiva de la intervencin y de carecer de una perspectiva crtica. A favor de la evaluacin interna se argumenta que sta resulta mucho ms barata y contribuye a aumentar las capacidades en materia de evaluacin de los equipos responsables de la gestin de programas y proyectos. Evaluacin mixta: Constituye una combinacin de equipos de evaluacin internos y externos. En tanto que supone optimizar las ventajas de la evaluacin interna y de la evaluacin externa, constituye cada vez con mayor fuerza la opcin ms utilizada por diferentes instituciones y organizaciones. Las evaluaciones mixtas permiten combinar los conocimientos tcnicos en materia de evaluacin del equipo externos con los conocimientos sobre el programa o proyecto del equipo interno.
14
Evaluacin externa.
Segn el agente evaluador
Realizada por entidades o personas que no forman parte del equipo responsable del diseo y ejecucin del programa o proyecto evaluado Se realiza por parte del personal encargado de la ejecucin del proyecto Llevada a cabo por una combinacin de equipos de evaluacin internos y externos
Evaluacin interna. Evaluacin mixta.
Otros tipos de evaluaciones Ms all de estos tipos de evaluacin, pueden identificarse los siguientes: Evaluacin de sector: En este caso, la evaluacin se centra en el anlisis y valoracin del conjunto de actuaciones de una institucin u organizacin concreto en un sector especfico como la salud, la agricultura, la educacin, el empleo, entre otros. En este sentido, atiende a un nmero variado de programas y proyectos as como, en ocasiones, de municipios y regiones. Evaluacin temtica: La evaluacin temtica, como su propio nombre indica, gira alrededor del anlisis de un tema o contenido como puede ser el medio ambiente o el gnero. Se puede realizar a travs del estudio de un nmero de programas o proyectos que versen sobre ese contenido o bien mediante el anlisis del trabajo en esta materia de la institucin u organizacin en su totalidad.
15
1.4. Diferencia entre una investigacin y una evaluacin Si entendemos la evaluacin como una tarea que consiste en recoger y analizar de forma sistemtica una informacin de la realidad en relacin a una intervencin, podemos preguntarnos entonces. Cul es la diferencia entre una investigacin y una evaluacin? En el siguiente cuadro trata de resumirse las diferencias entre ambas tareas segn diferentes criterios: su naturaleza, su finalidad, su contexto, el objeto, el mtodo, los destinatarios, sus resultados y los agentes (investigadores y evaluadores).
CRITERIO
INVESTIGACIN
Es un tipo de indagacin disciplinada que se lleva a cabo para resolver algn problema de forma que se consiga entendimiento o se facilite la accin Modo de indagacin acadmico
EVALUACIN
Es un tipo de investigacin disciplinada que se lleva a cabo para determinar el valor (mrito y/o vala) del objeto evaluado (programa, proyecto, servicio o poltica) con el fin de mejorarlo, rendir cuentas y/o ilustrar acciones futuras Modo de indagacin prctico
NATURALEZA/ CONCEPTO
Siempre es aplicada Puede ser bsica o aplicada Construccin de conocimiento FINALIDAD Y CONDICIONANTES Debe ser una contribucin relevante para la comunidad cientfica Trasciende temporalmente Mejora de los programas Rendimiento de cuentas Ilustracin de acciones futuras Debe tener capacidad de respuesta ante y cierta lealtad hacia los responsables de los programas Debe ser oportuna en el tiempo Escenario de investigacin (lo prioritario es la investigacin) El contexto es un factor ms a tener en cuenta (no necesariamente determinante) Carcter ms tcnico Escenario de accin (lo prioritario es el programa evaluado y no su evaluacin) El contexto es determinante. La evaluacin es dependiente del contexto y tiene por objetivo la respuesta a dicho contexto especfico Carcter marcadamente poltico
CONTEXTO
OBJETO
Referido a problemas (QU se aborda) Se interesa por la evolucin de un problema en abstracto Se puede centrar en algunos aspectos concretos
Referido a las intervenciones para abordar dichos problemas (CMO se aborda) Se interesa por la evolucin de un problema a consecuencia de la intervencin en el mismo Tiende a considerar la intervencin de forma global
MTODO
Referido la seleccin, recopilacin y anlisis de la informacin
Referido al diagnstico de la situacin evaluativa, la eleccin del tipo de evaluacin, a la definicin de los criterios de evaluacin, a la recopilacin y anlisis de informacin, a la valoracin y emisin de juicios a la luz de los criterios de evaluacin, al establecimiento de recomendaciones y a la comunicacin de los resultados para conseguir una mayor utilidad/utilizacin de la evaluacin
16
CRITERIO
INVESTIGACIN
EVALUACIN Grupos y personas concretas Cliente, patrocinadores
Grupos abstractos Comunidad cientfica DESTINATARIOS De forma secundaria, comunidad de poltica o programa
Responsables, profesionales Implicados (stakeholders): agentes, beneficiarios y vctimas del programa evaluado De forma secundaria, comunidad cientfica Recomendaciones para la accin
RESULTADOS: PRODUCTOS Y EFECTOS ESPERADOS
Publicacin de resultados Aportacin a y reconocimiento de la comunidad cientfica
Informes normalmente no publicados Comunicacin y difusin activa de los resultados a los interesados Utilidad y utilizacin de los resultados y los procesos de evaluacin Conocimientos metodolgicos amplios y de sus posibilidades de aplicacin Conocimiento del sector (puede desarrollarse a lo largo del proceso) Otras habilidades necesarias: anlisis de polticas pblicas y conocimiento de los procesos polticos, conocimiento y capacidad de trato con personas y grupos, habilidades de comunicacin
Capacidad investigadora: AGENTES (investigadores y evaluadores) Conocimientos bsicos sobre metodologa de la investigacin Necesario conocimiento previo y exhaustivo del sector
Fuente: Bustelo, Mara (1999) Diferencia entre investigacin y evaluacin: una distincin necesaria para la identidad de la evaluacin de programas en Revista Espaola de Desarrollo y Cooperacin, n4, pp. 929.
17

1.5. Resumen del captulo
La evaluacin puede definirse como una valoracin realizada de forma sistemtica sobre una intervencin, sobre su concepcin, su realizacin, sus resultados y/o su impacto. La funciones principales de la evaluacin son la de contribuir al aprendizaje, la rendicin de cuentas y la mejora de las acciones puestas en marcha. Aunque pueden existir funciones latentes como las de retardar la toma de una decisin, para eludir la responsabilidad de estas decisiones, para legitimar una decisin ya tomada o para dar publicidad (sesgada o no) de una determinada intervencin. Con el fin de definir la conducta deseable del evaluador y eludir la atencin a algunos de los mencionados intereses ocultos, se han desarrollado una serie de cdigos ticos alrededor de una serie de criterios de evaluacin (estndares ticos): estndar de utilidad, estndar de viabilidad, estndar de legitimidad y estndar de precisin. Igualmente, podemos diferenciar varios tipos de evaluacin que atendiendo a su momento de realizacin (previa, simultnea, final y posterior), su contenido (de objetivos o de diseo, de proceso o de resultado) o el agente evaluador (externa, interna o mixta). Finalmente, entre la investigacin y la evaluacin hay diferencias claras respecto a su naturaleza, finalidades, destinatarios, mtodos, resultados, agentes, etc
18
CAPTULO 2. AGENTES IMPLICADOS EN LA EVALUACIN. LOS STAKEHOLDERS

2.1. Introduccin La evaluacin tiene un fuerte componente poltico y se vincula a un contexto especfico donde existen diferentes agentes con distintos intereses. En efecto, diversos son los agentes que participan, de diferente modo, en el desarrollo del programa o proyecto a evaluar y, por ende, tambin tienen un inters concreto en el proceso evaluativo. Estas personas implicadas reciben el nombre de stakeholder de difcil traduccin al castellano y que viene a significar el que tiene algo que decir o tiene algn inters en (lvarez Rojero et al., 2006). Los responsables de la gestin o el diseo y desarrollo de la evaluacin han de considerar a todos los stakeholders como informantes clave en potencia en tanto que pueden proporcionar informacin de valor sobre el programa o proyecto evaluado.
2.2. Tipos de stakeholders Diferentes autores y autoras han proporcionado distintas clasificaciones sobre estos agentes segn su relacin con el objeto de evaluacin. Siguiendo a Guba y Lincoln, se puede establecer la siguiente diferenciacin entre los stakeholders (lvarez Rojero et al., 2006: 40): 1. Agentes: Personas involucradas en la produccin, uso y puesta en prctica del programa o proyecto a evaluar. Se puede distinguir entre: quienes formulan la evaluacin, quienes la financian (niveles local, regional y nacional), quienes identifican la necesidad que el programa o proyecto va a intentar mitigar(asesores/as de necesidades locales), proveedores de materiales, instrumental e instalaciones necesarias, el cliente de la evaluacin (quien contrata), el personal tcnico adscrito a la ejecucin de la evaluacin, y otros colectivos tcnicos y profesionales implicados. 2. Poblacin beneficiaria: Personas que, de algn modo, hacen uso del programa o proyecto evaluado. Es interesante diferenciar entre: Beneficiarias directas o grupo diana: Personas para las que fue ideado el programa o proyecto. Beneficiarias indirectas: Personas cuya relacin con la poblacin beneficiaria directa se ve facilitada o influida positivamente por el programa o proyecto. Personas que ganan algo por el hecho de que el programa o proyecto evaluado (en adelante evaluando) est en uso, como por ejemplo, las empresas proveedoras de servicios. 3. Poblacin perjudicada: Personas que se ven afectadas negativamente por la puesta en marcha del programa o proyecto. Pueden incluir a la poblacin
19

supuestamente beneficiaria, debido a fallos en el programa o proyecto. Aparte, por poblacin perjudicada se entiende: los grupos sistemticamente excluidos del uso del evaluando
Los jvenes normales excluidos de programas para superdotados;
colectivos que sufren efectos colaterales negativos Estudiantes y sus familias, que son trasladados a un colegio distante de forma que alumnado con necesidades especiales ocupa sus puestos en el colegio cercano;
las personas que se ven en desventaja poltica, con prdidas de poder, influencia o prestigio por el uso del evaluando; las personas o entidades que sufren costes de oportunidad como aquellas personas que hubieran preferido dedicar ese dinero a otras cuestiones, empresas de servicios rivales, etc.
A la hora de evaluar es muy importante identificar correctamente a los stakeholders y realizar una valoracin crtica a partir de estas cuestiones: Con quin se ha de contar, cundo, cmo y para qu. Caractersticas de esos agentes y cmo pueden ayudar a recopilar y analizar informacin de la evaluacin.
20
Ficha de identificacin y valoracin de stakeholders:
Fuente: Manual de Gestin de Evaluaciones de la Cooperacin Espaola
Establecimiento de plan de difusin y comunicacin de resultados (audiencias de evaluacin). En la medida de lo posible, no renunciar a la participacin como estrategia para el empoderamiento y los objetivos de igualdad. La participacin de los diferentes stakeholders puede variar de forma significativa de acuerdo con las decisiones que se tomen por parte del equipo gestor de la evaluacin o del equipo evaluador (a partir de ahora, el equipo responsable del desarrollo de la evaluacin).
Pero, Para qu contar con los agentes? Definir el diseo de la evaluacin (objetivos, contenidos-necesidades de informacin, alcance de la evaluacin) Ayuda en la recopilacin de informacin Interpretacin pluralista de resultados y aportaciones al informe final (manteniendo independencia) Impulso a la difusin y uso de la evaluacin. Etc.
21

En el siguiente grfico, se presenta el diferente modo en el que los y las stakeholders pueden verse implicados en el programa o proyecto y en su evaluacin.
LA ESCALERA DE PARTICIPACIN
Autodesarrollo
Toman iniciativas sin esperar intervenciones externas Participan en todas las fases del proyecto
Participacin interactiva Participacin funcional Participacin por incentivos Participacin por consulta Suministro de informacin Pasividad Slo se les informa
Participan en grupos para responder a objetivos del proyecto, no tienen incidencia en la formulacin, pero s en el seguimiento
Participan proveyendo trabajo u otros recursos a cambio de ciertos incentivos
Son escuchados pero no tienen incidencia en las decisiones que se tomarn
Suministran informacin generalmente a travs de encuestas o entrevistas pero no influyen en el proyecto
Fuente: lvarez Rojero et al., 2006.
En trminos generales, la participacin amplia y plural de los stakeholders resulta fundamental para asegurar la calidad de la informacin recopilada, as como para la legitimidad de las conclusiones. La participacin de los diferentes stakeholders impulsa su implicacin y la apropiacin y uso de los resultados de la evaluacin.
Ahora bien, la participacin de los stakeholders no siempre resulta una tarea fcil. La diferencia de intereses entre los mismos as como sus distintas posiciones de partida hace que, en ocasiones, se produzcan conflictos en el proceso participativo. No todos van a querer colaborar amablemente con el equipo evaluador y ser necesario, en ocasiones, negociar las condiciones ms adecuadas para su participacin atendiendo a las caractersticas especficas de la evaluacin y su marco institucional.
22
2.3. La evaluacin participativa La inclusin de la participacin como criterio de calidad en la evaluacin de programas y proyectos emerge a partir de los aos setenta del pasado siglo de la mano de un modelo de intervencin social denominado desarrollo participativo y un conjunto de metodologas basadas en lo que se denomina la investigacinaccin. En estas fechas, se comienza a hablar de evaluacin participativa como un nuevo modelo frente a los enfoques ms tradicionales que consideraban a los diferentes stakeholders ms como objetos de evaluacin que como sujetos activos de la misma. La evaluacin participativa se encuadra en el escaln superior de la escalera de participacin y constituye un proceso de aprendizaje individual y colectivo sobre el diseo, el funcionamiento y los efectos, entre otros elementos, del programa o proyecto. A travs de este proceso, las personas toman ms conciencia sobre los puntos dbiles y fuertes del programa o proyecto al tiempo que se generan condiciones que favorecen el cambio. Aparte, la evaluacin participativa, a diferencia de evaluaciones con enfoques ms tradicionales, se caracteriza entre otros aspectos por: Promover el empoderamiento y el aprendizaje de las personas implicadas en el programa o proyecto y su evaluacin. Impulsar la negociacin entre los diferentes intereses y necesidades de las personas persiguiendo la equidad y el cambio social. Constituir procesos flexibles que se adaptan a las diferentes necesidades y situaciones del programa o proyecto.
23

En la siguiente tabla se presenta de modo esquemtico las principales diferencias entre ambos enfoques.
DIFERENCIAS ENTRE LA EVALUACIN TRADICIONAL Y LA EVALUACIN PARTICIPATIVA Evaluacin tradicional Propsito Aprendizaje de la organizacin y mejora de la gestin. Evaluadores asumen rol tcnico Evaluador distanciado Indicadores predeterminados. Mtodos formales, complejos, cuantitativos. Momento preestablecido Propiedad del agente externo. Perspectiva inmediata de satisfaccin de necesidades. Informe final de evaluacin. Evaluacin participativa Empoderamiento y aprendizaje de todos los implicados. Evaluadores asumen rol facilitador Evaluador apegado, comprometido Indicadores negociados. Mtodos informales y cualitativos. Triangulacin con otros mtodos. Evaluacin peridica. Apropiacin por parte de la poblacin implicada. Perspectiva estratgica de fortalecimiento de derechos (empoderamiento). Aprendizaje del proceso y de las prcticas de evaluacin.
Agente evaluador Actitud del evaluador Objeto de medicin Mtodos de evaluacin Momento de la evaluacin Para quin se evala Poblacin implicada
Resultados
Fuente: Adaptado de Gallego, 1999.
Este tipo de evaluacin contribuye a reducir la distancia entre el equipo evaluador y los diferentes stakeholders. En este sentido, al encontrarse ms prxima a stos, adquiere una mayor legitimidad y se incrementan las posibilidades de ser utilizada.
La evaluacin participativa resulta la ms evolucionada e incluyente, supera viejos enfoques y constituye un proceso de aprendizaje individual y colectivo, a la par que logra que los stakeholders tomen ms conciencia sobre el proyecto y genera las condiciones para un cambio favorable.
24
2.4. Resumen del captulo Los stakeholders son los diferentes agentes que participan de diversas formas en el desarrollo del programa o proyecto a evaluar y, por ende, tambin tienen un inters concreto en el proceso evaluativo. Entre los distintos tipos de stakeholders podemos agruparlos segn su relacin con el objeto de evaluacin: agentes, personas involucradas en la produccin, uso y puesta en prctica del programa o proyecto a evaluar; poblacin beneficiaria, personas que, de algn modo, hacen uso del programa o proyecto evaluado; poblacin perjudicada, personas que se ven afectadas negativamente por la puesta en marcha del programa o proyecto. A la hora de evaluar es muy importante identificar y clasificar correctamente a todos los stakeholders, al igual que debemos tener en cuenta que su participacin resulta fundamental para asegurar la calidad y la legitimidad de la evaluacin, y para impulsar la apropiacin y uso de los resultados de la misma. Desde esta perspectiva surge la evaluacin participativa como un nuevo modelo que consideraban a los diferentes stakeholders ms como sujetos activos de la misma, con el objeto de promover el aprendizaje y empoderamiento de los stakeholders, impulsar la negociacin entre ellos y construir procesos ms flexibles y adaptables.
25
CAPTULO 3. EL PROCESO DE LA EVALUACIN

El proceso de evaluacin se caracteriza, como se ha indicado con anterioridad, por constituir un proceso sistemtico de recogida y anlisis de informacin orientado a la extraccin de conclusiones tiles y de juicios de valor sobre el programa o proyecto evaluado (a partir de ahora el evaluando). Cabe indicar varios aspectos preliminares antes de describir las fases de un proceso evaluativo: En teora, las entidades proveedoras de fondos establecen requisitos en relacin con la estructura y el contenido de los informes de evaluacin. No existe un cronograma de etapas universales para ejecutar el proceso de evaluacin, pero si varios modelos que se repiten en las metodologas ms importantes de evaluacin. Cada institucin adapta las etapas bsicas de la evaluacin al proceso particular que se lleve a cabo, a veces dan mayor nfasis en determinados momentos segn el proyecto, su alcance, el momento... Sin embargo, en trminos generales, se pueden identificar tres grandes fases en el proceso de evaluacin: la fase de diseo y planificacin de la evaluacin; la fase de ejecucin de la evaluacin; y la fase de difusin y uso de la evaluacin. En la fase de diseo y planificacin de la evaluacin, se identifica la motivacin para evaluar as como se delimita el evaluando y su contexto. En esta misma fase se establecen las preguntas y criterios de evaluacin y se establece el diseo metodolgico. En la fase de ejecucin de la evaluacin, se cierra el diseo y la planificacin establecida en la primera fase y se aplican las tcnicas de recogida de informacin para, de forma posterior, proceder a su sistematizacin y anlisis. El resultado de esta fase es el borrador del informe de evaluacin. La ltima fase de difusin y uso de la evaluacin se centra en la comunicacin de los resultados del borrador as como en la revisin de stos de acuerdo con las aportaciones de los stakeholders informados. Posteriormente, se entrega el informe final y se promueve la utilizacin de sus recomendaciones, si bien esta tarea depende, fundamentalmente, de la entidad que encarga la evaluacin.
26
FASES DEL PROCESO DE EVALUACIN
Fuente: Elaboracin propia.
En cada una de estas fases, los diferentes stakeholders tendrn distintos papeles de acuerdo con su grado de participacin en el mismo. En la mayora de las evaluaciones, de enfoque tradicional, todas las fases son lideradas por el equipo de evaluacin. Las entidades que encargan la evaluacin slo aparecen en la primera fase, indicando por qu quieren realizar la evaluacin, y en la ltima fase cuando se les presenta el informe. Los otros stakeholders participan, como entrevistados o encuestados, en la fase de ejecucin de evaluacin.
27

Sin embargo, en una evaluacin de stakeholders estn presentes en todas centrndose, sobre todo, en: Fases previas al diseo de la evaluacin: o Identificacin de las partes interesadas. o Formacin de un grupo de trabajo encargado, junto al equipo evaluador, de identificar las preguntas y problemas, es decir, los objetivos de la evaluacin, as como las posibles vas de utilizacin de las respuestas a estas preguntas y problemas. Fase de anlisis de la informacin recogida y, sobretodo, en la redaccin del informe de resultados y previsin de su utilizacin. Los presupuestos de este nuevo enfoque son evidentes y no siempre ciertos: Que los stakeholders puedan ser identificados antes del estudio evaluativo. Que stos deseen el estudio evaluativo y quieran participar en l. Que la participacin en un estudio evaluativo les motivar para aceptar el resultado. Que el grupo de stakeholders con poder de decisin utilizasen los resultados como parte de su toma de decisiones. carcter ms participativo, los las fases del proceso evaluativo,
28

Un esquema del proceso de este tipo de evaluaciones participativas podra ser el siguiente:
Fuente: Patton, 1982.
29
3.1. Resumen del captulo La evaluacin ha de entenderse como un proceso sistemtico de recogida y anlisis de informacin orientado a la extraccin de conclusiones tiles y de juicios de valor sobre el programa o proyecto evaluado. Este proceso puede agruparse en tres fases principales: fase de diseo y planificacin de la evaluacin, en la que se identifica la motivacin para evaluar, se define el proyecto o programa y su contexto, y se establecen las preguntas y criterios de evaluacin, as como las tcnicas de recogida de informacin; fase de ejecucin de la evaluacin, en la que se aplican las tcnicas antes establecidas y se realiza su sistematizacin y anlisis; fase de difusin y uso de la evaluacin, en la cual se elabora un informe final y se promueve la utilizacin de sus recomendaciones, si procede. En cada una de estas fases, los diferentes stakeholders tendrn distintos papeles de acuerdo con su grado de participacin en el mismo.
30
CAPTULO 4. DISEO Y PLANIFICACIN DE LA EVALUACIN

La primera fase en el desarrollo de una evaluacin es su diseo y planificacin. En sta la participacin de los diferentes stakeholders puede variar dependiendo de la experiencia y cultura evaluativa de la organizacin, de las caractersticas del evaluando y del tipo de evaluacin deseada ms o menos participativa , entre otros factores. As sucede, en el caso concreto del papel que toman en el proceso evaluativo la entidad que decide evaluar y el equipo de evaluacin. No obstante, en la mayor parte de las evaluaciones, el equipo que encarga la evaluacin tiene un papel clave en la definicin de la motivacin para evaluar; la seleccin del programa o proyecto a evaluar; la identificacin de los principales criterios y preguntas de evaluacin; la inclusin de ms o menos stakeholders en el proceso evaluativo; y la eleccin del equipo evaluador. Por su parte, la funcin del equipo de evaluacin suele vincularse con el estudio en profundidad de las caractersticas de la intervencin, de su contexto y, si as se solicita, de los intereses en la evaluacin o necesidades informativas de otros stakeholders. Normalmente, este equipo es tambin, junto con los stakeholders que se hayan implicado en el proceso evaluativo, el responsable de definir el diseo metodolgico de la evaluacin as como la planificacin de la misma. A continuacin, se presentan cada uno de estos momentos. En definitiva, en esta fase se han de definir la motivacin para evaluar, delimitar el programa/proyecto a evaluar y su contexto, establecer las preguntas y criterios de evaluacin y elaborar el diseo metodolgico de la misma.
4.1. Definicin de la motivacin para evaluar La motivacin para evaluar constituye un elemento clave en el planteamiento de una evaluacin y ha de quedar suficientemente clara y justificada para la institucin u organizacin encargada del programa o proyecto, para la poblacin beneficiaria y tambin para el equipo evaluador (lvarez Rojero et al., 2006). Una inadecuada comprensin de por qu y para qu se quiere evaluar puede hacer errar a todo el proceso evaluativo. En trminos generales, la puesta en marcha de un proceso evaluativo se puede deber a muchos factores, tanto internos como externos. Internamente, el inters por llevar a cabo una evaluacin se puede vincular a la necesidad de aprendizaje sobre el programa o el proyecto, al diseo de nuevas intervenciones o a la decisin de conocer ms sobre el propio funcionamiento interno. Externamente, la evaluacin se suele asociar en mayor medida con la transparencia y la rendicin de cuentas. Aparte de los motivos enumerados, pueden encontrarse otros de acuerdo con la poltica especfica de la organizacin que encarga la evaluacin y con los intereses de los stakeholders implicados en la misma. Cuanto ms diferentes sean los stakeholders presentes en la evaluacin, mayor ser el nmero de motivos y, en este sentido, resultar fundamental la negociacin.
31

Entre los motivos que emergen con frecuencia en el encargo de una evaluacin, como se observa en la siguiente tabla, se encuentran algunos como: apoyar la toma de decisiones; aumentar la calidad de las intervenciones; facilitar la transferencia de buenas prcticas; mejorar la gestin; entre otros.
ALGUNOS MOTIVOS PARA EVALUAR Apoyar la toma de decisiones. Aumentar la calidad de las intervenciones. Facilitar la transferencia de buenas prcticas. Ampliar el aprendizaje. Mejorar la gestin. Promover la participacin. Fomentar el alineamiento. Desarrollar capacidades. Favorecer la coordinacin. Legitimar la intervencin. Incrementar la transparencia. Orientar la planificacin. Corregir desviaciones. Fuente: Adaptado de Gonzlez Mancebo y Osuna Llaneza, 2007.
Ahora bien, en los ltimos aos la tendencia ha sido ejecutar evaluaciones por exigencias externas de las entidades financiadoras orientndose la evaluacin hacia un ejercicio de transparencia y rendicin de cuentas. No obstante, tambin se ha comenzado a observar un crecimiento del inters por la evaluacin en el seno de las propias instituciones y organizaciones, preocupadas por el impacto de sus acciones, la mejora continua y el desarrollo organizativo. Paralelamente, ha tomado ms fuerza la preocupacin por la implicacin de los diferentes stakeholders en los procesos evaluativos.
32
Internamente, la evaluacin se asocia a unas aspiraciones de conocer ms el proyecto para la mejora continua. Externamente, se asocia a la transparencia y la rendicin de cuentas.
Como ya se ha comentado en el manual, hay que ser cuidadosos en cuanto a las motivaciones para no caer en trampas evaluativas. Recuerda lo que comentamos sobre las motivaciones encubiertas: El aplazamiento. La evasin de responsabilidades. La legitimacin de una decisin ya tomada. Relaciones pblicas y ofrecimiento de una imagen determinada.
El anlisis de la evaluabilidad Una vez definida la motivacin para llevar a cabo la evaluacin, es preciso que se plantee un anlisis de la evaluabilidad. Esto es, es necesario determinar hasta qu punto sta contribuir a la mejora del mismo y de sus resultados. En este sentido, hay que considerar quines son sus destinatarios, qu informacin necesitan y cundo, cmo y para qu se utilizarn los resultados y qu fuentes de informacin y con qu recursos se cuenta para llevar a cabo la evaluacin (Osuna Llaneza et al., 2000: 22). El anlisis de la evaluabilidad refuerza y complementa las evaluaciones de carcter temporal (ex-ante, intermedia y ex-post) ya que pone a disposicin de los responsables del diseo y ejecucin del programa un conjunto de orientaciones que les permite introducir cambios que mejora, cualitativa y cuantitativamente, el diseo del programa y los mecanismos de gestin y ejecucin, en cualquier momento o etapa del ciclo de vida de un proyecto o programa (Osuna Llaneza et al., 2000: 25).
33
ANLISIS DE LA EVALUABILIDAD A grandes rasgos, se pueden identificar tres aspectos fundamentales que definen si un programa o proyecto es evaluable: 1. La calidad de la planificacin, siendo oportuno diferenciar entre: Evaluacin centrada en objetivos: En este caso, la evaluacin se hace ms difcil cuanto ms imperfecta sea la planificacin. Esto es, se complica el proceso evaluativo cuando los objetivos no se encuentran claramente definidos, existen saltos en la lgica de la intervencin, etc. Evaluacin sin referencia a objetivos: En este tipo de evaluacin, la calidad de la planificacin tiene menos importancia en tanto que su objetivo es, principalmente, conocer el impacto del programa o proyecto, tanto el previsto como el no previsto. 2. La existencia de la necesaria informacin en cantidad y calidad suficiente: Resulta fundamental para el desarrollo de toda evaluacin que exista informacin disponible sobre el programa o proyecto. De gran importancia es tambin que exista un sistema de seguimiento as como que estn definidos los indicadores. 3. Capacidad de gestin de la institucin u organizacin en relacin con la evaluacin: sta se relaciona con diferentes factores como el nmero de responsables y gestores del programa o proyecto; la implicacin y la actitud (entusiasmo vs resistencia) de los gestores en la evaluacin; la formacin en materia de evaluacin de los cuadros de la organizacin responsables de la misma; y la dotacin de recursos temporales, materiales, humanos para el desarrollo de la evaluacin. Fuente: Elaborado a partir de Osuna et al., 2000.
El anlisis de la evaluabilidad refuerza y complementa las evaluaciones temporales, ya que ofrece orientaciones para introducir mejoras, cuantitativas y cualitativas, al proyecto.
34
El Comit de Seguimiento de la evaluacin y los Trminos de Referencia (TdR) Por otra parte, de forma paralela a la identificacin de la motivacin para evaluar, la institucin u organizacin que decide emprender una evaluacin debe, una vez valorada la evaluabilidad, conformar un Comit de Seguimiento de la evaluacin que ser el encargado de plantear los Trminos de Referencia (TdR) e ir revisando y dando el visto bueno a las diferentes fases de la evaluacin. En dicho Comit estarn representados, en mayor o menor grado dependiendo del nivel de participacin que se impulse, los grupos de agentes ms importantes para el proceso evaluativo. En su concepcin ms participativa, el Comit de Seguimiento constituye un espacio para que los diferentes stakeholders intervengan de modo directo en el diseo de la evaluacin, en el seguimiento de su implementacin y en la revisin del informe de evaluacin. Esta implicacin activa de los diferentes grupos de stakeholders a lo largo de todo el proceso de evaluacin trae consigo una informacin de mejor calidad as como una mayor aceptacin y uso de los resultados de la evaluacin (Gonzlez Mancebo y Osuna Llaneza, 2007).
LOS TRMINOS DE REFERENCIA (TdR) Los Trminos de Referencia (TdR) de la evaluacin son elaborados, normalmente, por la entidad que encarga la evaluacin y conforman el documento base a partir del cual se desarrollar la evaluacin en tanto que recoge las principales caractersticas de la evaluacin a ejecutar. En el caso de las evaluaciones que deciden externalizarse, los TdR constituyen tambin el punto de partida para que los diferentes equipos de evaluacin interesados realicen sus propuestas tcnicas de evaluacin, entren en concurso y se adjudique la evaluacin. Ahora bien, dependiendo del grado de cultura evaluativa existente en esta entidad, los TdR se elaborarn en un momento u otro y contarn con mayor o menor grado de desarrollo. As, cuando se trata de entidades con escasa cultura evaluativa, que es la mayor parte de las ocasiones, los TdR se elaboran una vez identificada de forma clara la motivacin para evaluar. En estos casos, su carcter es ms genrico y su concrecin se encuentra en el plan o programa de trabajo que elabore el equipo evaluador. Por otra parte, en entidades con mayor cultura y experiencia en materia de evaluacin, los TdR son desarrollados una vez se ha profundizado en el evaluando y su contexto, en los criterios y preguntas de evaluacin e incluso en algunas cuestiones de diseo metodolgico. En trminos generales, en estos casos, los TdR suelen contar con un mayor grado de profundidad. Independientemente de cundo y con qu profundidad se realicen los TdR, todos ellos han de incluir los siguientes contenidos:
Antecedentes del proyecto: Contexto y razn de ser del proyecto.
35

Descripcin del proyecto: principales elementos de la matriz del proyecto. Objetivo de la evaluacin: Razones relativas a las decisiones formales. Razones relativas al desempeo del proyecto. Uso que se dar a los resultados. mbito de aplicacin y mtodos: mbito de aplicacin de la evaluacin. Tipo de anlisis, mtodos a utilizar, grado de detalle. Cuestiones a tratar: En qu medida se tratarn todas o se seleccionarn slo algunas cuestiones y reas de anlisis. Grado de especializacin. Equipo evaluador: Nmero de miembros del equipo y sus funciones. Cualificaciones requeridas (perfil profesional, experiencia). Calendario: Fechas aproximadas y asignacin de tiempos (antes, durante y despus del trabajo de campo). Consultas sobre el terreno: Autoridades, instituciones y grupos a los que consultar durante y al final del trabajo de campo. Elaboracin de informes: Plazos para realizar la versin preliminar y el informe final. Especificacin del modelo tcnico para el informe final. Fuente: Adaptado de lvarez Rojero et al., 2006.
El Comit de Seguimiento se constituye como un espacio en el que los diferentes stakeholders implicados en la evaluacin del proyecto revisen y den el visto bueno a las diferentes fases que la componen.
36
4.2. Delimitacin del evaluando y su contexto Estudiar el programa o proyecto Seleccionado el equipo de evaluacin y antes de comenzar a definir en profundidad qu dimensiones o criterios se quieren evaluar de un programa o proyecto concreto, resulta fundamental prestar especial atencin al objeto de evaluacin. De acuerdo con Carol Weiss (1998), estudiar y analizar el programa o proyecto a evaluar contribuye a: Comprender en mejor medida los contenidos clave del programa o proyecto. Plantear unas preguntas de evaluacin ms pertinentes e incisivas. Comprender en mejor modo las relaciones entre los datos que se obtienen una vez aplicadas las tcnicas de recogida de informacin. Mejorar la interpretacin de los resultados. Adecuar el tipo de recomendaciones al evaluando y su contexto. Elaborar un informe de evaluacin ms acorde a los futuros lectores y lectoras.
En efecto, los programas y proyectos sociales resultan, con frecuencia, ejercicios complejos. En ellos se entremezclan objetivos, poblacin beneficiaria, actividades, presupuestos, diferentes perfiles tcnicos, distintas formas de actuar, entre otros aspectos. Los programas y proyectos incluyen un amplio abanico de componentes, personas, procedimientos y estilos de trabajo que los hace en ocasiones difciles de describir. En este sentido, se aconseja que el equipo de evaluacin se familiarice con el evaluando. El equipo debe conocer, de forma previa al diseo de la evaluacin, los objetivos, recursos y el marco temporal de ejecucin del programa o proyecto a evaluar. Tambin ha de ser consciente de la variedad de agentes implicados en el mismo, las entidades financiadoras, etc. Para ello, se puede recurrir a diferentes fuentes. Los documentos del programa o proyecto y las referencias bibliogrficas sobre su sector constituyen una de las principales fuentes a las que recurrir para una aproximacin al objeto de evaluacin. De igual modo, tambin se pueden revisar evaluaciones previas y ejercicios de seguimiento del programa o proyecto as como evaluaciones de otras intervenciones similares. La revisin de ejercicios evaluativos resulta de gran utilidad para conocer los principales problemas de este tipo de actuaciones y los mtodos y tcnicas que se han utilizado habitualmente para evaluarlas. De especial relevancia, por otra parte, resulta obtener informacin directamente a travs de las personas que trabajan en el programa o proyecto. La comunicacin directa con el personal tcnico puede contribuir, sin duda, a resolver aquellas dudas conceptuales y de contenido relativas al planteamiento del proyecto.
37
Analizar el contexto Tan importante es el estudio del proyecto o programa como el anlisis de los aspectos contextuales relativos al momento poltico, social o econmico en el que surge la iniciativa. La evaluacin tiene el objeto de dar una respuesta aplicada y concreta al contexto que es escenario de la accin. No existe ni un mtodo universal, ni respuestas universales, ambos aspectos han de adaptarse al contexto especfico donde tienen lugar el evaluando. En esta tarea de anlisis y diagnstico del contexto del programa o proyecto es fundamental la participacin de las personas implicadas (gestores, ejecutores y beneficiarios del proyecto o programa). Para conocer la realidad que rodea al proyecto o programa es necesario conocer la realidad donde se va a desarrollar y tratar de que los pasos que se den tengan en cuenta todos los datos que sabemos o que podremos averiguar.
38
Por ejemplo, podramos preguntarlos por las siguientes cuestiones:

VARIABLES SITUACIONALES
Nmero de responsables a tratar. Cuantas personas toman las decisiones, grupos, y niveles. Autoridades locales, beneficiarios/as, gestores/as locales, expatriados, personal en sede, unidad de evaluacin en la organizacin.Potenciales clientes de la evaluacin. Historia del proyecto a evaluar. Duracin. Antecedentes del proyecto en la organizacin, en el terreno, en los mbitos de decisin. Actitud del personal que trabaja en el programa ante la evaluacin (entusiasmo, resistencia, necesidad). Grado de implantacin de la cultura evaluativa. Patrones de interaccin (direccin, trabajadores, beneficiarios). Estructura de la toma de decisiones. Nivel educativo y otras caractersticas del personal y los beneficiarios (nivel socioeconmico, indicadores de educacin, salud, gobernanza democrtica). Localizacin del Programa. Recursos disponibles para la evaluacin. Se contempla partida para evaluacin en el diseo del proyecto en el presupuesto inicial? Naturaleza del proyecto (unidimensional, sectorial, puntual, asistencial o
multidimensional, estratgico, integral, de desarrollo). Grado de claridad sobre el fin y la funcin de la evaluacin. Informacin recopilada del proyecto (existe datos recopilados, disponibilidad de fuentes, fiabilidad de los datos, actualizacin) Por ltimo, se debe sealar la importancia del contexto poltico, conocer las potenciales resistencias y fuerzas polticas (tanto del entorno de la ejecucin y financiador, como del entorno de la contraparte y gobierno receptor) es necesario para una evaluacin til y para promover el uso de los resultados.
39
4.3. Los criterios y las preguntas de evaluacin Una vez que se han analizado las caractersticas del evaluando y su contexto, el equipo de evaluacin ha de indagar en las diferentes necesidades informativas. Esto es, ha de identificar cules son aquellas cuestiones sobre las que los diferentes stakeholders consideran necesario indagar y que han de traducirse en criterios y preguntas de evaluacin. Para definir los criterios y las preguntas de investigacin se puede recurrir a dos vas: De las preguntas a los criterios: estableciendo los criterios en funcin de las necesidades o preguntas de los stakeholders. De los criterios a las preguntas: mediante la utilizacin de modelos estndar de criterios.
De las preguntas a los criterios 1) Desde esta perspectiva y en primer lugar, el equipo que encarga la evaluacin suele determinar qu stakeholders considera fundamentales y qu papel deben tener en el proceso evaluativo. El equipo de evaluacin, por su parte, se hace responsable de identificar los intereses de los distintos stakeholders y sus necesidades informativas. Esta identificacin debe tener en cuenta la amplia gama de sectores de la comunidad que toma las decisiones, con el fin de que el evaluador pueda aprender a contemplar el programa desde el punto de vista de los distintos sectores de la comunidad. (Stufflebeam, 1995) Igualmente, debe recopilarse toda la documentacin del programa (memorias, programas, procesos, registros, etc.) y la bibliografa, referencias tericas y otras evaluaciones sobre el tema. 2) En un segundo lugar, se procede a la extraccin de las necesidades informativas. Consiste en recopilar todas las posibles necesidades de informacin que respondan a los diferentes requerimientos de los agentes implicados. El objetivo es realizar una lista, lo ms completa posible, de las necesidades informativas que tiene el programa. Para ello deben realizarse peticiones de documentacin, dinmicas, reuniones, entrevistas individuales y grupales. Este tipo de dinmicas o entrevistas suelen estar guiadas entorno a las preguntas: Qu es lo que se quiere saber? Qu aspectos se quieren evaluar? Cules son los problemas? Ya sea sobre el diseo o estructura de la intervencin, sobre los procesos que implica o sobre los resultados que obtiene.
40
La lista resultante de preguntas debe cumplir ciertos requisitos: Las preguntas deben : o Deben implicar una valoracin y no una mera indagacin sobre algn aspecto. o Tienen que estar dirigidas al programa y no sucesos o dinmicas sociales, ya que esto sera otro objeto de estudio ms propio de las investigaciones. Debe contener cuestiones: o Sobre el logro de objetivos, resultados y metas propuestas a corto y largo plazo. o Sobre otros resultados o efectos provocados por el programa ya sean previstos o no previstos. o Sobre los procedimientos o factores claves de estos. o Recogidas de los distintos stakeholders. 3) Por ltimo, se debe realizar una seleccin de preguntas de la lista cuestiones planteadas anteriormente en detrimento de otras que o son muy poco importantes (influencia), o despejan pocas dudas (incertidumbre) o no pueden ser asumidas por el coste que implicara (recursos). En esta seleccin se ha de procurar que la perspectiva de unos actores no prime sobre la de otros. Ms adelante se desarrolla este mtodo para realizar la seleccin de preguntas. 4) Posteriormente, de estas preguntas seleccionadas suelen emerger los criterios relevantes para la evaluacin del proyecto o el programa. Pero como se ha sealado anteriormente, existen propuestas metodolgicas que anteponen criterios estndar de evaluacin para su posterior desarrollo en preguntas
De los criterios a las preguntas Desde esta perspectiva se llega a las preguntas a travs de modelos estndar de criterios de valor. Entre estos ltimos modelos, el ms utilizado es el que establece cinco criterios: sostenibilidad, pertinencia, impacto, eficacia y eficiencia. Estos cinco criterios, como se observa en la siguiente tabla, se vinculan ntimamente con la matriz de planificacin de un proyecto o programa.
CRITERIOS DE EVALUACIN Y COMPONENTES DE LA MATRIZ DE PLANIFICACIN DEL PROYECTO (MPP)
41

Sostenibilidad
Pertinencia Impacto Eficacia Eficiencia
Objetivo General Objetivo Especfico Resultados
Actividades
Recursos Fuente: Adaptado de lvarez Rojero et al., 2006.
En el cuadro se han recogido cinco criterios clsicos en las evaluaciones. Estos cinco criterios se pueden definir, a grandes rasgos, del siguiente modo: Sostenibilidad: La evaluacin de la sostenibilidad atiende al grado en el que los efectos de una intervencin se mantienen una vez concluida la misma. La sostenibilidad de un programa o proyecto puede ser corroborada totalmente una vez que ste haya finalizado. Se puede afirmar que un cambio es sostenible toda vez que, una vez finalizada la intervencin, la poblacin diana mantiene los beneficios que genera. Pertinencia: El anlisis de la pertinencia valora el modo en el que los objetivos de un programa o proyecto se encuadran en las prioridades de la poblacin beneficiaria, en su contexto social y econmico as como en las polticas existentes. En este sentido, la evaluacin de la pertinencia constituye una valoracin de la utilidad del proyecto en materia de desarrollo. Eficacia: El anlisis de la eficacia valora el grado en el que se logran los objetivos del programa o proyecto en un perodo determinado de forma independiente a los costes que esto implique. Para analizar la consecucin de los objetivos es necesario revisar si las actividades previstas conducen al logro de los resultados esperados y si stos traen consigo la consecucin de los objetivos. Eficiencia: La evaluacin de la eficiencia se centra en el estudio de la relacin entre los productos y los costes. Analiza cmo un programa o proyecto hace uso de los medios disponibles, cmo llevan a cabo las actividades y cmo se alcanzas los resultados previstos. Un anlisis de la eficiencia pretende medir el rendimiento del proceso de ejecucin, proponiendo soluciones para incrementarlo, siempre que eso sea posible sin amenazar la consecucin de objetivos (Vias y Ocampo, 2004: 21). Impacto: El estudio del impacto analiza los efectos a largo plazo, tanto positivos como negativos, primarios como secundarios, que se han producido directa o indirectamente y de forma intencional o no por el programa o proyecto evaluado. Un impacto va ms all del resultado esperado e implica un cambio
42

sustancial y sostenible en las actitudes y prcticas de la poblacin o en sus condiciones de vida. Aparte de estos criterios clsicos, tambin son de especial relevancia otros como: Participacin: El anlisis de la participacin valora el proceso por el que las personas o grupos sociales se involucran en la toma de decisiones, en la ejecucin de acciones concretas y en la gestin de recursos del programa o proyecto. La participacin, como se ha sealado en el apartado relativo a evaluacin participativa, no es una cuestin sencilla y pueden diferenciarse varios grados o niveles de participacin. Cobertura: La evaluacin de la cobertura atiende a la proporcin de poblacin diana y el rea objetivo que es beneficiaria de la intervencin en relacin con el total de la poblacin y del rea geogrfica. En este sentido, hay que considerar si los grupos con los que se trabaja tienen las caractersticas que se persiguen cambiar o reforzar; si estos grupos son los ms prioritarios; y si el programa o proyecto respeta las diferencias lingsticas, culturales y de gnero, entre otras, de cada lugar. Coherencia: La valoracin de la coherencia se realiza en dos niveles diferentes. Por un parte, internamente, se analiza la relacin lgica entre los objetivos y los instrumentos diseados para lograrlos as como su adecuacin a los problemas. Por otra parte, externamente, se evala la compatibilidad del programa o proyecto con otras estrategias o planes con los que pueda tener sinergias o complementariedad.
No obstante, tambin pueden considerarse otros criterios como la visibilidad, la igualdad de gnero, la coordinacin, la apropiacin, entre otros. Si se ejerce el uso de los criterios para el establecimiento de las preguntas de evaluacin, stos dan pistas de hacia dnde enfocar los procesos evaluativos. En este caso, su traduccin en preguntas de evaluacin constituye un paso ms a realizar por parte del equipo de evaluacin. A continuacin, se indican algunas de las preguntas de evaluacin que pueden realizarse para los ocho criterios definidos si bien stas deben siempre adecuarse a las caractersticas del evaluando.
CRITERIOS Y PREGUNTAS DE EVALUACIN Se mantienen los beneficios de la intervencin una vez finalizada sta? Se siguen generando los recursos necesarios para el mantenimiento de las actividades? Ha influido positivamente la intervencin sobre la capacidad institucional?
Sostenibilidad
43

Pertinencia Se corresponde la intervencin con las necesidades y prioridades de la poblacin beneficiaria? Han cambiado las prioridades de la poblacin beneficiaria desde el comienzo de la intervencin? En caso afirmativo, se ha adaptado la intervencin a dichos cambios? Se han alcanzado todos los resultados previstos de la intervencin? Se ha alcanzado el objetivo especfico de la intervencin? Se han logrado otros efectos no previstos? Ha encontrado dificultades la poblacin beneficiaria para acceder a las actividades de la intervencin? Se han respetado los presupuestos establecidos inicialmente en la formulacin del proyecto? Se han respetado los cronogramas y tiempos previstos? Ha sido positiva la relacin entre los recursos invertidos y los objetivos alcanzados? En qu medida la colaboracin institucional y los mecanismos de gestin articulados han contribuido a alcanzar los resultados de la intervencin? Ha contribuido la intervencin a lograr el objetivo global propuesto? Se ha logrado un impacto positivo sobre la poblacin beneficiaria? Se han producido impactos positivos no previstos en la poblacin beneficiaria?
Eficacia Eficiencia
Impacto
Se han producido impactos negativos no previstos en la poblacin beneficiaria? Fuente: Adaptado de Gonzlez Mancebo y Osuna Llaneza, 2007.
44
CRITERIOS Y PREGUNTAS DE EVALUACIN Se ha delimitado claramente quines van a participar en el proyecto y cmo? Qu agentes han participado en cada fase de la intervencin? En qu medida? Han sido eficaces los canales de participacin establecidos? La intervencin incluye medidas especficas orientadas al empoderamiento de las personas beneficiarias y las organizaciones locales? Se ha logrado este empoderamiento? Las actuaciones desarrolladas en la intervencin han alcanzado a todos los colectivos destinatarios? Se han establecido mecanismos para facilitar a la poblacin beneficiaria el acceso a los servicios de la intervencin? Son diferentes los colectivos atendidos respecto a los identificados durante el diseo de la intervencin? Se corresponden los problemas identificados con los objetivos propuestos? Se ha definido correctamente la estructura de objetivos, resultados y actividades de la intervencin? Son adecuadas las actividades programadas para lograr los objetivos de la intervencin? Complementa la intervencin a otras estrategias o programas aplicados en el mismo territorio, sector o poblacin objetivo?
Participacin
Coherencia
Cobertura
Fuente: Adaptado de Gonzlez Mancebo y Osuna Llaneza, 2007. Si bien en principio no se necesita plantear ms cuestiones que las necesarias para responder a los objetivos que se han definido, si se limitan demasiado las preguntas costar atender a las necesidades informativas de todos los agentes implicados. Difcilmente se obtendrn respuestas a cuestiones que no se hayan formulado de forma expresa desde el inicio.
La priorizacin de criterios y preguntas de evaluacin Ahora bien, puesto que no siempre es posible abarcar, por cuestiones tcnicas y materiales, todos los criterios y preguntas de evaluacin. Es preciso llevar a cabo un proceso de priorizacin de los mismos de cara a poder abarcar de modo adecuado y con calidad el proceso evaluativo. Esta priorizacin se realizar a travs de un anlisis de:
45

El grado de influencia o peso que tiene ese criterio y pregunta en el proceso de toma de decisiones que afectan al programa o proyecto. El grado de incertidumbre sobre la dimensin y pregunta, entendido como el nivel de conocimiento sobre las mismas y la accesibilidad a la informacin.
Dando un mayor peso al grado de influencia y combinando estos dos factores, se obtendr un cuadro de doble entrada donde quedarn priorizadas las dimensiones y preguntas de cara a realizar un mayor trabajo de recogida y anlisis de informacin en aqullas que sean de mayor prioridad, siendo 1 de gran prioridad y 4 de escasa prioridad. Igualmente, este cuadro servir para excluir aquellos criterios y preguntas que aparezcan como de escasa prioridad.
CUADRO DE PRIORIZACIN DE CRITERIOS Y PREGUNTAS DE EVALUACIN Baja incertidumbre Baja influencia 4 Alta incertidumbre 3
Alta influencia
Fuente: Bustelo Ruesta, M. y Ligero Lasa, J.A. Documentos de trabajo del Mster en Evaluacin de Programas y Polticas Pblicas, CESGAEUCM (2002) www.masterevaluacion.es.
46
4.4. El diseo de la evaluacin
De acuerdo con los Trminos de Referencia, las caractersticas del evaluando y su contexto as como los criterios y las preguntas de evaluacin detectadas, el equipo de evaluacin ha de plantear un diseo especfico para la evaluacin que ha de constituir el punto de partida del plan de trabajo de la misma. El diseo metodolgico de la evaluacin constituye una parte fundamental de toda evaluacin. Una vez priorizados los criterios y las preguntas de evaluacin, se ha de definir cul es el mejor mtodo para recopilar y analizar la informacin requerida. En este sentido, un diseo equivale a la planificacin de las distintas tareas que sern realizadas para llevar a cabo el ejercicio de valoracin (MAESECIPI-AECI, 1998: 11). No se trata solamente de seleccionar un conjunto de tcnicas de recogida de informacin y sus correspondientes tipos de anlisis. De modo genrico, se puede afirmar que elegir el diseo metodolgico de la evaluacin implica definir su enfoque metodolgico: un enfoque positivista/cuantitativo, interpretativo/cualitativo o participativo. En el mbito de la evaluacin, al igual que en las Ciencias Sociales, el enfoque positivista/cuantitativo ha sido predominante a lo largo de su historia. ste se caracteriza por identificar la realidad social con la realidad natural y suele aplicar experimentos, cuasi experimentos, estudios con grupo de control o estudios con muestras estadsticamente representativas (lvarez Rojero et al., 2006: 38). No obstante, desde los setenta tambin ha tomado especial relevancia el enfoque interpretativo/cualitativo, muchas veces considerado poco cientfico, que atiende a la interpretacin y comprensin de la realidad de acuerdo con las percepciones de los y las agentes clave. Igualmente, desde los ochenta tambin ha sido usado, con frecuencia, el enfoque participativo que, como se seal, implica una participacin activa de la poblacin beneficiaria en el desarrollo de la evaluacin. A continuacin se exponen los rasgos caractersticos de cada uno de estos tres enfoques.
47
ENFOQUES METODOLGICOS EN EVALUACIN Enfoque positivista/cuantitativo Enfoque interpretativo/cualitativo Enfoque participativo
Perspectiva desde fuera: punto de vista del evaluador.
Perspectiva desde dentro: punto de vista de los actores.
Perspectiva construida por el equipo evaluador de forma conjunta con los/as principales stakeholders. Lenguaje verbal y numrico. No es tan importante el tipo de lenguaje sino cmo se construye ste. El lenguaje ha de ser fruto de una fuerte implicacin de la poblacin implicada. nfasis en los aspectos subjetivos, pero no slo se captan sino que se van configurando entre todo el grupo. Anlisis de contenido por parte tanto del equipo evaluador como de los/as implicados/as. Resultados concretos, aplicables a la realidad donde se han construido.
Lenguaje numrico.
Lenguaje verbal.
nfasis en los aspectos objetivos, observables y cuantificables.
nfasis en los aspectos subjetivos: captacin y comprensin de actitudes, conductas, valores, motivaciones internas.
Anlisis estadstico.
Anlisis de contenido por parte del equipo evaluador.
Resultados generalizables.
Resultados limitados en su generalizacin.
Fuente: lvarez Rojero et al. a partir de Nirenberg, Brawerman y Ruiz, 2003: pg. 82. Ahora bien, en los ltimos aos y cada vez con mayor frecuencia se han ido imponiendo enfoques de carcter triangular o lo que se denomina la triangulacin metodolgica. El enfoque triangular opta por la combinacin de los diferentes enfoques de cara a obtener una visin ms completa del programa evaluado.
48

De forma paralela a la eleccin del enfoque metodolgico y estrechamente ligada a sta, el equipo de evaluacin lidera el proceso de elaboracin de la matriz de evaluacin donde se operacionalizan los criterios. Para ello se lleva a cabo lo que Bustelo y Lasa han denominado: Trabajo vertical: Dando un contenido ms especfico a los criterios y preguntas de evaluacin priorizados. Trabajo horizontal: Traduciendo criterios y preguntas en aspectos que definen la pregunta, indicadores y tcnicas de extraccin de la informacin.
MATRIZ DE EVALUACIN. EL PROCESO DE OPERACIONALIZACIN Preguntas Aspectos que definen la pregunta (opcional) Indicadores Tcnicas de recogida de la informacin
Trabajo vertical Definicin de criterios y preguntas ...
Trabajo horizontal Indicadores para cada pregunta Fuentes de extraccin de informacin
Fuente: Bustelo Ruesta, M. y Ligero Lasa, J.A. Documentos de trabajo del Mster en Evaluacin de Programas y Polticas Pblicas, CESGAE-UCM (2002) www.masterevaluacion.es.
En este punto, una vez revisados los criterios y preguntas de evaluacin priorizados se procede a definir, en el caso que se considere oportuno dada la complejidad de la pregunta, los aspectos que la definen. Igualmente, se lleva a cabo la definicin de los indicadores de evaluacin y la seleccin de las tcnicas de recogida de informacin.
El equipo de evaluacin ha de establecer, paralelamente, el enfoque metodolgico y la matriz de evaluacin que considere ms apropiada al evaluando y su contexto En algunas ocasiones, los indicadores vienen definidos por la matriz de planificacin del proyecto en el documento de formulacin. Ahora bien, en la mayora de los casos, se hace necesario o bien ampliar los indicadores o bien modificarlos. Si bien en la formulacin del programa o proyecto se definen los indicadores para medir el logro de los objetivos, la realidad cambia a lo largo del proceso de implementacin e igualmente pueden surgir elementos que no se han considerado con anterioridad. Del mismo modo, los diferentes stakeholders pueden considerar oportuno incluir nuevos indicadores dada su relevancia y pertinencia.
49
De acuerdo con la naturaleza de cada uno de los indicadores, se seleccionan las tcnicas de recogida de informacin. stas pueden ser cuantitativas, cualitativas y participativas. A continuacin se presentan las principales caractersticas de algunas de ellas.
Tcnicas cuantitativas: Ponen el nfasis en la medicin objetiva, la demostracin de la causalidad y la generalizacin de los resultados. La encuesta: La encuesta es una de las tcnicas ms difundidas en la evaluacin. Se realiza generalmente sobre una muestra de sujetos representativa de un colectivo ms amplio y se lleva a cabo en el contexto de la vida cotidiana, utilizando procedimientos estandarizados de interrogacin, con el fin de obtener mediciones cuantitativas. Es una tcnica til para responder a preguntas como qu?, cuntos? y con qu frecuencia? Aunque puede usarse para preguntas como por qu?, es menos adecuada. Un tipo de encuesta cada vez ms extendido en evaluacin son las que podramos denominar pequeas encuestas. stas son realizadas en pequea escala, analizando pocas variables y usando muestras acotadas y obtenidas, muchos casos, por mtodos informales, no estadsticamente significativos. No obstante, permite obtener informacin cuantitativa en poco tiempo la cual puede corroborarse triangulando con otras tcnicas (Roche, 2004; Espinosa Fajardo, 2008). El censo: El censo es una operacin que permite conocer, en una fecha dada, el efectivo de la poblacin en un territorio con algunas de sus caractersticas: distribucin por edad; sexo; estado civil; situacin familiar, entre otras. Su ejecucin se basa generalmente en cumplimentar cuestionarios, por parte de las personas afectadas o algunas de ellas o incluso el agente del censo. La medicin directa: La medicin directa consiste en recopilar datos de acuerdo a esquema concreto y es muy utilizada en proyectos de desarrollo. Para que la medicin sea significativa es muy importante determinar de manera previa qu propiedades o caractersticas van a considerarse y cules son las dimensiones que se maneja. El uso de esta tcnica facilita la obtencin de datos muy fiables sobre fenmenos o procesos fsicos pero no logra profundizar en las causas que provocan determinada situacin. Por ello, la medicin directa debe ir acompaada por otros modos de anlisis ms valorativos (lvarez Rojero et al., 2006: 90 y 91).
Tcnicas cualitativas: Intentan adentrarse en las codificaciones culturales y simblicas que constituyen el modo de ver y de vivir la realidad social de un grupo de poblacin en concreto. Permiten al equipo evaluador estudiar casos, hechos y temas en profundidad y en detalle.
Observacin estructurada: Permite el registro de acontecimientos e impresiones del equipo evaluador de acuerdo con una serie de criterios
50

previamente definidos que se recogern en una matriz, en un mapa o en un diario de campo. En general, puede ser til para corroborar la informacin; evaluar la calidad de las relaciones entre individuos o grupos; valorar la situacin ante grandes diferencias entre los puntos de vista de la poblacin y el del equipo tcnico; analizar fenmenos ocultos o no expuestos al pblico (lvarez Rojero et al., 2006; Espinosa Fajardo, 2008).
Entrevista en profundidad o semi-estructurada: Las entrevistas individuales son tiles para extraer informacin delicada sobre las relaciones en el hogar; sobre las diferencias y similitudes entre hombres y mujeres, sus valores y percepcin del cambio; y sobre el impacto de programas y proyectos. En muchas ocasiones, la entrevista se dirige a informantes clave. En las entrevistas el equipo evaluador slo interviene ordenando mnimamente el dilogo. Si se desea, la entrevista puede seguir un esquema semi-estructurado de cuestiones. Las ventajas de utilizar entrevistas en la evaluacin son mltiples. A la riqueza informativa, flexibilidad y economa, se suman el acceso a informacin diferente de la observada y la comodidad. Sin embargo, suelen requerir bastante tiempo y presentan problemas de fiabilidad y validez (lvarez Rojero et al., 2006: 100).
Grupo de discusin: Se encuentra ubicado entre la entrevista individual y la observacin estructurada. A travs de esta tcnica, se obtiene un discurso ms parecido al que se da en la vida real que en la interaccin cara a cara de una entrevista. Esta tcnica puede contribuir a reconstruir una situacin de referencia y las historias del programa; a determinar y evaluar los avances; y a manejar temas delicados. Su principal ventaja es que exigen menos tiempo y dinero que las entrevistas individuales, sin perder flexibilidad y aportando las ventajas de la interaccin grupal. Respecto a los inconvenientes, el grupo de discusin crea una situacin artificial para la observacin que plantea problemas de generalizacin y sesgos (lvarez Rojero et al., 2006).
Anlisis documental: Consiste en la bsqueda de informacin en fuentes bibliogrficas, estadsticas previamente elaboradas, informes varios o cualquier tipo de material que pueda proporcionarnos informacin de inters (lvarez Rojero et al., 2006).
Suele de ser de gran utilidad en los primeros momentos de reconstruccin de la vida de la intervencin. En ocasiones, no obstante, puede resultar complicado localizar ciertos documentos internos del programa o proyecto si ste ha tenido una larga duracin, si ha habido cambios en la organizacin o bien si no se ha contado con un sistema adecuado para almacenar la documentacin.
51
Tcnicas participativas: Persiguen construir la informacin con los diferentes stakeholders o agentes implicados en el programa o proyecto. Se caracterizan por requerir la interaccin activa y continua entre el equipo evaluador y los agentes crticos a lo largo de todo el proceso del proyecto/programa que se est evaluando (lvarez Rojero et al., 2006: 103). Entre sus aspectos positivos destaca que favorece la sostenibilidad de las acciones; potencia la construccin de capacidades locales; mejora la eficiencia en la asignacin de recursos y permite la obtencin de resultados localmente relevantes. No obstante, el uso de tcnicas participativas requiere ms tiempo que otras tcnicas y puede ignorar los puntos de vista de algunas personas legitimando las opiniones de grupos dominantes. Los talleres: Constituyen el espacio bsico para la evaluacin participativa y consisten en la interaccin de agentes similares o diferentes en un mismo espacio. A travs de determinadas tcnicas de dinmica grupal, se impulsa la reflexin y el debate para llegar a un producto comn donde se pueden marcar diferencias y consensos. Existe un gran nmero de tcnicas participativas. Se pueden destacar: el anlisis de acontecimientos crticos; las matrices de clasificacin o puntacin; los diagramas de flujos; los mapas; los transectos; entre otros (Gallego, 1999; Geilfus, 1997).
TCNICAS Enfoque positivista/ cuantitativo Encuesta Censo Medicin directa Enfoque interpretativo/cualitativo Observacin estructurada Entrevista en profundidad o semiestructurada Grupo de discusin Anlisis documental Enfoque participativo Talleres Anlisis de acontecimientos crticos Matrices de clasificacin o puntuacin Diagramas de flujos
52
4.5. Resumen del captulo
La fase de diseo y planificacin supone una serie de tareas clave para el proceso evaluativo. Esta fase se inicia con la definicin de la motivacin para evaluar, conocer el por qu y para qu se quiere evaluar, estos motivos dependern fundamentalmente de la organizacin que encarga la evaluacin y del nmero de stakeholders implicados y pueden ser, desde apoyar la toma de decisiones, promover la participacin, mejorar la gestin hasta corregir desviaciones, disear nuevas intervenciones, etc. Dentro de esta misma fase se ha realizar un anlisis de la evaluabilidad, teniendo en cuenta aspectos como la calidad de la planificacin, la existencia de la informacin necesaria en cantidad y calidad suficiente y la capacidad de gestin de la institucin u organizacin en relacin con la evaluacin. De forma paralela, se debe constituir un Comit de Seguimiento encargado de plantear los Trminos de Referencia que recogen las principales caractersticas de la evaluacin a ejecutar- e ir revisando y dando el visto bueno a las diferentes fases de la evaluacin. Seguidamente, se procede a la delimitacin del evaluando y su contexto, esto contribuir a comprender mejor los contenidos clave del programa, plantear preguntas de investigacin ms precisas, comprender e interpretar mejor la informacin obtenida, adecuar las recomendaciones y dirigirse de mejor forma a los agentes interesados. Posteriormente, se han de elaborar y definir los criterios y preguntas de evaluacin atendiendo a las necesidades informativas de los stakeholders. Esto se puede realizar a travs de dos mitologas: de las preguntas a los criterios, identificando los stakeholders principales, obteniendo de ellos las preguntas en funcin de sus necesidades informativas, seleccionando las preguntas ms adecuadas y agrupndolas en criterios de evaluacin; de los criterios a las preguntas, seleccionando criterios estndar de evaluacin, definindolos para el caso del evaluando concreto y desarrollando desde ellos las preguntas. La seleccin de criterios y preguntas se realiza mediante un proceso de priorizacin segn su grado de influencia y su grado de incertidumbre. Por ltimo, se realiza el diseo metodolgico de la evaluacin en el que se define cul es el mejor mtodo para recopilar y analizar la informacin requerida, el enfoque metodolgico y las tcnicas necesarias para utilizar. Sin bien, es cada vez ms habitual el uso de la triangulacin metodolgica o la combinacin de tcnicas. De forma paralela, se elabora la matriz de evaluacin, donde quedan operacionalizados todos los criterios y preguntas de evaluacin.
53
CAPTULO 5. EJECUCIN DE LA EVALUACIN
5.1. Cierre del plan de trabajo Una vez definido el diseo de la evaluacin se debe cerrar el plan de trabajo que ha de guiar el proceso evaluativo. En este punto, se trata ms de cuestiones logsticas que de contenido pero que son clave para un buen desarrollo de la evaluacin. Es el momento de coordinar entre el equipo que encarga la evaluacin y el equipo evaluador todos los pasos a seguir para la recopilacin de la informacin acordada y la entrega del informe de evaluacin. Puesto que los Trminos de Referencia pueden haber experimentado algunos cambios con el diseo de la evaluacin, el plan de trabajo definitivo ha de incluir aquellas transformaciones que ha trado consigo el diseo metodolgico. Se aconseja que estas modificaciones sean negociadas con los diferentes stakeholders considerando sus posibles efectos y de cara a potenciar la apropiacin de los resultados de la evaluacin. En estos momentos, tambin resulta oportuna la presentacin y la revisin con los diferentes agentes implicados de la metodologa y de las tcnicas a aplicar. Se debe valorar la adecuacin de las tcnicas de recopilacin y anlisis de la informacin para garantizar la exactitud, validez y fiabilidad de los resultados, en funcin de las preguntas y criterios de evaluacin establecidos (Gonzlez Mancebo y Osuna Llaneza, 2007: 82). Igualmente, se ha de acordar en qu modo se espera que participen los diferentes agentes implicados en los siguientes pasos del proceso evaluativo. De forma paralela, es fundamental establecer los canales de comunicacin y los mecanismos de coordinacin entre la organizacin que encarga la evaluacin y el equipo evaluador. En concreto, es preciso que se defina quin o quines van a ser la personas responsables de la comunicacin y la coordinacin para temas tales como la organizacin de la agenda para el trabajo de campo, el envo del borrador del informe de evaluacin, entre otros. Clave tambin para el desarrollo de la evaluacin resulta especificar cul es el cronograma de trabajo atendiendo a tres fases diferenciadas: el estudio de gabinete, el desarrollo del trabajo de campo y la elaboracin del informe de evaluacin. En ste se ha de indicar cul va a ser su duracin estimada y la fecha de entrega de los productos acordados.
54
PLAN DE TRABAJO Todo plan de trabajo ha de especificar los siguientes aspectos: Diseo metodolgico seleccionado, indicando criterios y preguntas de evaluacin as como las tcnicas de recogida de informacin. Nivel y modo de participacin de los diferentes stakeholders en el proceso evaluativo. Canales de comunicacin entre la organizacin que encarga la evaluacin y el equipo de evaluacin, especificando las personas de referencia. Mecanismos de coordinacin entre la organizacin que encarga y el equipo de evaluacin, Cronograma, que detalle la duracin aproximada del trabajo de gabinete, el desarrollo del trabajo de campo y la elaboracin del informe. Los diferentes productos del proceso evaluativo.
Fuente: Elaboracin propia.
5.2. Desarrollo del trabajo de campo De forma previa o paralela al desarrollo del trabajo de campo, se llevar a cabo el estudio de gabinete que consiste en un anlisis pormenorizado, por parte del equipo evaluador, de toda la informacin disponible sobre la intervencin con carcter preliminar (Gonzlez Mancebo y Osuna Llaneza, 2007: 85). En el momento concreto del desarrollo del trabajo de campo, por su parte, la actividad se centrar en la recopilacin de la informacin sobre los criterios y preguntas de evaluacin seleccionados. Para ello, el equipo entrar en contacto con los diferentes informantes clave para recoger, directamente, su percepcin sobre la intervencin a evaluar. Los modos de entrar en contacto con los distintos stakeholders son variados y debern contar con el apoyo de la entidad que encarga la evaluacin que har de puente entre stos y el equipo de evaluacin. En trminos generales, el trabajo de campo suele comenzar con el establecimiento de contactos y conversaciones preliminares, tanto con las autoridades como con los principales representantes de los grupos destinatarios, para intercambiar puntos de vista y desbloquear posibles dificultades y obstculos en la realizacin de los trabajos (lvarez Rojero et al., 2006: 36 y 37). Posteriormente, se procede a la aplicacin de las diferentes tcnicas de recopilacin de informacin diseadas (encuestas, entrevistas talleres). En todos los casos, el equipo de evaluacin ha de ser consciente de la disponibilidad horaria de los agentes implicados as como mostrar sensibilidad a las posibles diferencias culturales para adecuar las actividades de recogida de informacin a las caractersticas especficas de la poblacin objetivo. El desarrollo adecuado del trabajo de campo resulta fundamental para todo el proceso evaluativo en tanto que es la fase de recogida directa de informacin, insumo principal para la elaboracin del informe de evaluacin. Finalizado el trabajo
55

de campo, se realiza una breve y preliminar presentacin de resultados a los diferentes stakeholders.
ALGUNAS RECOMENDACIONES SOBRE EL TRABAJO DE CAMPO A continuacin se exponen algunas recomendaciones que han de tenerse en cuenta en el momento del desarrollo del trabajo de campo: Todas las partes implicadas deben tener la oportunidad de expresarse. Las inspecciones y visitas sobre el terreno deben cubrir una parte representativa del trabajo del proyecto. Antes de disolverse o finalizarse el trabajo de campo debera llegarse a un acuerdo en relacin a las principales conclusiones y recomendaciones tras esa fase. Cualesquiera puntos de desacuerdo deben ser descritos explcitamente. Fuente: Elaboracin a partir de NORAD, 1997.
5.3. Sistematizacin y anlisis de la informacin La sistematizacin y el anlisis deben prepararse desde que se est recogiendo la informacin, teniendo muy claro qu tipo de informacin se quiere recoger en funcin del diseo de la evaluacin.
Ambos momentos recogida, y sistematizacin y anlisis- estn estrechamente vinculados y condicionados por la matriz y por los criterios de evaluacin y se orientan a dar respuesta a las preguntas de evaluacin. No se debe olvidar que una de las finalidades de la evaluacin es generar conclusiones plausibles a partir de la informacin recogida, para responder a las necesidades de las personas u organizaciones que demandan la evaluacin.
56
La informacin puede clasificarse de diversas maneras (MAE - SECIPI- AECI, 1998):: Segn las fuentes de la que proviene: i) primaria, generada especficamente por la propia evaluacin; ii) secundaria, que surge de fuentes documentales externas a la evaluacin.
Segn la manera en que es expresada: i) cuantitativa, representable mediante una expresin numrica; ii) cualitativa, descripciones de actividades, procesos o relaciones expresadas con palabras.
La primera clasificacin remite a la cuestin de las fuentes de informacin. En el mejor de los casos, si la decisin de realizar la evaluacin fue tomada en el momento del diseo de la intervencin o si el sistema de seguimiento funcion adecuadamente, los evaluadores contarn con series de datos secundarios producidos por el proyecto pero no por la evaluacin- sumamente relevantes y razonablemente fiables. En el caso de que esto no sea as, ser imprescindible recurrir a otras fuentes secundarias: estadsticas de la comunidad recopiladas por el gobierno central o local, estudios provenientes de mbitos acadmicos o incluso periodsticos, datos proporcionados por otras agencias donantes o que, de forma dispersa, haya tambin generado el proyecto. La segunda clasificacin hace alusin a las diferentes herramientas para recopilar y analizar la informacin que ser utilizada durante la evaluacin. Tras la recopilacin de la informacin, lgicamente se debe proceder al anlisis de la misma. La informacin cualitativa suele tratarse a travs de la sistematizacin de la informacin en categoras de anlisis. Dentro de las herramientas para el anlisis de la informacin cuantitativa, las ms usuales provienen del campo de la estadstica, ya que pueden proporcionarnos informacin sobre relaciones entre variables que no son visibles a travs de anlisis lineales. Dentro de las herramientas para la sistematizacin de la informacin cuantitativa, tambin han adquirido especial relevancia aquellas que proceden del campo de la economa. Entre ellas es posible destacar el Anlisis Coste-Beneficio, el Anlisis Coste-Efectividad y el Anlisis Coste-Utilidad (MAE-SECIPI-AECI, 1998). En cualquier caso, esto no quiere decir que se deban excluir otros tipos de anlisis en la evaluacin, para evitar visiones sesgadas de la realidad. En general, la evaluacin de cualquier proyecto de intervencin social requerir la obtencin de informacin tanto cuantitativa como cualitativa, aunque la proporcin de una y otra variar en funcin del objetivo de la intervencin, de la participacin de las personas beneficiarias y de las caractersticas principales de sus productos.
57

5.4. Elaboracin del borrador del informe El informe de evaluacin es el producto documental final de los trabajos de evaluacin donde se recogen los resultados de todo el proceso. Su elaboracin correr a cargo del equipo evaluador con la colaboracin de los agentes crticos participantes en su desarrollo. El contenido del informe deber tener una naturaleza operativa, orientada hacia la accin y hacia el fortalecimiento de la toma de decisiones. Antes de elaborar el informe final, es conveniente y recomendable elaborar un borrador como paso previo a la redaccin del informe final de evaluacin. Contar con este borrador permite al equipo tcnico: Disponer de las apreciaciones y valoraciones de la organizacin o de las personas destinatarias de la evaluacin. Preparar a los agentes en caso de que los resultados encontrados no sean muy alentadores. Favorecer la aceptacin de las recomendaciones y, por tanto, su incorporacin efectiva. Agilizar la apropiacin de los aprendizajes entre la poblacin destinataria, sus entidades e instituciones.
A partir de este borrador, y una vez que el equipo tcnico que realiza la evaluacin haya recibido las observaciones de la organizacin o de las personas destinatarias de la evaluacin, debe redactarse el informe final de evaluacin. En el siguiente captulo se indican las principales caractersticas y componentes de un informe de evaluacin.
5.5 Resumen del captulo Esta fase de ejecucin de la evaluacin consta de una serie de tareas que se inicia con el cierre del plan de trabajo, donde se procurarn atender los ltimos detalles tcnicos del trabajo de campo y las cuestiones logsticas que plantee, as como la revisin del plan de trabajo con los diferentes agentes implicados y con la organizacin que encarga la evaluacin, valorando la adecuacin de las tcnicas y la implicacin stos en la recogida de informacin. El plan de trabajo ha de especificar el diseo metodolgico, la participacin de los stakeholders, los canales de comunicacin con la organizacin que encarga la evaluacin, los mecanismos de coordinacin, el cronograma y los diferentes productos del proceso evaluativo. Otra tarea de esta fase la componen, por un lado, el estudio de gabinete que es un anlisis pormenorizado de toda la informacin disponible sobre el programa o proyecto de intervencin, y, por otro lado, el desarrollo del trabajo de campo o la recogida de informacin. Seguidamente, se procedera a la sistematizacin y anlisis de los datos, siempre tratando de dar respuestas a las preguntas de evaluacin planteadas. Por ltimo, se elabora un borrador del informe que ser contrastado con los agentes implicados.
58
CAPTULO 6. DIFUSIN Y USO DE LA EVALUACIN

6.1. Elaboracin del informe final El informe final de evaluacin es una oportunidad tanto para ofrecer una visin integral de los resultados y del proceso a las personas y las entidades implicadas en el proyecto, como para revisar conjuntamente los aprendizajes adquiridos y los retos pendientes. La forma en la que el equipo evaluador presente su informe, tanto en su formato escrito como a travs de presentaciones orales, va a determinar la capacidad de comprensin del mismo por parte de los agentes participantes. Tambin conviene tener presentes las siguientes premisas durante el diseo del informe: 1. Tener en cuenta el contexto especfico de la evaluacin. 2. Identificar a quines va destinada, quin puede beneficiarse de la evaluacin, e implicarles en el proceso de la evaluacin hasta el momento de entregar el informe final. 3. Mantener un fuerte y frecuente contacto y aportar resultados intermedios a lo largo del proceso de evaluacin. 4. Ajustar los informes a las necesidades de las personas destinatarias, tanto en los tiempos de exposicin como en el tipo de formato escrito; contemplar la realizacin de informes cortos y resmenes, presentaciones orales y grficas y favorecer oportunidades para la interaccin. 5. Presentar ilustraciones reales y concretas de los hallazgos, aprendizajes...tanto positivos como negativos. 6. Presentar los resultados con una temporalidad adecuada a la variedad de personas destinatarias. 7. Usar un lenguaje simple y claro. El equipo que est realizando la evaluacin debe recoger en un informe final de evaluacin los hallazgos, conclusiones, recomendaciones y lecciones aprendidas durante el desarrollo del proyecto.
59
En la siguiente tabla se presenta una definicin de estos cuatro niveles de resultados de la evaluacin: NIVELES DE RESULTADOS DE LA EVALUACIN Hallazgos / evidencias Afirmaciones basadas registrados sobre la evaluada. en hechos intervencin
Conclusiones
Factores de xito y fracaso de la intervencin evaluada apoyados en los datos recopilados y en su anlisis e interpretacin mediante una cadena transparente de enunciados. Propuestas que hayan suscitado las conclusiones de la evaluacin con la finalidad de mejorar la calidad de la intervencin evaluada mediante la consolidacin de sus fortalezas y la reduccin de las debilidades. Generalizaciones basadas en la experiencia concreta de evaluacin aplicables a situaciones ms amplias, destacando puntos fuertes o dbiles en la preparacin, el diseo y la puesta en prctica que afectan al desempeo, los resultados y el impacto de la intervencin, y que identifiquen buenas o malas prcticas.
Recomendaciones
Lecciones aprendidas
Fuente: Gonzlez Mancebo y Osuna Llaneza, 2007. Como puede verse en la tabla, cada uno de los niveles de resultados presentados conlleva un grado de reflexin ms profundo y basado en el nivel anterior, configurando una secuencia de razonamiento y enjuiciamiento sistemtico. Con los resultados de este proceso escalonado, e identificando de forma clara y diferenciada los hallazgos, las conclusiones, las recomendaciones y las lecciones aprendidas, el equipo de evaluacin del proyecto debe redactar el informe de evaluacin.
60
SOBRE LAS RECOMENDACIONES Hasta la dcada de los 60, la evaluacin de programas y polticas se centraba exclusivamente en presentar resultados y conclusiones. El trabajo fundamental de la evaluacin consista en la medicin y descripcin de los datos. Es a partir de finales de esta dcada cuando la evaluacin comienza a ir unida con el enjuiciamiento y las evaluaciones comienzan a emitir recomendaciones. Stake, Scriven y Stufflebeam fueron, en estas fechas, los primeros en considerar los juicios de valor como elemento fundamental dentro de la evaluacin. Ellos sostenan que, adems de proporcionar un anlisis descriptivo, la evaluacin tena que presentar lneas de mejora a travs de recomendaciones. Aparte de la evaluacin como mecanismo de rendimiento de cuentas, se comprende la evaluacin como un instrumento para el aprendizaje. Las recomendaciones, en este sentido, se consideraron fundamentales para impulsar los procesos de aprendizaje y retroalimentacin. Fuente: lvarez Rojero et al., 2006
RECOMENDACIONES SOBRE LAS RECOMENDACIONES Las recomendaciones deben estar apoyadas en los hallazgos de la evaluacin. El tipo de recomendaciones que van a aparecer en un informe final es materia de negociacin con los implicados (stakeholders) de la evaluacin. Las listas largas e indiscriminadas de recomendaciones difuminan el foco de atencin y disminuyen el poder de las recomendaciones cruciales. Deben ser realistas, se deben enfocar hacia acciones bajo el control de los destinatarios de la evaluacin. Al escribirlas hay que ejercitar la sensibilidad poltica. Se recomienda ponerse en la piel de los destinatarios y trabajar con ellos de forma anticipada las implicaciones de cada recomendacin. Poner especial cuidado en su redaccin, ya que se pueden diluir en un lenguaje vago y obtuso. Dedicarle suficiente tiempo a su redaccin para trabajarlas con los destinatarios y comprobar su comprensin y sentido prctico. Desarrollar estrategias para que se tomen en serio. Se sugiere que el equipo evaluador ayude a las personas que toman las decisiones sobre las recomendaciones (sesiones de trabajo que asignen responsabilidades de seguimiento y fechas tope) para su puesta en prctica. Fuente: Patton, Torres, Preskill y Piontek, citado en Bustelo, M. (2001)
61

Por otra parte, la estructura de este informe de evaluacin ha de coincidir con el plan de trabajo planteado al inicio del proyecto, con los trminos de referencia de la evaluacin y debe estar consensuado entre todas las partes participantes en el proyecto (especialmente las que demandan los resultados de la misma). Por tanto, las principales tareas que debe realizar el equipo evaluador para la elaboracin del informe final, son las siguientes: Redaccin y entrega del Informe borrador de evaluacin segn especificaciones previas de estructura y contenidos. Presentacin y debate del Informe borrador de evaluacin con actores implicados. Incorporacin de los insumos que se consideren pertinentes. Elaboracin y edicin del informe final de evaluacin.
ESTILO Y PROCEDIMIENTO DE TRABAJO PARA LA PREPARACIN DE INFORMES
ESTILO -
PROCEDIMIENTO DE TRABAJO
Evitar la utilizacin de un 1. Con anterioridad al diseo del ndice lenguaje excesivamente tcnico del informe ser importante la en el cuerpo principal del informe. identificacin de documentacin Explicar los trminos de forma existente sobre la intervencin o precisa y sencilla (en el texto o en intervenciones que se pretende notas a pie de pgina). evaluar. La cantidad y calidad de la documentacin existente No utilizar prrafos condicionar la profundidad de la excesivamente largos y evaluacin y, por tanto, el alcance engorrosos, as como palabras y del informe. conceptos ambiguos o vagos. 2. La redaccin del informe debe No abundar en crticas poco comenzar en las primeras fases de constructivas o centradas en ejecucin de la evaluacin, sobre un nombres concretos. Recordar que ndice previamente discutido con la entidad contratante durante la lo que se evala son las intervenciones y no las personas. preparacin del plan de trabajo. De este modo podran quedar acotadas Asegurarse de que todas las siglas y las exigencias del cliente sobre su acrnimos estn desarrollados la alcance. primera vez que aparecen en el texto, y que las referencias a 3. En la misma lnea, puede ser recomendable consensuar los instrumentos o mecanismos propios puedan ser comprendidas por modelos de cuestionarios y cualquier lector. guiones de entrevistas, documentos base de los contactos Las notas deben ser incluidas al pie con informantes, gestores y de cada pgina y numeradas usuarios/as. correlativamente desde el primer captulo. Su contenido debe servir 4. Puede ser pertinente contar, de para ampliar un concepto forma preliminar a la realizacin de desarrollado en el texto o para encuestas, con los diseos de
62

ejemplificar un comentario realizado, pero no para introducir ideas nuevas. soportes informatizados para el tratamiento de la informacin. Se pretende limitar las consultas a niveles manejables de informacin, fcilmente abordables en informes como los comentados.
Incluir en el texto los grficos y tablas necesarios para el desarrollo de la argumentacin. Si no son imprescindibles, es conveniente que formen parte de los 5. Se recomienda la presentacin de informes borrador durante la anexos tcnicos. Su numeracin ser ejecucin de la evaluacin. En correlativa, y todos tienen que este sentido, ser importante que las poseer un ttulo descriptivo. Es conclusiones que se van alcanzando recomendable evitar la repeticin en sean discutidas con los/as agentes en el texto de las conclusiones que se la intervencin analizada. obtienen directamente de la observacin de las figuras. 6. Para que la sugerencia anterior pueda tener una aplicacin operativa Las recomendaciones constituyen es recomendable que los un documento distinto al informe primeros borradores de informe principal, por lo que en su redaccin se redacten en el pas receptor, deben evitarse las referencias a ste. superando, en cierta medida, el Recprocamente, en el texto del esquema tradicional de redaccin en informe no se sealar la existencia el pas de origen. Los/as de recomendaciones. Todo aquello participantes en una intervencin que surja como conclusin ser suelen facilitar opiniones sobre la incluido en el captulo de enseanzas forma de presentar las conclusiones. obtenidas. La utilizacin de bibliografa 7. Resulta idneo el trabajo en equipo, no slo en lo que se refiere adicional a los documentos al equipo tcnico externo, sino en generados por la intervencin es cuanto a la participacin de vlida y, en muchos casos, responsables y gestores de la imprescindible. En las referencias cooperacin. Se sugiere que en el bibliogrficas deben incluirse los informe final se reflejen las datos completos de la obra de opiniones divergentes que se referencia (nombres completos de los hayan detectado y su autores, fecha de edicin, ttulo y justificacin. subttulo, editorial o revista, volumen, tomo o nmero, si corresponde, ciudad de edicin y pginas).
Fuente: MAE-SECIPI-AECI, 1998.
63
A modo de orientacin, se proponen una serie de contenidos mnimos que debe contener un informe de evaluacin: Incorpora la esencia de la informacin contenida en el informe con nfasis particular en los principales resultados, conclusiones, recomendaciones y lecciones aprendidas. Presenta el propsito de la evaluacin, las preguntas y los resultados principales. Describe la intervencin evaluada, indicando sus objetivos y su estructura lgica de planificacin, breve historia y antecedentes, organizacin y gestin, actores implicados y contexto social, econmico, poltico e institucional en el que se desarrolla la intervencin. Da respuesta a las cuestiones y criterios de evaluacin establecidos previamente.
Resumen ejecutivo de la evaluacin
Introduccin
Anlisis de la informacin recopilada Resultados de la evaluacin
Presenta las evidencias reveladas en relacin con las preguntas de evaluacin enunciadas y las interpretaciones formuladas sobre dicha evidencia. Conclusiones de la Est en relacin con los criterios de evaluacin evaluacin establecidos y los estndares de calidad. Se desprenden de las conclusiones generales, identifican Lecciones aprendidas buenas prcticas y pueden ser extrapoladas a otros contextos ms amplios. Derivadas de la evaluacin se orientan a la mejora de la intervencin evaluada a travs de indicaciones Recomendaciones especficas que mejoren el diseo, aplicacin, procedimientos de gestin y/o resultados e impactos de las actuaciones. Se deben incluir los trminos de referencia del proyecto, el detalle de la metodologa propuesta, las herramientas Anexos de recopilacin de informacin aplicadas, entre otros elementos que puedan facilitar la comprensin del proceso evaluativo. Fuente: Elaboracin propia.
64
6.2. Difusin y uso del informe final Una vez presentados, por parte del equipo evaluador, los resultados de la evaluacin en el informe final, y que ste ha sido aprobado por el Comit de Seguimiento, entra en accin un nuevo objetivo que consiste en que los resultados de la evaluacin se utilicen correctamente. Este objetivo es de los ms complejos a los que se va a enfrentar el equipo evaluador a lo largo de todo el proceso vinculado al proyecto de cooperacin. La comunicacin de resultados y la incorporacin de las lecciones de la experiencia cierra el ciclo de la evaluacin a travs de actuaciones dirigidas a asegurar que los resultados sean conocidos por la totalidad de agentes implicados, que se satisfagan las necesidades y demandas que manifestaron stos en la fase de diseo de la evaluacin, y que hagan posible la efectividad de la intervencin.
...la comunicacin de los resultados debe estar planificada desde el principio e incluida a lo largo de todo el proceso a travs de la retroalimentacin continua (presentacin de avances, borradores) y de la incorporacin de sus aportaciones o insumos.
Hay tres aspectos fundamentales que deben ser tenidos en cuenta para cerciorarse del buen uso de los resultados de la evaluacin (Gonzlez Mancebo y Osuna Llaneza, 2007): La correspondencia con las demandas de informacin planteadas. La calidad de la estrategia de comunicacin y del mensaje. La utilidad de las recomendaciones de la evaluacin.
En cuanto al primero, la correspondencia con las demandas de informacin planteadas, implica que para considerar una evaluacin til debe al menos responder a las cuestiones que le dieron origen, satisfaciendo las motivaciones y propsitos de quienes la encargaron y atendiendo a las necesidades de informacin de cuantos participaron en el proceso. La calidad de la estrategia de comunicacin y del mensaje es la condicin necesaria para que se utilicen los resultados de la evaluacin y supone que se debe poner en marcha una estrategia de comunicacin de resultados que sea comprensible, que tenga en cuenta la especificidad de cada persona o grupo destinatario, y que emplee canales de comunicacin diferenciados en funcin de la misma. La oportunidad de las recomendaciones de la evaluacin significa que el equipo evaluador podr facilitar la incorporacin de las recomendaciones en la medida en que logre que stas se propongan en el momento adecuado, de forma concreta y de manera que su aplicacin sea viable.
65
Para garantizar que los resultados sean de utilidad, durante la fase de diseo de la evaluacin se deben clasificar a las distintas personas y grupos que intervienen en el proceso en funcin del papel que juegan y de sus demandas de informacin, hacindoles partcipes de la definicin de los objetivos de la evaluacin. Asimismo, se deban haber identificado sus expectativas frente a la evaluacin, para facilitar la elaboracin de una ptima estrategia de difusin de resultados....la comunicacin de los resultados debe estar planificada desde el principio e incluida a lo largo de todo el proceso a travs de la retroalimentacin continua (presentacin de avances, borradores) y de la incorporacin de sus aportaciones o insumos. Los problemas ms usuales en la elaboracin y difusin del informe suelen ser: La complejidad poltica y organizativa del contexto social donde se realiza la evaluacin. La confusin sobre las necesidades y expectativas de informacin de la poblacin destinataria. La falta de respuesta ante los esfuerzos por comunicar e informar. El cambio de cliente o destinatario durante el proceso evaluador. La resistencia ante los hallazgos negativos. La interpretacin errnea de los hallazgos. La falta de tiempo.
66
DEMANDAS DE INFORMACIN POR AGENTE Y MECANISMOS DE COMUNICACIN RECOMENDADOS
GRUPO DE ACTORES DECISORES POLTICOS
UTILIDAD DE LA EVALUACIN Facilita la toma de decisiones Legitima las intervenciones. Mejoras en la planificacin. Identificacin de buenas prcticas. Desarrolla capacidades. Facilita la toma de decisiones de gestin. Permite corregir desviaciones. Mejora la coordinacin y la participacin. Transparencia. Facilita la toma de decisiones sobre asignacin de recursos. Promocin de su participacin.
MECANISMOS DE COMUNICACIN Resmenes ejecutivos. Presentaciones. Informe de evaluacin. Presentaciones. Bases de datos.
PLANIFICADORES
Presentaciones internas. Informe de evaluacin. Talleres participativos.
GESTORES
Resmenes ejecutivos. Materiales audiovisuales. Presentaciones. Informe de evaluacin. Presentaciones. Resumen ejecutivo del informe. Presentaciones. Internet y bases de datos. Folletos divulgativos.
ENTIDADES FINANCIADORAS
SOCIOS LOCALES
Desarrollo de capacidades. Coordinacin de la ayuda. Transferencia de experiencias. Complementariedad de actuaciones.
OTRAS AGENCIAS DONANTES
BENEFICIARIOS
Promocin de su participacin. Desarrollo de capacidades.
Presentaciones (talleres). Materiales audiovisuales. Materiales audiovisuales. Presentaciones pblicas. Folletos divulgativos.
Transparencia. SOCIEDAD CIVIL Conocimiento de los resultados de las polticas de cooperacin.
Fuente: Gonzlez Mancebo y Osuna LLaneza, 2007.
67
6.3 Resumen del captulo El informe final de la evaluacin debe seguir una secuencia de razonamiento y enjuiciamiento sistemtico en la que se manifiesten los hallazgos obtenidos en el proceso evaluativo, los factores de xito y fracaso de la intervencin a la luz del anlisis de la informacin recopilada, las recomendaciones o propuestas para la mejora de la intervencin y una serie de lecciones aprendidas a travs de la evaluacin que puedan ser, en cierta medida, generalizables. Una vez confeccionado un borrador de informe ha de ser presentado y debatido con los diferentes stakeholders, incorporando as las aportaciones que se consideren pertinentes, y por ltimo se elabora el informe final y se edita. Igualmente es recomendable seguir el siguiente formato en la estructura del informe: Resumen ejecutivo, introduccin, anlisis de la informacin recopilada, resultados de la evaluacin, conclusiones de la evaluacin, lecciones aprendidas, recomendaciones y anexos. Por ltimo, la evaluacin debe cumplir con un ltimo objetivo: que los resultados obtenidos sean utilizados de forma correcta, algo que no es sencillo de hacer. Para ello, se ha de procurar que los resultados atiendan las demandas informativas planteadas, que las estrategias de comunicacin sean de calidad y que las recomendaciones realizadas en el informe sean tiles.
68
RESUMEN
En tanto que tiene una finalidad prctica, orientada al uso de sus resultados, la evaluacin ha de considerar los distintos intereses o necesidades informativas de los diferentes agentes implicados o stakeholders. Ahora bien, la evaluacin puede implicar en diverso grado a estos potenciando un modelo evaluativo ms o menos participativo.
En el proceso de evaluacin pueden distinguirse tres grandes fases o etapas: diseo y planificacin de la evaluacin; ejecucin de la evaluacin; y difusin y uso de la evaluacin. Un correcto desarrollo de la evaluacin depende de la adecuada interconexin entre las diferentes fases as como de la comunicacin y coordinacin continua entre la organizacin que encarga la evaluacin y el equipo de evaluacin.
En concreto, en la fase de diseo y planificacin de la evaluacin resulta fundamental delimitar la motivacin para evaluar; profundizar en las caractersticas del evaluando y su contexto; establecer criterios y preguntas de evaluacin; y avanzar en el diseo metodolgico.
Por su parte, la fase de ejecucin constituye el momento central de cierre del plan de trabajo, desarrollo del trabajo de campo, anlisis de la informacin y elaboracin del borrador del informe de evaluacin.
La tercera fase, de difusin y uso de la evaluacin, ha de prestar especial atencin a la seleccin de unos adecuados canales y medios de comunicacin para llegar a todos los stakeholders, al tiempo que debe potenciar la utilizacin de las recomendaciones del informe de evaluacin.
69
BIBLIOGRAFA
LVAREZ ROJERO, Cristina, ESPINOSA FAJARDO, Julia y FERNNDEZ LPEZ, Javier. Manual de evaluacin de programas y proyectos de desarrollo. Universitat Oberta de Catalunya (UOC) y Cruz Roja Espaola. 2006. BUSTELO RUESTA, Mara. La evaluacin de las polticas pblicas de igualdad de gnero en los gobiernos central y autonmicos en Espaa: 1995-1999. UCM. 2001. Tesis doctoral indita. Disponible en: http://www.ucm.es/BUCM/tesis/cps/ucm-t25225.pdf ESPINOSA FAJARDO, Julia. Tcnicas de recopilacin y anlisis de la informacin. Ponencia para el Curso Evaluacin de Programas y Proyectos de Cooperacin al Desarrollo. Sevilla. Universidad Internacional de Andaluca. 2008b. ESPINOSA FAJARDO, Julia. La perspectiva de gnero en la evaluacin de programas de desarrollo internacional en Evaluacin en la cooperacin para el desarrollo. Madrid. Cuaderno 33 de Escuela Diplomtica. 2007. ESPINOSA FAJARDO, Julia. Evaluacin de programas y proyectos en La perspectiva de gnero en la evaluacin de programas de desarrollo internacional. Tesina doctoral indita. Madrid. Universidad Complutense de Madrid. 2006. GALLEGO, Ignacio. El enfoque del monitoreo y la evaluacin participativa (MEP): batera de herramientas metodolgicas en Revista Espaola de Desarrollo y Cooperacin, n 4. Madrid. Instituto Universitario de Desarrollo y Cooperacin. 1999. GEILFUS, F. 80 herramientas para el desarrollo participativo: diagnstico, planificacin y monitoreo. San Salvador. 1997. GONZLEZ MANCEBO, Jos Antonio y OSUNA LLANEZA, Jos Luis (Coord.) Manual de Gestin de Evaluaciones de la Cooperacin Espaola. Aprender para mejorar. Madrid. Ministerio de Trabajo y Asuntos Sociales y Universidad de Sevilla. 2007. Disponible en: http://www.maec.es/es/MenuPpal/Cooperacion%20Internacional/Publicaciones %20y%20documentacin/Documents/Manualdegestindeevaluaciones.pdf GUBA, Egon G. and LINCOLN, Yvonne S. Fourth Generation Evaluation. London. Sage. 1989. MAE-SECIPI-AECI. Metodologa de evaluacin de la Cooperacin Espaola. Madrid. Ministerio de Asuntos Exteriores. 1998. Disponible en: http://www.pronino.pe/files/documents/centro_documentacion/metodologia1.p df MAE-SECIPI-AECI. Metodologa de evaluacin de la Cooperacin Espaola II. Madrid. Ministerio de Asuntos Exteriores. 2001. Disponible en: http://www.oecd.org/dataoecd/54/34/35639035.pdf NIRENBERG, O., BRAWERMAN, J. y RUIZ, V. Evaluar para la transformacin. Innovaciones en la evaluacin de programas y proyectos sociales. Barcelona. Editorial Paids. 2003. NORAD. Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Madrid. Instituto Universitario de Cooperacin y Desarrollo Universidad Complutense de Madrid y CEDEAL. 1997. OSUNA, Jos Luis, MRQUEZ, Carolina, CIRERA, Ana y VLEZ, Carmen. Gua para la evaluacin de polticas pblicas. Sevilla. Instituto de Desarrollo Regional.
70

2000. Disponible en: http://www.sociedadevaluacion.org/website/index.php?q=node/202 PATTON, M. Q. Practical Evaluation, Sage, Beverly Hills, C.A. 1982. ROCHE, C. Evaluacin del impacto para agencias de desarrollo. Aprendiendo a valorar el cambio. Cuadernos de Cooperacin, n 7. Madrid. Intermn Oxfam. 2004. STUFFLEBEAM, D.L. Evaluacin sistemtica: gua terica y prctica. Madrid. Ediciones Paids Ibrica, S.A. 1995. VIAS, Vernica y OCAMPO, Ada. Breve Gua. Conceptos clave de seguimiento y evaluacin de programas y proyectos. Lima. Preval y FIDA. 2004. Disponible en: http://www.preval.org/pagina.php?secCodigo=10&idioma=7 WEISS, Carol. Evaluation. Methods for Studing Programs and Policies. New Jersey. Prentice Hall. 1998.
71
LECTURAS RECOMENDADAS
GONZLEZ MANCEBO, Jos Antonio y OSUNA LLANEZA, Jos Luis (Coord.) Manual de Gestin de Evaluaciones de la Cooperacin Espaola. Aprender para mejorar. Madrid. Ministerio de Trabajo y Asuntos Sociales y Universidad de Sevilla. 2007. Disponible en: http://www.maec.es/es/MenuPpal/Cooperacion%20Internacional/Publicaciones %20y%20documentacin/Documents/Manualdegestindeevaluaciones.pdf VIAS, Vernica y OCAMPO, Ada. Breve Gua. Conceptos clave de seguimiento y evaluacin de programas y proyectos. Lima. Preval y FIDA. 2004. Disponible en: http://www.preval.org/pagina.php?secCodigo=10&idioma=7 ROCHE, C. Evaluacin del impacto para agencias de desarrollo. Aprendiendo a valorar el cambio. Cuadernos de Cooperacin, n 7. Madrid. Intermn Oxfam. 2004. REBOLLO, Enrique; FERNNDEZ-RAMREZ, Baltasar y CANTN, Pilar. Evaluacin de programas de intervencin social. Madrid. Sntesis. 2008.
72
PGINAS WEBS DE INTERS
Biblioteca virtual de evaluacin: http://www.policy-evaluation.org/ Centre Europen dExpertise en Evaluation (Eurval): http://www.c3e.fr/ Comisin Europea. Evaluacin de Impacto (Impact Assesment): http://ec.europa.eu/governance/impact/index_en.htm ELDIS: http://www.eldis.org/ Fuentes de metodologa de evaluacin social (ICAAP): http://gsociology.icaap.org/methods/ Grupo de evaluacin de Naciones Unidas: http://www.uneval.org/ PREVAL - Programa para el Fortalecimiento de la Capacidad Regional de Seguimiento y Evaluacin de los Proyectos FIDA para la Reduccin de la Pobreza rural en Amrica Latina y El Caribe: http://www.preval.org/pagina.php?secCodigo=10&idioma=7 Sociedad Europea de Evaluacin: http://www.europeanevaluation.org/ The Joint Committee on Standards for Educational Evaluation: http://www.wmich.edu/evalctr/jc/
73

Ceddet Documento 2

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Ceddet Documento 2

Загружено:

Авторское право:

Доступные форматы

Seguimiento y Evaluacin de Programas y Proyectos de Intervencin Social 2 edicin

MDULO 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

MDULO 2: EVALUACIN DE PROYECTOS

Agentes Poblacin beneficiaria

Diseo y planificacin de la evaluacin Ejecucin de la evaluacin Participativas El informe final de evaluacin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Captulo 1. INTRODUCCIN A LA EVALUACIN. CARACTARSTICAS ESPECFICAS Y TIPOS DE EVALUACIN

Qu es una evaluacin de un programa o proyecto de intervencin social?

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Las funciones y propsitos encubiertos de la evaluacin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

CDIGO TICO DE LA JOINT COMMITTEE ON STANDARDS

FOR EDUCATIONAL EVALUATION

Procedimientos prcticos. Viabilidad poltica. Coste-efectividad.

Fuente: Pgina web de la Joint Committee on Standards for Educational Evaluation.

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Cules son los distintos tipos de evaluacin que existen?

Segn su momento de realizacin

Evaluacin de objetivos o de diseo. Evaluacin del proceso. Evaluacin de resultados.

Segn el agente evaluador

Evaluacin externa. Evaluacin interna. Evaluacin mixta.

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Evaluacin previa o ex ante.

Segn su momento de realizacin

Evaluacin posterior o ex post.

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Evaluacin de objetivos o de diseo. Evaluacin del proceso.

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Segn el agente evaluador

Evaluacin interna. Evaluacin mixta.

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Referido la seleccin, recopilacin y anlisis de la informacin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

EVALUACIN Grupos y personas concretas Cliente, patrocinadores

RESULTADOS: PRODUCTOS Y EFECTOS ESPERADOS

Publicacin de resultados Aportacin a y reconocimiento de la comunidad cientfica

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

Mdulo 2. La Evaluacin de Proyectos

Seguimiento y Evaluacin de Programas y Proyectos de intervencin Social, 2 edicin

CAPTULO 2. AGENTES IMPLICADOS EN LA EVALUACIN. LOS STAKEHOLDERS

Mdulo 2. La Evaluacin de Proyectos