180

pOLTICAS PBLICAS
EL CASO DE LA EVALUACIN EN LA USAID

No deja de ser til examinar la evolucin que ha experimentado el proceso

de evaluacin en una institucin en particular. Para los fines del presente
captulo, la evaluacin que se lleva a cabo en la USAID servir para ilustrar
algunos de los problemas con los cuales se enfrenta la evaluacin de los
esfuerzos de asistencia para el desarrollo. El sistema de evaluacin que se
emplea en la USAID se ha transformado conjuntamente con las polticas
generales de la agencia. En los aos sesenta, la USAID centraba ms su atencin en los grandes proyectos de capital e infraestructura, por lo que las
tcnicas de evaluacin ms favorecidas eran aquellas que implicaban calcular las tasas de rendimiento financiero y econmico. Una vez que la USAID
comenz en la dcada de los setentas a concentrarse en actividades destinadas a satisfacer necesidades humanas bsicas, el concepto de un "marco
lgico" que orientara el diseo, la ejecucin y la evaluacin de proyectos
sustituy a las metodologas de evaluacin utilizadas anteriormente. Ellog[rame," tal como sena conocido, trataba de describir cada uno de los proyectos en funcin de sus objetivos, propsitos, resultados y aportes empleando indicadores objetivamente verificables para medir el progreso
(Rondinelli, 1987, p. 57). El uso de diseos de evaluacin cuasi experimentales para determinar el grado de progreso registrado en los niveles de vida
de las poblaciones beneficiarias result dificil de llevar a la prctica por la
incertidumbre y falta de control que existan en el medio. En vista de estas
dificultades, se han limitado los objetivos de la evaluacin exclusivamente
a proporcionar la informacin mnima indispensable para satisfacer las
necesidades burocrticas y no para resolver los problemas relativos a las polticas. Los requerimientos anuales de evaluacin se transformaron en un
ejercicio ftil, pues la mayorta de los informes sobre evaluaciones representaban apenas una comprobacin de los fondos gastados y no analizaban
suficientemente los efectos del programa.
Para los aos ochenta, los problemas que plantearon los esfuerzos de evaluacin realizados en el pasado se convirtieron en tema de discusin en el
seno de la USAID. Se redujeron los requerimientos en materia de informes
anuales y se prest mayor atencin a las nuevas tcnicas de evaluacin que se
ensayaban en otros campos. Se incentiv, ms no se exigi, la participacin
de las diversas panes en el proceso de evaluacin. Adems, se estableci en la
oficina de Washingtonde la USAID (uSAIDIW) el Centro para la InformaciD Y
Evaluacin del Desarrollo, con el propsito de reunir toda la informaciD
relativa a las evaluaciones de los efectos de los proyectos y de contribuir
orientar e informar a los evaluadores en las distintas oficinas y misiones
Fonna abreviada en ingWs de "marco l6p:o". [N.T.)

EVALUACiN DE LA ASISTENCIA PARA EL DESARROLLO

181

Este centro no posee potestad alguna para imponer cambios en el sistema

de evaluacin que se practica dentro de la USAID. Al mismo tiempo, la
USAlDIW transfiri ms responsabilidades a las misiones que el organismo
posee en los diferentes pases. entre las que cabe mencionar la tarea de llevar
a cabo las evaluaciones. Cada misin designa un funcionario de evaluacin
(con carcter rotatorio) cuya labor consiste en supervisar las actividades de
evaluacin que realiza la misin. Sin embargo. estos funcionarios podran no
contar con conocimiento especializado alguno en el campo de la evaluacin.
Los cambios que registran las leonas existentes acerca de la asistencia
para el desarrollo y las mejoras que se han introducido en numerosas metodologas de evaluacin han ejercido su influencia en la evaluacin que se
practica en la USAlD. Los resultados desalentadores que arrojaron los esfuerzos de desarrollo efectuados a nivel de proyecto y la complejidad abrumadora que caracteriza a los proyectos integrados se han traducido en una
mayor dependencia frente a la asistencia no destinada a proyectos.t Se han
introducido, en la evaluacin que se practica en la USAID, metodologas que
contemplan alternativas a los modelos experimentales o cuasi experimentales de evaluacin y que tratan de captar una imagen ms holfstica del
proceso de desarrollo. Asimismo. se ha promovido la utilizacin de tcnicas
de evaluacin. tales como discusiones en grupo especficos, pequeftas encuestas informales y evaluaciones previas rpidas. conjuntamente con tcnicas empleadas anteriormente. tales como entrevistas a informantes clave.
El grado en que se usan realmente estas metodologas alternas constituye
otro problema. En efecto, en una revisin que se efectuara de los informantes
de evaluacin producidos por la USAID, en los aI\os fiscales 1985 y 1986. se
demostr que slo 75% de los mismos apenas identificaban la metodologa
utilizada (Kean el al., 1988. p. 14). Para el momento en que se realiz la
revisin correspondiente a los aftos fiscales 1989 y 1990, el porcentajese
haba elevado a 87% aunque las secciones de la mayora de los informes
de evaluacin relativas a la metodologa no cumplan con las normas establecidas por el organismos (Hageboeck y Snyder, 1922, p. 28). Una revisin
realizada en 1989 de los aftos fiscales 1987 y 1988 examin la metodologas
especfficas y revel que slo se emplearon extensamente las entrevistas a
informantes clave y las visitas al lugar (Hopstoek el al., 1989, p. 43). La
revisin que se efectu m recientemente de las evaluaciones que la USAlD
ha llevado a cabo calific las mismas de acuerdo con la calidad de los mtodos utilizados y, de conformidad con la escala compuesta empleada, determin que 26% fueron "malas", 67% "suficientes" y 6% "buenas" (Hageboeck y Snyder, 1992, p. 17).
4 La .....stencia no cbtiDlda . ~
.-.v. ps
0I0rpn tanIo. Jos lCklnS pdWicna CGIDOIOI
, a 6a de cubrir
que le cIermm deI.juste estrueeuraI (LappulGl., 1981. p. 160).

cIMIM que

le

bd6&dt

182

POLTICAS PBLICAS

Las revisiones de las evaluaciones de la USAID tambin trataron de determinar el grado en el cual los informes sobre las evaluaciones reflejaban la
atencin que los proyectos y programas de asistencia prestaban a los problemas de la mujer en el proceso de desarrollo, y las repercusiones que
dichos proyectos y programas acarreaban para el medio ambiente, los cuales
la USAID y el Congreso han identificado como aspectos vitales. 5 En lo que
respecta a los proyectos que no se relacionaban especficamente con los
problemas la mujer en el proceso de desarrollo, 77% (AF, 1985-1986),67%
(AF, 1987-1988) y 74% (AF, 1989-1990) de las evaluaciones no identificaron
efecto alguno en la mujer (Kean el al., 1988-1967; Hopstock et al., 1989,
p. 39; Hageboeck y Snyder, 1992, p. 90). La evaluacin constituye la nica
manera posible de juzgar hasta dnde se cumpli con los requerimientos
especificados y, en este caso, los informes sobre las evaluaciones sealan
que, en realidad, los requerimientos no se abordan extensamente.
Un estudio ejecutado en 1988 en relacin con la utilizacin de los informes de evaluacin de repercusiones de la USAID/CDIE seal que, entre las
personas que reciben y leen los informes de la cma.Iautlzacn es bastante
elevada, tanto con fines conceptuales como instrumentales (Yin et al., 1988,
p. 53). No obstante, el estudio indic que existan dificultades para hacer
llegar los informes a personas que podan extraerle alguna utilidad (1988,
p. 55). Parte del problema relativo a la publicacin de los informes consiste
en identificar especficamente el pblico correcto al que estn dirigidos.
Otras instituciones de desarrollo, tales como la OCDE tambin han planteado
sus inquietudes acerca del proceso de difusin y han comenzado a institucionalizar sistemas automticos que permiten poner los resultados de la
evaluacin a la disposicin de una gama ms amplia de usuarios (OCDE,
1986, p. 59).
La gran dependencia frente a los contratistas representa tanto ventajas
como desventajas en el proceso de evaluacin. La evaluacin que llevan a
cabo contratistas externos implica un distanciamiento en relacin con el
proyecto en s, por lo que permite efectuar un anlisis imparcial de los
resultados y repercusiones, pero este tipo de evaluacin no genera necesariamente el tipo de informacin que resulta pertinente para las distintas
partes interesadas. Adems, los contratistas externos suelen carecer de un
conocimiento profundo acerca de la regin, y los grupos de evaluacin estn
conformados casi exclusivamente por expertos tcnicos. En muy raras-ceasienes se incluyen a .los metodologistas de la evaluacin en el equipo de
5 Slo se examinaron los problemas de la mujer en el desarrollo Yen el medc am~ien~ en
las tres revisiones. Otros asuntos abordados en la revisin correspondiente a loSanos fiscales
1985 y 1986 son IaslimitacloAes de ejecucin, Ias'repercusiones en el sector privado y la
8OIeDibiUded. Bn Iarevisi6la cielos'*"- 6scilJesl98'1y ,1988', telUWh6 el tema deJa capacitaciD.delos pu'dcipantes y_l. dos 6_ _ 1989 Y1990, lal'ViSintilJnbim~bti6 el
tema de la sostenibilidad. '. ..
". '
. .
, .:

EVALUACIN DE LA ASISTENCIA PARA EL DESARROLLO

183

contratistas, por lo que se presta poca atencin a la rigurosidad del proceso

de evaluacin en s. Salvo que el organismo donante indique lo contrario,
los contratistas se concentran nicamente en la informacin que consideran
satisfar las necesidades del organismo (que podran no estar claramente
definidas) e ignoran las necesidades de los beneficiarios o de los gobiernos
.
locales.
Estrechamente vinculada a la utilizacin de contratistas para la evaluacin, se encuentra la no incorporacin, en trminos generales, de personal
del pas receptor en los equipos de evaluacin. En la revisin correspondiente a los aos fiscales 1989-1990, se descubri que tan slo 33% de las evaluaciones efectuadas incluan la participacin del pas receptor (Hagaboeck y
Snyder, 1991, p. 45). Esto acarrea implicaciones en trminos de la inclusin
de una diversidad de perspectivas y fuentes de conocimiento en el proceso de
evaluacin y del incremento de la capacidad institucional del pas receptor.

RECOMENDACIONES PARA MEJORAR LA EVALUACIN

Mejorar el proceso de evaluacin de las actividades de desarrollo implica

principalmente expandir: 1) el papel que desempea la evaluacin en la
totalidad del proceso de asistencia para el desarrollo, 2) la participacin de
las diversas partes interesadas, y 3) el repertorio de tcnicas de evaluacin
utilizadas.
Papel que desempea la evaluacin

Toda organizacin de desarrollo que tenga intenciones de llevar a cabo

actividades de evaluacin deber abordar el aspecto ms bsico, a saber, la
finalidad que cumple la evaluacin. Tal como se analiz anteriormente en
el presente captulo, la evaluacin puede ser til para alcanzar una serie de
objetivos, y estos objetivos son los que determinan la forma que adoptar
la evaluacin. El primer paso que debe dar la organizacin de desarrollo
consiste en analizar con sentido crtico sus propios objetivos y darlos a conocer a todas .las partes interesadas involucradas. Al mismo tiempo, stas ..
deberan intentar celebrar negociaciones entre s para establecer las metas
generales que deseen alcanzar en la evaluacin.
A fin de resultar eficaz y eficiente, la evaluacin deber convertirse. en
parte integrante de todo el proceso de desarrollo y no en un ejercicio que
se agrega al final del programa de asistencia al desarrollo. En la fase de
diseo, las oportunidades de evaluacin deben estructurarse en el proyecto
o programa mediante las negociaciones que las partes interesadas emprendan inicialmente.

184

POLTICAS PBLICAS

Asimismo, deber examinarse ms profundamente cules son los usos

posibles que puede darse a la informacin que genera la evaluacin. Cada
una de las partes interesadas asignar un uso distinto a la informacin y
estos usos debern abordarse. Si bien se espera que la informacin Sea
utilizada directamente para tomar decisiones, debe admitirse que las autoridades responsables de la formulacin de polticas suelen emplear de manera indirecta la informacin que se deriva de la evaluacin. La utilizacin
de los estudios de caso, respaldados por algunos datos cuantitativos, constituye un formato adecuado para una amplia gama de lectores ya menudo
ofrece el panorama global que se requiere para obtener una informacin
general, as como el anlisis cuantitativo que suele necesitarse en los canales
burocrticos.
Partes interesadas

Si bien un tema comn de discusin ha sido el aumento de la participacin

de una gama ms amplia de partes en la evaluacin, los esfuerzos reales
que se han desplegado para lograrlo han sido limitados. La participacin
en la evaluacin de las partes interesadas se encuentra estrechamente vinculada al problema ms general de su participacin a lo largo de todo el
proceso de asistencia para el desarrollo. En efecto, si la participacin ha
sido escasa o nula en los restantes componentes del proceso de desarrollo,
ser mucho ms difcil conseguirla en la fase de evaluacin. Por otra parte,
si la participacin ha sido continua a travs de todo el proceso de asistencia
para el desarrollo, entonces la participacin de las partes en la etapa de la
evaluacin ya se habr tomado en cuenta y constituir un acto natural.
A fin de incorporar a las distintas partes interesadas al proceso, el primer
paso a dar consistir en identificar aquellos grupos y personas que podran
participar. Esto exige que se adopte un enfoque ms flexible frente al concepto de conocimientos especializados pertinentes. Es necesario que se
acepte ms ampliamente la idea de que el conocimiento de otras personas
distintas a los expertos tecnolgicos es vlido, pues ellas permiten tener
acceso a una diversidad de fuentes de datos. En efecto, la mejor manera de
conocer los factores locales, tanto fsicos como sociales, es a travs de aquellos que se encuentran en el lugar al que se destina la asistencia para el
desarrollo, bien sea los beneficiarios, los funcionarios 10cales o el personal
encargado de ejecutar el proyecto.

EVALUACIN DE LA ASISTENCIA PARA EL DESARROLLO

185

Metodologas de evaluacin
Lo que la historia de la evaluacin nos ensea con toda claridad es que no
existe una sola metodologa correcta. La ventaja que poseen los evaluadores
hoy en da es que tienen a su disposicin una amplia variedad de metodologas. Sin algn tipo de estmulo, los evaluadores tendern simplemente a
depender de las metodologas empleadas en el pasado, sin prestar atencin
a si resultan adecuadas o no para un esfuerzo de desarrollo determinado.
Los organismos de desarrollo estn llamados a promover una nueva forma
de pensar en este sentido.
El evaluador podra tratar de estructurar ms la evaluacin considerando
cules son las finalidades que persigue la misma en trminos de: 1) las partes
interesadas; 2) los objetivos oficiales del programa, y 3) la teora de las
ciencias sociales (Chen y Rossi, 1980). En el mbito del desarrollo, hemos
tenido una extensa experiencia con una amplia variedad de enfoques de
desarrollo, todos los cuales han sido estudiados. El evaluador puede recurrir
a la teora del desarrollo para presentar un modelo ms coherente del programa en el contexto del proceso de desarrollo. Asimismo, deber participar
activamente en la preparacin de las agendas de evaluacin y en el diseo
de esta ltima de acuerdo con los parmetros establecidos por las ciencias
sociales. Esto no significa necesariamente que deban efectuarse estudios
cuantitativos, aunque s quiere decir que la evaluacin deber ejecutarse
con un grado de rigurosidad que no suele observarse. El enfoque "multipropsito basado en la teora" vincula las ciencias sociales bsicas con las
aplicadas (Chen y Rossi, 1980). Esto s requiere la inclusin en el equipo
evaluador de cientficos sociales que posean conocimientos en el rea de
metodologa de evaluacin. Una de las ventajas que presenta este enfoque
consiste en que, al ampliar las finalidades que persigue la evaluacin, permite descubrir repercusiones que no se tomaron en cuenta en el marco del
programa tal como fue diseado.
El enfoque ms eficiente y eficaz, en funcin de los costos que se puede
adoptar frente a la evaluacin, consiste en la utilizacin de una diversidad
de metodologas de recoleccin de datos que satisfaga tanto a los evaluadores como a los usuarios de la informacin derivada de la evaluacin. La
investigacin en materia de evaluacin que emplea el diseo experimental
o cuasi experimental debe llevarse a cabo slo cuando sea absolutamente
necesario demostrar la causalidad y cuando puedan satisfacerse los requerimientos de rigurosidad metodolgica y conceptual (Lipsey et al., 1985,
p. 25). En las condiciones de incertidumbre que rodean la asistencia para
el desarrollo, las metodologas cualitativas tales como el reconocimiento
rpido y la utilizacin de informantes clave (tanto para proporcionar como
para recolectar informacin) pueden extraer a menudo la informacin esen-

186

POLTICAS PBLICAS

cial. El requerimiento de rigurosidad en la utilizacin de estas metodologas

es simplemente tan esencial como el que se aplica a las metodologas cuantitativas. Por ejemplo, el uso de mediciones "representativas", tcnica empleada comnmente en el reconocimiento rpido, debe basarse en un estudio cuidadoso del contexto de la asistencia para el desarrollo y de la teora
de las ciencias sociales. Los datos cuantitativos que se derivan de las encuestas estadsticas nacionales pueden utilizarse para respaldar los hallazgos cualitativos. Sin embargo, debe tenerse cuidado en el sentido de que,
al intentar triangular los hallazgos a travs de las distintas metodologas, el
evaluador tendr que estar seguro de que los datos respondan a la misma
interrogante y de que los datos no estn sesgados en la misma direccin
(Mark y Shtoland, 1987).
CONCLUSIN

En resumen, se han sometido a consideracin los siguientes aspectos, con

el propsito de elevar el nivel de eficacia del proceso de evaluacin:
1) Papel de la evaluacin: Establecer claramente los objetivos de la evaluacin; integrarse en todo el proceso de desarrollo; definir los usos posibles
de la informacin.
2) Participacin de todas las partes interesadas en la evaluacin; identificar a la totalidad de las partes interesadas; prestar atencin a las diversas
fuentes de informacin.
3) Metodologas de evaluacin: Mayor utilizacin de la teora de las ciencias sociales; mezcla de metodologas segn la experiencia y las necesidades.

Cada una de las tres facetas de la evaluacin presentadas anteriormente

pueden abordarse independientemente y representa un cambio global en
cuanto a la forma como se concibe y ejecuta la evaluacin. Se establece un
vnculo entre estas recomendaciones cuando se desea alcanzar el objetivo
de entender, de manera ms realista, los logros verdaderos de la asistencia
para el desarrollo (tanto sus repercusiones positivas como las negativas) y
cuando se est dispuesto a dar los pasos necesarios para modificarel proceso
con base en dicho entendimiento.