Evaluacin de resultados y evaluacin de impacto

La idea de resultados remite a una concepcin bastante genrica sobre la finalizacin de

una accin o de un conjunto de acciones, que devienen en consecuencias o rendimientos
determinados. Esto puede significar que se alude tanto a la ejecucin de lo programado en
cuyo caso es un balance de lo realizado y su comparacin con un plan de operacin como
a las consecuencias que esto mismo pudo haber generado en otros mbitos, distintos a la
sola gestin.

As, la pregunta que se plantee la investigacin evaluativa, puede tener que ver tanto con
qu result de lo que estaba programado como plan de gestin, como con qu result en
los beneficiarios de la intervencin a propsito del modelo de gestin utilizado y la
estrategia de intervencin implementada.

Por lo mismo, todo parece indicar que la evaluacin de resultados es aquella que intenta
determinar grado de cumplimiento de lo programado, en dos niveles, esto es, en los
c co om mp pr ro om mi is so os s d de e g ge es st ti i n n asumidos como parte de un modelo operativo diseado como
soporte base de la intervencin programtica. Y, en la generacin de productos y resultados
ms directamente atribuibles a los e ef fe ec ct to os s d de e l la a i in nt te er rv ve en nc ci i n n s so ob br re e s su us s d de es st ti in na at ta ar ri io os s.

La definicin de la evaluacin de resultados como una comparacin simple que se basa en
la construccin de parmetros para determinar brechas entre lo programado y lo ejecutado,
lleva inmediatamente a reflexionar sobre el tipo de informacin que es posible obtener
cuando se evala con esta lgica.

Dicho de otro modo, al preguntar por lo que aporta este tipo de evaluacin, desde el punto
de vista de los aprendizajes que se pueden extraer a partir del cmulo de informacin
generada por esta va, puede decirse que la respuesta tiene que ver con la eficacia de los
instrumentos de planificacin que sirvieron de orientacin a la intervencin. Se trata,
entonces, de la comparacin de lo ejecutado respecto de lo comprometido y, en ese caso,
los elementos del diseo cobran particular importancia como insumos y/o parmetros de
evaluacin.

En consecuencia, a travs de las evaluaciones de resultados que aplican esta lgica - es
posible saber cmo oper, en la prctica, un determinado modelo, tanto desde el punto de
vista de la ejecucin de tareas, como desde el punto de vista de productos asociados a la
gestin del programa y/o a los cambios incipientes exhibidos por la poblacin objetivo. No
sera posible saber, en cambio, cunto se ha avanzado en la afectacin de la situacin inicial
que origin la intervencin desde un punto de vista ms agregado, o sea, a nivel del
universo de potenciales beneficiarios y/o a nivel del problema, asumido desde una
perspectiva ms amplia que la sola caracterizacin de la poblacin efectivamente
beneficiada por la intervencin.

En relacin con esto, la literatura no es clara en otorgar orientaciones operacionales
respecto a cmo disear estrategias evaluativas que determinen qu resultados se han
obtenido, teniendo como principal referente los diagnsticos base de la intervencin. Se
dijo antes, que la lgica con la que suele operar esta modalidad de evaluacin, se basa en
anlisis de eficiencia y eficacia sobre la ejecucin de lo programado y, en consecuencia,
depende mucho del uso de los instrumentos de planificacin diseo y registro del
propio programa.

En este escenario parecera lgico suponer que el rol de los diagnsticos es el mismo y que
deben ser usados como referentes para el establecimiento de las comparaciones que
permitan fundamentar juicios en torno al nivel de logro alcanzado por el programa.

Considerando que en la evaluacin de resultados, ese nivel de logro es de lo programado
en relacin con lo ejecutado, no cabe duda que l la a m ma ay yo or r o o m me en no or r p pr ro of fu un nd di id da ad d
a al lc ca an nz za ad da a p po or r e es st ta a e ev va al lu ua ac ci i n n, , d de ep pe en nd de er r d de e l lo o q qu ue e s se e h ha ay ya a i in nc cl lu ui id do o e en n e es sa a
p pr ro og gr ra am ma ac ci i n n. Si se refiere solamente a la dimensin administrativa y de gestin, la
mirada evaluativa se concentrar en indicadores que den cuenta de esos elementos.

Pero si dentro de lo programado se establecen parmetros de deseabilidad respecto a
cambios en la situacin de la poblacin objetivo ms todava si se los cuantifica en metas
-, la nocin de resultados se referir a productos y/o efectos generados por la intervencin.
En tal caso, la evaluacin deber trabajar con estrategias metodolgicas ms comprensivas,
que recojan antecedentes internos a los programas referidos a su implementacin y
ejecucin y antecedentes externos a ellos referidos a los productos generados en la
gestin programtica y a los resultados inmediatos que esto pudo provocar en sus
destinatarios .

Respecto a eso, gran parte de la literatura especializada en el tema, seala que en esta
segunda acepcin de resultados, la clave para estructurar la comparacin que permita
formular un juicio conclusivo en torno a ellos, es trabajar en base a los diagnsticos y su
contrastacin con la informacin aportada por los indicadores que permiten mensurar los
aspectos o dimensiones diagnosticadas en la etapa anterior a la intervencin. Esto ltimo,
merece algunos comentarios:

E El l d di is se e o o d de el l p pr ro og gr ra am ma a e en n b ba as se e a a u un n d di ia ag gn n s st ti ic co o. An cuando la relacin
obligada entre diseo y diagnstico, constituye uno de los preceptos bsicos de la
planificacin, lo cierto es que se trata de un supuesto que no siempre se cumple.

En estricto rigor, los diseos de los programas debieran ser una respuesta
estructurada a los antecedentes mostrados en ese diagnstico y, en ese sentido,
debera constituir un instrumento para el logro de fines asociados al cambio de lo
diagnosticado. Sin embargo, esta relacin, en los hechos, no es tan clara y sin duda
que desafa la capacidad de la evaluacin ex post para generar opiniones vlidas en
torno a ese cambio, no slo por la ausencia total o parcial de esos diagnsticos, sino
tambin por su obsolescencia o su generalidad.

L La a e ev va al lu ua ac ci i n n d de e r re es su ul lt ta ad do os s c co om mo o u un na a a ac cc ci i n n p pl la an ni if fi ic ca ad da a. Si la implementacin
de un programa es una intervencin que tiene por objetivo generar ciertos cambios,
lo lgico sera constatar, en la finalizacin del proceso, qu y cunto de esa
intervencin contribuy a afectar (cambiar) la situacin que motiv la creacin del
programa. Por lo mismo, la evaluacin de resultados aparece, casi por definicin,
como una accin programada desde el inicio, an cuando se lleve a cabo en un
momento ex post.

Probablemente mucho de esto tenga que ver con la lgica misma de un diseo, pues
en ste se planifica y se ordena tanto el proceso como los resultados que se espera
generar a travs o a partir de l. En este escenario, la evaluacin ex post parece
mucho ms viable, pues representa la constatacin necesaria del xito logrado en la
intervencin realizada. La pregunta que cabe formular entonces, es qu sucede
cuando la evaluacin ex post no ha sido considerada y opera no como un
componente sino como una fase terminal del proceso.

L La a c co on nc ce ep pt tu ua al li iz za ac ci i n n d de el l c ca am mb bi io o y y s su u o op pe er ra ac ci io on na al li iz za ac ci i n n. La evaluacin ex
post, en cualquiera de las modalidades que ella asuma, est estrechamente ligada a
la idea de cambios. Ms all de que ella est tambin cruzada por una serie de
requerimientos vinculados a la accin contralora de quienes tienen a su cargo las
funciones de fiscalizacin y supervisin, el nfasis de la mirada evaluativa ex post
que remite insistentemente a la idea de resultados, tiene que ver con la
identificacin y ponderacin de cambios provocados en la situacin intervenida.

Al conceptualizar esto, no cabe duda que la ruta crtica de la intervencin y ms
concretamente su desenlace tiende a concretarse en la consecucin de dichos cambios.
Pero su expresin ms operacional necesariamente demanda un ejercicio crtico y reflexivo
sobre la trayectoria posterior de dichos cambios, identificados comnmente bajo el rtulo
de tendencias de impacto. Sin duda los resultados de un programa no se agotan en la
generacin de productos. En consecuencia, hay cambios que son el efecto sumativo de los
diversos factores que van incidiendo en el proceso y que transforman esos productos en
cambios de otro orden.

Desde el punto de vista formal, estos cambios se asocian a la accin directa del programa,
aunque se espera que ellos se manifiesten o se consoliden ms all de la intervencin. Es lo
que podra denominarse <<los resultados producidos por un programa a nivel de efectos en
su poblacin objetivo>>. Ahora bien, cmo responder a la pregunta en torno a los
resultados generados por la intervencin pblica en el problema que la origin?
Probablemente para ello no baste una evaluacin de resultados y sea necesario introducir la
nocin de impacto para explicar la dinmica de transformaciones acaecidas sobre una
determinada poblacin, a propsito de tales acciones.

Esto lleva a dilucidar, en consecuencia, qu se entiende por <<impacto>>. Pichardo define
como impacto social, los cambios o variaciones deseados en los destinatarios de las
polticas, programas y/o proyectos en cuanto a:

i) Satisfacer necesidades;
ii) Promover o procurar condiciones para el mejoramiento de la calidad de
vida y trabajo de la poblacin;
iii) Generar, fortalecer o consolidar niveles e instancias organizativas, formas
de expresin, asociacin y participacin organizada; y,
iv) Propiciar cambios de actitudes, condicionantes, aptitudes, comportamientos
y mentalidades que modifiquen las concepciones y actuaciones de los
actores sociales, de los cuales los individuos y grupos forman parte.

Seala adems que () el impacto social debe considerarse como una perspectiva de
interpretacin para la evaluacin, que define su especificidad al intentar medir cambios
<<situacionales>> de importancia que marcan un acercamiento significativo al logro de la
imagen objetivo, validando as una determinada trayectoria de accin (Pichardo, 1997).

A juicio de esta autora, las preguntas relevantes de la evaluacin de impacto son las
siguientes:

i) Cambiarn, estn cambiando o cambiaron de manera significativa las
condiciones iniciales de los grupos destinatarios;
ii) Si es as, cul es el sentido de esos cambios;
iii) En qu medida es posible observar esos cambios;
iv) Hasta qu punto los cambios observados se pueden atribuir a la
intervencin o de qu forma se combinan ambos factores para producir los
cambios buscados.

El abordaje de estos aspectos requiere, a juicio de la autora, disear un modelo de
probabilidades de ocurrencia del impacto social evaluado, para determinar su orientacin.
En segundo lugar, requiere de la elaboracin de un sistema de indicadores, acordes a las
caractersticas del objeto de evaluacin, lo que implica establecer el sistema de medicin,
para determinar qu se quiere medir y bajo qu estndares se har la medicin; y, adems,
definir los aspectos de la situacin deseada que sern medidos, para generar la informacin
requerida y, retroalimentar el proceso de informacin.

La mirada en torno al impacto puesta de relieve en esta definicin, naturalmente evoca el
comentario anterior en torno a la evaluacin como una accin planificada, que es prevista
como un instrumento concomitante de la gestin. Pero, adems, pone de manifiesto la
necesidad de efectuar anlisis integrados, ms comprensivos, que incluyan factores tanto
del programa, como de los beneficiarios y su entorno. El impacto, por tanto, puede ser
definido como una funcin compuesta donde esos elementos pueden tener distintos grados
de incidencia.

As, mientras la evaluacin de resultados es una comparacin simple que se basa en la
construccin de parmetros para determinar brechas entre lo programado y lo ejecutado, la
evaluacin de impacto tiene que ver con la afectacin del problema y con cambios
asociados al comportamiento integrado de variables del Programa (especificidad de su
diseo) y variables exgenas. Esto significa plantear preguntas distintas y, en consecuencia,
trabajar con distintas fuentes de informacin que permitan efectuar anlisis diferenciados.
Pero an est pendiente dilucidar los niveles en los cuales aplican ambas nociones.

Si por ejemplo se analizan los resultados generados por la estrategia de alfabetizacin
funcional en adultos mayores, una evaluacin del primer tipo probablemente pondr nfasis
en la realizacin de talleres de alfabetizacin y en la adquisicin y/o recuperacin de
habilidades lecto escritoras por parte de los adultos mayores. En cambio, desde la lgica
que aqu se est insinuando, la pregunta por el impacto tiene que ver con un nivel agregado
ms amplio, que en este caso es la contribucin de la alfabetizacin funcional a la
integracin social de los adultos mayores marginados.

Siguiendo en la lnea de la discusin aqu propuesta, una evaluacin de resultados en torno
a la reforma educacional y sus estrategias centradas en la innovacin de prcticas
pedaggicas, llevara a analizar la forma en que la modificacin del curriculum, la
extensin horaria y la incorporacin de nuevos recursos de aprendizaje, tienen incidencia o
no en el xito acadmico de la poblacin escolar. Pero al analizar esta intervencin desde el
punto de vista de su impacto, cabra preguntarse por la contribucin de la reforma educativa
a la modificacin de la estructura de oportunidades y, en definitiva, por su aporte a la
equidad.

Si se entiende el impacto como la magnitud del cambio producido en la poblacin objetivo,
en funcin de la implementacin del programa y de otras variables sobre las cuales ste no
ejerce ninguna influencia, su evaluacin, entonces, es la medida en que dicho programa, en
funcin de sus objetivos, transforma alguna rea de la realidad, lo que exige distinguir entre
efectos netos y cambios derivados del contexto (CEPAL, 1993).

De acuerdo a esto, la reflexin conceptual y sus proyecciones metodolgicas complejizan la
posibilidad de implementar estrategias evaluativas de impacto, en la medida que cabe
determinar, primero, si es posible evaluar el impacto de una intervencin social. Y,
segundo, si se puede asumir que todas las intervenciones son generadoras de impacto.

Del mismo modo, la viabilidad de una evaluacin de resultados depender de que se
identifiquen y dispongan sus insumos base, como anlisis de diseo, sistematizacin de la
experiencia de intervencin, lnea base y, registros de trayectoria de beneficiarios en el
programa evaluado, por mencionar los ms importantes.

En la evaluacin de impacto h ha ay y q qu ue e c co on ns st tr ru ui ir r r re ef fe er re en nt te es s a ad de ec cu ua ad do os s p pa ar ra a l la a
v ve er ri if fi ic ca ac ci i n n d de e h hi ip p t te es si is s s so ob br re e g ge en ne er ra ac ci i n n d de e u un n e ef fe ec ct to o s su um ma at ti iv vo o g gl lo ob ba al l c cr ru uz za ad do o c co on n
v va ar ri ia ab bl le es s d de el l e en nt to or rn no o (unidad territorial, marco temporal, cohortes). Y en la evaluacin de
resultados, en cambio, es esencial d da ar r u un na a m mi ir ra ad da a a a l la a l l g gi ic ca a i in nt te er rn na a d de el l p pr ro og gr ra am ma a y la
relacin existente entre estrategia de intervencin y su modelo de gestin.

Finalmente, hay un tema que tiene que ver con la temporalidad en que se pueden observar
los cambios atribuibles a una intervencin por evaluar. En el caso de la evaluacin ex post
de resultados, pareciera que lo que importa es determinar el grado de xito de un programa
de acuerdo a lo establecido en su programacin inicial y, en consecuencia, se requiere
trabajar en umbrales de tiempo cercanos a su ejecucin. Ms an, si el tipo de resultados
que se quiere evaluar corresponde a productos generados por el programa, la evaluacin ex
post implicar una intrusin en el ciclo mismo de ejecucin regular del programa.

En cambio, la variable temporal adquiere una connotacin distinta en el caso de la
evaluacin impacto. La pregunta es despus de cunto tiempo y bajo qu circunstancias
es posible que se manifieste el impacto de una intervencin. Esto naturalmente diferencia
de un modo evidente las intervenciones sociales de aquellas que no lo son, pues
probablemente en el caso de estas ltimas sea posible predecir con algo ms de precisin, el
tipo de impacto que ellas pueden generar. En cambio, las otras intervenciones vern
fuertemente mediatizados sus impactos por variables o circunstancias situacionales de
difcil anticipacin. As por ejemplo, el impacto de un proyecto de defensas fluviales, de
transporte caminero o de evacuacin de aguas lluvias, puede ser muy distinto del impacto
de un programa de prevencin del embarazo adolescente, de promocin de estilos de vida
saludables o de mejoramiento de la equidad en educacin. Resulta lgico entonces, que las
bsquedas de informacin que cabe aplicar en cada caso, sean igualmente diferenciales y
recojan estas especificidades.


Implicaciones metodolgicas para la evaluacin expost

Las distinciones conceptuales formuladas antes, tienen como principal propsito inferir las
estrategias metodolgicas acordes a cada uno de los enfoques desde los cuales se concibe
una evaluacin ex post. Por lo general, persiste la imagen de que la realizacin de una
evaluacin, est imbuida de aspectos tcnicos que importan en la medida que le confieren
validez y confiabilidad a la informacin conclusiva que se espera obtener con ello, pero
pocas veces las estrategias evaluativas son analizadas como la expresin de una serie de
hiptesis sobre la dinmica generada por un programa, en el entorno donde interviene.

Si se considera que una intervencin cualquiera, es una apuesta por la generacin de
determinados cambios, expresados formalmente en los objetivos de ella, se deduce
entonces que una evaluacin es la constatacin directa de la generacin de tales cambios.
En consecuencia, u un na a e es st tr ra at te eg gi ia a e ev va al lu ua at ti iv va a d de eb be e, , a an nt te e t to od do o, , p pr ro of fu un nd di iz za ar r e en n l la a l l g gi ic ca a
i in nt te er rv ve en nt ti iv va a d de el l p pr ro og gr ra am ma a e ev va al lu ua ad do o, , p pa ar ra a i id de en nt ti if fi ic ca ar r e el l s si is st te em ma a d de e s su up pu ue es st to os s e e
h hi ip p t te es si is s q qu ue e e es st t d de et tr r s s d de e s su u d di is se e o o. De lo contrario, la identificacin de resultados no
pasar de ser una descripcin narrativa de aspectos particulares del programa.

El diseo y puesta en prctica de una evaluacin, es la aplicacin de una estrategia
metodolgica que pretende posibilitar la identificacin, observacin y anlisis de las
variables asociadas al programa y los efectos por ellas producidos.

Como seala Pichardo (1997), en el caso de las evaluaciones ex post, esta estrategia
metodolgica es una forma determinada de tratar un conjunto de situaciones
problemticas, basndose en ciertos supuestos tericos () para abordar de manera
consistente el objeto por evaluar () Un diseo de evaluacin consiste en un bosquejo o
esquema general que sirve de pauta de orientacin para desarrollar el proceso evaluativo.

Ahora bien, e ex xi is st te en n m m l lt ti ip pl le es s c cr ri it te er ri io os s a a p pa ar rt ti ir r d de e l lo os s c cu ua al le es s e es s p po os si ib bl le e c cl la as si if fi ic ca ar r o o
c ca ar ra ac ct te er ri iz za ar r l la as s e es st tr ra at te eg gi ia as s e ev va al lu ua at ti iv va as s e ex x p po os st t de uso ms frecuente. Por esto ltimo, ms
bien cabe hablar de modelos, en la idea de que se trata de configuraciones tpicas que
estn en la lgica ms sustantiva del diseo estructural de estas estrategias.

Se pueden identificar, en primer trmino, los m mo od de el lo os s e ev va al lu ua at ti iv vo os s e ex x p po os st t d de e t ti ip po o
e ex xp pl lo or ra at to or ri io o d de es sc cr ri ip pt ti iv vo o y los m mo od de el lo os s d de e t ti ip po o a an na al l t ti ic co o. Los primeros suelen constituir
observaciones puntuales sobre aspectos especficos de una intervencin. Por lo mismo, no
explican las causas de los efectos que ella genera ni miden los niveles de variacin de la
situacin intervenida.

La ventaja de este tipo de evaluacin, desde el punto de vista metodolgico, es que aplica
en aquellos casos en que los registros de informacin que requieren comparaciones ms
complejas estn incompletos o no estn disponibles y por tanto los resultados de ella slo
entregan pistas o hiptesis sobre los resultados generados por la intervencin. El problema
es que la imputabilidad de esos resultados, al programa, no puede ser ratificada de manera
categrica, precisamente porque no explora la incidencia de las variables que influyen en la
generacin de esos efectos ni el sistema de relaciones que se genera entre ellas.

Las evaluaciones analticas, en cambio, se preocupan de establecer las relaciones de
causalidad, identificando la red de relaciones existente entre los factores que tienen
incidencia en la aparicin y permanencia de efectos e impactos. La fortaleza de estas
evaluaciones es que entregan informacin mucho ms rica respecto a la relacin programa
beneficiarios entorno, pero, por lo mismo, es mucho ms exigente desde el punto de
vista metodolgico.

Adems de tener un alto costo y de implicar una complejidad ostensiblemente mayor a las
evaluaciones exploratorias, su viabilidad est sujeta a un sinnmero de factores, entre ellos,
la disponibilidad de informacin relativa a diferentes etapas del proceso de intervencin y
al diagnstico correspondiente a la situacin sin programa.

En la misma lnea de las clasificaciones, la literatura da cuenta de los d di is se e o os s d de e t ti ip po o
e ex xp pe er ri im me en nt ta al l, aludiendo con ello a los modelos que trabajan con grupos intervenidos y con
grupos de control y donde el tratamiento que recibe el primero de ellos versus el no
tratamiento dado al segundo, replica la lgica ms purista del experimento cientfico.

Desde el punto de vista terico, la principal fortaleza de este tipo de diseos es que por las
caractersticas constitutivas de los grupos contrastados se logra una comparabilidad
cuasiperfecta, logrando aislar los factores que podran distorsionar la validez interna de la
experiencia.

Este modelo ha sido ampliamente cuestionado por la manipulacin que implica el proyectar
una intervencin de estas caractersticas y por los reparos ticos que pueden formularse en
torno al efecto de exclusin que se produce de manera intencionada en torno al grupo de
control que, en el caso de los programas sociales, implica no proveer un servicio a quienes
conforman una demanda potencial.

Lo mismo ocurre con los d di is se e o os s c cu ua as si i e ex xp pe er ri im me en nt ta al le es s, donde se intenta establecer una
comparacin similar, aunque con un grado de exhaustividad relativo, en la conformacin de
los grupos sometidos a contrastacin y donde se descarta la asignacin aleatoria de las
personas al grupo de control.

Pero pese a las objeciones mencionadas antes, bien pueden encontrarse experiencias de
intervencin social que responden intencionadamente o no a esa lgica, como ocurre,
por ejemplo, con las experiencias programticas piloto. En este caso, se trata de probar y
validar un modelo de intervencin en determinado grupo, para determinar las condiciones
de implementacin y operatoria que hacen viable una experiencia interventiva de esas
caractersticas.

Para ponderar los resultados efectivamente generados por esa experiencia, se recurre a
modelos evaluativos que comparan los resultados logrados en la experiencia piloto, con
otros grupos de similares caractersticas pero que no fueron beneficiarios de este programa.
Lo mismo ocurre con la comparacin establecida entre beneficiarios y no beneficiarios de
una intervencin, recurso ampliamente utilizado en evaluaciones de tipo ex post.