Miriam Cardozo Brum

Evaluacin: Concepto
nfasis en distintos atributos que componen el concepto.
Conjunto de definiciones que se complementan.
M. Weber, definicin:
La apreciacin prctica de un fenmeno sobre el cual nuestra actividad
puede ejercer una influencia al adoptar respecto al mismo una actitud de
aprobacin o desaprobacin
Sintetizando las aportaciones de otros autores (Guba y Lincon, 1981; Nioche, 1982; Stuflebeam
y Shinkfield, 1987; Guba, 1987; Rossi y Freeman, 1993; Mny y Thoening, 1995; Dye, 1995):

Una investigacin aplicada, de tendencia interdisciplinaria, realizada mediante la
aplicacin de un mtodo sistemtico, cuyo objetivo es conocer, explicar y valorar una realidad,
as como aportar elementos al proceso de toma de decisiones, que permitan mejorar los efectos
de la actividad evaluada.

Importancia atribuida a la emisin de un juicio valorativo.

nfasis en su carcter instrumental.


Definicin de corte ms sociolgico (Monier,1995; Solarte, 2002; Daz y Rosales, 2003).

Proceso Social e histrico de construccin de consensos y acuerdos, transformacin de las
ideas y los conocimientos, basado en el dilogo, con enfoque metodolgicos mltiples y distintos
del discurso racional de la teora d decisiones, que contribuye a modificar los programas
pblicos en forma lenta y marginal.

Hace referencia al logro de una democracia efectiva, a travs de la rendicin de la
rendicin de cuentas del gobierno a los ciudadanos y de su posible participacin en el
proceso.

Diferencial a la evaluacin del mero control o fiscalizacin de la gestin.



La realizacin de una evaluacin implica un conjunto de actividades, cuya secuencia
vara segn el tipo de evaluacin a realizar:

a) Identificar los efectos provocados por la accin, programa, poltica o evaluacin a
evaluar y los costos incurridos.

b) Aplicar una escala de medicin a los efectos identificados (nominal, ordinal, de
intervalo o razn).

c) Comparar la medida lograda con otra que sirva de parmetro para la evaluacin,
fundamentalmente, en el caso de los programas sociales, para constatar si hubo
mejoramiento de las condiciones de bienestar de la poblacin.


d) Explicar los resultados comparativos encontrados, en funcin del diseo y las
condiciones de aplicacin del programa.

e) Emitir un juicio de valor que califique, en conjunto, las actividades realizadas,
los sectores brindados, sus efectos y su impacto global.

f) Efectuar las recomendaciones necesarias para enfrentar los problemas
detectados y aprovechar las fortalezas del programa, de manera que contribuir
a un mayor logro de sus objetivos.
d) Explicar los resultados comparativos encontrados, en funcin del diseo y las condiciones de aplicacin del programa.
e) Emitir un juicio de valor que califique, en conjunto, las actividades realizadas, los sectores brindados, sus efectos y su impacto global.
f) Efectuar las recomendaciones necesarias para enfrentar los problemas detectados y aprovechar las fortalezas del programa, de manera que contribuir a un mayor logro de sus objetivos.
d) Explicar los resultados comparativos encontrados, en funcin del diseo y las condiciones de aplicacin del programa.
e) Emitir un juicio de valor que califique, en conjunto, las actividades realizadas, los sectores brindados, sus efectos y su impacto global.
f) Efectuar las recomendaciones necesarias para enfrentar los problemas detectados y aprovechar las fortalezas del programa, de manera que contribuir a un mayor logro de sus objetivos.
Las acciones evaluadas pueden vincularse a diversos objetos de evaluacin:
personas, organizaciones, polticas, planes, planes, programas, proyectos o
evaluaciones.
Clasificaciones de la evaluacin.
Existen muchas formas de evaluacin, para fines del texto se usan las de
mayor utilidad.
Sistemtica
Rigurosa recopilacin de datos.

Buen conocimiento de la epistemologa.
Ciencias informativas.
Proyectos de investigacin.
Valoraciones.
Estadsticas.
Comunicacin.
Etctera.

Descartando las evaluaciones obtenidas de forma intuitiva.

Primera clasificacin
Ex ante o a priori Ex post o a posteriori Ex tempore o Concomitante
Comparacin de efectos esperados de
las distintas alternativas.

Puede resolver el problema.

Apoya al proceso de decisin.

Trabaja con base en datos estimados.

Acciones ya ejecutadas.

Componen la gestin de programas
pblicos seleccionados.

Los efectos son datos histricos.

No se debe considerar como
evaluacin final, sino proceso de
seguimiento continuo de reflexin.

Avances y limitaciones.

Adoptar medidas correctivas
oportunas.

Proceso de aprendizaje y crecimiento.
Evaluacin o monitoreo.

Proceso de implementacin.

Utilizar herramientas propias de
control y seguimiento de lo planeado.
Dentro o fuera de la organizacin
Interna Externa
Organismo responsable.
Mismos funcionarios, poblacin participante,
Autoevaluacin.

Garantiza:

Mayor conocimiento.

Disposicin de informacin.

No es libre de intereses.

Grupos o personas que buscan resultados positivos o
negativos.

Pueden existir presiones que producen sesgos y disminuyen
objetividad.

Personas u organizaciones ajenas.

Tipo Top Down, intergubernamental.

Independiente, organizacin ajena (centros de investigacin,
ONGS, periodistas, etc.).

Mayor objetividad.

Segn los destinatarios de la evaluacin.
Cuarta generacin.

El carcter de participativa para fortalecer la democratizacin.

La mayora pertenecen a la Administracin Pblica, las realiza para mejorar proceso decisorio.

Congreso. Servir de contrapeso al Ejecutivo.

Ciudadana. Fortalecer el debate pblico y la participacin ciudadana.

Origen: Peticiones, demandas, asuntos y cuestiones planteadas por los propios implicados.

Enfatiza los procesos de aprendizaje de los participantes.




Segn el momento en que se evala.
Sumatoria, de balance, recapitulativa o conclusiva Formativa, endoformativa o correctora
Evala resultados finales de plan, programa, proyecto
en comparacin con los objetivos planeados.

Instrumento de gestin.

Dirigido a personas ajenas al desarrollo de la
actividad.

Decidir si se debe proseguir con o sin ajustes.

Enfatiza:
Cuantificacin de resultados
Seguimiento continuo.

Detectar a tiempo dificultades, resolverlas.

Participativa. Aprendizaje colectivo.
Permite a protagonistas modificar conductas y
mejorar acciones.
Contribuyendo a procesos de participacin y
democratizacin.

No participativa. Aprendizaje organizacional del
gobierno.

Fundamentalmente cualitativa.
Segn el momento en que se evala.
Cuantitativa Cualitativa
Posible. Objetivos claros y resultados
medibles.

Da lugar a controles de rutina por
expertos
Basada en criterios personales.

Subjetiva.

Los objetivos pueden ser claros pero los
resultados no son medibles. Control a
criterio.

Objetivos ambiguos. Control de tipo
poltico.
Evaluacin sectorial o global
Sectorial Global
Instituciones, planes o programas.

Dirigidos a un rea sustantiva de la
poltica.
Involucra diferentes sectores
relacionados con una poltica.
Segn Stufflebean y Shinkfield
Pseudoevaluacin Cuasievaluacin Evaluacin verdadera
Intenta presentar conclusiones
errneas.

Polticamente orientadas
(partidos).

Investigaciones encubiertas.
Buscan resultados positivos o
negativos.

Independientes de cualquier
valoracin objetiva.

Respuesta a algunos asuntos de
inters.
No determina el valor o mrito.

Incluye.
Estudios basados en objetivos.

Experimentacin, busca
relaciones causales, pero no emite
juicios de valor.
Estudios orientados a la toma de
decisiones.

Centrados en el cliente.

Estudian mritos de polticas o
programas.

Programas que ayudan a elegir los
mejores servicios o bienes mas
convenientes.
Evaluacin integral
Utilizando

Enfoque de sistemas

Insumos

El proceso

Los resultados

Impactos

Se completa con los enfoques pluridisciplinarios de los elementos anteriores.

Trabajos de Nioche, Stufflebean y Shinkfield, Monnier y Meny y Thoening:
Evaluaciones parciales.
Objetivos Si han sido definidos con precisin.
Pertinencia Vincula objetivos del programa con problemas que lo origina.
Coherencia Relacin objetivos-medios.
Contexto Revisa condiciones de la poltica, procesos de interaccin y entorno.
Insumos o
medios
Cantidad y calidad de recursos, disponibles en tiempo y lugar.
Proceso Mecanismos de transformacin de insumos en resultados.
Realizaciones,
resultados o
productos
Productos o servicios generados por la actividad evaluada.
Eficacia Los resultados permiten lograr objetivos.
Metas Logrado en comparacin con lo planeado.
Eficiencia Relaciona resultados con esfuerzos (Costo-Beneficio, Costo-Eficacia.
Efectos Consecuencias provocadas por los resultados, socio-econmico,
Sin juzgar objetivos del decisor.
Incluyendo externalidades, provocadas en tanto efectos no previstos. + o
Apreciar modificaciones de la situacin o comportamientos de los individuos, empresas o
comunidades afectadas por la poltica.
Efectos inesperados se deben al entorno, errores en la estructuracin causal de la accin, grandes
consecuencias colectivas provocadas por pequeos efectos.
Demuestran ausencia de linealidad causa-efecto de la accin colectiva.
Impacto Global. Combinacin de efectos atribuibles al programa sobre problemtica que justifica la existencia de
la actividad.
Satisfaccin Grado en que la poblacin considera satisfecha su necesidad o problema resuelto.
Debate sobre el mtodo

Mtodo de evaluacin es un reflejo de toda la discusin epistemolgica
generada en torno a posibilidades y formas de acceder al conocimiento que
opone fundamentalmente enfoques positivistas y construccionistas pasando
por una perspectiva contingente que utiliza a cualquiera de los anteriores o
una mezcla de ambos, dependiendo del contexto de la evaluacin.
Beltran: no existe unanimidad en lo que se entiende por mtodo
cientfico, slo una aceptacin general de sus principios.

Al hablar de mtodos nos referimos a procedimientos de investigacin
que se desprenden de una postura epistemolgica y un marco terica en
que el evaluador realiza una serie de operaciones que le permiten
seleccionar y coordinar ciertas tcnicas para alcanzar sus objetivos.

Desde una actitud pluralista la metodologa no se reduce a la seleccin
de instrumentos, implica una reflexin sobre procesos que permiten la
produccin de la evaluacin por los actores.

Mtodo como herramienta -> mtodo como proceso de
construccin
La evaluacin de polticas pblicas consiste en poner a prueba si una poltica
determinada ha sido o no capaz de provocar los efectos esperados.

Experimentacin y mtodos cuantitativos

El mtodo experimental busca establecer relaciones de causalidad entre el
programa y su impacto y toma como referencia el paradigma metodolgico
desarrollado para las ciencias naturales.

Para poner en prctica un experimento social, se requiere construir un estado
que estime lo que habra ocurrido de no haberse realizado la intervencin. Para
ello se necesita disear la investigacin evaluativa desde antes de dar inicio a las
acciones o programas en consideracin.
El diseo implica conformar al azar dos grupos entre los destinatarios de las
actividades evaluadas, lo que garantiza estadsticamente su equivalencia. En
estos dos grupos se introduce una sola diferencia: la accin a evaluar que se
aplica en uno y no en el otro.

Este plan experimental debe cumplir dos criterios: una validez interna y una
validez externa.

Una metodologa ms flexible: cuasiexperimentos

Aplicacin de mtodos no experimentales

Indicadores parciales
Los indicadores se definen como la expresin de medida de un atributo, medidas
cuantitativas de aspectos del logro, a menudo expresadas como radios o ratios, que
permiten contar con seales sobre su desempeo, mediante su comparacin con los
referentes internos o externos. Constituyen instrumentos para comprobar si hay o
no un acercamiento progresivo a las metas propuestas y permiten operativizar la
medicin de las variables, sealando sus grados y variaciones en la forma ms
objetiva y verificable posible
Su diseo debe cumplir al menos tres requisitos:

1- Permitir comparaciones sincrnicas, en el espacio.
2- Permitir comparaciones diacrnicas, en el tiempo y la elaboracin de pronsticos.
3- Representar valores sobre los que existe un grado de consenso entre las partes implicadas o
interesadas en la evaluacin.
Restricciones en cuanto al diseo de indicadores:

1- la integralidad o suficiencia.
2- su nmero limitado.

La construccin de indicadores requiere el conocimiento de los objetivos y actividades

Formas de construir indicadores:

1- seleccin y seguimiento cuantitativo de algunos parmetros significativos.
2- aplicacin de encuestas de satisfaccin.
3- normalizacin de aspectos del nivel de calidad deseado.
4- compromisos o metas a alcanzar en trminos de calidad.

Existen tcnicas cuantitativas diseadas para hacer evaluacin a priori que a menudo
se adaptan para evaluar resultados:

- Anlisis Costo - Eficacia
- Anlisis Costo Beneficio
- Anlisis multicriterios (Electra)

Las evaluaciones exclusivamente cuantitativas resultan reduccionistas, debido a la
eliminacin de los aspectos no cuantificables y sus interrelaciones.

En el anlisis de las polticas pblicas los mtodos cuantitativos a menudo son
manipulados para justificar y legitimar decisiones adoptadas con base en otros
intereses.
Algunos mtodos mezclan elementos cualitativos como
cuantitativos.

Informaciones cuantitativas recogidas por mediciones comparativas
en muestras contrastadas, con datos contrastados, con datos
cualitativos obtenidos por observacin etnogrfica.

Encuestas recogen informacin, percepciones y opiniones
subjetivas de una muestra representativa de destinatarios de las
acciones


En cuanto al grado limitado de cuantificacin de mtodo
Delphi, se caracteriza por recoger informacin de expertos
desconocidos entre si, que envan sus opiniones, cuya media
y desviacin estndar se analiza y reenva.

Benmarching

Diseo de escenarios prospectivos.
Los mtodos estrictamente cualitativos han surgido, en la mayora de la crtica a un
enfoque cuantitativo, de extraccin generalmente positivista que supone la
existencia de rasgos universales y regularidades.

Las ciencias sociales han pasado del estudio de los grandes procesos estructurales
(macro) con metodologas cuantitativas, a la construccin social de significados en
comunidades locales
La relacin de involucramiento y empata del investigador con el instrumento utilizado y
con el objeto de estudiar (reflexionando, interviniendo y controlando activamente el
proceso) tratando de observar, escuchar y comprender al otro.

Su orientacin a la bsqueda de significados, ideas y sentimientos subyacentes o latentes en
las descripciones obtenidas de las palabras o de las conductas observadas.

Su prioridad a la narracin y valorizacin de esa subjetividad, tratando de contextualizar las
experiencias estudiadas y de interpretarlas tericamente. No se preocupan por la
representatividad de los casos analizados frente al universo total, por lo que no se
generalizan sus resultados, salvo con el carcter de hiptesis heursticas.

Se entusiasta preocupacin por adaptar las concepciones y procedimientos sobre validez y
confiabilidad para que el conocimiento generado cuantitativamente sea aceptado y til.
La entrevista
Anlisis de textos o del discurso
Los estudios de caso
La entrevista
1. Semiestructurada: combinacin til para entrevistar a personas que
disponen de poco tiempo (directivos, burcratas, lideres, etctera).
2. Enfocada: el entrevistador conoce de antemano la participacin que ha
tenido el entrevistado en algn evento de su inters y asume posicin
directiva de la entrevista.
3. Grupal: Dirigida hacia un grupo focal sobre un tema compartido por
todos, donde el investigados acta como moderador.


Anlisis de textos o del discurso
Es un mtodo de anlisis, estructural de comprensin e interpretacin de textos que estudia el contenido de
los mismos y el entorno en el que se producen.
Manera de leer lo que no est escrito expresamente en programas, informes, etc.
Busca reducir una cantidad importante de datos a una unidad importante de datos a una unidad medible.
Entre sus tcticas figuran:
Contar.
Relevar patrones.
Buscar verosimilitud.
Sentido de palabras.
Agrupar.
Construir.
Buscar metforas.
Los elementos de caso
Pueden apoyarse tanto en la tradicin cuantitativa como la cualitativa y complementarse con
mtodos comparativos como experimentales.
Se refiere al anlisis de algo especfico: entidad emprica o construccin terica que es objeto de
la investigacin.
Analiza el objeto individual al ser estudiado, manteniendo un enfoque holstico que permite
preservar la unidad del todo
Puede comprender el caso particular de un tema, permite mejorar la comprensin de un
fenmeno general.
No se parte de marco terico o hiptesis, sino que privilegia la descripcin sobre la
estandarizacin generalizadora.