CAPTULO IV: EVALUACIN DE POLTICAS PBLICAS

Eliseo R. Lpez Snchez

Finalizbamos la leccin anterior mencionando que el seguimiento, o monitoreo, es un

proceso de la implementacin que sirve para un control no burocrtico de la ejecucin de
la poltica formulada. Esta leccin la dedicaremos a la evaluacin, pero antes debemos de
sealar la distincin entre evaluacin y el seguimiento, as como de otros instrumentos de
control de la implementacin.
Siguiendo el marco conceptual de la Comisin Europea (2004), la auditora en el sector
pblico cubre un amplio rango de actividades de la implementacin, que van desde la
auditora financiera a la del rendimiento de las polticas pblicas. Si bien la auditora
puede acompaar a las evaluaciones y ser una fuente principal de datos, su caracterstica
diferencial es que tiene un enfoque contable, esto es, su foco se concentra en las
entradas y salidas, y el anlisis de las evaluaciones va ms all.
Respecto al seguimiento, la Comisin Europea (2004) lo considera un proceso continuo
y sistemtico llevado a cabo durante una intervencin, lo que genera datos cuantitativos
sobre la implementacin de la intervencin, pero no sobre sus efectos. La intencin del
seguimiento es corregir cualquier desviacin de los objetivos operacionales, y as
mejorar el rendimiento del programa as como facilitar la subsecuente evaluacin.
Bsicamente, el seguimiento consiste en la demanda de informacin y en el control
ejercido por el poltico responsable de la iniciativa, lo que debe realizar de manera
simultnea a la ejecucin.
Teniendo en cuenta lo anterior, por evaluacin de un programa ha de entenderse la
valoracin del conjunto del proceso, en todas las fases de la poltica pblica. Recordemos
que originalmente, en el ciclo de las polticas pblicas, la evaluacin era en realidad la
ltima fase, y analizaba slo los resultados. Hoy se considera ms bien un proceso, o un
ciclo, paralelo que analiza el resto de las fases: formulacin, implementacin y ejecucin.
Por otro lado, el proceso de evaluacin es una investigacin y anlisis, que nos permite
establecer valoraciones sobre los procesos de las polticas pblicas en todas o alguna de
sus fases.
1

Es una investigacin que aplica las metodologas cuantitativas y cualitativas de la

sociologa y las ciencias polticas.

Se puede realizar sobre cada una las fases, o el conjunto, de una poltica pblica,
pero se enfoca principalmente a la formulacin e implementacin de la poltica,
esto es, desde la toma de la decisin en adelante, aunque en el anlisis de la
formulacin se incluyan los resultados de las fases anteriores.

En la evaluacin se analizan resultados de una poltica desde una perspectiva

profunda, ms all del seguimiento o comprobacin del cumplimiento de la
ejecucin.

Siguiendo a Domingo Comas (2008) podemos establecer que la evaluacin apareci en

Estados Unidos en la dcada de los aos 30 del siglo XX, al igual que la prctica de las
polticas pblicas. La idea de evaluar los programas sociales apareci como consecuencia
de la implantacin de la New Deal, intentando adaptar el mtodo que haba desarrollado
el psico-pedagogo conductista Ralph W. Tyler para evaluar los mtodos y resultados
educativos. Tyler estableci la idea de que el sistema educativo se deba fijar objetivos y
evaluar si se haban alcanzado, e insisti en que lo importante era medir el cambio
obtenido. Consigui que le encargaran la evaluacin de los resultados obtenidos por
diversos proyectos de renovacin pedaggica, con lo que fue difundiendo su mtodo.
La evaluacin de las polticas y programas pblicos continu evolucionando en EE.UU.,
en donde en los aos 50 u 60 se comenzaron a aplicar tcnicas estadsticas ms avanzadas
que la simple estadstica descriptiva para avanzar en el conocimiento de los programas y,
sobre todo, compararlos cuantitativamente con el fin de conocer los mejores (Comas,
2008). Se pretenda una dimensin prospectiva, anticipatoria, a partir del anlisis de
evaluacin. No obstante, en seguida se constat que los resultados de un programa no
eran siempre extrapolables a otros contextos.
A partir de los aos 70 y 80 la evaluacin comenz a hacer hincapi en la gestin de los
recursos pblicos a la hora de conseguir los objetivos, la eficiencia, aunque se constat
que la satisfaccin de los ciudadanos en sus preferencias tena consecuencias en el xito
de las polticas.

Es en este momento en el que se incorporan a la evaluacin los pases de Europa

occidental, buscando fundamentalmente contener la crisis del Estado de Bienestar
(Comas, 2008). A esta corriente de accountability (rendicin de cuentas), como se
expondr en el Reino unido, que prioriza el anlisis del control del gasto en la evaluacin,
se sum EE.UU. en los aos 90.
La necesidad de que las evaluaciones se enfocaran a la rendicin de cuentas para controlar
el gasto facilit la entrada de economistas como Michael Scriven quien plante que
primero hay que tratar de averiguar cules son las caractersticas esenciales y reales de
un programa o poltica, incluidos sus fundamentos tericos, su misin, as como la
decisin que lo ha puesto en marcha, para determinar a continuacin sus efectos (Comas
2008). A partir de los postulados de Scriven se comenz a desarrollar una visin ms
poltica y social, en las que se consider la democratizacin de la toma de decisiones y la
participacin ciudadana, aunque se constata el poder corporativo de las estructuras de
evaluacin internas.
El camino de Scriven fue seguido por Lee Cronbach, quien plante que lo que importa de
la evaluacin e su validez externa en un contexto local, es decir, el valor concreto de un
programa estable en un contexto de gobierno determinado. Para determinar el grado de
validez, podemos utilizar cualquier combinacin metodolgica dentro del campo
cientfico de las ciencias sociales (Comas, 2008).
As, han ido evolucionando los enfoques sobre la evaluacin de polticas pblicas, hasta
plantearse como una investigacin sistemtica que pretende analizar la configuracin de
un programa o poltica determinada para conocimiento de la opinin pblica. En
definitiva, la evaluacin se convierte en una especialidad dentro del anlisis de polticas
pblicas y se caracteriza por los mtodos de investigacin de las ciencias sociales con el
propsito de emitir un juicio de valor sobre las polticas pblicas o los programas de
intervencin.
La moderna evaluacin de polticas pblicas busca generar informacin sobre la accin
de los gobiernos y de los efectos que dichas acciones generan, y se refiere a todo el ciclo
de vida de la poltica, a los procedimientos y a la metodologa utilizada, a los resultados
que producen las polticas pblicas.

En este sentido, Carol Weiss (citada por Comas, 2008) explica que los usos de la
evaluacin de polticas pblicas se pueden resumir en:

Instrumental: los resultados obtenidos se utilizan para tomar decisiones sobre la

reformulacin o terminacin del programa o la poltica. Este uso instrumental
aparece, en la mayor parte de las ocasiones, subsumido y formando parte de los
otros usos citados a continuacin.

Conceptual: los resultados sirven para dar explicaciones sobre el por qu o el cmo
se hacen las cosas. Esto tiene que ver con el objetivo estratgico del programa y
los conceptos que lo sostienen.

Persuasivo: en el que la evaluacin sirve para movilizar apoyos para conseguir

recursos o cambios en el programa.

Poltico o trascendente: en la que la evaluacin pretende influir sobre la toma de

decisiones polticas o en el cambio de las creencias sociales.

Podemos observar en estas funciones dos grandes perspectivas en la evaluacin, segn se

primen unas u otras en cada caso. Una perspectiva es ms gerencial, en el que la
evaluacin de polticas pblicas es un instrumento tcnico, y otra ms poltica, en el que
la evaluacin mide los efectos de las polticas en la sociedad.
Desde el punto de vista gerencial, el diseo de la evaluacin se focaliza en la revisin de
los procesos y la medicin sistemtica del estado del problema, analizando en primer
trmino los criterios de:

Eficacia: organizacin interna, personal, nivel de respuesta, adecuacin de los

recursos, objetivos planteados.

Eficiencia: relacin de los costes y los beneficios generados por los resultados del
programa.

Grado de satisfaccin que se ha alcanzado.

Reduccin de costes por errores, fraude o derroche.

Adems de estos criterios, la perspectiva gerencial en la administracin pblica implica

tambin incorporar en la evaluacin criterios vinculados a los valores del Estado de
Derecho y las constituciones democrticas.

Igualdad.

Respeto al principio de legalidad.

Respeto a los derechos individuales y colectivos.

Asegurar una misma proteccin legal a todos los individuos y evitar situaciones
discriminatorias.

Por su parte, desde la perspectiva poltica se analiza principalmente el grado de respuesta

que la poltica o programa supone a la demanda o conflicto que origino el problema
pblico y su consiguiente respuesta. La perspectiva poltica se dirige, por un lado, a la
efectividad de la poltica pblica, a sus resultados en los usuarios y al impacto en el
conjunto de la sociedad. Adems, desde esta perspectiva, la evaluacin supone un
conjunto de utilidades en los sistemas polticos democrticos, ya que en este tipo de
sistemas los gobiernos tienen que rendir cuentas de sus actos, explicar sus decisiones a
los ciudadanos, presentar los logros alcanzados en las distintas reas en las que interviene
y legitimar, con resultados, sus decisiones. As, las evaluaciones de programas y servicios
pblicos cumplen importantes funciones en el sistema poltico, pues aportan informacin
para:

El control parlamentario de las actuaciones del ejecutivo y sus administraciones.

La transparencia, mediante la presentacin de resultados a la ciudadana.

La legitimacin de acciones de rediseo organizativo o de polticas de ajuste de

recursos.

El mantenimiento de la confianza y la cooperacin entre los diferentes actores que

participan en el proceso.

El reforzamiento, o la destruccin, de la reputacin de la eficacia, eficiencia y

oportunidad de una poltica.

El reforzamiento de la legitimidad de un tipo de liderazgo y de las oportunidades

organizativas de apropiacin presupuestaria.

En definitiva, segn Manuel Tamayo (1997) se trata de ofrecer una ofrecer informacin
til que facilite los procesos de toma de formulacin e implementacin, de cara a justificar
la necesidad de nuevos programas o polticas y a controlar la eficacia de la accin
administrativa. En este sentido la evaluacin aporta informacin sobre:

si se resuelve el problema que se pretenda o hay que reconducirlo,

el grado de operatividad del programa,

las diferencias de aplicacin,

reaccin de los actores implicados,

cmo ha funcionado la gestin del programa.

En este sentido podemos concetar los objetivos genricos de la evaluacin para los actores
promotores y decisores de polticas pblicas (Tamayo, 1997):

Mejora o perfeccionamiento: cmo mejorar el crograma, su efectividad, su

eficiencia, dirigida al personal responsable del programa y personal directamente
relacionado con el mismo.

Rendimiento de cuentas y responsabilidad: facilitar informacin a los

responsables de los programas y polticas para la toma de decisiones respecto a la
continuacin o no del programa, asignacin de recursos o la modificacin
sustancial del mismo.

Aprendizaje. Mejora del conocimiento para futuros programas: generacin de

conocimientos bsicos y contrastar teoras.

Ms all de estas perspectivas, podemos identificar distintos tipos de evaluacin de las

polticas pblicas, y distintas tipologas de evaluaciones, pero antes de comenzar a
avanzar en este aspecto, nos gustara distinguir que en esta leccin estamos tratando con
la evaluacin de programas y servicios pblicos, este es nuestro enfoque principal. Por
ello, otro tipo de evaluaciones internas del estado de las organizaciones, que suelen ser
6

herramientas vinculadas a modelos de calidad, son contempladas aqu de manera

tangencial, como complementos o para tener una referencia respecto a otros tipos. No
obstante, los modelos de calidad implementados en las organizaciones pblicas pueden
ser fuentes de informacin para la evaluacin de programas y servicios, y viceversa, ya
que incorporan como un criterio principal la medicin los resultados de la organizacin,
y esos resultados son los que obtienen a travs del impacto de sus productos en la
sociedad, los programas y servicios pblicos.
Para avanzar en los tipos de evaluacin, podemos comenzar por un el criterio temporal,
que se adapta al ciclo de polticas pblicas que estamos tratando, y que implica que la
evaluacin no es simplemente una fase ms de la poltica pblica, sino que es un ciclo
paralelo que puede analizar un programa o servicio en cualquiera de sus fases temporales.
As, segn la Comisin Europea (2004), hay distintos tipos de evaluacin que se
distinguen segn los momentos del desarrollo del programa o la poltica. En cada uno de
estos momentos la evaluacin obedece a una lgica distinta y tiene por tanto una finalidad
y unos procedimientos operativos diferentes:

Antes de se plantea objetivos relacionados con la necesidad de realizar un

anlisis previo de la realidad sobre la que se va a desarrollar el programa. Su
finalidad es la de averiguar cules deberan ser los contenidos y los objetivos del
programa.

Durante la realizacin del programa implica averiguar lo que estamos haciendo

para valorarlo y tratar de modificarlo. La finalidad de este tipo de evaluacin es
revisar los procesos y los procedimientos para comprobar cmo se utilizan los
recursos y estimar cmo se van a conformar los resultados.

Despus de, es cuando el programa o la actividad ha concluido, y pretende

medir los resultados y el impacto causado. Su finalidad es la de determinar las
trasformaciones que ha sufrido la realidad.

Siguiendo este primer criterio, podemos identificar distintos tipos de evaluacin en cada
fase temporal.

Evaluacin ex ante o antes de: en este momento inicial de la formaulacin de la

poltica pblica, podemos identificar:
7

o Evaluacin anticipativa (diagnstico de necesidades, anlisis de la

realidad): Orientada a producir informacin para el proceso de definicin
del problema y la formulacin de alternativas. Se centra en el anlisis del
contexto poltico, administrativo, legal, social y econmico, poniendo en
relacin la poltica pblica y los factores crticos del entorno.
o Evaluacin del diseo: orientada a conocer la adecuacin de los objetivos
del programa a las necesidades de la poblacin.
o Evaluacin de la evaluabilidad: su objetivo es determinar las posibilidades
de evaluar el programa que se va a realizar.
o Evaluacin de la cobertura: pretende conocer si el programa puede llegar
de verdad a la poblacin objeto del mismo.

Evaluacin am interim:
o Evaluacin de la viabilidad poltica (contexto): Trata de producir
informacin para afrontar las amenazas y aprovechar las oportunidades
presentes en ese entorno. Identifica a actores con intereses en la
implementacin del programa, elaborando mapas de apoyos y resolucin
de conflictos necesarios.
o Evaluacin de procesos (ejecucin): Determina el grado de cumplimiento
de los objetivos y compara el diseo inicial del programa con los recursos,
costos, formas y resultados reales con los que se desarrolla.
o Evaluacin correctora: Analiza el funcionamiento de todas las actividades,
localizando puntos crticos para corregirlos.
o Evaluacin del desempeo: Constata el rendimiento del equipo y sus
diferentes profesionales para establecer si la cualificacin es adecuada. Se
trata de un tipo de evaluacin muy delicada que puede interferir con
aspectos laborales.

Evaluacin ex post:

o Evaluacin de impacto: Facilita informacin sobre los del programa o

poltica y en qu medida los efectos observados en la sociedad se deben a
la poltica implantada. Mide la eficacia y efectividad, comparando los
impactos previstos con los observados y en relacin a las expectativas de
la poblacin.
o Evaluacin de la calidad: aporta informacin sobre si las polticas
producen los beneficios esperados por los distintos actores que participan
en el proceso. Mide la satisfaccin de las expectativas de los usuarios.
o Evaluacin de resultados: Recoge informacin sobre los logros finales del
programa, en relacin a los objetivos del mismo y facilita un juicio de
valor global.
o Evaluacin econmica: trata de medir el coste/beneficio (evaluacin
monetaria de los efectos del programa), el coste/efectividad (casi
imposible) y el coste/utilidad (exige categoras preestablecidas de
utilidad).
De todos estos tipos, los ms importantes en el contexto del anlisis de las polticas
pblicas son las evaluaciones de resultados y de impacto. No obstante, las evaluaciones
anticipativas y de diseo tienen utilidad desde el punto de vista de la toma de decisiones
operativa por parte de los lderes polticos, ya que permite evitar errores en el diseo y
formulacin de los programas pblicos. Podemos decir que estas evaluaciones exante
tienen un carcter de prospectiva del programa que se pretende emprender y formular.
Por su parte, las evaluaciones intermedias se basan o tienen en comn muchos elementos
con las herramientas de los modelos de calidad antes mencionadas. Las evaluaciones
correctoras, del desempeo y de procesos son tipos de evaluacin que tambin se utilizan
en la gestin interna de las organizaciones y, de hecho, sirven las mismas evalauciones
para ambos fines, particularmente cuando la organizacin en cuestin est especializada
en la gestin de pocos programas o servicios, y la misin de la organizacin est muy
vinculada al programa a evaluar.
La investigacin de la evaluacin

Como plantebamos anteriormente, cualquier tipo de evaluacin es una investigacin con

un mtodo especfico. Aunque cada uno de los tipos citados anteriormente tiene sus
especificidades, podemos establecer unos elementos comunes de las evaluaciones,
aunque fundamentalmente estamos tratando con las evaluaciones de resultados y de
impacto, que como ya hemos apuntado, son las que ms importancia tienen de cara al
anlisis de las polticas.
En cuanto a la estructura y fases de evalaucin podemos seguir la metodologa de
Domingo Comas (2008):

Planificar la evaluacin, contemplando los siguientes aspectos:

o Conceptualizar la naturaleza del programa.
o Conocer la literatura previa afn o anloga.
o Clarificar y jerarquizar los contenidos de la evaluacin Qu se va a
evaluar y por qu?
o Seleccionar los instrumentos de evaluacin.
o Definir objetivos, criterios, requisitos y estndares.
o Seleccionar a los evaluadores.
o Delimitar el campo de la observacin.
o Establecer las matrices de evaluacin.
o Diseo del plan de anlisis.

Aplicar el Plan y recoger los datos.

o Definir el proceso a seguir en la implementacin del tipo de evaluacin
diseada.
o Incluye recogida de datos, observacin, medicin, control y supervisin
de los mismos, as como verificacin, grabacin y depuracin de los
mismos.

Analizar los objetivos obtenidos:

o Aplicacin del plan de anlisis y juzgar los resultados y efectos.
10

o Formular juicios de valor con los resultados.

o Estimar resultados, efectos e impactos

Dar a conocer los resultados:

o Elaborar un Informe.
o Preparar extractos institucionales.
o Difundir los resultados a los afectados.
o Difundir los resultados a la comunidad cientfica.
o Remitirlo a registros y a bases de datos y documentales.
o Preparar artculos cientficos.

Como seala Comas (2008) lo importante de la evaluacin, es saber qu es lo que

realmente se pretende averiguar a travs del proceso de evaluacin, recopilar la
informacin utilizando la metodologa ms adecuada, de tal forma que la interpretacin
y valoracin posterior est basada en la informacin y responda a las preguntas
formuladas. La respuesta a esta cuestin nos dar el objetivo general de la misma.
Determinado el objetivo general, hay de desglosar ste en objetivos especficos. Estos
objetivos especficos se desarrollan para cada caso por el equipo de evaluacin,
dependiendo del programa o servicio pblico a evaluar.
Para llevar a cabo la estrategia una herramienta clave es la matriz de evaluacin, el
instrumento de planificacin de la evaluacin, el que refleja los objetivos, las preguntas
y los indicadores que se van a usar en la evaluacin. La matriz de evaluacin se basa en
una fila o eje horizontal en el que constan tanto campos como criterios de evaluacin se
consideran en el diseo: por ejemplo los objetivos, las preguntas a formular, los
indicadores que se van a utilizar, las fuentes de informacin, los criterios metodolgicos
para obtener los datos, los responsables de las diversas tareas, los resultados esperables,
la temporalizacin de cada tarea (Comas, 2008). Como criterios imprescidibles el
enfoque de marco lgico considera: pertinencia, eficacia, eficiencia, impacto y viabilidad.
A veces el impacto se considera como cobertura (Camacho, Cmara, Cascante, Sainz,
2001), esto es, hasta que punto llega a la poblacin objetivo, y la viabilidad se considera

11

como sostenibilidad, esto es, una vez realizado el proyecto, si es posible que funcione en
el tiempo.
Por su parte, en el eje vertical o primera columna se colocan cada uno de los objetivos
especficos de la evaluacin.
A modo de ejemplo, Comas (2008) propone el siguiente ejemplo simplificado de matriz
de evaluacin resultados para evaluar la eficiencia de un Ciberespacio de un Centro de
Juventud. La cantidad tanto de criterios como de objetivos especficos en casos ordinarios
sera muy superior, pero nos da una idea aproximada de lo que se trata.
OBJETIVO

PREGUNTA

INDICADOR

FUENTE

Conocimiento del ciber

entre los jvenes

Se conoce la existencia
del CIBER, su direccin,
los horarios y las normas
de uso?

Si/No a cada cuestin

Pregunta en encuesta
general sobre servicios
municipales.

Nivel de utilizacin del

ciber

Cuntos jvenes
diferentes han utilizado
el caber y con que
frecuencia?

% de jvenes que
utilizacin del Ciber y
numero de veces que a
hacen a lo largo del ao

Registro del CIBER

Caractersticas de los
usuarios del ciber

Quines son los que

utilizan y los usuarios
ms frecuentes?

Datos
sociodemogrficos,
educativos y de lugar de
procedencia (barrio)

Ficha Registro para

acceder a la condicin de
usuario CIBER

Percepcin del personal

tcnico sobre la eficacia
del servicio.

Piensan los tcnicos del

Ciber que la oferta es
adecuada a las
necesidades de los
jvenes de la localidad?

Valoracin en una escala

de diferentes aspectos
del servicio:

Cuestionario (o grupo de
discusin) a los tcnicos
de juventud y del CIBER.

Se trabaja y se oferta el
servicio mejor o peor
que otros similares en
otras localidades?

Posicin relativa en
relacin a otras
evaluaciones.

Comparacin con
otros servicios similares

Publicidad, facilidad,
ergonoma,
Informacin y
documentacin sobre
otras evaluaciones.

Fuente: Domingo Comas 2008

Planteada la planificacin, entramos en su puesta en prctica recogiendo los datos. Como
ya hemos afirmado, una evaluacin es en la prctica una investigacin social, y esta
caracterstica se plasma en la metodologa, particularmente a la hora de recopilar los datos
y de analizarlos.
En cualquier tipo de investigacin en el campo de las ciencias sociales tiene que
considerar que estamos tratando con fenmenos que incorporan un componente humano,
lo que implica incertidumbre en determinados comportamientos y, por tanto,
impredecibilidad. Los fenmenos sociales tienen su propia lgica colectiva, y para
12

comprender esa lgica le aplicamos, en la medida de lo posible, el mtodo cientfico. La

aplicacin del mtodo cientfico permite conocer el entorno humano y reducir esta
incertidumbre. Aqu no vamos a desarrollar de manera profusa la aplicacin del mtodo
cientfico a la evaluacin, porque desborda la intencin de este documento, pero si
podemos realizar una introduccin a las tcnicas cientficas que se pueden emplear para
llevas a cabo los principales tipos de evaluaciones.
El primer elemento de la recopilacin de los datos son los mtodos de observacin y
medicin. La observacin y la medicin sirven para dotar de contenido a los indicadores
y estos contenidos han de tener una relacin lgica con el fenmeno a medir. El indicador,
construido con anterioridad y que consta en la matriz de evaluacin, nos permite saber
qu es lo que tenemos que observar y medir.
El proceso de observacin es la creacin de reglas para la identificacin de los casos y la
obtencin de informacin. Exige la eleccin de uno o varios indicadores para cada
variable incluida en la investigacin y la eleccin de formas de obtener informacin. Por
lo general, en las evaluaciones se observa y cuantifica la forma, la duracin, la frecuencia,
los antecedentes y las consecuencias de los comportamientos individuales y de las
estructuras sociales (Comas 2008).
Se pueden distinguir dos grandes tipos de tcnicas de observacin:

La observacin no participante se caracteriza porque el investigador no participa

en el fenmeno observado y no es visible para los sujetos observados. El
fenmeno a evaluar transcurre con su propia lgica (Comas, 2008)

La observacin participante, en la que el investigador est dentro de la

organizacin o servicio, es visible para los sujetos que producen el fenmeno y,
de hecho, es uno de ellos. Tiene la ventaja de que as recoge los valores y la cultura
organizativa de la organizacin que produce el programa o servicio y de que
obtiene una informacin muy detallada, pero puede perder la objetividad sobre lo
observado.

En cualquiera de los dos tipos, los sucesos que se observan son seleccionados, anotados
y codificados en unidades significativas para que pueda analizarlos alguien que no est
presente en la observacin. Podemos considerar la observacin como una tcnica primaria
13

para la obtencin de informacin, pero es una tcnica que aporta informacin tanto
cualitativa como cuantitativa, aunque se la suele considerar una tcnica cualitativa, y es
un punto de partida relevante.
Se observa para medir, esto es, asignar cantidades a determinados objetos y
acontecimientos de acuerdo con determinadas reglas. Hay que sealar que en los
fenmenos sociales la cuantificacin produce precisin, pero no necesariamente es ms
correcta y adecuada en todas las ocasiones. Inventar ndices numricos que no estn
relacionados con los conceptos que se pretenden medir puede conducir a errores de
medicin y, por lo tanto, poner en duda los resultados de toda la investigacin.
Los distintos tipos de medicin proporcionan un medio de clasificar y ordenar los
fenmenos:

La medicin nominal, tambin denominada categrica, produce un conjunto de

categoras separadas que agrupan los casos similares entre s de acuerdo con el
criterio elegido.

La medicin ordinal, aporta el grado y facilita la comparacin entre las distintas

categoras.

La medicin de intervalo utiliza una unidad normalizada de la propiedad que se

mide y sealan la distancia que existe entre dos valores de una variable. Son
medidas de intervalo el peso, la longitud, el precio o la edad.

Es posible pasar de un tipo de medicin a otro, aunque siempre en el sentido de ms

informacin a menos.

Una variable de intervalo se puede transformar fcilmente en una ordinal a travs

de una agrupacin de las categoras.

Por ello es recomendable recoger la informacin en el nivel de medicin ms

preciso que sea posible, el de intervalo, ya que si es necesario, se podr
transformar en ordinal o nominal.

Para medir la evaluacin no slo podemos basarnos en la observacin, sino que podemos
complementarla con otras tcnicas de investigacin social, que tambin nos sirven para
14

recopilar datos. En este sentido, podemos recordar mnimamente algunas de ellas a partir
del tipo de medicin que realizan.
Por un lado tenemos las tcnicas cuantitativas, entre las que destaca la encuesta. Las
encuestas son una herramienta fundamental en las evaluaciones de impacto y satisfaccin
ciudadana con los servicios pblicos o las percepciones de calidad. Tambin se pueden
utilizar las encuestas para las evaluaciones de resultados e incluso en el interior de la
organizacin, para conocer informacin cuantitativa de los participantes en el programa
o en el seno de la organizacin. La encuesta se basa en un cuestionario de preguntas
cerradas, con si o no, bueno o malo, o con valoraciones en una escala, y la posterior
codificacin o registro de estos resultados para su cuantificacin.
Las preguntas del cuestionario han de reflejar los indicadores de la evaluacin. El que una
encuesta concreta sea til depende de que las preguntas que se realicen estn relacionadas
con los conceptos, los objetos de anlisis y los indicadores planteados.
Adems de las encuestas, los censos y registros de la administracin pblica recogen una
importante informacin cuantitativa, as como en general la propia actividad de la
administracin. Por ejemplo, la explotacin de las bases de datos producen una enorme
cantidad de datos cuantitativos que utilizar en una evaluacin, aunque de nuevo su
pertinencia depender de que los campos de las bases de datos se ajusten a los indicadores
que se buscan. En este sentido, cuando un determinado programa o servicio pblico
dispone de una base de datos especfica, en los que se recojan los indicadores de la
formulacin para el seguimiento, estos indicadores son particularmente oportunos para
una evaluacin de resultados, y aporta una informacin cuantitativa muy valiosa.
Adems de las bases de datos, cualquier mecanismo de seguimiento en la implementacin
puede ser una fuente de datos cuantitativos, as como las auditoras contables y, sobre
todo, de rendimiento.
La principal limitacin de estas tcnicas cuantitativas de recopilacin de datos es que la
informacin que aportan rara vez es causal. No dicen por qu, ni cmo se producen esos
datos. Para solventar esta limitacin se suelen adoptar dos caminos. El primero, los
tratamientos estadsticos avanzados: anlisis multivariado, correlaciones, regresiones,
etc. No obstante, los estadsticos descriptivos bsicos son los que aportan ms

15

informacin: frecuencias, cruces de frecuencias, medias, etc. El segundo camino es el

empleo de las tcnicas cualitativas.
Las tcnicas cualitativas de investigacin nos sirven para conocer los porqus y los cmos
de los datos cuantitativos. Tambin son herramientas que pueden servir como rastreo
previo o prospectivo para construir los indicadores antes de desarrollar la matriz de
evaluacin. Las principales tcnicas cualitativas son:

Grupos de discusin: esta es una tcnica muy empleada en las investigaciones de

mercado, y pueden usarse en evaluaciones de impacto y de resultados. Se basan
en plantear una conversacin sobre un rea de inters, focalizados en los
indicadores que queremos averiguar. Los participantes, entre 7 y 10, pueden ser
usuarios de un programa o servicio y se seleccionan por criterios de
representatividad entre esos usuarios (gnero, edad, lugar de residencia, renta,
etc.) La clave de los grupos de discusin es el moderador, que ha de guiar la
conversacin para obtener la informacin que se busca sin inducir las opiniones.

Entrevistas en profundidad a informantes clave. Trata de hacer que una persona

con un papel clave en el programa o servicio (por ejemplo, los actores clave), o
que tenga informacin relevante, comunique tanto como sea posible sus
conocimientos y conducta hacia determinado tema u objeto. La clave de las
entrevistas es el guion o protocolo, cuyo diseo ms o menos estructurado define
los distintos tipos de entrevistas.
o Estructuradas: las preguntas del guin son cerradas, se acercan a las de un
cuestionario de encuesta, y permiten respuestas previamente establecidas,
lo que consigue una informacin ms cuantitativa, pero resta capacidad de
indagacin causal.
o Abiertas: se basan en conversaciones sobre temas que se trata de averiguar
en los que se explora de manera flexible el conocimiento del entrevistado.
Este tipo de entrevistas depende mucho de la habilidad del entrevistador.
o Semi-estructuradas: las preguntas del guin son concretas, pero no tienen
respuestas previamente establecidas y permiten respuestas discursivas. La
veracidad y objetividad de esta informacin se establece por triangulacin,
16

por contraste entre los distintos informantes sobre el mismo tema. Este
tipo suele ser el ms usado.

Mtodo Delphi. Se puede decir que es un mtodo que rene caractersticas de los
otros dos anteriores. Se basa en reunir a grupos de expertos sobre un tema. Se basa
en un guin estructurado. Primero se les explora a los expertos seleccionados en
entrevistas individuales breves, para que no concierten sus respuestas, y
finalmente se les rene en comn para indagar las causas. Se suelen hacer varios
grupos para una investigacin, contrastando la informacin de cada uno. Los
participantes de cada grupo han de tener las mismas caractersticas entre ellos
(directivos, burcratas de calle, usuarios, etc.)

Grupo nominal. Es una tcnica en la que un grupo valora un tema. Aunque hay
diferentes herramientas, la dinmica bsica es que un moderador recoge las
aportaciones individuales por escrito y las selecciona, agrupa en categoras,
diferencia, y finalmente organiza una deliberacin para priorizar y elegir. A veces
se votan las opciones, aunque en otras basta la deliberacin para alcanzar una
acuerdo o valoracin. En el caso de las evaluaciones, las deliberaciones y
valoraciones tienen que estar orientadas a los indicadores. De nuevo en esta
tcnica es primordial la habilidad del moderador.

Jurados ciudadanos: es una tcnica participativa, que como la anterior puede servir
para tomar decisiones o realizar formulaciones de programas pblicos, pero
tambin se usa en las investigaciones sociales como las evaluaciones. Se basa en
un proceso deliberativo de un grupo de ciudadanos sobre temas que les afectan
para que formulen propuestas y tomen decisiones, o en este caso para que valoren
los indicadores de un programa o servicio. Se forman grupos de entre 12 y 20
personas y escuchar a varios testigos expertos, a los que preguntan, tras lo cual
deliberan entre ellos y formulan sus recomendaciones.

Cliente misterioso: esta es una tcnica que produce informacin tanto cualitativa
como cuantitativa, y que se ha desarrollado en los estudios de mercado, pero se
realiza cada vez ms en las evaluaciones de resultados y en evaluaciones de
desempeo. Se podra decir que es una versin de la observacin no participante.
El evaluador se hace pasar por usuario de un servicio pblico, solicitndolo y
17

aportando informacin sobre la prestacin. Se suelen cubrir indicadores de

accesibilidad (por ejemplo: barreras y ascensores, si es un espacio fsico,
visualizacin en internet, uso de mquinas por telfono); informacin y
sealizacin (horario, carteles, emergencias, buzones de sugerencias; gestin de
la tramitacin (claridad de donde se debe dirigir, gestin de esperas, tiempos de
espera, interrupciones, trato, etc.).
Una vez obtenidos todos los datos necesarios para cubrir la informacin prevista en la
matriz de evaluacin, hay que analizarlos. El mtodo de anlisis cambia segn el tipo de
evaluacin de que se trate, y aun as no existen mtodos de anlisis estandarizados. En
cualquier caso, el anlisis est condicionado por las herramientas y tcnicas elegidas para
la recopilacin de datos por un lado, y por el analista, por el otro. En este sentido hay que
sealar que no se trata de que el analista aporte sus opiniones subjetivas, sino de que sepa
interpretar las valoraciones y datos que tiene, sepa contextualizarlos, relacionarlos con las
demandas sociales que originaron el programa.
Para contextualizarlos se debe analizar el entorno poltico y social, experiencias de caos
similares, y tratar de entender que un programa pblico se evala sobre sobre los objetivos
especficos que el propio programa formula, y no sobre los que el evaluador crea que
debera haber sido formulados. En este sentido, los anlisis se tropiezan con dificultades
del entorno para contextualizar los datos. Las posiciones de los actores varan durante el
tiempo en que se aplica un programa, las propias organizaciones implicadas cambian sus
responsables y con ello sus prioridades, las necesidades sociales varan, y con ella la
opinin y expectativas de los usuarios de una servicio y el respaldo de la opinin pblica
al mismo. Por ello un punto de referencia fundamental para cualquier anlisis de una
poltica pblica, incluyendo la evaluacin de un programa o servicio, adems de
argumentar a partir de los datos empricos recopilados, es buscar aciertos y errores,
coherencias e incoherencias, en la lgica causa y efecto que deberan tener, as como las
averiguar las causas de los mismos.
Una vez analizados los datos, estos se reflejan en los informes correspondientes, pero no
basta una simple entrega de los mismos. Aqu hay que recordar lo que ya mencionbamos
sobre la transparencia, rendicin de cuentas y legitimacin que supone la publicacin de
las evaluaciones. No obstante, eso le corresponde a la entidad que encarga la evaluacin,
a la que hay que presentar el informe y explicarlo debidamente. Este punto, a veces
18

denominado devolucin, tiene que tener en cuenta cules son los fines de esa evaluacin
en concreto y qu reacciones puede producir en el entorno.
En ningn caso esta consideracin puede implicar que se cambien datos o se oculten en
el informe, pero si que hay que tener en cuenta que la evaluacin puede ser percibida
como una amenaza. Los procesos de evaluacin de programas pblicos suscitan
diferentes temores.
La evaluacin tiende a verse bien como auto-justificacin de sus responsables, bien como
arma arrojadiza para sus oponentes. Esta visin negativa est tambin ligada a entenderse
desde la propia administracin pblica como una funcin de control disciplinario. En
realidad, los estudios de caso muestran que la continuidad o no de los programas no se
suele deber a las evaluaciones, sino a decisiones polticas producto de los conflictos entre
actores con diferentes intereses.
Para evitar esas amenazas hay que reunir unos requisitos para realizar la evaluacin:

Utilidad: Hay que asegurar que una evaluacin satisfar las necesidades de
informacin prctica de los usuarios.

Viabilidad: Hay que asegurar que una evaluacin ser realista, prudente,
diplomtica y frugal.

tica: Hay que asegurar que una evaluacin es llevada a cabo de manera legal,
tica y con el conveniente respeto hacia el bienestar de las personas involucradas
en la evaluacin, as como de aquellas afectadas por los resultados de la misma.

Precisin: Hay que asegurar que la evaluacin revelar y expresar informacin

tcnicamente adecuada sobre los rasgos que determinan el mrito o valor del
programa evaluado.

Bibliografa
Alvira, F. (1991). Metodologa de la evaluacin de programas. Madrid: Centro de
Investigaciones Sociolgicas (CIS).
Ballart, X. (1992) Cmo evaluar programas y servicios pblicos? Aproximacin
sistemtica y estudios de caso. Madrid. MAP.

19

Ban i Martnez, R. (2003) La evaluacin de la accin y de las polticas pblicas.

Madrid. Daz de Santos.
Comas, Domingo (2008), Manual de evaluacin para polticas, planes, programas y
actividades de juventud, Madrid, INJUVE.
Comisin Europea (2004) Evaluating EU activities: A practical guide for the
Commision Services Luxemburgo: Office for Official Publications of the European
Communities.
Tamayo, Manuel (1997) El anlisis de las polticas pblicas en: Ban, R. y Carrillo,
E. (1997) La nueva gestin pblica, Madrid, Alianza Universidad
Weiss, C. H. (1998). Evaluation. Methods for Studying Programs and Policies. Second
Edition. Upper Saddle River (NJ): Prentice Hall.
Camacho, Hugo; Cmara, Luis; Cascante, Rafael; Sainz, Hctor (2001) El Enfoque del
marco lgico:10 casos prcticos Fundacin CIDEAL-(Acciones de Desarrollo y
Cooperacin A.D.C), Madrid.

20