LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE 69

LOS CAMINOS DE LA EVALUACIN DE POLTICAS

PBLICAS: UNA REVISIN DEL ENFOQUE

Ramn Bouzas Lorenzo

Universidade de Santiago de Compostela

Departamento de Ciencia Poltica e da Administracin

Este trabajo pretende trazar un mapa contributivo de las aportaciones tericas al

campo de la evaluacin de polticas pblicas e, igualmente, resaltar sus debates ms
destacados. A lo largo de estas pginas se explora el sentido del desarrollo del campo de
la evaluacin de polticas, el debate sobre su funcin y utilidad, as como las diferentes
perspectivas que han correlacionado la eleccin de determinadas estrategias metodol-
gicas y la nalidad de la accin evaluativa.
Palabras clave: Polticas pblicas, evaluacin, Administraciones pblicas, sector pbli-
co, gestin pblica.

This paper aims to map the theoretical contributions to the eld of public policy eval-
uation. Furthermore, it tries to highlight its outstanding debates. Both the meaning of
the development of the eld and the discussion on its function and utility are explored.
Finally, the different approaches correlating the choice of certain methodological strate-
gies and the target of evaluation are dealt with.
Keywords: Public policy,evaluation, public Administration, public sector, public man-
agement.

INTRODUCCIN
La complejidad del estudio de las po-
lticas pblicas est ilustrada por la diver-
sidad de modelos elaborados con el n de
aclarar el enorme caudal de mecanismos y
procedimientos que contienen los procesos
de decisin pblicos. Entre las interpreta-
ciones realizadas, nacidas de la necesidad
de jar una suerte de orden conceptual
que permitiese abarcar el estudio de las
acciones que intervienen en la gestacin
y puesta en prctica de las polticas y de
evitar su aparente oscuridad y complica-
cin, las concepciones cclicas del policy
making han pretendido simplicar y racio-
nalizar los procesos de toma de decisiones
asumiendo la articulacin de las polticas
a travs de distintas etapas1, que culmina-
ran en la puesta en prctica de diversas
tcnicas de evaluacin, que precederan,
a su vez, a una terminacin o redenicin
de la accin promovida: a partir de la de-
liberacin sobre la oportunidad de resol-
ver un determinado problema, la elabora-
cin de una poltica afrontara diferentes
planos decisionales que abarcaran desde
la determinacin del diseo mismo de la
intervencin hasta el cuestionamiento del
proceso completo de ejecucin, la verica-
cin del ajuste de los resultados a las in-

RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86

70
tenciones iniciales y la consideracin de la
persistencia futura de la poltica.
A pesar de que repetidamente se han
puesto en evidencia las debilidades de
un esfuerzo terico descriptivo que en
ms ocasiones de las deseadas ha dejado
patente su desajuste con la realidad2, las
visiones cclicas del policy-making, integra-
das en el paradigma del anlisis racional3,
adems de haber ofrecido una gua valio-
sa para mitigar la amenaza de dispersin
y error interpretativo a los que el anlisis
puede conducir, han contribuido a resaltar
una concepcin transversal de la evalua-
cin en el contexto del sistema poltico-
administrativo4, que con el paso del tiem-
po, por su difusin, aceptacin y utilidad,
proporcionara una notable popularidad a
las prcticas ex-ante; a la monitorizacin
o evaluacin in-itinere; y a las tcnicas
ex-post.
Aunque la evaluacin de polticas ha
resultado ser una parcela de investigacin
muy sensible a los cambios de paradigma
que se han sucedido en el campo general
de las polticas pblicas, si se considera el
peso que tuvo el anlisis racional durante
la segunda mitad del siglo pasado y el pa-
pel que este paradigma reserv a la eva-
luacin en el marco del examen del policy
making, se podra llegar a armar, sin te-
mor a exagerar, que el efecto que surten
algunos de los xitos y fracasos que jalo-
nan la evolucin de la teora y prctica de
la evaluacin habra contribuido a suscitar,
en ltima instancia, algunos de los altiba-
jos que en trminos de inters, populari-
dad y productividad cientca sufrira el
estudio de las polticas pblicas entre la
ms amplia comunidad de politlogos du-
rante los ltimos treinta aos. Si todava
profundizamos ms en la trayectoria hist-
rica, podemos llegar a constatar que esta-
mos ante el primer campo que se aleja de
la disciplina del anlisis de polticas pbli-
cas al someter a discusin algunos temas
fundamentales: la idea de un juicio tcnico
tanto ms competente cuanto ms exter-
no resulta respecto a las dinmicas entre
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
los diferentes intereses y las visiones diver-
gentes de los problemas; la representacin
del proceso de polticas pblicas como un
desarrollo lineal que discurre desde los
problemas a las soluciones; la separacin
clara entre la identicacin de los nes y
la seleccin de los medios; y, entre otros
aspectos controvertidos, la remisin reite-
rada al empleo de tcnicas cuantitativas.
Con el nimo de complementar algu-
nos anlisis precedentes brillantemente
resueltos por otros colegas (BUSTELO,
2003; BALLART, 1998), este trabajo intenta
trazar un mapa contributivo de las aporta-
ciones tericas al campo de la evaluacin
de polticas pblicas e, igualmente, resal-
tar los debates ms destacados que han te-
nido como teln de fondo una de las reas
de la ciencia poltica y de la administracin
que durante las ltimas dcadas ha mos-
trado mayor productividad e impacto en
la prctica profesional.
DESARROLLO DEL CAMPO
La abundante literatura sobre polticas
pblicas y, en concreto, la que se preocupa
por sus vas de anlisis, nos recuerda sis-
temticamente la categora que cobra el
subcampo de la evaluacin a medida que
crece la importancia de la intervencin es-
tatal en los pases industrializados a partir
de nales de los aos cincuenta y princi-
pios de los sesenta, y posteriormente, du-
rante la dcada de los noventa, en un evi-
dente crecimiento paralelo a la difusin de
las ideas del nuevo gerencialismo pblico
de las que en la actualidad se siguen nu-
triendo acadmicos y profesionales.
Frente a la dilatada historia que envuel-
ve las prcticas evaluativas que podramos
calicar de seudocientcas, de recalci-
trante vigencia en sus aplicaciones al m-
bito pblico y al privado y carentes en la
misma proporcin tanto de renamiento
tcnico y estricta vigilancia metodolgica
como de sustrato tico, la evaluacin que
llega a merecer un tratamiento exclusivo
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE
en el mundo acadmico y que aqu nos
ocupa, menos dada a la espontaneidad, y
ms activa, consistente, sistemtica y com-
pleta en lo que atae a su aplicabilidad
al proceso completo de polticas pblicas,
encuentra sus races ms profundas en un
segmento temporal que no supera los cua-
renta aos5.
Detenindonos brevemente en la evo-
lucin del campo, el estudio de la literatu-
ra estadounidense sobre la evaluacin de
programas y polticas de las ltimas cuatro
dcadas revela una trayectoria retratable
en tres etapas, de impulso, declive y resur-
gimiento6.
El periodo de impulso de la evaluacin
abarca la dcada de los sesenta y se pro-
longa hasta bien entrados los setenta. Se
trata de un momento en el que las fuer-
tes inversiones en materia de evaluacin,
amparadas por una favorable iniciativa
legislativa, presupuestaria e institucional7
y por una desbordante euforia entre los
acadmicos sobre la utilidad prctica de
las ciencias sociales8 y su facultad para
ofrecer respuestas acerca del rendimiento
de los programas y sobre la medida en que
stos contribuan al xito de las polticas,
favorecen la formacin y consolidacin de
amplias comunidades de investigadores,
la denicin de los lmites cientcos del
rea, y el fomento, interno o externo, de
unidades y organismos responsabilizados
de esta materia9.
Factores de ndole econmica, com-
binados con un importante cambio en la
ideologa de la gestin pblica, hicieron
que desde mediados de los setenta hasta
el inicio de los noventa el inters por la
evaluacin decreciese. Las unidades res-
ponsabilizadas de la evaluacin, conside-
radas en algunos casos, por sus funciones
de control, una amenaza o, cuando me-
nos, una fuente de malas noticias- para los
clientes internos, no llegaron a gozar en
muchas agencias gubernamentales de la
popularidad suciente para garantizarse
su supervivencia en periodos de intensos
71
recortes de los recursos disponibles. Este
fenmeno, por s slo poderoso como ex-
plicacin del declive del cultivo de la eva-
luacin, unido a una defensa extrema de
la reduccin del sector pblico, inspirada
en las ideas de la nueva gestin pblica,
pudo haber contribuido decisivamente
a acelerar un cambio en las preferencias
profesionales de los acadmicos que ha-
ra disminuir el inters por esta disciplina
y obligara a los autores ms rmemente
convencidos de las bondades de la evalua-
cin a replegarse en el debate terico en
detrimento de la investigacin ms emp-
rica y el desarrollo y perfeccionamiento
tecnolgico.
Desde mediados de los noventa, un
nuevo impulso legislativo10, una renovada
conanza en las capacidades operativas de
la Administracin y la creencia -cada vez
ms compartida por las elites11- de que, con
independencia de los recursos econmicos,
a travs de una adecuada formacin (cul-
tural-profesional) de los empleados y una
concepcin ms exible y esmerada de
los procesos administrativos y del diseo
estructural12 se podra obtener un desem-
peo eciente, un elevado rendimiento y
una gestin de calidad acorde con las ex-
pectativas de la ciudadana, logran situar
nuevamente en un primer plano el inters
por la evaluacin13. Las reformas realiza-
das a nales de los noventa en los Estados
Unidos en diversas polticas sociales y, en
particular, en educacin, seran testigos de
la introduccin de un conjunto amplio de
tcnicas en las que, frente a las modalida-
des verticales-descendentes vigentes du-
rante los sesenta, las evaluaciones de n
de siglo, con un tono ms pluralista, intro-
ducen mayores mecanismos de participa-
cin y adquieren una mayor orientacin al
usuario-destinatario.
Como antes se ha sealado, estos tres
periodos, adems de segmentar el cultivo
de la evaluacin e iluminar los factores de
ndole contextual que han dejado mayor
huella en la ganancia o prdida de popula-
ridad del campo, nos ayudan, en un plano
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
72
superior, a tomar el pulso a la investiga-
cin ms extensa sobre polticas pblicas.
Igualmente, en lo que respecta a la evo-
lucin de este terreno en otros entornos,
con matices de importancia variable segn
el rea territorial a considerar, la pauta
descrita puede servir para esbozar la tra-
yectoria de los estudios sobre evaluacin
en el mbito europeo (TOULEMONDE,
LEEUW y BROUWERS, 1999; FONTAINE y
MONNIER, 1998; TOULEMONDE, 1995):
as, aunque en general el campo comien-
za a desarrollarse a partir de los setenta,
mientras en el norte del continente y en
el rea de inuencia anglosajona la apre-
ciacin del valor que las tcnicas de eva-
luacin pueden proporcionar a las organi-
zaciones pblicas tiene reejo inmediato
en la prctica14, en el resto del continente
el mayor peso recaera en una produccin
terica de desigual profundidad en oca-
siones, no demasiado alejada de lo que
podra considerarse literatura introducto-
ria, con propsito meramente divulgati-
vo-, carente de la proyeccin prctica sli-
da y rigurosa15 que hubiese sido necesaria
para dotar de credibilidad desde un prin-
cipio al estudio de la evaluacin de pol-
ticas entre acadmicos y gestores y evitar
que factores como la reduccin del dcit
pblico o la lucha contra la corrupcin se
convirtiesen, casi en exclusiva, en lo que
parecan ser las utilidades y argumentos
determinantes para animar a muchos po-
litlogos a reorientar sus intereses hacia
esta parcela de las polticas pblicas.
PERSPECTIVAS SOBRE LA FUNCIN Y UTI-
LIDAD DE LA EVALUACIN
Dejando a un lado la crnica sobre la
consolidacin del campo o, en el caso es-
paol, la del modesto recorrido a pesar
del esfuerzo realizado en la formacin
de grupos de investigacin- en pos de la
conquista de la difcil misin de crear una
tradicin cientca, aspectos que ya han
suscitado la inclusin de innumerables
comentarios en las principales obras de la
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
disciplina, podemos ahora detener la mi-
rada en otro punto debatido prolongada y
abundantemente por los principales teri-
cos del rea: la consideracin de las funcio-
nes y de la utilidad de la evaluacin.
En torno a las funciones y a la utilidad,
volviendo al marco del proceso de elabo-
racin de polticas pblicas, la relacin
directa de la evaluacin con la toma de
decisiones, fuera de toda duda, ha sido
considerada desde dos planos: en primer
lugar, la visin ms tradicional ha resalta-
do la evaluacin como un proceso cardinal
que ofrece soporte al proceso de toma de
decisiones al proporcionar valoraciones
del grado en que los programas y polticas
diseados han logrado ajustarse a las me-
tas propuestas inicialmente16; y, en segun-
do lugar, partiendo de una comprensin
ms rica, tanto terica como prcticamen-
te (potencialidad de la variedad tcnica),
la evaluacin es considerada una funcin
de gestin con capacidad para aportar un
valor aadido a la actividad administrativa
al ofrecer soluciones tecnolgicas para de-
terminar con nes formativos o sumativos
no slo el nivel de logro y percepcin de
los resultados nales en relacin con los
objetivos previstos inicialmente, sino tam-
bin la generacin de objetivos imprevis-
tos; el examen de los efectos sobre la po-
blacin objeto y el entorno; la vericacin
de la consecucin de los objetivos en rela-
cin a la asignacin ptima de recursos; o
la evaluacin monetaria del objeto (coste-
benecio), de sus costes y efectividad (cos-
te-efectividad), as como de sus resultados
en relacin a unas categoras de utilidad
(coste-utilidad)17 (vid. grco 1).
En cierto modo, en trminos ms fa-
miliares, las dos ideas destacadas guar-
daran relacin con la distincin de las
funciones elementales que STUFFLEBEAM
y SHINKFIELD (1995) atribuyen a la evalua-
cin: la de perfeccionamiento (improve-
ment), desde la que se concibe la evalua-
cin como un sistema con capacidad para
dar respuesta a las necesidades gerencia-
les, garantizar unas prestaciones ptimas
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE 73

A ctor es O utput Nivel de E valuacin

Aproximaciones normativas Aproximaciones E xplicativas

(Policy Sciences (Anlisis de Polticas)
/ E leccin Pblica)

Pblico

E x-ante Necesidades F or macin de

C oste-Ventajas Problemas las Polticas
C oste-E ficacia (Toma de
A spiraciones
C oste-U tilidad decisiones)

Decisores
Polticos

Objetivos

M edios

E jecucin
(Anlisis de
Sistema I mpacto pr ocesos /
A dministrativo seguimiento)

R ealizaciones

E ficiencia E valuacin
E valuaciones F or mativa
G rupos Objetivos
axiomticas de
Otros G rupos Polticas

Satisfaccin
E fectos
Previstos /
E fectos
I mprevistos

Grco 1: El proceso de polticas pblicas y las modalidades de evaluacin. Fuente: Adap-

tacin de NIOCHE (1982).

y proporcionar, simultneamente, recursos la accountability deben poner en marcha

para la mejora continua de la propia ac-
cin evaluativa; la rendicin de cuentas
(accountability), con la que se pretende
responder al compromiso bsico de satis-
faccin de la necesidad de claricar y hacer
perceptible y comprensible a la ciudadana
la accin de gobierno y el rendimiento de
la Administracin en los sistemas democr-
ticos18; y la gua de acciones futuras (en-
lightenment), desde la que se ofrece un
soporte para el aprendizaje organizativo,
al facilitar unos medios y una tecnologa
ya contrastados ante el posible diseo de
nuevas acciones19.
Con el n de proporcionar soluciones
ante la extensa gama de intervenciones
evaluativas que desde la perspectiva de
los diferentes actores institucionales (par-
tidos; parlamentos; tribunales de cuentas,
etc.), la literatura se ha caracterizado por
su remisin a la metodologa de la inves-
tigacin en ciencias sociales20 para bus-
car tcnicas y modalidades que permiten
ofrecer nuevas formas de calibrar el rendi-
miento de las polticas y de los programas
especcos de actuacin pblica. En este
sentido, desde la limitada concepcin de
la evaluacin como ejercicio elemental de
vericacin de resultados y contraste con
los objetivos iniciales hasta la percepcin
de su potencial riqueza para perfeccionar
y dar sentido desde un punto de vista -
nalista- a la accin poltica, ha crecido toda
una amplia gama de campos de aplicacin

RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86

74
que comprenden la prctica extensin del
dominio del anlisis de las polticas pbli-
cas. Ha sido esta exploracin de las estra-
tegias de anlisis y de la diversidad de los
terrenos que la actividad evaluadora ha
abarcado lo que ha convertido esta rea
en una de las ms agitadas goras pluridis-
ciplinares de la ciencia poltica.
A partir de la parfrasis de la denicin
que ofrece M.Scriven sobre la evaluacin21,
E.Vedung, en uno de los manuales de ms
reciente xito en este campo, recapitula
las prcticas de evaluacin y los contextos
en los que se llevan a cabo, reclamando
atencin sobre diversas observaciones me-
todolgicas. Elabora, en el fondo, lo que
podra ser interpretado como un elenco de
los temas que ms debate han generado al
teorizar sobre la prctica evaluativa:
Intervenciones gubernamentales: aun-
que como proceso analtico la evaluacin
puede ser empleada en cualquier terre-
no de las ciencias sociales, es indiscutible
su carcter poltico22 y su identicacin
con la actividad gubernamental, donde
es aplicable tanto al rea de las grandes
lneas de intervencin pblica (polticas
pblicas) como a los procesos que afectan
transversalmente a la operatividad de la
Administracin (diseo estructural; diseo
de procesos; planicacin; control; presu-
puestacin, etc.)23.
Mecanismos de procesamiento, pro-
ductos e impactos: en el seno de la acti-
vidad de cualquier organismo los proce-
dimientos de evaluacin no slo atienden
a los mtodos de procesamiento de insu-
mos, sino tambin a los productos que la
transformacin genera y a los impactos
que a corto, medio y largo plazo suscita la
actividad.
Valoracin de actividades en curso y
nalizadas: la evaluacin orientada a las
actividades en curso (ajuste a criterios de
eciencia)24 no excluye, desde la perspecti-
va de la creacin de vas de aprendizaje y
perfeccionamiento, el examen ex-post de
las intervenciones conclusas.
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
Retrospeccin y anticipacin: la evalua-
cin implica una valoracin retrospectiva
de las intervenciones pblicas e, igual-
mente, comporta mucho ms que la mera
apreciacin de lo activo; facilita la puesta
en marcha de mecanismos susceptibles de
fundamentar los procesos de debate y la
toma de decisiones25 relativos a programas
y polticas venideros26.
Examen de la eciencia, administra-
cin y supervisin de produccin: la gama
de modalidades de evaluacin se extiende
ms all de la clsica evaluacin de impac-
to; adems de comprender el estudio de
la eciencia, la administracin y el segui-
miento27, atae a la calidad de las presta-
ciones.
Diversidad de criterios de valoracin:
la evaluacin no slo se limita a la veri-
cacin del cumplimiento de objetivos,
sino que abarca la apreciacin de muchos
otros elementos de tangibilidad variable28
(mritos, valor monetario, valor moral)
que ofrecen inters para quienes directa
o indirectamente diseadores de la inter-
vencin, promotores, mediadores, agentes
crticos (stakeholders), receptores- estn
involucrados en las acciones emprendidas.
Empleo de mtodos formales y rigu-
rosos: la evaluacin contempornea, en
especial, la llevada a cabo en el mbito
pblico, trata de ajustarse metodolgica-
mente a unos mnimos criterios de calidad
y rigor y abandonar prcticas pseudocien-
tcas, escasamente solventes, nacidas del
oportunismo, la improvisacin o la intui-
cin.
LITERATURA Y DEBATE METODOLGICO
El lector que profundiza en la literatu-
ra sobre la evaluacin de polticas pronto
advierte que esta parcela cientca ha ido
creciendo, aumentando su diversidad te-
mtica, variedad metodolgica y nmina
de contribuyentes, al tiempo que se han
intensicado los debates en torno a los
nes, la metodologa y las prcticas que
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE
abarca. Hasta cierto punto, un balance
riguroso de la teora sobre la evaluacin,
adems de difuminar las diferencias detec-
tables entre las diversas perspectivas, im-
pide, en sentido estricto, distinguir entre
aproximaciones fundacionales y actuales:
lo que se podra considerar inaugural, le-
jos de caer en desuso y alejarse de la prc-
tica contempornea, est muy presente
todava en los diferentes sectores en los
que habitualmente se aplican las tcnicas
de evaluacin29.
El debate actual entre los tericos de
la evaluacin parece volcarse ms en el
cuestionamiento de los paradigmas epis-
temolgicos30 que en la consideracin de
la funcin de la evaluacin en el marco de
las teoras sobre la elaboracin de polticas
pblicas. En este sentido, las aportaciones
siguen divididas entre aquellas que mues-
tran su adhesin al paradigma experimen-
tal, caracterizado por el alineamiento con
el positivismo lgico, la metodologa cuan-
titativa31 y el empleo de cadenas deducti-
vas y de generalizacin; y las que se iden-
tican ms con el constructivismo social y,
en consecuencia, optan por una epistemo-
loga postpositivista, adoptada tanto des-
de un enfoque hermenutico postmoder-
no centrado en la elaboracin de anlisis
holsticos y la exaltacin de los mtodos
cualitativos32- como desde un enfoque tec-
nolgico o pragmtico -donde se podran
situar las aportaciones de D.B.Fishman.
Con afn recapitulatorio del debate
sobre la metodologa y la funcin de la
evaluacin, distancindonos de la lite-
ratura sobre la evaluacin nacida de las
teoras del anlisis de polticas pblicas, y
prescindiendo del empleo de un criterio
cronolgico en el intento de desentraar
las vas abiertas en este campo, podra-
mos empezar por rescatar de las obras
de D.T.Campbell y M.Scriven una primera
aproximacin al estudio de la evaluacin
de polticas.
Ambos autores son exponentes de un
enfoque puro en el que, desterrada
75
toda inuencia de los procesos decisiona-
les, la evaluacin es estudiada como an-
lisis de los resultados de las polticas: los
evaluadores consideran que para diagnos-
ticar los resultados es necesario formular
una hiptesis de impacto de la variable
independiente (la poltica)33 en la varia-
ble dependiente (los cambios producidos
en aquella parte de la sociedad sobre la
que ha actuado la poltica pblica). Con
el n de profundizar en esa cuestin, en
una de las monografas ms destacadas de
la disciplina, CAMPBELL y STANLEY (1963)
teorizan sobre diseos de investigacin
experimentales y cuasi-experimentales, y
disertan sobre los modelos causales de im-
pacto como solucin para un problema al
que desde muy temprano se enfrentaron
los evaluadores34: la validez de las rela-
ciones de impacto. Este se convertira en
un tema de debate crucial hasta el punto
de que las diversas nociones de validez35,
especialmente la interna, inspiraran algu-
nos instrumentos de evaluacin clebres
nacidos del renamiento economtrico. Se
tratara, en suma, de considerar la poten-
cialidad del control experimental y cuasi-
experimental para el anlisis de las polti-
cas pblicas36.
Alineada con esta primera perspectiva,
en la obra de M.Scriven y, concretamen-
te, en su consideracin de la lgica de la
evaluacin37, se podra hallar un buen tes-
timonio de la profunda creencia en la po-
tencialidad y riqueza de la prctica de la
evaluacin hasta el punto de minusvalorar
el anlisis de los procesos de toma de de-
cisiones y soslayar el debate sobre la con-
sideracin de la funcin de la evaluacin
en el marco ms amplio del estudio de las
polticas pblicas. Ms all de sus apor-
taciones sobre la evaluacin formativa y
sumativa, por las que es ampliamente re-
conocido, Scriven defendera la edicacin
de una ciencia de la evaluacin justicada
con benecios superiores a los costes que
comporta38-, orientada al inters general39
y verdaderamente comprometida con la
necesidad que la ciudadana tiene de co-
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
76
nocer las caractersticas de la actuacin de
quienes se responsabilizan de su adminis-
tracin. Para ello, llegara a proponer un
modelo evaluativo ambicioso, en el que
adems de superar las constricciones de
las concepciones ms racionales, basadas
en la importancia de la consecucin de los
objetivos asumiendo as las tesis de los
defensores de la controvertida, aunque re-
volucionaria, concepcin de la evaluacin
libre de objetivos (goal-free evaluation)
- se pondran en tela de juicio los procedi-
mientos mismos de evaluacin (metaeva-
luacin).
Las aportaciones de esta primera co-
rriente, aunque muy cuestionadas durante
los ltimos veinte aos (ROSSI y FREEMAN,
1989), se mantienen muy vivas: en trmi-
nos de debate, a pesar de las crticas recibi-
das casi todas basadas en aspectos episte-
molgicos-, han contribuido a cuestionar
el papel de la evaluacin tanto desde la
perspectiva del proceso de gobierno de
las polticas pblicas como desde el plano
del uso del conocimiento; y, en trminos
metodolgicos, aun considerando su limi-
tacin y lentitud40, se sigue reconociendo
la idea de que el control causal experi-
mental o cuasiexperimental- puede ser
utilizado con xito en variados sectores de
las polticas pblicas.
La reaccin a esta primera lnea podra-
mos encontrarla en varios enfoques dife-
renciados.
En primer lugar, frente a la visin inge-
nuamente asptica del papel desempea-
do por el evaluador ante los procesos de
toma de decisiones, propia del enfoque
adoptado por Scriven y Campbell, hay au-
tores que, como WHOLEY (1983), contra-
ponen la gura de un evaluador que opera
en estrecho contacto con los responsables-
gestores de los programas y proponen
una concepcin en la que la evaluacin se
transforma en un instrumento que permi-
te el logro de una gestin ms eciente,
un mayor rendimiento y mejores resulta-
dos41: la evaluacin, en tanto que herra-
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
mienta de gestin, exible, adaptable a
todo tipo de situaciones, se amolda a las
caractersticas de los programas y polticas
emprendidos.
Desde esta lnea, la comunidad acad-
mica y profesional dedicada a la evalua-
cin debe adoptar una actitud mucho ms
comprometida con la misin que persiguen
los directivos pblicos y ser consciente de
la disponibilidad de una amplia gama de
tcnicas que pueden permitir eliminar o
atenuar la inuencia de algunos factores
que pueden malograr la evaluacin: coste
de recogida de datos; variabilidad de las
actividades a examinar; nivel administra-
tivo y mbito territorial en el que opera;
actitud y motivacin de los actores impli-
cados; o tipo de objetivos propuestos y
claridad de las hiptesis formuladas. Con
el n de enriquecer la funcin del evalua-
dor y proyectar sobre el terreno prctico la
necesidad de renamiento tcnico, la lite-
ratura ofrecera pautas de actuacin enca-
minadas a optimizar el empleo de los ins-
trumentos de evaluacin42 y prescripciones
sobre la manera de gestionar el diseo de
las intervenciones, con especial atencin a
las interacciones a las que dan lugar en el
mbito poltico los programas y las polti-
cas pblicas43.
En una posicin reivindicativa de la
defensa de la evaluacin y su papel so-
cial muy semejante a la de Wholey, pero,
si cabe, con una pretensin menos elitis-
ta, menos orientada al cumplimiento con
el directivo pblico y ms comprometida
con la satisfaccin de los destinatarios
reales de las intervenciones, se situara la
contribucin de R.E.Stake, quien reubica-
ra nuevamente la funcin del evaluador
centrada en la prestacin de servicios- y
reinterpretara de una manera ms prag-
mtica el empleo de las tcnicas de mar-
cado carcter cualitativo-, subordinando
el rigor a la utilidad44. Desde esta ptica,
la evaluacin pierde parte de su tono ms
exclusivamente tecnocrtico, y adquiere
un carcter dialogante y abierto, rasgos
que son contemplados como condicin de
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE
una contribucin a una gestin ms ecaz
y ms democrtica de los servicios pblicos
(NIOCHE, 1982: 56).
Aunque respecto a la visin de Scriven
y Campbell, tanto desde la perspectiva de
Wholey como la de Stake, persiste el poso
de una teora racional-sinptica del pro-
ceso de elaboracin de polticas pblicas,
las concepciones del saber y de la funcin
del evaluador, as como los diseos de in-
vestigacin a excepcin de la evaluacin
intensiva, en la que se evidencian los con-
troles clsicos- se modican parcialmente.
Desde este punto de vista, los procesos de
toma de decisiones, la funcin del evalua-
dor y el aparato terico-metodolgico pa-
san a formar parte de un todo. Se trata,
en otras palabras, de una visin de la eva-
luacin fundamentada en la primaca de la
asuncin social de las ideas por encima de
su certeza45.
Hay, no obstante, otras vas para repo-
sicionar la evaluacin de polticas: en la
misma insatisfaccin ante el modo de con-
cebir la toma de decisiones y la funcin del
saber cientco en los procesos polticos se
encuentra el elemento que explica el ale-
jamiento gradual de muchos tericos de la
evaluacin respecto a los planteamientos
originales. En este sentido, C.Weiss nos
recuerda que, aunque a menudo resulte
inadvertido por los autores menos sensibi-
lizados con los procesos decisionales, mu-
chos programas y polticas con buen rendi-
miento son una consecuencia del xito de
decisiones polticas precedentes, y que, de
hecho, la confrontacin poltica en torno
a los programas no concluye tras la apro-
bacin inicial de la intervencin46. En este
orden de cosas, considerando la naturale-
za del proceso que conduce a la jacin de
los objetivos, el carcter estratgico que
adopta la conducta de los diferentes ac-
tores involucrados e, incluso, el papel que
desempea el cientco social en las pol-
ticas pblicas, es imposible dejar de con-
cebir la evaluacin de polticas como una
actividad intrnsecamente poltica47. As,
en la propia consideracin de la existencia
77
de una poltica de la evaluacin radicara
la razn ser de diferentes manifestacio-
nes del uso de la informacin: el empleo
manipulativo de la investigacin social en
funcin de intereses especcos de grupos
de presin; la produccin de informacin
por motivos de control de la organizacin
o del ambiente; o la sobresaturacin de in-
formacin respecto los recursos necesarios
para la toma de decisiones48.
Con el n de superar las limitaciones
que se derivan de la intervencin de facto-
res de ndole poltica en los modelos sim-
plistas de resolucin de problemas y frente
al modelo racional-sinptico, L.J. Cronba-
ch presentara el modelo de la policy-sha-
ping community, en el que sostendra que
la evaluacin no se conforma respecto a
normas o modelos abstractos, sino que se
dene a partir de las caractersticas de la
comunidad de polticas que la auspicia49.
Desde esta ptica, Cronbach pondra en
tela de juicio las evaluaciones que a partir
del empleo de tcnicas ex-ante aspiran a
decir la ltima palabra sobre una poltica
-su peligro radicara en su tendencia a in-
ducir a sus responsables a prestar mayor
atencin a los impactos, a menudo impre-
visibles, y a descuidar la vigilancia de los
inputs, ms fcilmente controlables- y, en
trminos metodolgicos, privilegiara la
amplitud de las cuestiones tratadas fren-
te a la precisin de las relaciones causales
de impacto, siendo ms importante para
Cronbach reconstruir el problema que la
poltica abarca y redireccionar el diseo de
las actuaciones futuras que medir las rela-
ciones causales a partir de las experiencias
precedentes50.
En el fondo de su reexin metodol-
gica y teleolgica, Cronbach debate nue-
vamente la funcin de la evaluacin de
polticas, que, segn sostiene, no debera
preocuparse demasiado ni de la resolucin
de problemas sociales ni de la utilizacin
de un instrumental cientco, sino de pro-
curar la mejora del proceso de produccin
de polticas51. Y, en esa lnea, aunque con
un tono terico sensiblemente diferente52,
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
78
Weiss considera que la evaluacin debe-
ra promover una inltracin de nuevas
ideas, diferentes cuadros conceptuales y
deniciones alternativas de los problemas
pblicos en los diseadores de polticas
(enlightment): en concreto, su concepcin
de la ilustracin o iluminacin se fun-
damentara en la idea de que, aun en un
contexto condicionado por los intereses de
los diferentes actores, la ideologa y la dis-
ponibilidad de informacin, la labor de in-
vestigacin tiene una gran potencialidad
para esclarecer las vas que permiten supe-
rar las complejidades que habitualmente
acompaan los problemas a solventar en
el mbito pblico.
En este punto, en la actualidad, el de-
bate terico se sita en un aspecto muy
polmico: por un lado, es loable el intento
de iluminacin de los policy-makers que
desea Weiss y, por supuesto, es ms que
razonable pensar que la evaluacin forma
parte de un proyecto ms ambicioso de
polticas pblicas que debe ser mejorado53;
por otro lado, como sealara Lindblom54,
existen muchas otras sendas alternativas
que pueden evitar que una concepcin li-
bre de objetivos y perfectamente incluida
en el proceso de elaboracin de polticas
amenace con convertirse nalmente en un
instrumento al servicio de las elites y de los
mximos responsables de los programas,
poniendo en duda el carcter democrtico
de todo el proceso. Tal vez, si la cuestin
pendiente en la teora de la evaluacin es
la de dilucidar el empleo del conocimiento
que la aplicacin de las diferentes tcnicas
genera, probablemente, no es suciente
con diferenciar entre un uso conceptual
o instrumental o entre el corto, medio o
largo plazo, sino que debera ser necesario
indagar las diferencias entre un uso acep-
table o inaceptable.
RECAPITULACIN
Al contextualizar los debates de la
teora de la evaluacin en el campo ms
amplio de la ciencia poltica y de la ad-
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
ministracin, DENTE y RADAELLI (1995:
147-185) subrayan tres aspectos: primero,
que la ecacia de las evaluaciones depen-
de decisivamente de las teoras de la ela-
boracin de polticas en que se insertan;
segundo, que la cuestin del impacto de
las evaluaciones se est afrontando, prin-
cipalmente, dentro de modelos de anlisis
que endogenizan el conocimiento, mien-
tras parecen quedar en un segundo plano
los modelos de examen del impacto basa-
dos en los marcos interpretativos que en el
corto, medio y largo plazo estructuran los
problemas de la accin poltica; y tercero,
que la evaluacin de las polticas eviden-
cia la posibilidad de una ciencia poltica
aplicable, basada en procesos de control
diferentes a los derivados de los mtodos
comparados.
Siguiendo diferentes intereses homo-
geneizacin metodolgica; renamiento
tcnico; examen de la funcin y utilidad;
papel del evaluador55 y base deontolgi-
ca; sentido disciplinar e interaccin mbito
profesional-poltico-, casi siempre interre-
lacionados, las variedades interpretativas
de la evaluacin nacidas desde los setenta,
retroalimentadas por la prctica, han con-
seguido delimitar y legitimar un campo de
estudios que, a pesar de crecer contrayen-
do una gran deuda con otras parcelas dis-
ciplinares de las ciencias sociales, ha alcan-
zado una madurez indiscutible y, sin duda,
ha abierto exitosamente una nueva va de
debate terico y de cultivo prctico en la
ciencia poltica y de la administracin.
Como indica CHELIMSKY (1997), el con-
texto poltico ms global en el que emer-
gen nuevos sectores demandantes de in-
tervencin (proteccin medioambiental;
desarrollo sostenible; derechos humanos);
el desarrollo normativo que impulsa la ac-
tividad de los evaluadores, la aparicin de
nuevos actores, temas y necesidades; la re-
vitalizacin de problemas tradicionales re-
lacionados con las funciones de rendicin
de cuentas y responsabilidades, desarrollo
y mejora de programas, polticas e institu-
ciones y conocimiento; y el aprendizaje de
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE
nuevas lecciones extradas de la continua
experiencia en evaluacin parecen garan-
tizar, en suma, una fructfero porvenir a
este campo.
NOTAS
1. La idea bsica que fundamenta estos mo-
delos es la de que la accin poltica surge de las
interrelaciones y de las acciones de numerosos
actores que entran y salen de escena, que des-
empean diversas funciones y que se plantean
objetivos diferentes a lo largo de un periodo re-
ductible a diferentes fases. Por medio de mlti-
ples relaciones causa-efecto u orden-respuesta,
la poltica se articulara en etapas, lo cual facili-
tara la intervencin de los analistas al intentar
precisar ex-ante las probabilidades de xito o
fracaso o calcular ex-post el rendimiento de las
acciones emprendidas. Se tratara, en suma, de
lo que Sabatier y Jenkins-Smith (1993) concebi-
ran como heurstica de etapas.
2. Como seala Regonini (2001), en cierto
modo, la evaluacin nace de la constatacin
de que las premisas analticas del anlisis tra-
dicional de polticas pblicas no proporcionan
elementos para afrontar la indeterminacin de
los datos y la arbitrariedad de los criterios con-
tenidos en cada vericacin de la divergencia
existente entre lo que una poltica debera ha-
ber sido tericamente y lo que ha resultado ser
en la prctica.
3. Como recuerda Regonini (2001: 106-130),
el anlisis racional hace suya una terminologa
(eciencia; input; output; preferencia, etc.) pre-
sente con diferentes signicados en diversos
paradigmas de las ciencias sociales. La explica-
cin del xito e impacto que entre los polit-
logos interesados por el estudio de las polticas
pblicas tuvieron estos conceptos radica en la
propia base terica del policy analysis: econo-
ma (paretiana; del bienestar; institucional / or-
ganizativa); ciencias de la gestin (investigacin
y anlisis operativo; teora de sistemas; gestin
pblica); teora de la toma de decisiones y teo-
ra de la resolucin de problemas.
4. Concepcin ya subrayada por Lowi
(1964).
5. Aunque en el mbito estadounidense la
evaluacin recibe un fuerte impulso desde los
sesenta en el contexto de las intervenciones de
la Great Society, y su importancia queda refren-
dada hasta la actualidad en el contenido del
corpus legislativo que conforma la denominada
Sunset Legislation, en el mbito espaol ser
79
necesario esperar hasta la dcada de los ochen-
ta para poder dar fe (en un ambiente domina-
do por los procesos de adaptacin a la CEE y la
puesta en marcha de diversas iniciativas orienta-
das a la mejora de la gestin como consecuencia
de la ejecucin de los programas de moderniza-
cin que emprenden la Administracin General
del Estado y algunas Comunidades Autnomas),
de que la evaluacin de programas y polticas
comienza a dejar de ser un simple, aunque efec-
tivo, recurso retrico electoralista y se comienza
a valorar como una herramienta de gestin im-
prescindible.
6. Sobre la evolucin de la teora y prctica
de la evaluacin en los Estados Unidos, puede
consultarse el trabajo de Peters (1998). Igual-
mente, en la obra de Chen (1990) se hace un
repaso muy interesante y completo del cambio
de paradigmas en el campo de la evaluacin en
los Estados Unidos desde 1960.
7. Uno de los mayores hitos lo marc el cam-
bio de objetivos y de competencias de la vetusta
General Accounting Ofce, originalmente cen-
trada, como su propia denominacin indica, en
aspectos de control contable y posteriormente
reorientada hacia el terreno del anlisis y la eva-
luacin. El efecto inmediato de este cambio fue
la creacin de una cultura de responsabilidad y
la institucionalizacin de la funcin evaluativa.
8. Optimismo que llegara a ahogar las du-
das razonables que existan sobre la capacidad
de extraccin de informacin a partir de datos
no experimentales (Campbell y Stanley, 1966).
9. Como seala Peters (1998: 24), si las
agencias queran tener xito en el proceso pre-
supuestario tenan que ser capaces de justicar
que sus programas eran efectivos en el coste e
incluso ecientes.
10. La produccin legislativa a la que se
alude, entre la que destacan la Government
Performance and Results Act (1993) y el Regu-
latory Review (1996), refuerza la elaboracin de
polticas y la introduccin de programas sujetos
a la planicacin estratgica y el examen por-
menorizado de sus resultados en el caso de la
segunda norma citada, de forma prospectiva y
con una orientacin tcnica enfocada sobre la
deteccin de costes- en funcin de una gama
limitada de indicadores cuantitativos.
11. En el contexto de la reinvencin del
gobierno promovida por la Administracin
Clinton.
12. La orientacin hacia los procesos admi-
nistrativos ha estimulado una de las reas ms
cultivadas de la evaluacin. Su xito estara jus-
ticado por la necesidad de vericar la operati-
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
80
vidad de un programa o una poltica a travs de
la revisin de su estructura normativa (normas,
planes de accin); su estructura administrativa
(agencias; comisiones; task force) y sus redes de
comunicacin, coordinacin y cooperacin intra
e interorganizativa.
13. La celebracin en noviembre de 1996 de
la International Evaluation Conference (Van-
couver, Canad) marca un punto de inexin
en el proceso de conformacin de la comunidad
cientca de la evaluacin. Esta reunin repre-
sent la primera gran cita internacional para
evaluadores, acadmicos, auditores y asociacio-
nes profesionales (entre ellas la European Eva-
luation Society). Algunas de las ponencias ela-
boradas para esta reunin pueden consultarse
en la obra de Chelimsky y Shadish (1997).
14. Si en el caso de los Estados Unidos las
concepciones ideolgicas de gestin dominan-
tes durante la era Reagan reducen la potenciali-
dad de la evaluacin y convierten su tecnologa
en mero instrumento de control al servicio de
la contencin del gasto y reduccin del sector
pblico, devaluando enormemente su acepta-
cin entre los practicantes y bloqueando sig-
nicativamente su crecimiento, en el contexto
europeo, con escasos antecedentes en esta ma-
teria, la evaluacin encontrara un lugar entre
las prcticas administrativas merced a los pro-
gramas reformistas considrese, por ejemplo,
los impulsados durante el thatcherismo-, pero
al alto precio de dar lugar a una interpretacin
pauprrima de su verdadero sentido gerencial
y a ralentizar considerablemente su cultivo y la
consecucin de una madurez todava muy dis-
cutible.
15. Como seala Bustelo (2003: 13) al co-
mentar el cultivo terico y prctica de la eva-
luacin en Espaa: estamos todava lejos de
contar con una prctica normalizada y con una
verdadera cultura de la evaluacin en nuestros
organismos pblicos. Este todava incipiente
campo de la evaluacin de programas y polti-
cas pblicas necesita, por lo tanto, de un mayor
desarrollo acadmico y profesional. En muchas
ocasiones, la falta de referencias ha signicado
la sustitucin de una verdadera evaluacin por
otro tipo de prcticas de anlisis que, creemos,
es necesario distinguir. De esta manera, o bien
se ha suplido esta falta de especializacin con
una aplicacin estricta y asptica de la metodo-
loga de investigacin social al uso, realizando
estudios parciales que han sido poco sensibles
al contexto y han resultado poco tiles para las
organizaciones y las polticas evaluadas, o bien
se han manejado las situaciones [] para hacer
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
estudios ad-hoc que fueran favorables a una
determinada coyuntura poltica, dando origen
a situaciones con poca credibilidad externa que
han desprestigiado la prctica de la evalua-
cin.
16. Esta visin nos remitira a la obra de
Tyler (1967), de fuerte impacto inicial en el cul-
tivo tcnico de la disciplina y de extensa acogida
en el terreno prctico, a pesar de la abundante
crtica recibida durante las ltimas dcadas.
17. Siguiendo la terminologa de Mon-
nier (1990-91: 131-140), en esta segunda vi-
sin se encuadraran todas las aproximaciones
a la evaluacin que han superado la primitiva
aproximacin por objetivos: aproximacin por
la puesta en prctica del programa (perspecti-
va operacional); aproximacin por los efectos
(eliminacin de la inuencia de los objetivos
ociales en las percepciones); aproximacin por
los procesos (interacciones del programa y el
entorno) y aproximacin por los actores sociales
(pluralismo).
18. Comprendiendo en un sentido amplio
la rendicin de cuentas, Rossi y Freeman (1989)
aportan seis interpretaciones de la accoutability:
legal (ajuste del programa o la poltica a la legis-
lacin); scal (ajuste de la gestin del programa
a las regulaciones scales); distributiva (abili-
dad de la asignacin de los productos o servicios
producidos); de cobertura (grado de ajuste de
lo receptores nales con el pblico objetivo ini-
cial); de impacto (coherencia del producto nal
con la previsin inicial); y de eciencia (ajuste
del impacto a los costes del programa). Por su
parte, Vedung (1997: 104-113), considera nece-
sario, siempre que sea posible, analizar la res-
ponsabilidad en las acciones que emprende la
Administracin desde cuatro perspectivas: la de
las elites polticas: la de los gerentes de los or-
ganismos pblicos; la de los ciudadanos y la de
los clientes.
19. Aunque la obra de Wildavsky (1979) y
los trabajos realizados por C.H.Weiss durante
los setenta y ochenta son conocidos por su de-
fensa de las posibilidades de aprendizaje y ulte-
rior perfeccionamiento del rendimiento de las
polticas, en las investigaciones de Hudson, Ma-
yne y Thomlison (1992) y Preskill y Torres (1998)
se pueden encontrar interesantes experiencias
que conrman esa posicin. Sobre la relacin,
en particular, entre el aprendizaje y el perfec-
cionamiento de las policy communities, consl-
tese a Subirats (1994).
20. Suchman (1967) justicaba el empleo de
la metodologa de las ciencias sociales para la
determinacin (basada en opiniones, documen-
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE
tos, datos subjetivos u objetivos) de los resul-
tados (deseables o indeseables, temporales o
permanentes, inmediatos o a largo plazo) alcan-
zados por una actividad orientada a alcanzar un
n u objetivo. En esta misma lnea se expresaba
Chelimsky (1989: 7) al concebir la evaluacin,
por denicin, como investigacin social: pro-
gram evaluation is the application of systematic
research methods to the assessment of program
design, implementation, and effectiveness.
21. Segn Scriven (1991: 1), evaluation is
the process of determining the merit, worth,
and value of things. Por su parte, Vedung
(1997: 3) se reere a la evaluacin como care-
ful retrospective assessment of the merit, worth
and value of administration, output, and out-
come of government interventions, which is in-
tended to play a role in future, practical action
situations.
22. En la lnea de los comentarios realizados
por E.Vedung, este aspecto sera resaltado en
otros trabajos de teora de la evaluacin: Mon-
nier (1990-91; 1995); Palumbo (1987) o Weiss
(1988).
23. A causa de la insercin de las tcnicas
de evaluacin en el dominio de estudios sobre
los procesos poltico-administrativos, la litera-
tura ha terminado por asumir, adems de la
produccin tradicional centrada en cuestiones
de mtodo y funcin, los estudios sobre con-
trol de gestin, que relacionan el campo de la
evaluacin con el anlisis de procesos, calidad y
reingeniera, y con los sistemas de informacin
contable-nanciera o de control de operacio-
nes, propos de la gestin pblica o privada y del
anlisis de organizaciones (Ballart, 1998: 229).
24. La evaluacin en tiempo real de las
actividades pertenecientes a un programa o
una poltica, considerada el ncleo o esencia
de la labor del evaluador, ha dado lugar a toda
una tradicin en la literatura estadoundense:
Wholey et.al. (1970); Nachmias (1979) y Rutman
(1980).
25. En una de las visiones ms clsicas sobre
este particular, Anderson y Ball (1978) resalta-
ran la capacidad de la evaluacin de progra-
mas para contribuir a tomar decisiones sobre el
desarrollo, ejecucin, continuacin, expansin,
modicacin o nalizacin de un programa;
obtener evidencias para apoyarlo o rechazarlo;
y comprender procesos psicolgicos y sociales
bsicos.
26. En la literatura son detectables posicio-
nes muy diferentes en torno al alcance de la
evaluacin: Vedung (1997: 7) considera la eva-
luacin exclusivamente retrospectiva y rechaza
81
admitir dentro de la especialidad toda forma de
anlisis tendente a la valoracin prospectiva;
para otros autores, sin embargo, los estudios de
anticipacin, identicados con la metodologa
ex-ante (evaluacin de previsin; inventario de
necesidades; jacin de objetivos) requieren el
empleo de procedimientos de anlisis, que, por
su sentido y recursos tecnolgicos pueden ser
incluidos dentro del amplio conjunto de tcni-
cas evaluativas (Rossi y Freeman, 1989; Ander-
son y Ball, 1978).
27. Aunque Vedung (1997) considera el se-
guimiento como una faceta ms de la gestin en
la que se pueden aplicar tcnicas de evaluacin,
la literatura pone en evidencia una verdadera
divisin de opiniones sobre la consideracin de
las acciones de seguimiento como actividades
de evaluacin. La diferencia radicara en el ca-
rcter enjuiciatorio de las tcnicas empleadas:
en caso de estar presente, hablaramos de eva-
luacin, y, en caso contrario, de una actividad
convencional de vericacin / conrmacin del
cumplimiento de un programa. Sobre la utili-
dad y metodologa del seguimiento, consltese
Banco Mundial (1996).
28. En contraste con las formulaciones ini-
ciales de la teora de la evaluacin, prescriptoras
del rechazo de toda subjetividad que pudiese
interferir en la evaluacin, la visin actual sita
a los valores en el punto central del proceso de
evaluacin (Stufebeam y Shinkeld, 1995; Sha-
dish, Cook y Levinton, 1991).
29. La consideracin misma del diseo de
la evaluacin marco para la planicacin y
direccin del estudio- testimonia la actualidad
de algunas aportaciones muy consolidadas. So-
bre este aspecto es til revisar las aportaciones
de Anderson y Ball (1978); Campbell y Stanley
(1966); Fitz-Gibbon y Morris (1978 y 1987); Guba
y Lincoln (1981) y Walberg y Haertel (1990).
30. Para una revisin de esta literatura, pue-
den consultarse obras ya consolidadas como
las de Guba y Lincoln (1981); Fishman (1991a;
1991b; 1992) y Shadish, Cook y Levinton (1991).
Desde una perspectiva integradora de la aproxi-
macin cuantitativa y cualitativa, pueden con-
sultarse los trabajos de Reichardt y Rallis (1994);
Tashakkori y Teddlie (1998) y Russell (1999).
31. Los anlisis cuantitativos son requeridos
por los diseos de evaluacin experimental y
cuasi-experimental. La estadstica empleada
descriptiva, inferencial, correlacin, regresin,
etc.- puede variar en su grado de sosticacin,
aunque, como recuerdan los metodlogos, de-
bera ajustarse a las caractersticas del estudio y
a la formacin de sus responsables. Sobre el par-
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
82
ticular, consltense los trabajos de Kirk (1982);
Kerlinger (1986); Mohr (1988); Light, Singer y
Willett (1990); Pedhazur y Schmelkin (1991);
Posavac y Carey (1992); Fowler (1993) y, por su-
puesto, Rossi y Freeman (1989).
32. De carcter inductivo, las tcnicas cua-
litativas son esenciales para los diseos natura-
listas o pluralistas. Payne (1994) ja en cuatro
las variedades de anlisis cualitativos: anlisis
fenomenolgicos; anlisis de contenido; induc-
cin analtica y anlisis comparativo constante.
En esta lnea se situaran Guba y Lincoln (1989),
Patton (1980; 2001) y, sobre todo, Stake (1975;
1978; 1980; 1995), quien deja al margen el de-
bate sobre la causalidad y deende vivamente
la importancia de los mtodos cualitativos y,
entre ellos, los estudios de caso, como un valio-
so instrumento de mejora de la gestin y gene-
racin de aprendizaje. Otras obras destacadas
en la orientacin cualitativa son: Stake y Gjer-
de (1974); Stake y Easley (1978). Scriven (1980);
Shaw (1999) y Denzin y Lincoln (2000).
33. El impacto se distingue del producto y el
resultado de una poltica o programa (Scriven,
1991).
34. Una de las grandes enseanzas de este
tipo de diseo de investigacin concierne a la
construccin de hiptesis de impacto. Para ha-
blar del impacto, segn ambos autores, es ne-
cesario que concurran tres condiciones: que la
causa preceda al efecto; que la causa y el efecto
estn correlacionados; y que la hiptesis de im-
pacto no sea falseada por hiptesis alternativas
plausibles. Para descartar estas alternativas se
emplearan grupos de control.
35. Para conocer ms sobre el debate de la
validez desde una perspectiva clsica, es aconse-
jable consultar los trabajos de Carmines y Zeller
(1979); Zeller (1990). Una discusin sobre las vi-
siones contemporneas se puede encontrar en
Messick (1985).
36. Las obras de Campbell (1969; 1982;
1994), Campbell y Stanley (1966), Campbell y
Cook (1976) y Cook y Campbell (1979) se conver-
tiran en verdaderas apologas de la evaluacin
experimental y de su utilidad formativa en sus
diversas aplicaciones a la Administracin Pbli-
ca.
37. La evaluacin se articulara en tres ma-
cro-actividades: la determinacin de los criterios
de mrito (dimensiones a travs de las cuales se
pretende estudiar al evaluando); la jacin de
los estndares comparativos; y la medida de la
actuacin (performance) del evaluando en rela-
cin con los criterios de actuacin previamente
establecidos. En suma, la totalidad del proceso
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
debera satisfacer la necesidad de saber si el
evaluando es o no ecaz (Scriven, 1980) y, desde
una perspectiva sumativa, si es procedente o no
su persistencia futura.
38. Con un sentido muy prximo al de la
condicin formulada por M.Scriven, Wholey
(1983: 119) subordinara la decisin de iniciar
una evaluacin a la constatacin de que la utili-
dad proporcionada por la informacin a extraer
supera los costes de obtencin.
39. La evaluacin evitara realizarse desde la
perspectiva de la gestin del programa y desde
la del cliente, y se situara en un plano superior
que evitara la inuencia de factores contextua-
les.
40. Vid. las crticas realizadas por Weiss y
Rein (1970) y las contracrticas de Shadish, Cook
y Levinton (1991: 132-133).
41. Las dicultades de insercin de la eva-
luacin en la teora de la elaboracin de pol-
ticas son resueltas, simplemente, a travs de la
alienacin del investigador, convertido en un
engranaje de la gestin orientada a los resul-
tados.
42. Como ilustran los cuatro tipos de estu-
dio de previsin de evaluaciones de gran am-
plitud, complejidad e intensidad propuestas por
J.S.Wholey: anlisis de evaluabilidad (evaluabi-
lity assessment); evaluacin rpida (rapid fee-
dback evaluation); control de resultados (per-
formance monitoring) y evaluacin intensiva
(intensive evaluation).
43. Por ejemplo, el contenido de los seis
niveles en los que se articulan las actividades
de evaluacin prescritos por Wholey (1983:
202): identicacin de objetivos y prioridades
y diagnstico de potencialidades del programa;
desarrollo de sistemas para el anlisis del rendi-
miento del programa; jacin (negociacin) de
niveles de mejora del rendimiento; desarrollo de
sistemas que faciliten la utilizacin de la infor-
macin generada; valoracin y documentacin
de los resultados observados; comunicacin del
rendimiento de la actuacin llevada a cabo.
44. Contextualizacin, observacin, exi-
bilidad-adaptabilidad y comunicacin son las
caractersticas del planteamiento evaluativo
de R.E.Stake: estudiar en profundidad las cir-
cunstancias que componen el teln de fondo
de las intervenciones; esforzase en observar las
necesidades del cliente; permitir que los puntos
crticos sobre los que se debe incidir aoren y
evolucionen durante el curso de la evaluacin;
y mantener una comunicacin uida con los ac-
tores involucrados.
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE
45. Para Wholey (1977: 42) es el pragma-
tismo el que orienta la construccin del saber,
como en el caso de la validez de la inferencia
causal.
46. En esta lnea, Weiss (1973) enfatiza la
idea de que los resultados de la evaluacin son
introducidos en un escenario de lucha poltica
en el que, adems de muchos otros elementos,
operan variados intereses e ideologas.
47. Esta idea estara prensente en varias
obras de Weiss (1979; 1986: 214-135; 1987: 66-
69). Otra interpretacin de la evaluacin y la
poltica como una nica realidad puede en-
contrarse, igualmente, en la obra de Monnier
(1995).
48. Como recordaban Feldman y March
(1981), la informacin fundamentada empri-
camente es un smbolo de racionalidad: con in-
dependencia de su utilidad en relacin con los
problemas en cuestin, el simple hecho de ofre-
cer informacin es una expresin importante de
legitimidad y competencia organizativa que re-
valoriza los procesos de toma de decisiones.
49. La idea de la policy-shaping communi-
ty pretende llamar la atencin sobre el hecho
de que las decisiones no se toman, sino que
se desprenden de un proceso de ajuste mutuo
entre los actores intervinientes (Cronbach, et.
al. 1980).
50. Al considerar el problema de la validez,
Cronbach emplea la terminologa UTOS y
utos: dene los UTOS como poblaciones de
unidad, tratamiento, observacin y contexto,
objetos de la evaluacin; y utos (en minscu-
la) como una muestra del objeto, de la cual se
extraen los datos. Mientras que para otros au-
tores, por ejemplo, Campbell, la validez interna
atae a la naturaleza de las relaciones entre
el tratamiento y la observacin de la muestra,
para Cronbach la validez interna tiene ya una
connotacin de generalizacin, concerniendo a
la inferencia de la muestra al conjunto de las
poblaciones. Cronbach insiste en la relacin
entre la muestra y la poblacin y da la mxima
prioridad a la validez externa concerniente al
conjunto de poblaciones. Asimismo, la validez
nunca es una caracterstica de los mtodos utili-
zados, sino una propiedad de las conclusiones.
51. Se trata, en suma, de un enfoque adhe-
rido a las lneas ms rmemente defensoras del
estudio del proceso de elaboracin de polticas,
en la lnea defendida por G.Majone, quien ve
en la persuasin y el ajuste mutuo los motores
del desarrollo de las polticas.
52. Weiss (1979) y Kelly y Maynard-Moody
(1993) se decantarian por una perspectiva con-
83
ceptual e interpretativa del trabajo de investi-
gacin, ms prxima a posiciones hermenuti-
cas.
53. Intentando superar el pesimismo reinan-
te entre los evaluadores a causa de los pobres
resultados cosechados y la escasa utilidad de
las experiencias llevadas a cabo en el contexto
de los programas sociales de los sesenta (Horst,
et.al., 1974), con el objetivo de ensalzar la cien-
cia de la evaluacin, Weiss iniciara una verda-
dera cruzada que la llevara a lo largo de sus
obras de los setenta y principios de los ochenta
a examinar, en primer lugar, las causas de tan
empobrecido empleo de tcnicas y escaso fo-
mento de la evaluacin (la determinacin de las
causas del mal empleo de las tcnicas de eva-
luacin y de los mtodos de investigacin social
en las tareas orientadas a la elaboracin de las
polticas pblicas la llevara a poner de relieve la
incompatibilidad, en trminos epistemolgicos,
entre investigacin y programacin social) y, en
segundo lugar, a realizar una reexin con nes
prescriptivos sobre algunos aspectos metodol-
gicos: aun reconociendo sus limitaciones, Weiss
defendera el empleo tanto de los mtodos
cuantitativos como de los cualitativos.
54. Lindblom (1986 y 1990).
55. Sobre el papel desempeado por el eva-
luador, consltese el trabajo de Boyle y Lemaire
(1999).
REFERENCIAS BIBLIOGRFICAS
ANDERSON, S.B. y BALL, S. (1978), The Pro-
fession and Practice of Program Eva-
luation. San Francisco: Jossey-Bass.
BALLART, X. (1998), La <<industria>> de
la evaluacin y bibliografa bsica,
Gestin y Anlisis de Polticas Pblicas,
11-12.
BANCO MUNDIAL (1996), Designing Pro-
ject Monitoring and Evaluation, Les-
sons and Practices, 8.
BOYLE, R. y LEMAIRE, D. (1999), Building
Effective Evaluation Capacity: Lessons
from Practice. New Brunswick: Transac-
tion.
BUSTELO, M. (2003), Qu tiene de espe-
cco la metodologa de evaluacin?,
en R.Ban, La Evaluacin de la Accin
y de las Polticas Pblicas. Madrid: Daz
de Santos.
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
84
CAMPBELL, D.T. (1969), Reforms as Expe-
riments. American Psychologist, 24.
CAMPBELL, D.T. (1982), Experiments as
arguments. Knowledge: Creation, Di-
ffusion, Utilization, 3.
CAMPBELL, D.T. (1994), Foreword. En
R.K.Yin, Case Study Research. Londres:
Sage.
CAMPBELL, D.T. y Cook, T.D. (1976), The
design and conduct of quasi experi-
ments and true experiments in eld
setting. En M.D.Dunnette (Ed.), Hand-
book of Industrial and Organizational
Psychology. Chicago: Rand McNally.
CAMPBELL, D.T. y STANLEY, J.C. (1963),
Experimental and Quasi-Experimental
Designs for Research. Chicago: Rand
MacNally.
CARMINES, E.G. y ZELLER, R.A. (1979), Re-
liability and Validity Assessment. New-
bury Park, Ca.: Sage.
COOK, T.D. y CAMPBELL, D.T. (1979), Qua-
si-experimentation: Design and Analy-
sis Issues for Field Settings. Boston:
Houghton Mifin.
CRONBACH, L.J. et. al. (1980), Toward a
Reform of Program Evaluation. San
Francisco: Jossey-Bass.
CHELIMSKY, E. (1997), The next transfor-
mations in evaluation. En E.Chelimsky
y W.R.Shadish (Eds.), Evaluation for the
21st Century. A Handbook. Londres:
Sage.
CHELIMSKY, E. (Ed.) (1985), Program Eva-
luation: Patterns and Directions. Was-
hington, D.C.: American Society for Pu-
blic Administration.
CHELIMSKY, E. y SHADISH, W.R. (Eds.)
(1997), Evaluation for the 21st Century.
A Handbook. Londres: Sage.
CHEN, H-T. (1990), Theory-Driven Evalua-
tions. Beverly Hills, California: Sage.
DENZIN, N.K. y LINCOLN, Y.S. (2000), Han-
dbook of Qualitative Research (2 Ed.).
Thousand Oaks, Ca.: Sage.
FELDMAN, M.S. y MARCH, J.G. (1981), In-
formation as signal and symbol. Ad-
ministrative Science Quarterly, 26, 1.
FISHMAN, D.B. (1991a), An introduction
to the experimental versus the prag-
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
matic paradigm in evaluation. Evalua-
tion and Program Planning, 14.
FISHMAN, D.B. (1991b), The experimental
versus the pragmatic paradigm: Sum-
mary and conclusions. Evaluation and
Program Planning, 14.
FISHMAN, D.B. (1992), Postmodernism
comes to program evaluation. A criti-
cal review of Guba and Lincolns Four-
th Generation Evaluation. Evaluation
and Program Planning, 15.
FITZ-GIBBON, C.T. y MORRIS, L.L. (1978),
How to Design a Program Evaluation.
Beverly Hills, California: Sage.
FITZ-GIBBON, C.T. y MORRIS, L.L. (1987),
Evaluators Handbook. Beverly Hills,
California: Sage.
FONTAINE, C. y MONNIER, E. (1998), Practi-
ques Franaises et Europennes. Paris:
Pouvoirs Locaux.
FOWLER, F.J. (1993), Survey Research Me-
thods (2 Ed). Newbury Park, Ca.: Sage.
GUBA, E.G. y LINCOLN, Y.S. (1981), Effec-
tive Evaluation: Improving the Useful-
ness of Evaluation Results through Res-
ponsive and Naturalistic Approaches.
San Francisco: Jossey-Bass.
GUBA, E.G. y LINCOLN, Y.S. (1989), Fourth
Generation Evaluation. Londres: Sage.
HORST, P. et.al. (1974), Program manage-
ment and the federal evaluator. Pu-
blic Administration Review, 34.
HUDSON, J.; MAYNE, J. y THOMLISON, R.
(Eds.) (1992), Action-Oriented Evalua-
tion in Organizations: Canadian Practi-
ces. Toronto: Wall & Emerson.
KELLY, M. y MAYNARD-MOODY, S. (1993),
Policy analysis in the post-positivist
era: Engaging stakeholders in evalua-
ting the Economic Development Dis-
tricts program. Public Administration
Review, 53, 2.
KERLINGER, F.N. (1986), Foundations of Be-
havioral Research (3 Ed.). Nueva York:
Holt, Rinehart, and Winston.
KIRK, R.E. (1982), Experimental Design (2
Ed.). Belmont, Ca: Brooks / Cole.
LIGHT, R.J.; SINGER, J.D. y WILLETT, J.B.
(1990), By Design: Planning Research
LOS CAMINOS DE LA EVALUACIN DE POLTICAS PBLICAS: UNA REVISIN DEL ENFOQUE
on Higher Education. Cambridge, Har-
vard University.
LINDBLOM, Ch. (1986), Who needs what
social research for policymaking?.
Knowledge: Creation, Diffussion, Uti-
lization, 7.
LINDBLOM, Ch. (1990), Inquiry and Chan-
ge. The Troubled Attempt to Unders-
tand and Shape Society. New Haven,
Conn.: Yale University Press.
LOWI, T. (1964), American business, pu-
blic policy, case studies and political
theory. World Politics, 16 (4).
MESSICK, S. (1985), The once and future
issues of validity: Assessing the me-
aning and consequences of measure-
ment. En H.Wainer y H.I.Braun (Eds.),
Test Validity. Hillsdale, NJ: Lawrence
Earlbaum.
MOHR, L.B. (1988), Impact Analysis for Pro-
gram Evaluation. Chicago, Illinois: The
Dorsey Press.
MONNIER, E. (1990-91), Objetivos y des-
tinatarios de las evaluaciones. Docu-
mentacin Administrativa, 224-225.
MONNIER, E. (1995), Evaluacin de la Ac-
cin de los Poderes Pblicos. Madrid:
Instituto de Estudios Fiscales.
NACHMIAS, D. (1979), Public Policy Evalua-
tion: Approaches and Methods. Nueva
York: St. Martin.
NIOCHE, J-P. (1982), De levaluation a
lanalyse des politiques publiques. Re-
vue Franaise de Science Politique, 32.
PALUMBO, D.J. (Ed.) (1987), The Politics
of Program Evaluation. Newbury Park,
California: Sage.
PATTON, M.Q. (1980), Qualitative Evalua-
tion and Research Methods. Londres:
Sage.
PATTON, M.Q. (2001), Qualitative Resear-
ch and Evaluation Methods. Londres:
Sage.
PAYNE, D.A. (1994), Designing Educatio-
nal Project and Program Evaluations: A
practical Overview Based on Research
and Experience. Boston: Kluwer.
PEDHAZUR, E.J. y SCHMELKIN, L.P. (1991),
Measurement, Design and Analysis:
RIPS,
85
An Integrated Approach. Hillsdale, NJ:
Lawrence Erlbaum, 1991.
PETERS, G.B. (1998), El surgimiento, decli-
ve y resurgimiento de la evaluacin de
polticas pblicas en el Gobierno ame-
ricano. Gestin y Anlisis de Polticas
Pblicas, 11-12 (1998).
POSAVAC, E.J. y CAREY, R.G. (1992), Pro-
gram Evaluation, Methods and Case
Studies. Englewood Cliffs, N.J.: Prenti-
ce Hall.
PRESKILL, H. y TORRES, R.T. (1988), Evalua-
tive Inquiry for Learning in Organiza-
tions. Thousand Oaks, Sage.
RADAELLI, C.M. y DENTE, B. (1995), Valu-
tazione e scienza politica: un dialogo
possibile. En G.Regonini (A cura di),
Politiche Pubbliche e Democrazia. Na-
poles: Edizione Scientiche Italiane.
REGONINI, G. (2001), Capire le Politiche
Pubbliche. Bolonia: Il Mulino.
REICHARDT, C. y RALLIS, S. (1994), The
qualitative-quantitative debate: New
perspectives. New Directions for Pro-
gram Evaluation, 61.
ROSSI, P.H. y FREEMAN, H.E. (1989), Eva-
luation: A Systematic Approach. New-
bury Park, Ca.: Sage. [Ed. en espaol:
Evaluacin: Un Enfoque Sistemtico
para Programas Sociales. Mxico: Tri-
llas, 1990].
RUSSELL, B.H. (1999), Social Research Me-
thods: Qualitative and Quantitative
Approaches. Thousand Oaks: Sage.
RUTMAN, L. (Ed.) (1980), Planning Useful
Evaluations: Evaluability Assessment.
Newbury Park, California: Sage.
SABATIER, P.A. y JENKINS-SMITH, H.C.
(1993), The dynamics of policy-
oriented learning, en P.A.Sabatier y
H.C.Jenkins-Smith (Eds.), Policy Change
and Learning: An Advocacy Coalition
Approach. Boulder, Colorado: Wes-
tview.
SCRIVEN, M. (1980), The Logic of Evalua-
tion. Inverness: Edgepress.
SCRIVEN, M. (1991), Evaluation Thesaurus
(4 Ed.). Newbury Park, Ca.: Sage.
ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
86
SHADISH, T. COOK y LEVINTON, L. (1991),
Foundations of Program Evaluation.
Theories of Practice. Newbury Park, Ca.
Sage.
SHAW, I. (1999), Qualitative Evaluation.
Thousand Oaks, Sage.
STAKE, R.E. (1978), The case study me-
thod in social inquiry. Educational Re-
searcher, 7.
STAKE, R.E. (1980), Program evaluation.
Particularly responsive evaluation.
En W.B.Dckrell y D.Hamilton (Eds.),
Rethinking Educational Research. Lon-
dres: Hodder & Stoughton.
STAKE, R.E. (1995), The Art of Case Study
Research. Thousand Oaks, Sage.
STAKE, R.E. (Ed.) (1975), Evaluating the
Arts in Education: A Responsive Appro-
ach. Columbus, Ohio: Merrill.
STAKE, R.E. y EASLEY, J.A. (1978), Case Stu-
dies in Science Education. Champaign:
University of Illinois.
STAKE, R.E. y GJERDE, C. (1974), An eva-
luation of TCITY (The Twin City Institu-
te for Talented Youth). Chicago: Rand
McNally.
STUFFLEBEAM, D. y SHINKFIELD, A. (1995),
Evaluacin Sistemtica. Gua Terica y
Prctica. Madrid: Paids / MEC.
SUBIRATS, J. (1994), Policy Instruments, Pu-
blic Deliberation and Evaluation Pro-
cesses. Madrid: Instituto Juan March.
SUCHMAN, E. (1967), Evaluative Research.
Nueva York: Russel Sage Foundation.
TASHAKKORI, A. y TEDDLIE, C. (1998),
Mixed Methodology: Combining Qua-
litative And Quantitative Approaches.
Thousand Oaks, Sage.
TOULEMONDE, J. (1995) The emergence
of an evaluation profession in Euro-
pean countries: the case of structural
policies. Knowledge and Policy.
TOULEMONDE, J; LEEUW, F.L. y BROUWERS,
A. (1999), Evaluation activities in
Europe: A quick scan of the market in
1998. Evaluation, 5 (4).
TYLER, R.W.; GAGNE, R.M. y SCRIVEN, M.
(Eds.), Perspectives of Curriculum Eva-
luation. Chicago: Rand McNally.
RIPS, ISSN 1577-239X. Vol. 4, nm. 2, 2005, 69-86
RAMN BOUZAS LORENZO
VEDUNG, E. (1997), Public Policy and Pro-
gram Evaluation. New Brunswick, N.J.:
Transaction.
WALBERG, H.J. y G.D.Haertel (Eds.) (1990),
The International Encyclopedia of Edu-
cational Evaluation. Oxford: Perga-
mon.
WEISS, C.H. (1973), Where politics and
evaluation meet. Evaluation, 1.
WEISS, C.H. (1979), The many meanings
of research utilization. Public Admi-
nistration Review, 39, 5.
WEISS, C.H. (1986), Research and poli-
cy-making: a limited partnership. En
F.Heller (Ed.), Use and Abuse of Social
Science. Londres: Sage.
WEISS, C.H. (1987), Postcript to Whe-
re politics and evaluation meet. En
D.Palumbo (Ed.), The Politics of Pro-
gram Evaluation. Londres: Sage
WEISS, C.H. (1998), Evaluation. Methods
for Studying Programs and Policies.
Upper Saddle River, N.J.: Prentice Hall.
WEISS, R.S. y Rein, M. (1970), The eva-
luation of broad-aim programs: expe-
rimental design, its difculties and an
alternative. Administrative Science
Quarterly, 15.
WHOLEY, J.S. (1977), Evaluatibility Assess-
ment. En L.Rutman (Ed.), Evaluation
Research Methods: A Basic Guide. Lon-
dres: Sage.
WHOLEY, J.S. (1983), Evaluation and Effec-
tive Public Management. Boston: Little
Brown.
WHOLEY, J.S. et.al. (1970), Federal Evalua-
tion Policy: Analyzing the Effects of Pu-
blic Programs. Washington, D.C.: The
Urban Institute.
WILDAVSKY, A. (1979), Speaking Truth
to Power. The Art and Craft of Policy
Analysis. Boston: Little Brown.
ZELLER, R.A., (1990), Validity. En Wal-
berg, H.J. y G.D.Haertel (Eds.), The In-
ternational Encyclopedia of Educatio-
nal Evaluation. Oxford: Pergamon.