WÍTULO 14

. LA INVESTIGAC:IÓN EVALUATIVA
·Frdncesc Mdrtínez Olifio -·-:-:-...:-.,_·::

ÜBJETIVos ·

a) Co.,nocer el
marco general de la inve~tigac:iqn evalu~tiv;._·.
b) Conocer los fundamentos teóricos-de la..investigadónt::v:a~
luativa, ·. . . . .· . ·..·. . '. . '. '\ ·. ·.. .::·: / ; r·
c) Conocer las funcionesde la evaluac~_ó n. .· . . .·. .. ,
d) Conocer los modelos más representativos de evaluación
de programas. . .
e) Redactar un informe de evaluacióiL

·. . :-:, ...... ~- .' _:._. :' ¡.': . ~ • .

TEORÍA DE lA ÉVALUACIÓN ' .
.: . .. • ,

La evaluación se define como "un proceso<de recogida dé

información orientado a la emisión de juicios de mérito o de
-v alor respecto de algún sujeto, objeto. o intervención" (Mateo,
2000: 21). ·Por otra parte, también conviene enfatizar la estrecha
· relación que depe existir .entre la evaluación y' la.toma qe deci-
siones; ·.fundamentada en los juicios emitidos-, .encaminada a la
mejora del objeto; sujeto o intervención evaluada/ .. . .. •:;_ . .,
· ·. ·.. Cuando hablamos de .evaj.uación, nos i:efer;imos pr~ncipal'"
mente a la evaluación de programa.seducativos:Auriquetambién
se _puede considerar la evaluación de alumnos; profesores, cen-
·tros; etc. . · . .. , · ·. . ·
.·, .·· La particularidad de la,evaluación entendid_a como una cien-
cia provi~ne del tipo de conocimiento que mejor la caracteriza: el
axiológico (~ul, 1992}:. De hecho; evaluar supone siempre n éce~
., . sariamente·establecer comparaciones a las,que se otorga un,valor
;;> erifuncióndealgún criterio. Así pues, lavalidezdelcónociniien-
p¡¡;::_fo;evalua'tivo ·se:demuestra ª "través désu capacidad-para asignar
426 METODOLOGÍA.DE LA INVESTIGACIÓN EDUCATIVA

valoraciones, y la credibilidad a través de su capacidad para mejo-

rar lo evaluado (Mateo, 2000).
El conocimiento que aporta la teoría evaluativa, al margen de
su utilidad práctica, se asocia con aspéctos como el poder, porque
discrimina entre aquellos objetos, sujetos o intervenciones que
tienen reconocimiento socio-educativo y los que no; y como la
política, porque se ha demostrado, sobre todo a partir de los
modelos evaluativos .socio-críricos. ·-también denomin.a dos de
cuarta generación (Cuba yLincoln, 1989)-, que la evaluación
genera una cultura evaluativa y reconstruye la realidad generan-
do cambios en profundidad (Mateo, 2000; House, 1994).
Hoy día la' evaluación se clasifica en diversas tipologías; no·
excluyentes, según su función, el tipo de juicios que se emitan y
elagente evaluador. En los siguientes apartados se detallan estas
tipologías o modalidades de evaluación. Remitimos a la obra de
Pérez Juste (2004) sobre Evaluación de Programas en E4ucación para
ampliar lo que aquí se presenta eón carácterintrodúctorio.

Funciones de la evaluación
- Scriven (1967) fue el primero en distinguir formalmente la
evaluación formativa de la sumativa. Hasta .entonces todas l<iS SX~/
luaciones eran sumativas, ya que se centraban en los resultados dé
los procesos educativos, reservando las propuestas de mejora para.·. ·
futuras intervenciones; en cambio; la evaluación formativafócalf
za su atención en el mismo proceso educa!ivo desde su iníciop<Í.Í;a:/i
poder incidir en su mejora. Posteriormente se ha identifica9§
otro tipo de .evaluación que tiene como función pri~Ord.iaj;ft:1
diagnóstico . previo de.· aspectos. que permitan. tomar d ecisigp.~~
incluso antes del inicio. de los procesos educativos; Enla sig'ui~n.;-
te tabla se resumen las principales características dela eyalU:á.t::i6ri
diagnóstica, formativa y sumativa. . .. . .. ·. . ,)iC;/{vri, •
La· funcionalidad formativa.· de la . evaluación se utiliza ,é11iJa' > ··
valoración de procesos en curso .. Su finalidad es la de JJ1.ejg~~';
optimizar,. adeeuar el! proceso·. que .se evalúa a través de.•13')oP~fP:/
ción rigurosa y sistemática de datos que nos apo~te. ,suf:iciTJJ(
información de .cara a .una toma·.·de decisiones :inrnedia;~lz}(::
ello, la evaluación se lleva a cabo paralelame nte a la acti.v:Íciact.,:ci~-
se desarrolla de forma que cuando surjaun ob~Jáculp;:g~s~:et.
nalidad o carencia se esté a tiempo de introducirt l9~{9álrlf:f~9
IAINVESTIGACIÓN EVALUATIVA >

TABLA l. Características de.los tipos .de evaluación segúnsufunción (adaptado

de Cabrera et a~ 1993). \.

Diagnóstica Fonnativa Sumativa

-----~ -- - -- --~-----
Furión ~qJeel pnx;eso <• , Certiftaryailifira:nWes de ·
edJ:;alil,o se l'alli?a
¡:lanifi.:.irl6 . .~rlo.. . . . ~ .-__- ·e_l'hlr'rla:lc6
_.,. _
Motiv.nón .

P~oo - -Préreso ~dmr.o T: ··'; - -- ' üt1étiímfii½íás ~

Ccox:imiertoo pre,.100 Apmrmajre ¡:aciales'., .- -· ; .-:; •"·: -
8,pf.doovas

Momento .Artre de iri::icrel PIOCffiO- ,: Clraie e l ~ ~ - . · _Al finalizar el proceoo

romi\O o µ;to al ini::io oorafi\l) .

_-:.,-~:-\· · •:t'_?'?-\?{i\?&·!1l~~~r\i'}
. plaro -

()eri;"ión Maplmidel¡;rog-ama ,·
~ . .
Ei<m&l del ptg"".:ffll o ri\-el

y
'ª
neces~rios·p~a sti·rti~jbr~ op.tiihiiación-i #s,t ftip~ .de·e~altÚtióri;
está m,ás ~n co0:corciancif~()Íl p.i:rec0ó11 qlie están tomando las
prácticas educativas, pasando _de una visión centrada en la eva-
luación legitimadora o desligititnadora-auna:visión centrada en:
proéesos-de'n iejdra (Cabrefa,'2OO1) : ·~-'-\:<.:c.,. _
.. :Eyaluar para mej()rar ser~ª-el 1,em~. Eq w,:i ,estl!cli9, rea_Iizado -
pór~Bo~ton :{g002) -~e mu~strap _algunas.inv~sügacicniesJeáliz~das
d<>nde _$e 'c oinprhe_b a Iainejora '.cónseg11ida ;p<>t' grupos
d~ ?lürÍf
nos qrie realiiari ~valuaciones' fotmátivas. Esta mej~rá es 'áfin ni.is
significativa con álu'rp.nado que tie11e clifiéuhades df ~prencliiajé:
, .. : : ' · i . ,. . .-. ·.:. : . ' ~-- ·-~ _:.. ~.: ::·.~ ·:··- ..:!.'. '. ·._.: · .:: ,' -·· =.·".-: _,;_ · · :, :_;
~ é

fzpos" r1eJjid-fos -e'lldl~ativos.,

En cuanto a los tipás d~ juici~~ que se emÚ~n en una evalúa-'
ción/ se clasific;an en función ·del.criterio:comparativo qué,adop-
tafi • ( Cabretay Espíri; '1986; Mateo;· 2OOO):' ·:e,, -;: ,,, ::.~-
428 METODOLOGÍA DE IA INVESTIGACIÓN EDUCATIVA

• Personalizados o con referencia a uno mismo. Cuando la

información obtenida se compara con información previa
del. II1ismo objeto, sujeto o intervendón. Tien_de a ser de
corteidiográfiC().•·•.. •.•· <> _ ._ ·._ . _.·. . .... . . . <···< \•· ·. •·> <
• Normativos.· Criando lá información se compara con la
información que se tiene de otros objetos, sujetos o inter-
venciones similares al que se e'stá eváhiando. Tiene carác-
ter nomotético. ·
• Criteriáles, Cuando la información se compara con unos
criterio_s de excelencia preestablecidos teóricamente.
Tiene carácter nomotético.

TABLA 2. Ejemflos de juicios evaluativos.

Tipo ele juicio Ej~mplo 1

Referencia a • Ana ha meJorado su ruvel de lectura respecto al que tema

hace tres meses. ·
uno mismo • Se ha incrementado satisfactoriament~,el número de
usuarios de este programa respecto'al año pasado.
• Los objetivos del proyecto definitivo sonmás confusos que•
en su versión anterior. ·.
Normativo • María es la mejor del grupo,
• Este proyecto es el que está mejor definido de.todosJos·.
que se han presentado. . . . i\
• Esta escuela es la que tiene el mayor índice de aprobados.· ·
de toda la rovincia. ·
Criterial • José ha alcanzado satisfactoriamente cuatro de los seis >,
objetivC>s propuestos para este curso. · ·· ··
• El programa llevado a cabo no ha superado los criterios de
diseño ni de utilidad requeridos. · . . < . '". · ·
·.. • ,La investigación realizada cumple los criterios núníinq$ t:
exi ibles ara ser. merecedora de una nueva subveri.cióri/: -'

·.._· ', ia:·eváluació11person,lHiada fa¿Hitl .do~ Úpós ,cit/cq~~~~i1(

ció11: a) Ja evolución de 1.in sujeto O cleu11aint~fy~]).CÍ9µ,52!i);
respecto a sí 111ismo, y b} lasdiferencias eátre yárias .i<:~g~5i.2 '·'.
des, habiliclades u otras variables en un mismp sl.iJetq\qjtj.ti
;eilción ~ídentifica los puntos fuertes y débiles- (Ivic'.iµpí?'.~;
2002). Este tipo de evaluación es muy útil. para enf~tí~~~):;~.~
caráctt;r formativo de los diagnósticos y de la orierit~<iígg;,el'>
coeducativa ..···
Las.punttJaciqnes que st;. obti.enen a través. cle:j11jc:ii# n:
tivos-_permiten la comparación entre distintos qbj~tQs.(p:;:.i
LA INVESTIGACIÓN EVALUATIVA 429

duos pero no ofrecen orientaciones específicas de mejora. Se uti~

liza, sobre todo, cuando se desea determinar la posición ordi~al
de un sujeto respecto a otros. · . · . .· . .· · . , ' ·.
En cambio, las evaluaciones de referenciá criterial permiten
establecer estrategias de mejora individual, curricular o ,institu;:
cional, ya que Se identifican claraiperite l,?S grados dedominio en
cada contenido evaluado. Se utiliia, prirtjC>rdialmente, p¡rra cono-
cer la eficacia de fas actividades con r~spe~tQ ~ un
áinbitg de
intervención ypara determinar el gfa1o .deJxifo eri rél~ciónálos
objetivos que se persiguen . .Para .eUé{ sérá' p~cesario_establecer
bien
.
los
.
objetivos
..
y
los
. .
criterios de
. .
la. acti½dacl.
. . . -~ . ·.
·:.
que
.
seeválúa.
·,

Tipos de evaluación. en función del agente evaluador

.
,
Cuanao la evaluación se realiza sobre un objeto por parte de
un agente diferenciado de ese objeto; se deriámina heteroevalua~
ción. En cambio sí el objeto evaluado .forma parte del mismo
agente evaluador; entonces se realiza una atitóévaluación.
Cuando Se trata 5de evaluációri de programas O institucibnes~ los.
términos que se utilizan en estos c·asos; respectivamente, son eva-
luación ex.t erna y evaluación interna. .· . .· . .. _ ·.... . ....•
La heteroevaluación ha sido el tipo de evaluación: traditiohál
en l~ educación y, de hecho, está en consonancia con el,modelo
clásico de educación ' transmisiva.. En cambio, la. autoevaluación
responde a un concepto :de educación x:ri~Jigacio a l,os opJet1vos
de aprender a aprender, a reflexionar y a .eII1anciparse, donde el
centro de la educación se sitúa más en el propio ipdividuo <~ in~-
titución.,q ue aprende (Boud, 1995)1: . .. .. . . . · _...· . ..•.
.·.. _ .Er1: la evaluació11 de programas, Ja ev;tluac:ióD; exter_n a ,ipo,rta
valores añadidos como Illay()r.objetivid_a d,.cx~,c1.ibilidt1c~, y<:q11o~i-
miento sobre la evaluación al tiempo que ~qporta lll~n9~ pre::sión
política (Payne, 1994). En cambio la evaluacióp. ínterp~ .t ie,11,e le5
ventajas de un menor coste económic<> y, sobre todo, la capacidad

1 Argyris. y &bon (1974) , Elliott (1978) y Rogers tJ983) son algunos de los
autores que han investigado teóricamente sobre el concepto ,de autoevaluaciól).
Otn:>s autores, citados.por Boud (1995), han r ealizado.estudios <;uarititatjvos para
~comparar las puntuaciones obtenidas mediante autoevafoación yheteioeválúadóii,
mientras que Candy ét aL (1985); Lowry (1989) y Van Riper.' (1982) son algunos dé
fos autores que han estudiado cualicativámerite áspecfos forno el-papeldel educas
doren la autoevaluación y diversas técnicas para llevarla: li;cabo: . , _.
430 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA

de devolver el poder de decisión y de acción aJos propios intere-

sados (empowerment), tal como. señala Cabrera (2001).
Para orientar un proceso de autoevaluación sepueden suge~
rir preguntas como las que propone Race (2002), a las que opcio-
nalmente se añaden laspreguntas¿por qué? o ¿cuándo?:
• · ¿Cuál es la vaforaciórr global (o la puntuación) que coilsi~
. derasque serfajusta para el trabajo que has realizado?
• . ¿Quécrees queesl() que tehasalido mejor?
• ¿Qué es lo que ha salido peor? ' . .•. .
• ¿Cuál füi. la
sido parte másdificil? .
• Si ·tuvieras la. oportunidad de empezar de nuevo ¿qué ha-
óas diferente? .'.. .
• ¿Qué es lo más importante que has aprendido en este tra-
bajo?
• ¿Qu~ esJo más importante de ti mismo que has apr:endiclq
haciendo este trabajo? .·. ·.·.· ·. /
• ¿Qué crees que se espera deü en este trapajo? . <·
• De las opini()nes que tenías antes d~,hácer .este tral:,aj(),
¿cuáles han cambiado al ífoal? ·

Ámbitos de evaluación
. ·,Los principales· ámbttos de. aplicación •. de faevaluación ·educativa' ;;:
se centran en: a) el cambio realiiado en el colectivo beneficiáriódeL .·
mi servicio o programa -por ejeinplo el aprendizaje del alilinnado±(
b) la acción profesional del personal responsable de un servició o pr()'-v
grama -'-por ejemplo lá docenciá del profesorado-, e) el progra.nia.•gi
servicio.en sí mismo, d) 1a.institucióndonde. se.Ueva ·a. calx>.elü'wfU

~:~ ·~:;~~i~~~~j;:~~~c~th:f[~:;p~f};;ritd~,~~{Jt~<
bt aparición de cada uim de· estos focos de ateilciónp,ahtchl'.§\ia.7 ai
luación ha ido pareja al interés súciaFe histórico q11e·háprec~élitl9fi)
Así, inicialmente; 1a evaluación estuvo ligada a 1a va1oracion:tteA2f;
aprendizajes en consonancia con la visión estática y firialista'.delái~g~i
cación; ·Posteriormente, cuando se vio el importante papel!qü~j11g;f ·
han et propio programa educativo y la acción docente eriJ()si¡-~~úJ,.:
dos edpcativos, ~1:>iénapareció el mteré.s por s4· e§ilfl~I~g[l]eD~
mism;i manera,.CÚ3°:do empezaron a surgicteorí~ ~pfy fl.B1'tl?:,
los centros educativos (incluidas las universidades).e11.l¡lsc:aji.º4c;l.;
educación, también se vio la necesidad de su evaluaciqri:,
 LA INVESTIGACIÓN. EVALUATIVA ·431 .

Objetivos, indicadores y criterios. de evalua~.ón::·•.

Los discursos de evahiación suelen foñtener dJnceptÓs corrio
"objetivo", "indicador" y "criterio'', y enocasíones se·uulizan de
forma confusa coino sinónimos. A coritihuadón sé aclaran éstos
conceptos, de acuerdo cbn la prnpu'esta deAfueicua ·yJirn.énez
Lara (1996): · · ·· · · ··· · ·· · ·· · · ··

., Ü11 objetivo.es el r~sultado espe~ífic¿,,y lneri.su/¡ibli que sd ·

espera lograr con una .determinadif 4C(ividad;ú_ri,éje_mp~O .
. de objetivo en un programa de~órientadón profesional
sería "reducir el paro". · . ·.· ...··... .. ·.. .. ·
• Un indicador,. es la parte cuantificable del objetivo que se
quiere conseguir; por ejemplo "número d e personas que
01?,.tienen un trabajo". . · · ... ·..··. · ....·· . .•....
• Un criterio o estándar es el nivel deseable que se ha de
alcanzar con relacié>n .al .indicador para ~on~idei:.u; q:u.e ~1
objetivo se ha c:onseguido; por éjerripfoi ''el 70%>d.e
l).aS que parti.c ipan en el programa de orientación corisic:
rhs~+ ·
. guen un empleo" . • . ! ··.... ;. .;. ·. ' '.:..é.':·<.:'.··. i.·.·:,.·.~·.:.···.....·.·.' \ . .
... _. .·. . -~ '·._
; ', .:- :. '

·. Para .conseguir objetivos ·que ·'sean'·.útiÍes· para\ la ·ev~úacfóri ·.

conviene que estéri redactados con ferbos<quéexpreseri'.'iesuira: .
dos. Un error frecuente que se comete es redactar óbjetivós que
e:kpresan un medio para conseguir algo. Por ejemplo, el objetiv<?
"ofrecer orientación profesional" (el cual suponeunrpedio:·pará.
algo) es mejorable con.el sigu~en te cambio "cono~ersé a sí mismo
y con.ocerel rriundolaboral" (qµ~ esrealmerúeel re~uli:á(ioq1:1_e
querejnos .o btenér). · ...· . · • . · .·. · · . : . ·: . ,, · . · ;.
. . Cuanto.más' específico sea un objetivo, mas útil resulta fa para
posterior evaluación. Así, por ejemplo, podríamos redactar un ·
objetivo que ·incluyefa d indicador, el ctiterío,- etc<l,l~p.d~riq y el
·. · · coste: "Reducidtn. 10%'el paró énl a zdri.áipaiá'e,lldéé~érod~l
2005; aún coste no superior ax". · · ·· · · ·· - · .·. ·.. · · · · · · · ··
. . .

EL PROCESO DE INVESTIGACIÓN ·EVALUATIVA .

. . . Desdé un punto de vista funcional lá ~vahia~ión se. ehtiende
como un proceso complejo que incluye las siguientes actividades:
• Esta:i,1ec~i et propósito d/ia.~viu~adó.ri.,,
432 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA

• Definir el objeto de evaluación .

• Especificar las audiencias que habrá que atender.
• Especificar el tipo de juicios a emitir.
• Determinar los indicadores y las fuentes de información .
• Elegir, y adaptar si es necesario, el modelo de evaluación .
• Establecer los agentes que efectuarán la evaluación .
• Establecer un calendario de todo el proceso evaluativo .
• Elegir o construir las técnicas de obtención de información.
• Recoger,fa información .
• Analizar la información .
• Formular juicios .
• Elaborar los primeros informes .
• Negociar con las audiencias .
• Tomar decisiones.
• Difundir los resultados .
• Realizar un seguimiento.
• Evaluar el proceso de evaluación (meta-ev~lúación)2 .
La concreción y la puesta en práctica de,,estas actividades se
lleva a cabo con la ayuda de unos modelos que orientan y funda-
mentan las diversas decisiones que se han de ir tomando a lo
largo de toda la evaluación. En los siguientes apartados se
comentan algunos aspectos de estos modelos.

MODELOS DE EVALUACIÓN

El amplio desarrollo de la investigación evaluativa ha permi~

tido diferenciar diversos modelos de investigación según el e nfo.:. ·
que, los principios o las fases .
que orientan su práctica. ·.
_} ·, ~

2EJJoint Comitee on Standards fm Educational Evaluation (1998) publicó una·

relación detallada, fundamentada e incluso señalando los er-rores habituales de 30,
estándares agrupados en cuatro ámbitos: ··

• Utilidad, para garantizar que las evaluaciones sean informativas, oportunas

en el tiempo e influyentes.
• Viafnlidad, para garantizar que las evaluaciones sean operativas, no
man más recur-sos, materiales, personal o tiempo del necesario.
• Propiedad, para facilitar la protección de los derechos de las n<>1rson:a.s
tadas por la evaluación.
• Precisión, para garantizar que se ha producido una informació n bien
mentada, comprensiva y técnicamente adecuada.
lA INVESTIGACIÓN EVALUATIVA 433

Metodológicamente, la investigación evaluativa se sirye de algunos

diseños empírico-analíticos, interpretativos e incluso socio-críticos,
explicados en capítulos anteriores, pero algunos autores han pro-
puesto orientaciones específicas para asegurar que se puedan tomar
decisiones evaluativas con suficientes argumentaciones.
Investigadores como Colás y Rebollo (1993), Latorre et áL (1996) ,
Martínez Mediano '(l997) , M?-teo (1992) y Stufflebeam y Shinkfield
(1993) han explicado profusamente en sus obras los diversos mode-'
· los de investigación evaluativa. En la tabla siguiente se puede Óbservar
la gran variedad de modelos, sin contar con las adaptaciones que se
suelen hacer para . ajustarlos a cada contexto específico. ·

,. TABLA 3. Clarificación de /,os modelos de evaluación.

Autor Modelo Paradi!Jlla

--------- -------~~~ ~------
T}'fer(1942) Oñenlado al logro de objetivos Empírice>-analftico

Pro.us (1971) Oiscreparie

Suchman (1967) Método clenífico

stake (1975) Respondlene Interpretativo

Partetty Hamilton (1977) lluminatillo

..
Scriven (1967) Sin metas

Sttlflebeam(1966) CIPP Susce¡:tlble de

complemenlariedad

Eisner (1971) Criica artística

Wolf(1974) Contrapuesto

PérezJuste(1991ay b) Inicial-Procesual-Final
434 MET ODOLOGÍA DE LA INVESTIGACIÓN. EDUCATIVA

A continuación se describen brevemente cuatro de los mode-

los clásicos de evaluación más aplicados erÍ el ámbito educativo3.

Modelo basado en objetivos (Tykr) ·

El modelo de .evaluación propuesto por Tyler (l942) se puede
enmarcar en el paradigma empírico-analítico dado el énfasis que
po11e en obitivar tanto las metas a conseguir como los resultados
obtenidos y d papel de expertc) extern? que. tiene elagente evalua~
dor. Las decisiones a tornar enla evaluación se deben fundamentar
ell la coincidencia o comparaci6n entre los objetivos del programa y
sus resultados. Las fases principales de este modelo son: ·

l. identificar los objetivos operativos del programa,

2. seleccionar o elaborar instrumentos para medir el logro
·.· · ·.··• > : de los obietivos ·
-_"J<: :_·,· .:.:-----> }:,:.~_-'.':_·_-_=,·-:::"_·.,--· ·:__ :,::.;'.;-'_:·.:<-· :-:-:=·· ·--'
·:.:::: ... =:.-.··;·-·.-·._·:_· -:--.::· ._·:-.::--..: .. _... •-·..·.·.-·.. _.... . ; '"<:"·.--·: / · ,:-_-:_·_:, ,_ :,.· . :<.>-,· _:_,- ::-:_:·:·:_··::::.:·._
·· \ .3. : aplicar estos instri:.únentos a.Ffinalizarel programa, .
4. COillpasar los objetiV()S~el progr~ma y l9s logros realme11-
te conseguidos. ·· · · · · · · · / .. ·· • . .·

Este modelo es uno de los pioneros en evaluación. Si bieh p6sté--

riormente ha sido ériticado por olvidar aspectos que podrían apo:F
tar más datos para la mejora de los.programas. Hay quereconocer'
que gracias a él se clarificaron muchas metas y objetivos educativos,
a la vez que impulsó la mejora de té~nicas de medida para evaluar
esos objetivos (Martínez Mediano, 1997). De hecho, Tyler es consi-
derado el padre de la evaluación educativa ya que desarrolló ~l p~-( \
mer modelo sistemático d e evaluación y su meto.[lologíaresülto:rnµyf .
influyente (Stufflebeam y Shinkfield, 1993) .

M odelo sin metas (Scriven)

El ·m od elo . d e Scrive n

3 A parte d e los modelo s señalad os en este apartado, aplicados noi¼l1ffi{~

la evalu ació n de programas, existen. ta.mbién. o.tras p rop uestas .esp~<.:ífi.S'.'1f ;I?.,.0
evaluació n de la actividad d ocente; de centros édücativos, de j.n;títtícióri~S'unf
sitanas e inclÜso d e sistemas educativos.
LA. INVESTIGACIÓN EVALUATIVA ·, ..

evaluac10n mtnnseca del programa-et·~~nto-';:fiJáhdó'.se ,éit 'su/:· ····

:~ti;o;~~~ef:i:~~::~;~~~~!~!!~ío¡t~J4¿t;fltit,ri~~f •.
De acuerdo COQ. el modelo sin meta$; '1as·éiapasque'>sf di~ft{\
aplicar en la evaluación, aunque no necesaria.merité éói:i<1.ú1••
secuencia concreta, son las siguientes: · ~>:·\-G\-:'.;::,,;2-~( . ·. ·
.L Descripción. ¿Qué hay qué evaluar?? .·. <,_ ..-_
Ui \>3·<
2. Cliente. ¿Quién ha ertcargádola evaluación? ,<,;·<<e';t/f ·
3, Antecedentes y contexto; ¿Qué agentes hay implicados?
¿Qué expectativas hay de la evahiación? ¿Qué tipo de evat
luación se desea (formativa o sumativa)? ¿Qué prioridades
· Hay? . . .·. . . . ..
4. Recursos. ¿Qué nivel de viabilidad existe (recursos ecori&
micos, tecnológicos, de conocimientos· y coriipetericias
para evaluación; de experiencias previas:·.. }? \ · . . . .
. 5. Función; ¿Qué función .ti~né a signada cada' agenté ünpH~
cado? ¿Qué función acaharealménte 1curriplieri.do? ,¡:•\; ,J
- >, 6'. F\niciónamiento. ¿Córrto se inicia ¿¡:piograniao servid(j(
. · ¿Cómo llega al diente? ¿Com6se mahtie'n e a to largó d~l
- tiempo? ¿Cómo se perfecciona? ¿Corno se controla? :. <'
7, Consumidor. ¿Quién útiliza o recibe el programa o servi-
cio? ¿Para quién 'está pensado? cQtiién lo utiliza o recibe
•· indirectamente? ·. ' •'
· .· R .•· Necesidades y valores de los consumido res.
· 9: Normas preexistentes que; deban aplicarse . ace:réá. del
m érito o valor> ·. , · · · ·· ' · <, '.-.,
10: Proceso; ¿Qué lirrtitaciones,· cóstes'.y/ ókrteficios tiene él.
' ; programa() servicio durante su áplicadóri?'-' •,\ :_) ,;;, '
11. Resultados. ¿Qué efectc::isJ deseados o.; iridesfadós, ha pfo:.
. <lucido er programa 6 servicio? ··
12. Generalización. ¿Qué posibilidad existe de aplicar el pro-
·. grama o servicio a otros contextos? ··
····•··13. Costes (económicos, psicológicós, · personales;·de inidó;
. •.· é n sucesivas iroplémentaciones; dfrect6s/iµdirei;:tos).
J4..Comparaciones. ¿Qué ven,(ajas/desventajas tiene .con
, ''. otros p osibles programas o servicios?. , ,;_J y

15. Significado (una síntesis de todas las etapas anterior~s)>

436 METODOLOGÍA DE 1A INVESTIGACIÓN EDUCATIVA

16. Recomendaciones.
17. Informe ( cuidando el vocabulario, la extensión, el diseño,
el medio y el personal para su presentación en función de
la audiencia).
18. Metaevaluación (evaluando el propio diseño de evalua-
ción del programa).

Modelo CIPP (Stujflebeam)

El modelo de Stufflebeam (1993) se considera susceptible de
complementariedad en cuanto al paradigma que subyace en él4 •
Es necesario o_btener una amplia gama de información recu-
rriendo a la metodología más apropiada según el momento o el
caso. Stufflebeam afirma que el propósito de la evaluación es el
perfeccionamiento de los programas y propone el modelo CIPP:
Contexto, Input (entrada o diseño), Proceso, Producto.
La evaluación del contexto consiste en definir el contexto insti-
tucional, identificar la población objeto del estudió y valorar sus
necesidades, identificar las oportunidades de §atÍsfacer las necesi-
dades, diagnosticar los problemas que subyacen en las necesida- ·
des y juzgar si los objetivos propuestos son lo suficientemente
coherentes con las necesidades valoradas. Para ello se recurre·. ~
métodos como la revisión de documentos, entrevistas, tests diag~
nósticos y la técnica Delphi. Las decisiones que se toman con res-
pecto al contexto se relacionan con el marco que debe ser abar-
cado, las metas más oportunas de acuerdo con las necesidades
detectadas, la utilización de los recursos más oportunos en ese
contexto, y se proporciona una base para juzgar los resultados.
La evaluación del input o diseño pretende identificar y valorar
la capacidad del sistema en su conjunto, las estrategias alternati-
vas del programa, la planificación y los presupuestos del progra-
ma antes de ponerlo en práctica. La metodología más apropiada
consiste en inventariar y analizar los recursos humanos y materia-

4 Cook y Reichardt (1995) argumentan ampliamente la postura complemen-

taria de los paradigmas en la investigación evaluativa y, en este sentido, afirman:

« ••• las evaluaciones globales deben hallarse orientadas tanto al proceso como al

resultado, ser exploratorias tanto como confirmatorias, y válidas tanto como fiables.
No existe razón para que los investigadores se limiten a uno de los paradigmas tra-
dicionales, si bien ampliamente arbitrarios, cuando pueden obtener lo mejor de
ambos» (p. 40).
lA INVESTIGACIÓN EVALUATIVA 437
les disponibles así como la aplicabilidad y economía de las estra-
tegias previstas en el programa; también se recurre a bibliografía
especializada, visitas a lugares donde se han aplicado programas
ejemplares, grupos de asesores y ensayos piloto. Las decisiones d e
mejora se aplican básicamente al diseño del programa (recursos,
estrategias, planificación, estructura, etc. ) .
La evaluación d el proceso se lleva a cabo para identificar y
corregir los d efectos de planificación mie!).tras se está aplicando
el programa. Se d ebe obtener continuamente información espe-
cífica del proceso real, contactando con los agentes implicados y
observando sus actividades. Las decisiones ayudan a perfeccionar
la planificación y los procedimie ntos del programa y a inte rpre-
tar los resultados obtenidos.
La ,evaluación del producto consiste en recopilar descripciones
y juicios acerca de los resultados y relacionarlos con los objetivos
y con la información proporcionada por el contexto, el diseño y
el proceso. Así se puede interpretar su valor y su mérito. Ello se
realiza mediante la definición operativa d e los resultados, reco-
pilando los juicios de los agentes implicados y analizando los
datos cuantita tivos y cualitativos. Las d e cisiones que se toman
deben orientar si se debe continuar, finalizar o modificar el pro-
grama, presentando un informe claro de los efectos deseados, no
deseados, positivos y negativos.

Modew respondiente (Stake)

Este modelo se aproxima más al paradigma interpretativo.
Stake (1967) propuso un modelo más compreh ensi'vo de evalua-
ción para tener en cu e nta a todos los agentes implicados en el
programa que se estuviera evaluando. Años más tarde concretó
aún más algunas orientaciones en el modelo llamado respon-
diente (Stake, 1983). La evaluación respondiente tiene en c uen-
ta aspectos como antecedentes, procesos o actividades d el pro-
grama, efectos, datos para los juicios valorativos, informe holísti-
co y asesoramiento a los educadores.
El modelo respondiente se basa en la información obtenida
sobre tres conceptos primordiales:

• Antecedentes. Condiciones existentes antes de la aplica-

ción del programa.
 LA INVtsirrcÁcróN ~VALUA4rv& :,/ •;_,_ fr:/tt·
-7: ·- - La admínistra~ióit idb:d;~ktt
alumnado_debería': est:ar <i-cu:i ·

s:

·.- .-.... ;- ·~·>>....

-
.- . .:, ·;· ·"·,:; ·; , ~ . ,_
t2:. El(poFcentajt:de .textos traducidos-<{ iiite:r;pr-etadtls; ~9rr~s?r _-·• -
-~tiiériJeJ ~é;~,r1~ffciente.Guiéf.o·• cifrestil~3.-clof...--:>\'\i)\}j _·• _
.. .-... ,,·._.;.. _·:. ·.,..·.._.:_.<·~·:

Veii;tajas y; limitaciones de lxJS' modiel~s-•clásitoSdé=

étialiiiicíón' ·) _ . _
:.Lo~;, hiod:elb~ -di-ev~fü¡C1ód ~ a~sdrÜh'; ·~1:Jti6t.triJnt!~~Jldr'i(
i~'&,frtcorporando:Üno .tras. otró·a.Iguna·p~rs12iétj_wi qµe _~0:rrf
plementaba fas propuesta's, que•tixistía~ hasta ,ese rtl.óm~iit()\(
p ~ro; aún así, todos elfos tienen ventajas y límitacihnes'qµé se\

·; :ii{~~ifi~iii:i!!t~¾~Jllrlif!!l'á~¡¡
 ~ Il-lVES~ITGACI?~ E:VALU;o..TfYA\i ,s;)<>:Af ·.
• formar a los ageri(es irripliq;
evaluandá :<.·->' .',:
•
•

..••
•
. ~-:·,~:

desarrolladas y puestas en práctica eri lafobra de'Saridífí?-(1997);

::f.~:~- .:~~::\.=.i-f{~_;\<-)i~).f_
i~\~\~.

: ~.

en
• ".1,a pc1rti~ip acióri. hf eval114c.i óp{ci:n:idµce ,a un..tiivel,.ca4:1.
vez rnás fuerte de ápro'piación del proyecto/ die cohesión ."
,, del gr~po, de capacide,4 de-a.µ~orreflexi.(>n }t cambio_y d e. ·
·.. <, .• : j nde p e11denc~<1-Y aµtonorní¡i;r espe<::t<)._á asesqre_s)éfternoik ,•. .
.• . ·; El.~valuadot, se convierte :eá u~·facilitadóf d,ft aprendiza\ ·.··
, .' j e qt1e se prom:11eve,en ·el iI:il~ri91;-;deL.pfo~esoeva],uativo .. . ·....
. . : : : •. . .. •· ._, ,.. :. :,:; ;'. •::-·:\ : ..· ,__J :. '.''. ;. ·:.: · . :: :· "
...· Un m_ét()do cph~z:eme)af~ 1.1e".~éa'.{ab !:> !~( éva,l:1~~i§.n partí:. .
dpativa _co'hsiste-~·n Hi'investigaéióg~a<cí§j;i,Jn_t.rp:dú_sí~~~b eh sus .
fas~s ;dé' d~sarr()lIO .(j)laniffrati9.n~ac/~qÍÍ;<>pserviici_ <?,I11feflexión)
cuestiones qué"faciliteri la. evaluación dd prog'ramá;'. ;< . .
.·.. ': '. Laevahiacióri COIIl~ -~powennent; desciiti, p9r f~t0rÍp.~ (1996 y ..
2000) , se define como el ÚSO de los fori:cept()S cif
fa:evaJ.~cifm,_. d~ .
sus técnicas y resultados;para fomentar;la ¡rriejora\y:la1autodetermi~ .· .
· de los particip:mtes.:. A <liferenci_a de los modelos: clásii::o"s'.de
..........,,v,,,, la constatación delméritoy elvalorés:sólo ti.nápáhe del
.. . -., ..·
 442 METODOLOGÍA DE.LA INVESTIGACIÓN EDUCATNA

· proceso de mejora de un programa, no la finalidad de la evaluación.

Este modelo se .centra.en los siguientes aspectos:
• Se. han de tomar seria.mente en consideración las fortale-
zas, las experiencias; las estrategias y las metas que tienen
los miémbros de los grupos más oprimidos.
• Se ha de ayudar a los grupos oprimidos a analizar y come:
prender la estructura socíal y a desarrollar ·Ias capacidades
necesarias-queles .posibilite conseguir sus metas de una
forma satisfactoria.· ·
·• Se trabaja tanto á nivel individual, ayudando· a fas perso-
nas, como grupal, de.volviendo un poder colectivo ( empo-
werment) para luchar por la justicia social.
• Existe .un compromiso con la verdad y la honestidad,
.entendiendo la verdad como una comprensión de las múl-
tiples perspectivas que existen enun contexto.
• L.a evaluacíónse concibe como un vehículo efectivo para
el cambio y la, emancipación social. ·
La, evaluación como empowermerit emplea. metodologías cuan-
titatj.vasycµalitativas. Todos los agentes implicados participan en
el diseüo e implementación dela evaluacióny,.normalmente, un
evaluador externo cumple el-, papel de facilitador y_ asesor. El
modelo se lleva a cabo en tres grandes fases:
L Establecer qué resultados se esperan del programa, espe-
cificando fas -actividades· requerídas .para conseguir· esos
resultados.
2. Identificar ypriorizar las actividades más significativas del
programa. Todos los ageri tes implicados valoran cada una
de las actividades (en una escala de O a 10) y discuten las
pµntuaciones otorgadas. Esto ayuda a determinar los
tosfuertesy débiles delprngrama.
3. Planificar unamejora para el futuro. Se
O bjetiVOS y fas estrategias ne,césarias para COnS(~l,!lll1
objétivos. El evaluador externo ayuda aidentificar
de evidencias (indicadores) que se requerirán para
m~nt.ar el progreso hacía esos objetivos. · ·
De esta manera la evaluación se convierte en una
tual de la planificación y ejecución
donalíza e ínternaliza la evaluación.
 tt4t=(}-/ i::

IA INVES"fIGACTÚN EVALUATNA

EL INFORME DE EVALUACIÓN '

Rebollo, 1993; Payne, 1994). .Para-la ela®ra~i~·n ;d et~iteti~für.ntéf

cóntifJ~~i?íil!~ifllif•
el' informe. El USÓ de ilustracio11esi;ejempfo_s,:grá:fi<¡:<>})7; Gtblas\ ••
de doble entrada.facilitan enonnemerit~ lá ó:miürtítacióh: ?
• A· rafa ..del punto anterior; ·Sé: geriVafádlmi:ht~Lq{úr ·t8's
de
informes hai:i: estar adaptados a\ l~s audie11cfoscé~pécífi~ · _
.. cas que r~cibirán el documento elaborado .. En: este: se riti-· ·
. do, es.fácil, que se-reqµiet a ,un, esfuerzo· p~<l·Jdilll-ina:r t'ec~-
nicismos eñ el redacta9"0, .ya qu~ éstos,nqlíac~Ii .Ii:l~··· ql.i~'
dificultar la c-Omunicación. ... ; . . ;, ··
•' . En' conjunto; un: informe debiera, ser simple y,c;leta:Ifad6
aunque la brevedad Í<!-ffibién-se ag..radece; . . •. J .

• Es imp01;tante que se expliquen;ciaramertte tod6s1os argü~

mentos·que hart llevado alas conclusiones;, . . . · . :
de
•' A grandes rasgos; el esquema; del;informe- .evaluación. se
estructura,. con·-todas .fas adaptaciories:pertií)etites;: ertaparta::.
doscomo:
o.: R:esümen".
º'ú'escripció n de fo :que está siertdo évafoadb .
o Descripción def procesfrde:· evahíáción· ·. :
o · Datos: ' ._ '· ,: ··
ACtiviélades ·.
Costés · (J:h.1.manos~.materiales y ecónómitos)
- Resultadbs; -Efectos · · ·
Opiníortés implicadas '
. Jndicadorésy crfren<:>S utilizados'· . - ·..·
Consideraci@nés sobre' la' calidadide la eVáluaciórt·
.· (rrieta~vá:lúation)
· · o' Condüsiones. Propuestasc
•'. Puntos fuertes y debiles ·
444 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA

CONTROVERSIAS ÉTICAS DE 1A EVALUACIÓN

En el momento de iniciar un proceso de evaluación es fácil

que la gran cantidad de tareas a ejecutar hagan olvidar la necesi-
dad de reflexionar detenidamente sobre algunos aspectos éticos
que interesan a todoslos agentes implicados. A continuación se
comentan algunos de ellos:

• En la priorizació~ de las necesidacles a cubrir por parte de la

evaluación se debería insistir en generar una lista donde los
valores·de todos los·implicados estuvieran reflejados. En la
medida de lo posible estas necesidades se deberían consen-
suar para queresultata.ri verdaderamente compartidas. De no
ser así, hay que ser consciente de que hevaluación servirá a
los·inteieses de·un determinado colectivo al que se le facilita-
rá un mayor poder sobre el resto de colectivos implicados.
• · La evaluación por sí misrriá suele' generar t;xpectativas e
ihCertidumbres· eh Ciertos colectivos q1Je"les empujan,
conscieriteo inconscienterrierite, a rriaríÍpular los contex-
to.s evaluados (promoviendo dimas excesivamente positi-
.· vós o negativos) para tratar de conseguir resultados que les
sean beneficiosos,. Un buen evaluador debería estar aten-
to a estos intentos de distorsión dela realidad.
• Hay que respetar completamente las garantías de anoni-
mato o confidencialídad de la información obtenida en
una evaluación. El anonimato significa que es imposible
identificar quién ha dado una determinada información,
mientras que la confidencialidad significa q11eal menos
perspnaencargadade la evaluación puede saber
dado cier,ta. i:i;ifprn1aciór1 pfrº se. _garantiza.· que
no se divulgará públicamente por ningún medio.
• La invasión de la privacidad de las personas es otro
to que hay que tratar con .s umo cuidado . Para
los fines de la evaluación no todos los medios sori
y menos aún si no se cue~tacon el consentimiento
personas implicadas (ver un ejemplo de m<PnTA...>.<

de_ participación en lafigura siguiente),

• Otro aspecto éticamente controvertido surge
debe seleccionar, entre todo un colectivo, un
o
sujetos. para evaluar un ·programa un servido.
 ·.·· ·. .·.·);;:;:~\:~:~~:~rx~.ii;f;¾~~~Wift~~~{;
1A INVESTIGACIÓN EVALUATIVA · -:.: \·.\::~\{,.';.\ ·~

grama que se esta evaluando} con.e>tro grupq:c;sm.tj¿tjl:(qú.~ ..

no recibe el programa), también se 'élebe cueshóiiárhastaL
1
.:!J~;:ae~ftidpa~~~~~ etai~1-~ lÍJf:f:l,¡:}~·\(:~~t}~~: (>•·.•·•·.··
: . La .evalú:áción en .eón textos ..'diversof o riúiltibiftiibílé's\
· debe . preocuparse ·én cáso ·de'.'titiliz:irfostriitjitrit9Jt x~ ··.
estandarizados; ya que .podría' resúl tá:r que algtiñ?§le{ti:V~
imp]kádo en la evaluación no·estúviera bien reffresehtád~
en los estudios de estandarización. Además, 'e h contextos
·. multiculturales aún es más fácil que existan diversidad de
:valores e intereses, con lb cual se debe póner más atención
para que todos ellos queden representados.

FIGURA x. Ejempw de declaración de consentimiento infmmad<f •.

Proyecto: . Foanación en Centros..Un estudio de casos.·e n la &iucación Infantil,

Investigador principal: Francesc Martínez, profesor tillllar en el depanamento MIDE de la
Universidad de Barcelona ·
Teléfono: 93403XXXX
Correo electrónico: Jmartinezo@l<XX.XXX

Yo, (nombre del participante), acepto voluntariamente participar en la evaluación del JH'Oyectocitado y'
declaro haber estado debidamente informado de Jo que ello supone. Comprendo que mi participación ·.· ·
conlleva la aceptación de las siguientes condiciones y garanúas:
l. La participación es voluntaria. En cualquier momento y por cualquier razón los participantes
se pueden desvincular del proyecto. · . . .. •
2. No existe ningún riesgo por el hecho de ¡,articipar en esta evaluación.
3. El método de evaluación de este proyecto implica:
a. ser observado en ... contexto/s, y/o .
b. la cumplimentación de ... cuestionariols, y/o ser entrevistado.
4. Los datos obtenidos podrán ser registrados y ttanseritos ¡,or cualquier medio y sólo se utiliz.arán
para los fine.~ propios de esta evaluación.
5. Los resultados de la evaluación podrán ser publicados por cualquier medio y se garantiza la
confidencialidad, de todos los datos personales de los participantes.

Firma Fecha