MET ODO LOG ÍA DE LA JNV

ESTIGACIÓN EDUCATIVA
424
dob
3) Rea liza un cua dro df , le ent rad a don de se consigne_n
nic
las dif ere nci as ent re _as tec , as util iza das en me tod olo ¡¡ia
. ..m
Cür i1U fl1C au V«. y las nus ma s tec mc as
. des de enf oqu es d1stm-
tos. , e la inv est iga ció n com uni cat
4 ) '-.·Có mo arg um ent ana s qu . ;, iva
nen e un com . p0n ent e for ma nvo .
b ., CAP ÍTU LO 14
5) l.·Qu e' dif ere nci as. o .ser vas
ntr e la investigac1on
e, ;, com um·-
,
cativa y la invesngac10n acc1on . .
. . dad edu cat iva . ¿Cr ees LA IN VE ST IG AC IÓ N EVAL
UATIVA
6) Cons1.d·era un pro yec
. . . to de com um.dad par a ..
part:Ic Francesc Ma rtín ez Olmo
qu e es fácil sens1b, 1hz ;,
ar a 1a com um 1par en
él? ¿Có,p.o lo han as.
ÜB JET NO S

a) Co poc er el ma rco gen era

l de la inv est iga ció n evaluativa
b) Co noc er los fun dam ent os .
teó ric os de la inv est iga ció n eva
luativa. -
c) Co noc er las fun cio nes de
la eva lua ció n.
d) Co noc er los mo del os má
s rep res ent ativ os de eva lua ció
de pro gra ma s. n
e) Re dac tar un inf orm e de eva
lua ció n.

TEO RÍA DE IA EVALUACIÓ

N

La eva lua ció n se def ine com

o "un pro ces o de rec ogi da
inf orm aci ón ori ent ado a la de
em isió n de jui cio s de mé rito
val or res pec to de alg ún suj eto o de
, obj eto o int erv enc ión " (M
2000: 21). Po r otr a par te, tam ate o,
bié n con vie ne enf atiz ar la est
rel aci ón que del:,e exi stir ent rec ha
re la eva lua ció n y la tom a de
sio nes , fun dam ént ada en los dec i-
jui cio s em itid os, enc am ina da
me jor a del obj eto , suj eto o int a la
erv enc ión eva lua da.
Cu and o hab lan ios de eva )ua
ció n, nos ref eri mo s pri nci pal
me nte a la eva lua ció n de pro -
gra ma s edu cat ivo s. Au nqu e tam
se pue de con sid era r la eva lua bié n
ció n de alu mn os, pro fes ore s,
tros, etc . cen -
La par ticu lar ida d de la eva lua
cia pro vie ne del tip o de con oci ció n ent end id! ' com o un a cie n-
mie nto que me jor la car act eriz
axi oló gic o (Ru l, 199 2). De hec a: el
ho, eva lua r sup one sie mp re
sar iam ent e est abl ece r com par nec e-
aci one s a las que se oto rga un
en fun ció n de alg ún crit erio . val or
Así pue s, la val ide z del con oci
to evaluativo se dem ues tra a mie n-
trav és de su cap aci dad pat a
asi gna r
426 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA 1A INVESTIGACIÓN EVALUATIVA
427
valoraciones, y la credibilidad a través de su capacidad para mejo-
TABLA l. Características de los tipos de evaluación según su función (adaptad
rar lo evaluado (Mateo, 2000). de Cabrera et a~ 1993). o
El conocimiento que aporta la teoría evaluativa, al margen de
su utilidad práctica, se asocia con aspectos como el poder, porque
discrimina entre aquellos objetos, sujetos o intervenciones que
DiagnóStica
........ Fonnattv,
~
Sumativa
~

-
tienen reconocimiento socio-educativo y los que no; y como la Fi..rción A:1oct.E!r el programa ffliqJl.rnr qie el pn:ceso
política, porque se ha demostrado, sobre todo a partir de los oo'u:;air•,o aloo niveles Certlfi:-ary calificar nMl/es de
ed.t:alivo se /"€€!/i?a sagún IÓ -zaje acareadas
iniciales y e)(fJoclair-.EB del J)anif!Cado
modelos evaluativos socio-críticos -también denomin.ados de
Moti\Jc.Ción
cuarta generación (Guba y Lincoln, 1989)-, que la evaluación
genera una cultura evaluativa y reconstruye la realidad generan- Oljelo Prerreqisitoo
do cambios en profundidad (Mateo, 2000; House, 1994). Pnxmoedra\.,o
Cco.:cimientoo pnMoo Otfetil.03 finiles alcmzoooo
Aprondzajes ¡>mates !
Hoy día la' evaluación se clasifica en diversas tipologías, no· E,poctatwas
excluyentes, según su función, el tipo de juicios que se emitan y
el agente evaluador. En los siguientes apartados se detallan estas Momento .Artes de int:icreJ ptocooo
Ctran!e el pf'OC.€S) edlL.'ltivo ,
e::tu.::ati\o ojIB!o al inbo Al finalizar el Pf0Ce3'.'J
tipologías o modalidades de evaluación. Remitimos a la obra de ed!ol!Ml
1
Pérez Juste (2004) sobre Evaluación de Programas en Educación para . En O:,::asiOl'"ffi E:e malEa de ,
ampliar lo que aquí se presenta con carácter introdúctorio. forma 'i:iferida· ¡::era éklüár·
l'e3llta::iC6 a mEdió oBtYJ

-
plazo .

Funciones de la evaluación ~ón Adapta.:&! del ¡:rogc¡ma ReajLBI, del programa Ok<gar ocroollociones
Scriven (1967) fue el primero en distinguir formalmente la o:lravo
evaluación formativa de la sumativa. Hasta entonces todas las. eva-
Elex.ión del ~m-a O li.el Añldrestra!aja, 00 .._.!ZO
luaciones eran sumativas, ya que se centraban en los resultados dé
los procesos educativos, reservando las propuestas de mejora para
futuras intervenciones; en cambio, la evaluación formativa focali' necesarios para su nie. . . . . . ,.
za su atención en el mismo proceso educativo desde su inicio para está más en concordaR~~:r0,i~izac1'?'.1· Este tip'? de evaluación
poder incidir en su mejora. Posteriormente se ha .identificado
otro tipo de evaluación que tiene como función primordial: el
prácticas educativas pasando t
irecc1?'.1 _que estan tomando las
luación_ lein. timadora' o d 1· .. e udna VIs10n centrada en la eva-
diagnóstico previo de aspectos que permitan tomar decisiones "'' es 1g1t1ma ora · ·,
procesos de mejora (Cabrera, 2001). a una.VIs10n centrada en
incluso antes del inicio de los procesos educativos. En la siguien,
Evaluar para mejorar sería el le E .
te tabla se resumen las principales características de la evaluación
diagnóstica, formativa y sumativa.
por Boston. (2002) se muestran al · ma.. n e~tud10 realizado u~
d_onde.se comp· ru' e·.ba 1 . gunas mvest:Igaoones realizadas
La funcionalidad formativa de la evaluación se uti]jza .en Ja a meJora conse ·d ·
nos que realizan evaluaciones e • gm a por g_rupos de alum~
valoración de procesos en curso. Su finalidad es la de mejoÍ;ar; · . . . · ,ormat:Ivas Esta me,o · , ,
s1gn16icat:Iva con alumnado que t' difi. , ra .es aun mas
optimizar, adecuar el' proceso que se evalúa a través de .la obten- iene icultades de aprendizaje.
ción rigurosa y sistemática de datos que nos aporte suficiente
información de cara a una toma de decisiones inmediata.. Por Tipos de juicios evaluativos
ello, la evaluación se lleva a cabo paralelamente .a la actividactqute . En cuanto a los ti · d · · ·
se desarrolla de forma que cuando surja un obstáculo;·disfuricio-- ción, se clasifican en ri~ci~~u~~t:ri1~~~e emiten e_n una evalua-
nalidad o. carencia se esté a tiempo de introducir ]os: cámbios .• tan ( Cabrera y Espín, 1986; Mateo, 2000) ,comparativo que adop-
 MET ODO LOG ÍA DE 1A INVESTIG
428 ACIÓN EDUCATIVA IA INVESTIGACIÓN EVALUATNA
429
Per son aliz ado s o con· refe ren cia · C
• info rma ción obt eni da se com par a
a uno . mis mo. - ~ and o la
.
duo s per o no ofre cen orie ntac ion
es esp ecíf icas de mej ora . Se uti-
co~ _mfor_mac10n prev ia liza, sob re tod o, cua ndo se des ea
del mis mo obj eto, suje to o inte rven det erm ina r la pos ició n ord ina l
c10 n. Tie nde a ser de de un suje to resp ecto a otro s.
cor te idio gráf ico. En cam bio , las eva luac ione s de refe
Nor mat ivos . Cua ndo la info rma c10 ., la ren cia crit eria l per mit en
• info rma ció n que se tien e de otro s
n se co~ par a con esta blec er estr ateg ias de mej ora indi
vidu al, cur ricu lar o inst itu-
obje tos, suJetos o int~ r- cion al, ya que se iden tific an clar ame
ven cion es sim ilar es al que se está nte los gra dos de dom inio en
eva luan do. Tie ne cara c- cad a con ten ido eva luad o. Se utiliza,
prim ord ialm ent e, par a con o-
ter nom otét ico. cer la efic acia de las acti vida des
rite rial es. Cua ndo la info rma ción con resp ecto a un ámb ito de
• ~rit erio s de exc elen cia pre esta
se_ com pa~ a_c on uno s inte rve nció n y par a det erm ina r el
gra do de éxit o en rela ción a los
ble cid os teo nca me nte . obje tivo s que se per sigu en. Par a
Tie ne cará cter nom otét ico. ello será nec esa rio esta blec er
· bie n los obje tivo s y los crit erio s de
la acti vida d que se evalúa.
Tipos de evaluación en func ión del agen
TABL A 2. EjempWS de juicios evaluativos. te evaluador
Cua ndo la eva luac ión se real iza sob
' re un obj eto por par te de
un age nte dife ren ciad o de ese obj
Refe' renc ia a • Ana ha mejo rado su nivel de lectu
ra respe~~o al que tema , eto, se den om ina hete roe valu a-
ción . En cam bio si el obj eto eva
uno mism o
hace tres mese s.
/ ~ juad o form a par te del mis mo
• Se ha incr enie ntad o satisfactoriame d age nte eva luad or, ent onc es se
usuarios de este prog ram a resp ecto
1;5.e-e!_ nurn e~o e . real iza una auto eva luac ión .
al ano F . Cua ndo se trat a ;de eva luac ión de
• Los objetivos del pr?)'ecto defin
itivo son m~ conf usos _que
pro gra mas o inst ituc ione s, los
térm ino s que se utilizan en esto s
en su vers ión ante nor. casos, resp ecti vam ente , son eva-
• María es la mejo r del grup o. luac ión ext ern a y eva luac ión inte rna
Norm ativo . .
• Este proyecto es el que está mejor defim do de todos 1os La hete roe valu ació n ha sido el tipo
de eva luac ión trad icio nal
que se han presentado. en la edu cac ión y, de hec ho, está
• Esta escuela es la que tiene el mayor índice de apro ba dos en con son anc ia con el mo del o
clásico de edu cac ión • tran smi siva .
de toda la urovincia. En cam bio , la auto eva luac ión
• José ha alcan zado satisfactoriam
ente cuat ro de 1os seis
· resp ond e a un con cep to de edu cac
Criterial _. ión niás liga do a los obje tivo s
objetivos propuestos para este c:rso de apr end er a apr end er, a refl exio
• El prog ram a llevado a cabo 1:1º . d loS criterios·cte nar y a ema ncip arse , don de el
a supe ra o . .• cen tro de la edu cac ión se sitú a más
dise ño ni de utili dad requ endo s. en el pro pio ind ivid uo o ins-
• La inve stiga ción realizada cum . - ~ . titu ción que apr end e (Bo nd, 1995) 1
ple los cnte nos nnnun..<:s ,
. exi!ribles oara ser mer eced ora de
una nuev a subvenc10n. . En la eva luac ión de pro gra mas , la
eva luac ión ext ern a apo rta
••
valo res aña did os com o may or obje
La eva luac ión per son aliz ada faci tivi dad , cred ibil idad , y con oci-
lita dos mie nto sob re la eva luac ión al tiem
·, . ) , de un su,ieto o de unatipo
1uc1. 0n
s de cc_,~nP¿ot,
pol ític a (Pa yne , 199 4). En cam bio
po que sop orta me nor pre sión
cion . a 1ª evo · · mte r. ven.c1.o ..... "·'.·.
, ..· mo y b) las dife ren cias ent re van
" · • · ··•· · d ·· la eva luac ión inte rna. tie.ne las
resp ecto a s1 mis as cap~.ci .. ~, ven taja s de un me nor cos te eco nóm
, . · · · ~eto O 1nter- ico y, sob re tod o, la cap acid ad
des , hab ilid ade s u otra s van abl es
::a (McAlpiti~;
en un ml~ ~f s~
ven ció n -ide ntif ica los punt<_>s fue
rtes y, ~ I enf atiz ar tJ
1 Argyris y
Schó n (1974), Ellio tt (1978) y Roge
rs (1983) son algu nos de los
200,2 ). Est e tipo de eva luac 10n _es_ mu y uul P . ., ·psÍ '
autores que han investigado teór
icam ente sobr e el conc epto de
.
car acte r form ativ o e d los dia gno suc os y de la one ntac 10n Otros autores, citados por Bou d
(199 5), han realizado. estud ios cuan
auto evalu ación .
.. • :. comparar las punt uaci ones obte nida titativos para
coe duc ativ a. mien tras que Cand y et al (1985), Low
s med iilnt e auto eval uaci ón y hete roev
alua ción ,
, d ·uic ios
Las pun tua cio nes que se obt ien en
tivos per mit en la com par ació n ent a _tr~ves e
re dist into s o ~tt
os 6· los auto res que han estu diad o cual
dor en la auto eval uaci ón y diversas
ry (1989) y Van Ripe r (1982) son algu
itativamente aspe ctos com 0 el-pa
nos de
pel del educ a-
técn icas para llevarla a cabo .
430 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA LA INVESTIGACIÓN EVALUATIVA
-
431
de devolver el poder de decisión y de acción a los propios intere- Objetivos, indicadores y criterios de evaluación
sados (empowerment), tal como señala Cabrera (2001).
Para orientar un proceso de autoevaluación se pueden suge- Los discursos de evalua · , ¡ ·
"objetivo" "ind· d " "c~on _s~~ en contener conceptos como
rir preguntas como las que propone Race (2002), a las que opcio-
nalmente se añaden las preguntas ¿por qué? o ¿cuándo?:
• ¿Cuáles la valoración global ( o la puntuación) que consi-
~~~~=p~~ff~:a
Lara (1996):
];~~:~:t~i~~ A
.
0

Zo!~:i::~~e:e s:c~:~a;st~:
propuesta de Amezcua y Jiménez
deras que sería justa para el trabajo que has realizado?
• ¿Qué crees que es lo que te ha salido mejor? • Un objftivo es el resultado específico y mensurable que se
• ¿Qué es lo que ha salido peor? . ~spe; ograr con una determinada actividad; un ejemplo
• ¿Cuál ha sido la parte más difícil? en,ºa geudvo _enlun programa de orientación profesional
Se re uc1r e paro".
• Si tuvieras la oportunidad de empezar de nuevo ¿qué ha-
rías diferente? • Un indicado~ es la parte cuantificable del objetivo ue se
• ¿Qué es lo más importante que has aprendido en este tra- qbm~re conseguir; _por ejemplo "número de person! que
bajo? o #uenen un traba:yo".
• ¿Qué es lo más importante de ti mismo que has aprendido • ~n criterio o estándar es el nivel deseable que se ha de
haciendo este trabajo? . c_an_zar con relación al indicador para considerar ue el
• ¿Qué crees que se espera de ti en este trabajo? obJenvo se ha conseguido; por e;emplo "el 7001 d q
nas que f · " 10 e perso-
• De las opiniones que tenías antes de.hacer este trabajo, par iop~ en el programa de orientación consi-
¿cuáles han cambiado al final? guen un empleo".

Ámlntos de evaluación
Los principales ámbitos de aplicación de la evaluación educativa
se centran en: a) el cambio realizado en el colectivo beneficiario de
un servicio o programa -por ejemplo el aprendizaje del alumnadéF-,
b) la acción profesional del personal responsable de un servicio o pro-
grama -por ejemplo la docencia del profesorado-, c) el programa o
servicio en sí mísmo, d) la institudón donde se lleva a Gibo elpro-
P_ara consegu!r objetivos que sean útiles para la. evaluación
~~n~ne que 1sten redactados con verbos que expreserí'í-esulta'
ex;~es:ne:~º~;~cuente que se comete es redactar objetivos que
" JO para consegmr algo Por e;emplo I b. .
ofrecer orientación profesional" (el al. " 'e o ~euvo
al ) - cu supone un medio para
go es mejorable con el siguiente cambio "conocerse a , .
~i~:;,:~: ~~:~:~º laboral" (que es realmente el resul:~ ~~~
1

grama o servicio -por ejemplo el centro educativo-, y e) el sistema

Cu_anto más esJ?ecífico sea un objetivo, más útil resulta 1
nacional que orienta las concreciones de un programa o servicio, postenor evaluaoon Así po - para a
La aparición de cada unu de estos focos de atención pata•Ja:eva~ 1
!nación ha ido pareja al interés social e histórico que ha precedidci ~~i:e~':~~;~c~~~~y:i% ~l indi~adi;~l ¿rí~;i~'.a;:;~~:~!:~:r/e~
Así, inicialmente, la evaluación estuvo ligada a la valoración de fos 2005 _paro en la zona x para el 1 de enero del
, a un coste no supenor ax".
aprendizajes en consonancia con la visión estática y finalista de la edú-
cación. Posteriormente, cuando se vio el importante papel quejugac
ban el propio programa educativo y la acción docente en los·resulra- EL PROCESO DE INVESTIGACIÓN EVALUATNA
dos educativos, también apareció el interés por su evalllación, l)e;Ja
mísma manera, cuando empezaron a surgir. teorías sobre el pa¡:íet~f co Desde un punto de vista funcional la evaluación se entiende
los centros educativos (incluídas las universidades) en la quidad.d,Ja mo un proceso complejo que incluye las siguientes actividades:
educación, también se vio la necesidad de su evaluación. • Establecer el propósito de la evaluación.
432 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA
LA INVESTIGACIÓN EVALUATIVA
433
• Definir el objeto de evaluación .
• Especificar las ~udiend~. que habrá que atender. Metodológicamente, la investigación evaluativa se sirve de algunos
• Especificar el upo de JUICIOS a em1tir. . ., dise~os empírico-analíticos, interpretativos e incluso socio-cñticos,
• Determinar los indicadores y las fuentes de mformac1".n. explicados en capítulos anteriores, pero algunos autores han pro-
• Elegir, y adaptar si es necesario, el modelo de ev~uac1on. pue_s~o orientaciones específicas para asegurar que se puedan tomar
• Establecer los agentes que efectuarán la evaluac10n .. deos10nes evaluanvas con suficientes argumentaciones .
• Establecer un calendario de todo el proceso evaluativ~. Investigadores como Colás y Rebollo (1993), Latorre et al (1996),
• Elegir O construir las técnicas de obtención de informaoon. Martínez Mediano "(1997), Mateo (1992) y Srufflebeam y Shinkfield
• Recogersla información . (1993) han explicado profusamente en sus obras los diversos mode-
• Analizar la información . los de investigación evaluativa. En la tabla siguiente se puede observar
• Formular juicios . la gran vanedad de modelos, sin contar con las adaptaciones que se
• Elaborar los primeros informes . suelen hacer para ~ustarlos a cada contexto específico.
• Negociar con las audiencias .
• Tomar decisiones .
• Difundir los resultados . .,., TABLA 3. Clasificación de los modelos de evaluación.
• Realizar un seguimiento.
Autor
• Evaluar el proceso de evaluación (meta-evaluación) 2• Modelo

La concreción y la puesta en práctica de/estas actividades se TJ11er(1942)

- -
Orientado al logro de objetivos
Paradigna
-
Empírico-analítico
lleva a cabo con la ayuda de unos modelos que onentan y funda-
mentan ]as diversas decisiones que se han de ir tomando a lo Pr(),'1Js(1971)
largo de toda la evaluación. En los siguientes apartados se Discrepante
comentan algunos aspectos de estos modelos.
Suchman (1967) Método científico
MODELOS DE EVALUACIÓN
stake (1975) Respondiente
El amplio desarrollo de la investi?ació~ ev~'.uativa, ha permi- lnlerpretalivo
tido diferenciar diversos modelos de mvestI~ac1on segun e'. enfo-
que, los principios o las fase§ que onentan su practica. PaMetty Hamilton (1977) Iluminativo

2 ElJoint
Comitee on Standards for Educa~onal Evaluation (1998) _publicó uni
relación detallada, fundamentada e incluso senalando los errores habituales de 3 ,
Scriven (1967) Sin metas

estándares agrupados en cuatro ámbitos: Slufflebea m ( 1966) CIPP

Susceptible de
• Utilidad, para garantizar que las evaluaciones sean informativas, oportunas complementariedad
en el tiempo e influyentes. . Eisner (1971) Critica artística
• Viabilidad, para garantizar que las evaluaci_ones sean operan~, no ·consu-
man más recursos, materiales, personal o tlempo del necesano.
• Propiedad, para facilitar la protección de los derechos de las personas afec- Wolf(1974) Contrapuesto
tadas por la evaluación. ., - funda
• Precisión, para garantizar que se ha producido una informac10n bien -
PérezJuste(1991ay b) lnícial.Procesual-Fina/
mentada, comprensiva y técnicamente adecuada.
434 11:ETODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA
A continuación se describen brevemente cuatro de los mode-
los clásicos de evaluación más aplicados en el ámbito educativo 3•
Modelo basado en objetivos (Tyler)
El modelo de evaluación propuesto por Tyler (1942) se puede
enmarcar en el paradigma empírico-analítico dado el énfasis que
pone en objetivar tanto las metas a conseguir como los resultados
obtenidos y el papel de experto externo que tiene el agente evalua-
dor. Las decisiones a tomar en la evaluación se deben fundamentar
en la coincidencia o comparación entre los objetivos del programa y
sus resultados. Las fases principales de este modelo son:
l. identificar los objetivos operativos del programa,
2. seleccionar o elaborar instrumentos para medir el logro
· de los. objetivos,
3. aplicar estos instrumentos al finalizar el prngrama,
4. comparar los objetivos del programa y k,s logros realmen-
te cónseguidos. · · · 5. Func;on. ¿~ue fu~ción tiene asignada cada agente impli'
Este modelo es uno de los pioneros en evaluación. Si bien poste-
riormente ha sido criticado por olvidar aspectos que podrían apor-
tar más datos para la mejora de los programas. Hay que reconocer
que gracias a él se clarificaron muchas metas y objetivos educativos,
a la vez que impulsó la mejora de técnicas de medida para evaluar
esos objetivos (Martínez Mediano, 1997). De hecho, Tyler es consi-_
derado el padre de la evaluación educativa ya que desarrolló elpq-
mer modelo sistemático de evaluación y su metoilología resultó mut
influyente (Stufflebeam y Shinkfield, 1993).
Modelo sin metas (Scriven)
El modelo de Scriven (1967) se enmaréa en el paradigma
interpretativo. Su preocupación se centra en la valoración défos
efectos y en las necesidades, prescindiendo de los objetivos del
3 A parte de los modelos señalados en este apartado, aplicados normalnien'te,a--¡'
la evaluación de programas, existen también otras propuestas
evaluación de la actividad docente, de centros educativos, dé
sitarias e incluso de sistemas educativos.
LA INVESTIGACIÓN EVALUATIVA
435
programa. También se preocupa por la f .. ~• • . .
sólo sumativa, que debería tener la evalu:~~~n ~orrnat1va, Y: no
e~alllación intrínseéa del programa -el mérito-· fi~tmgue entre
diseno (metas, estructura, metodología etc ) y' ev~alndos; efin su
del prog ¡ val , ' · uac10n mal
rama -e or-, centrandose en los efeétos del pro
¡-De acuerdo con el -~odelo sin metas; las etapas que se
ap icar :n la evaluacion, aunque no necesariamente con un
~:r,rr;,~
secuencia concreta, son las siguientes:
l. D<;scripción. ¿Qué hay que evaluar?
2. Cliente. ¿Quién ha encargado la evaluación?
3. ~te_cedentes y contexto. ¿Qué agentes hay implicados?
eQue_ expectativas hay de la evaluación? ¿Qué tipo de eva-
luac10n se desea (formativa o sumativa)' ·Que' pn·o ·d d
lfay? ·e n a es
4. Recursos. ¿Qué nivel de viabilidad existe (recursos econó-
micos, tecno(ógicos, de :onocimientos y competencias
para ~_valuac10_n, de expenencias previas ... )?
cado: ¿Que_ func10n acaba realmente cumpliendo? ·.
6. Fu~c10namiento. ¿Cómo se inicia el programa O servicio,
¿_Como lleg~ al cliente? ¿Como se mantiene a lo largo deÍ
tlempo? _¿Como se perfecciona? ¿Córuo se controla?
7. Consumidor. _¿Quién utiliza o recibe el programa O servi-
c10? ¿Para qmén está pensado? ¿Quién lo utiliza o recibe
md1rectamente?
R Necesidades y valores de los consumidores.
9. N~rmas preexistentes que deban aplicarse acerca del
mento o valor. ·
10. Proceso. ¿Qué lim_itaciones, costes y/o beneficios tiene el
programa o servioo durante su aplicación?
11. Resultados. ¿Qué efecu,s, deseados o indeseados, ha pro-
duodo el programa o servicio?
12. Generalizaci~~- ¿Qué posibilidad existe de aplicar el pro-
grama o servic10 a otros contextos?
13. Costes (económicos, psicológicos, personales; de inicio,
en sucesi~s implemen_tacione~; directos/indirectos).
14. Comparac10nes. ¿Que ventajas/ desventajas tiene con
otros posibles programas o servicios?
15. S1gmficado (nna síntesis de todas las étapas anteriores).
436 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA
16. Recomendaciones.
17. Informe ( cuidando el vocabulario, la extensión, el diseño,
el medio y el personal para su presentación en función de
la audiencia).
18. Metaevaluación (evaluando el propio diseño de evalua-
ción del programa).
Modelo CIPP (Stujjlebeam)
El modelo de Stufflebeam (1993) se considera susceptible de
complementariedad en cuanto al paradigma que subyace en él4 •
Es necesario obtener una amplia gama de información recu-
rriendo a la métodología más apropiada según el momento o el
caso. Stufflebeam afirma que el propósito de la evaluación es el
perfeccionamiento de los programas y propone el modelo CIPP:
Contexto, Input (entrada o diseño), Proceso, Producto.
La evaluación del contexto consiste en definir el contexto insti-
tucional, identificar la población objeto del estudio y valorar sus
necesidades, identificar las oportunidades de ,iatisfacer las necesi-
dades, diagnosticar los problemas que subyacen en las necesida-
des y juzgar si los objetivos propuestos son lo suficientemente
coherentes con las necesidades valoradas. Para ello se recurre a
métodos como la revisión de documentos, entrevistas, tests diag'
nósticos y la técnica Delphi. Las decisiones que se toman con res-
pecto al contexto se relacionan con el marco que debe ser abar-
cado, las metas más oportunas de acuerdo con las necesidades
detectadas, la utilización de los recursos más oportunos en ese
contexto, y se proporciona una base para juzgar los resultados.
La evaluación del input o diseño pretende identificar y valorar
la capacidad del sistema en su conjunto, las estrategias alternati-
vas del programa, la planificación y los presupuestos del progra-
ma antes de ponerlo en práctica. La metodología más apropiada
consiste en inventariar y analizar los recursos humanos y materia-
4 Cook y Reichardt (1995) argumentan ampliamente la postura complemen-
taria de los paradigmas en la investigación evaluativa y, en este sentido, afirman:
"... las evaluaciones globales deben hallarse orientadas tanto al proceso como al
resultado, ser exploratorias tanto como confirmatorias, y válidas tanto como fiables.
No existe razón para que los investigadores se limiten a uno de los paradigmas tra-
dicionales, si bien ampliamente arbitrarios, cuando pueden obtener lo mejor de
ambos" (p. 40).
lA INVESTIGACIÓN EVALUATIVA
437
les _disponibles así como la aplicabilidad y economía de 1
teg1as_ previstas en el programa; también se recurre a bibl: es~:
espenal1zada, visitas a lugares donde se han a 1· d gr
. 1 p ica o programas
eJei_np ares, grupos ~e asesores y ensayos piloto. Las decisiones d
~eJma ~e aphcan bas1~amente al diseño del programa (recursot
estrategias, plan1ficanon, estructura, etc.). ,
La .evaluación del proceso se lleva a cabo para identificar
corregir los defectos de planificación mientras se está aplicandr
e) programa. Se debe obtener continuamente información es e-
c~ca del proceso real, contactando con los agentes implicad:S y
0
servando s1;1s actJvidades. Las decisiones ayudan a perfeccionar
la plan1ficanon y los procedimientos del programa y a interpre-
tar los resultados obtemdos.
. L~ ,evaluación del producto consiste en recopilar descri ciones
YJUICIOS _acerca de }os resultados y relacionarlos con los objetivos
\con la mfor1:'ac10n proporcionada por el contexto, el diseño y
e ~roceso. As1 se puede mterpretar su valor y su mérito. Ello se
re iza median_te la definición operativa de los resultados reco-
rlando los _JUICIOS de los agentes implicados y analizando los
atos cuantJtatJvos y cualitativos. Las decisiones que se toman
deben onentar s1 se debe continuar, finalizar O modificar el ro-
gdramad, presentando un informe claro de los efectos deseadoS: no
esea os, pos1tJvos y negativos.
Modelo respondiente (Stake)
Este modelo se aproxima más al paradigma inter retativo
S_t~ke (1967) propuso un modelo más comprehensivo de evalua:
non para tener en cuenta a todos los agentes implicados en el
p~ograi:_na que se estuviera evaluando. Años más tarde concretó
ª':1n mas algunas orientaciones en el modelo llamado res on-
diente (Stake, 1983). La evaluación respondiente tiene en c~en-
ta aspectos como antecedentes, procesos o actividades del ro-
grama, efectos, datos para los juicios valorativos, informe hofrsti-
co Y asesoramiento a los educadores.
b El modelo respondiente se basa en la información obtenida
so re tres conceptos primordiales:
• ~tecedentes. Condiciones existentes antes de la aplica-
non del programa.
438 l\.1ETODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA
IA fNVESTIGACIÓN- EVALUATIVA
• Procesos. Actividades realizadas en el program~.
• Efectos O resultados. Lo que se consigue a traves ~el pro- 7. La admínistració,n edücativa establ~ceqHiée1J'~()%;~~¡¾'
grama (competencias, logros, actitudes, etc.) tanto de alumnad_o debena_ <;star cursando los estudj_p~.que eligió-
forma evidente como confusa, buscado o no buscado, a como pnmera opnon (norITla ~ºf,Ol~t¿i''¡Ul;t('ce4en~ej,;;tE:¡r-¡•;¡
largo o corto alcance. la mayoría de_ univers~dades siempié h«yf.ilg,irt6pí5't'~in~~
Je de alumnps que estaIJ_ cursando e~ttldiof q,ue no•eligif ·
Por otra parte, este modelo tiene en.cuenta que la_~nforma- ron como pnmera opc10n (norma relatiya<l,Iltec~di"nteJ¡:!'
ción sobre estos conceptos se debe diferenciar en fuhoon de su 8. El hecho de que algún estudiante de filplogíadásica n:c,
carácter descriptivo O de juicio (véase tabla sigmente). ' .. esté estudiando esa carrera cOinoprimera•opción no es
preocupante (juicio antecedente); ··. .•, ..·•· . _.•-·•·.· ••····.. , •
9. El plan _de estudios determina que. los estudiantes:deben' •
TABikX.,Diseño respondiente. Adaptado de Stake (1967). dedicar 150 horas para superar cada una de las asignátus
•· ras de filología clásica (norma absoluta de proceso).
Matriz-descriptiva Matriz de juicio 10. La dedicación del alumnado de filologíadásita es total'
-Base lógica Intenciones Observaciones _ N= Juicios fuente insuficiente (juicio de proceso).
o 1 2 Antecedentes 7 8 11. En la mayoría de universidades el alumnado acaba t.radu
de
0

3 4 Procesos 9 10 ciendo e interpretando correctamente el65% los tex,

5 6 Efectos /n 12 tos propuestos en un examen (norma relativa de resulta-
do). .
El siguiente ejemplo, aunque simplista, ilustralos tipos_ de 12. El porcentaje de textos traducidos e interpretados corree,
información que podrían recopilarse en cada una de las casdlas tamente es muy deficiente (juicio de resultado).
del modelo:
La base lógica del modelo de evaluación (casilla O de !fo
Los estudiantes de primer curso de filología clásica eligen tabla) está constituida por los planteamientos teóricos y los
l. esta carrera porque les gusta (an~ecedentepropuesto}. supuestos filosóficos que orientan el proyecto educativo insti'
2. Un 40% de los estudiantes no asiste a clase (antecedente tucional, el cual orieutará el diseño específico de los progra,
observado). · , mas que se implanten en esa institución, Viira emitir juicíos
3_ Los.programas de las.asignaturas estan _ pehnsad•ods patrrªai;,,~: sobre un programa conviene tener en cuenta esta base ya que.
el alumnado dedique entre 1 2 0· Y 170 · · oras·· e .· "· ofrece criterios de referencia importantes para valorar su cohe-
(proceso propuesto) - _ .. . rencia-. '
4. La media de horas.de declicación de -blos est~dr)antes a 1as
asignaturas es de 70 horas (proceso o serva o - .
Ventajas y limitaciones de los modelos clásicos de evaluación
5 Al final de curso, los estudiantes esperan saber traducrr e
· interpretar correctamente textos clásicos (resultado pro- Los modelos de evaluación descritos anteriormente• han
puesto). ido incorporaudo uno tras otro alguna perspectiva que com,
6. Los estudiantes.traducen e interpret,mcorn,ctan1ei1te un plementaba las propuestas que existían hasta ese momento,
30% de Jos textos propuestos e_n un examen, pero, aún así, todos ellos tienen ventajas y limitacioues que se
parte, una editorial se muestr:a rnteresada en p1_1bJ1c,rr ILQS deben considerar para elegir el modelo más apropiado en cada
materiales docentes elaborados por el profesorado (r;<'5~Uc:> contexto determinado. En la tabla siguieute se comparan de
tados observados) . forma sintética estos modelos para facilitar la toma de decisión
Óportuna. ·
 LA INVES'IlGACJÓN EVALUATIVA
440 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA

·,
TABLA 4. Ventajas y limitaciones de los modelos de eualuacwn. Basado en ,Goodwin • formar a los agentes implicadµs sobre,ehói?icoqües~:;;
y Discroll (1980). evaluando · ·. . ... .... . ; ...... ••·•'•'·'
• cambiar las actitudes de los agent"'s i¡rtpfü:ad.9r). ; •
, ,. 1 Ventajas Lilitaciones • incluir en el modelo de evab.1~dó1¡._un marc<> df,refe,:~n-
Logro de -Redactar objetivos -Se deja de lado el proceso. los cia más amplio que la escuela paraJ.ubrirá t<;>dqsjos ag,,,n,
objetivos -Fácil de establecerlos recursos, la organización, etc. , tes implicados . .. . .· ·· ·
(TyleO indicadores
-Los educadores tienen un papel
-No se tiene en cuenta el i/alor'
de los objetivos
• hacer emerger conflictos latentes ··.• .·. i • • ... ;
clave (definición de objetivos y • trabajar con poblaciones asimétricasde pocl-,r,influencia, .
consecución de logros) - prestigio, estatus social, etc. · · .. . ,.
Sin metas . -nene en cuenta la evaluación -Fragmenta la realidad estudiada
• trabajar con poblaciones cuyo lengu.-1je ycultlii;c, pllederi
(Scriven) formativay sumativa __ -Algunos conceptos del_ modelo ., diferir entre ellas (incluyendo la cultura del propio eqµi-
-Promueve la autoeva!uac1on se solapan entre ellos . po evaluador) ·
-Se evalúa el "valor' de los -No propone una metodolog1a
objetivos concreta Algunos de los nuevos modelos evaluativos que tratan especí-
-Se identifican cadenas causales
ficamefite con las necesidades que se acaban de citar son. la eva-
CIPP -Facilita información para la -No quedaclaro como realizar luación participativa y la evaluación como empowerment. · .
(Stufflebea m) toma de decisiones los juicios (bajo qué critelios)
-Es muy coml)rehensivo -El papel del evaluadorse Las características de la evaluación participativa, ampliamente
-Es·un sistema cíclico col"Merle ea-técnico desarrolladas y puestas en práctica en la obra de Sandín ( 1997),
-Se pone mucho énfasis en la -No se esPecificacómótomar se sintetizan en los siguientes puntos:
utilidad las dedsiones
. -Si se .aplica por.completo el • La evaluación se centra, rto en la legitimación o deslegitima-
modelo resulta complejo Y caro
ción sino en la mejora de grupos e instituciones a través de
Respondienie · -Ayuda a encontrar ideas, -Ausencia de procedimientos una actitud reflexiva y transformadora .de sus miembros. · ·
(stake) respuestasy soluciones a los metodológicos • La evaluación promueve el aprendizaje ' en la realidad
. do
piopios. implica s. . . . . . -Es difícil establecer la fiabilidad sobre la que actúa. 1

_nene una orientac1011 ut1litana de los resuHados

-nene un impacto real .
• La participación en la evaluación conduce a un nivel cada
-Adaptable a programas poco .
vez más fuerte de apropiación del proyecto, de cohesión
estri.icturados .
del grupo, de capacid~d de autorreflexión y cambio y de
independencia y autonomíarespecto a asesores externos.
Nuevos modelos evaluativos • El evaluador se convierte en un facilitador deL aprendiza-
A raíz. de las nuevas necesidades que van emerg¡en · d o d edla- je que se promueve en el interior del pro~eso evaluativo.
realidad .la_evaluació.n sevaadaptando con P,ropuestas ydmo e
10s ue 'cubren nuevos focos de interés5. As1, d'.', acuer_ o con
a
Un método coherente para Uevar cabo la evaluación parti-

Barto . , · Y e·a brera (2000)

q 1orne . ' hoy día la evaluaoon
· d aplicadaor ª cipativa consiste en la investigación-acción, introduciendo en sus
fases de desarrollo (planificación-accion-observación°reflexión)
programas so Cl. ales se encuentra con neces1da es como, p . cuestiones que faciliten la evaluación del programa.
ejemplo:
La evaluación como empowerment, descrita por .Fetterman (1996 y
' ,;, ;- .. , 2000), se define como el uso de los conceptos de la evaluación, de
---- . al ·ón y por modelos que· .se
't Una muestra del creciente interes _por 1a ev uan ' ' .- d la•,'C ubúci~ sus técnicas y resultados para fomentar. la ·mejod y la autodetermi-
ajusten· á 'ias necesidades· socioeduca11rivas e; ~sp~ñ::~:ai::!;:g:c~nri EJU.éatlva'. nación de los participantes. A diferencia de los modelos clásicos de
cióri, en el año 2000, de un.monogr ico e. a e . ~. . . ':-..
dedicado exclusivamente a este tema desde diversas perspectivas. evaluación, la constatación del mérito y el valor essólo una parte del
:1
11
 442 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATNA
proceso de mejora de un programa, no la finalidad de la evaluac.ión.
Este modelo se centra en los siguientes aspectos:
• Se han de tomar seriamente en consideración las fortale-
zas, las experiencias, las estrategías y las metas que tienen
los miembros de los grupos más oprimidos.
• Se ha de ayudar a los grupos oprimidos a analizar y come
prender la estructura social y a desarrollar las capacidades
necesarias que les posibilite conseguir sus metas de una
forma satisfactoria.
• Se trabaja tanto a nivel individual, ayudando a las perso-
nas, como grupal, devolviendo un poder colectivo ( empo-
werment) para luchar por la justicia social.
• Existe un compromiso con la verdad y la honestidad,
entendiendo la verdad como una comprensión de las múl-
tiples perspectivas que existen en un contexto.
• La evaluación se concibe como un vehículo efectivo para
el cambio y la emancipación social.
¡, La evaluación como empowerment emplea níétodologías cuan-
1 titativas y cualitativas. Todos los agentes implicados participan en
'\' el diseüo e implementación de la evaluación y, normalmente, un
evaluador externo cumple el papel de facilitador y asesor. El
modelo se lleva a cabo en tres grandes fases:
l. Establecer qué resultados se esperan del programa, espe-
cificando las actividades requeridas para conseguir esos
resultados.
2. Identificar y priorizar las actividades más siguificativas del
programa. Todos los agentes implicados valoran cada una
de las actividades (en una escala de O a 10) y discuten las
puntuaciones otorgadas. Esto ayuda a determinar los pun-
tos fuertes y débiles del programa.
3. Planificar una mejora para el futuro. Se establecen los
objetivos y las estrategias necesarias para conseguir esos
objetivos. El evaluador externo ayuda a identificar el tipo
de evidencias (indicadores) que se requerirán para docu-
mentar el progreso hacia esos objetivos.
De esta manera la evaluación se convierte en una parte habi-
tual de la planificación y ejecución del programa, y así se institu-
cionaliza e internaliza la evaluación.
1A INVEStIGACTÓN EVALUATIVA
443
EL INFORME DE EVALUACIÓN
La evaluación, al igual que los proyectos d .· · . •• · _.,
co ta 1 d -- d . .. e. mvesttgacmn
.
de 1 mpor ·._ fl•eJany·
a re acc10n .e un mform_e donde s ere .. · ·._ ·.d·1.fu··• ne'_
. n os ~pectos nece~ar10s para _comprender losresultádos·cüíteé
mdos, as, como el metodo seguido en todo• el. proceso ( Colas•
Rebollo, 1993; Payne, 1994). Para la elaboracióndeesteirlform~
conVIene tener en cuenta aspectos como los-siguientes:
• El pri~er crit~rio que debe orientartodq el proceso de ela,
boracion del informe es asegurar la comunicación entre el
eqUipo evaluador y las audi~ncias para las que está pensado
el mforme. El uso de ilustranones, eJemplos, gráficos y tablas
~de d~ble entrada facilitan enormemente la comunicación:
• A rarz del punto anterior, se deriva fácilmente que los
mformes han de estar adaptados a las audiencias específi-
cas que recibirán el documento elaborado. En este senti-
do,_ es fácil que se requiera un esfuerzo para eliminar tec-
n'.cismos en el redactado, ya que éstos no hacen más que
dificultar la comunicación.
• En conjunto, un informe debiera ser simple y detallado
aunque la brevedad también se agradece:
• Es importante que se expliquen claramente todos los argu-
mentos que han llevado a las conclusiones.
• A grandes rasgos, el esquema- del informe de evalUaciórt- se
estructura, con todas las adaptaciones pertinentes, en aparta,
dos como:
o Resumen
o Descripción de lo que está siendo evaluado
o Descripción del proceso de evaluación
o Datos:
Actividades
Costes (humanos, materiales y económicos)
Resultados:. Efectos
O¡,iniones·implicadas
Indicadores y criterios utilizados
Consideracicmes sobre la calidad de la evaluación
(rneta,evaluación)
o Conclusiones. Propuestas
• Puntos fuertes y débiles
444 METODOLOGÍA DE LA INVESTIGACIÓN EDUCATIVA
CONTROVERSIAS ÉTICAS DE LA EVALUACIÓN
En el momento de iniciar un proceso de evaluación es fácil
que la gran cantidad de tareas a ejecutar hagan olvidar la necesi-
dad de reflexionar detenidamente sobre algunos aspectos éticos
que interesan a todos los agentes implicados. A continuación se
comentan algunos de ellos:
• En la priorización de las necesidades a cubrir por parte de la
evaluación se deberia insistir .en generar una lista donde los
valores de todos los implicados estuvieran reflejados. En la
medida de lo posible estas necesidades se deberian consen-
suar para que resultaran verdaderamente compartidas. De no
ser así, hay que ser consciente de que la evaluación servirá a
los intereses de un determinado colectivo al que se le facilita-
rá un mayor poder sobre el resto de colectivos implicados.
• La evaluación por sí misma suele generar ,;xpectativas e
incertidumbres en ciertos colectivos q11e les empujan,
consciénte o incoriscientemente, a maríÍpular los colltex-
tos evaluados (promoviendo climas excesivamente positi-
vos o negativos) para tratar de conseguir resultados que les
sean beneficiosos, Un buen evaluador debería estar aten-
to a estos intentos de distorsión de la realidad.
• Hay que respetar completamente las garantías de anoni-
mato o confidencialidad de la información obtenida en
una evaluación. El anonimato significa que es imposible
identificar quién ha dado una determinada información,
mientras que la confidencialidad significa que al menos la
persona encargada de la evaluación puede saber quién ha
dado cierta información pero se garantiza que la fuente
no se divulgará públicamente por ningún medio.
• La invasión de la privacidad de las personas es otro aspec-
to que hay que tratar con sumo cuidado. Para conseguir
los fines de la evaluación no todos los medios sori válidos
y menos aún si no se cuenta con el consentimiento de las
personas implicadas (ver un ejemplo de consentimiento
de. participación en la figura siguiente).
• Otro aspecto éticamente controvertido surge cuando se
debe seleccionar, entre todo un colectivo, un grupo de
sujetos para evaluar un programa o un servicio. Los suje-
lA INVESTIGACIÓN EVALUATIVA
445
tos no seleccionados pueden sentirse d. . . . .
. Iscnmmados sI no
que d a c1aro. e 1 sistema de selección Por 0 tr . . ..
d · a parte cuan-
o se compara u.? grupo experimental (que recibe. 'erp·ro-
grama que se esta evaluando) con otro ru o
no _recibe el programa), también se defe !ue~i;n::
Í
q~e punto el grul?o control ha de ofrecer sú consenti-
1
~1:::
miento para part1c1par en la evaluación
• La evaluación en contextos diversos .o multiculturales
debe preocuparse en caso de utilizar instrumentos ·· a.
esta':darizados, ya que J??dría resultar que algún colecti:o
Implicado ef,l la evaluac10n no estuviera bien representado
en los estud10s d~ estandarización. Además, en contextos
mulnculturales aun es más fácil que existan diversidad de
>'alores e mtereses, con lo cual se debe poner más atención
para que todos ellos queden representados.
FiGURA X. Ejemplo 1k ikclaración 1k consentimiento inf<mnado.
Declaración de consentimiento informado
Proyecto:
Formación en ~entros. Un estudio de casos en la Educación Infantil.
Investigador principal:
Fra_nces~ Martínez, profesor titular en el departamento MIDE de la
Universidad de Barcelona
Teléfono: 93403 xxxx
Correo electrónico: fmartinew@xxx.xxx
Yo, (nombre del participante), acepto voluntaria · · ·,
declaro haber estado debidamente informad de 7ente partJ.c1par en la evaluac1on del proyecto citado y
conlleva la aceptación de las siguientes con;cion~qyue ello ti~u~ne. Comprendo que mi participación
1 La . . ., . garan as .
. sé tu;~pd:-ii::~1:º:~~~;e~/ualquier momento y por cualquier razón los participantes
~- :
0
e~tde ndingún riesgo por el hecho de participar en esta evaluaCión
• meto o -e evaluación de este proyecto implica: ·
a. ser obser:vado en ... contexto/s, y/o
h. la cumplime~tación de ... cuestionario/s, y/o ser entrevistado
4. Los datos obterudos podrán ser registrad tran · ·
para los fines propios de esta evalu~ón~s y
5. Los resultados de la evaluación podrán
scntos por cualquier medio y sólo se utilizarán
bl" d
confidencialidad de todos los datos perso~':~ pud •ca os P.0 ~ cualquier medio y se garantiza la
• 11<t1es e 1os participantes.
Finna
Fecha