Revista mexicana de investigacin educativa

COMIE
comie@servidor.unam.mx
ISSN (Versin impresa): 1405-6666
MXICO




2004
Eduardo L. de la Garza Vizcaya
LA EVALUACIN EDUCATIVA
Revista mexicana de investigacin educativa, octubre-diciembre,
ao/vol. IX, nmero 023
COMIE
Distrito Federal, Mxico
pp. 807-816





Revista Mexicana de Investigacin Educativa
807
RMIE, OCT-DIC 2004, VOL. 9, NM. 23, PP. 807-816
Presentacin temtica
LA EVALUACIN EDUCATIVA
EDUARDO L. DE LA GARZA VI ZCAYA
La naturaleza de la evaluacin educativa
a Revista Mexicana de Investigacin Educativa dedica la seccin tem-
tica de este nmero a la evaluacin educativa. La evaluacin, como
conceptointegrante de las polticas pblicas, ha estado presente en el con-
texto educativo mexicano, en los ltimos veinte aos. El trmino ha esta-
do vinculado con otro concepto: el de la calidad de la educacin. A la
evaluacin se la concibe como una actividad indispensable y previa a toda
accin conducente a elevar el nivel de la calidad de la educacin. La eva-
luacin as formulada constituye un momento de la planeacin, entendi-
da sta como una accin racional dotada de propsito. Se identifica a la
evaluacin con la ltima etapa del proceso natural del conocimiento que
concluye con la emisin de juicios informados, proceso que antecede a las
decisiones y a la accin humana.
En su forma ms simple, la evaluacin conduce a un juicio sobre el
valor de algo y se expresa mediante la opinin de que ese algo es signifi-
cativo. Se llega a este juicio calificando qu tan bien un objeto rene un
conjunto de estndares o criterios. As, la evaluacin es esencialmente
comparativa. Supone la adopcin de un conjunto de estndares y la es-
pecificacin del grupo contra el cual el objeto es comparado. El objeto
puede ser calificado como bueno o malo, cuando la referencia es la
totalidad de los objetos o el objeto promedio del grupo; o bien como
mejor o peor, si es comparado con un subconjunto particular del
grupo. La evaluacin, en esencia, supone adoptar un conjunto de estndares,
definirlos, especificar el grupo de comparacin y deducir el grado en el
cual el objeto alcanza los estndares. Una vez realizado lo anterior, el evaluador
Eduardo L. de la Garza Vizcaya es profesor titular de la Universidad Autnoma Metropolitana, Unidad
Azcapotzalco: edelag@correo.azc.uam.mx
L
Consejo Mexicano de Investigacin Educativa
808
De la Garza
est en posibilidad de hacer, en un segundo momento, un juicio sobre el
valor del objeto evaluado.
Es preciso notar que no todas las evaluaciones son racionales y expl-
citas; los estudios de caso revelan los estndares, comparaciones y juicios
de manera implcita e intuitiva, y algunos buscan entender ms que juz-
gar. El juicio de valor puede ser expresado mediante palabras ordinarias
de tipo descriptivo y no necesariamente mediante calificativos de bue-
no o malo. Los ejemplos y ancdotas en una descripcin pueden ser-
vir para este propsito, ya que el juicio de valor reside en la forma en
que las palabras son usadas.
El proceso de evaluacin real es complejo y no se ajusta a una mera
deduccin a partir de ciertos estndares; ms bien se trata de un proceso
dialctico entre principios abstractos y ejemplos concretos, en donde quien
evala verifica sus juicios contra aquellas situaciones particulares en las
que se siente confiado de conocer sus resultados. An ms, los estndares
pueden estar en conflicto unos con otros, y ser necesario balancearlos
as como establecer precedencias relativas entre ellos, algunas veces de
manera intuitiva. Cuando el evaluador es distinto al que toma las deci-
siones, hay otro factor que interviene: la credibilidad. La preocupacin
del tomador de decisiones no es slo atender al grupo de comparacin y
a los estndares, y cmo stos son pesados relativamente entre s, sino
tambin si los hechos son reales y si estn presentados por el evaluador
en forma correcta.
Normalmente, la evaluacin educativa supone la existencia de acuer-
dos comunes: juicios previos consensuados, sobre lo que es bueno o con-
veniente para todos como propsito de las acciones educativas. Este es el
espacio que permite el disenso y la controversia sobre el sentido, el pro-
psito y el uso de la evaluacin en la educacin. Es, asimismo, el que
permite adjudicarle un carcter ideolgico. La evaluacin no es mera-
mente un proceso tcnico, neutral e inocuo; por el contrario, como toda
accin social posee una dimensin poltica y, en su carcter instrumen-
tal, obedece a una lgica de control. Estos aspectos constitutivos de la
evaluacin estn presentes, lo mismo en una actividad tan antigua y con-
comitante a los procesos de educacin como la evaluacin en el aula,
como en las recientes polticas gubernamentales identificadas con proce-
sos de metagestin, los cuales condicionan y vinculan recursos econmi-
cos a los resultados de la evaluacin.
Revista Mexicana de Investigacin Educativa
809
La evaluacin educativa
La evaluacin asumida como un campo particular de la investigacin
educativa es reciente. Se ha cuestionado incluso si los proyectos de eva-
luacin pueden considerarse investigacin educativa. Se arguye que el
mismo carcter instrumental de la evaluacin contraviene el sentido desin-
teresado de la obtencin de nuevo conocimiento que subyace a la lgica
de la ciencia. Lo cierto es que, en un sentido amplio, el propsito de los
proyectos de evaluacin es la obtencin de conocimiento, si bien se bus-
ca que ste sea til para la toma de decisiones. La mayor parte de los
estudios de evaluacin requiere, asimismo, diseos metodolgicos com-
plejos y debe satisfacer normas que justifican la validez y confiabilidad
del conocimiento que obtiene. En ello, las evaluaciones no se apartan de
la parsimonia inherente a las investigaciones cientficas.
Por otra parte, el fenmeno educativo, como el hombre mismo, es
complejo y su conocimiento es siempre parcial e idiosincrtico, pues est
constreido a la condicin temporal de sus actores y posee una dimen-
sin inevitablemente subjetiva. En este sentido, cualquier pretensin cien-
tfica de las investigaciones educativas debe ser matizada, dado el carcter
peculiar de su objeto de estudio. En lo que respecta a los estudios de
evaluacin, en los ltimos aos, se ha generalizado su aceptacin como
una rama de la investigacin aplicada en educacin.
El origen y evolucin de la evaluacin educativa
La evaluacin educativa tiene su origen en los primeros aos del siglo
XX, en Estados Unidos. Est influida por las ideas de progreso, de la
administracin cientfica y por la ideologa de la eficiencia social. El
modelo de los objetivos de aprendizaje impact en los aos treinta el
desarrollo curricular y su evaluacin. Para los sesenta era una tecnologa
poderosa que, junto con los diseos experimentales, constituan la me-
todologa tradicional de la evaluacin educativa. Evaluacin, entonces,
era sinnimo de medicin, prueba o examen. Con la expansin educati-
va en las dcadas de los cincuenta y sesenta surgieron las preocupaciones
por la rendicin de cuentas y la relacin costo-beneficio, lo que condujo
al empleo de sistemas de informacin y de procedimientos para monitorear
los programas como parte de la administracin social. A finales de los
sesenta, se hace la crtica del modelo tradicional de evaluacin y, en la
siguiente dcada, surgen nuevas formas para evaluar las innovaciones
educativas.
Consejo Mexicano de Investigacin Educativa
810
De la Garza
Las crticas expresadas por evaluadores connotados como Atkin (1963),
Cronbach (1963, 1975), Scriven (1967), Stake (1967), Parlett y Hamilton
(1972) o Stenhouse (1975), sealaban que el modelo de objetivos limita-
ba la reforma curricular y trivializaba la naturaleza del aprendizaje. Algu-
nos de ellos abogaban por una evaluacin que permitiera entender el proceso
de la innovacin y no slo emitir juicios acerca de su efectividad. Se deca
que las evaluaciones no respondan a las preguntas de los educadores. Es-
tos evaluadores enfatizaban la utilidad de la evaluacin en el mejoramien-
to de los cursos y no en la obtencin de juicios terminales. Destacaban el
carcter multidimensional de cualquier innovacin educativa, el cual no
poda alcanzarse con los exmenes. Se deca que el modelo impeda juzgar
el valor de las metas propuestas, pues separaba los hechos fcticos de los
valores implcitos. Alguno sealaba que conduca a una visin equivocada
de la educacin, ya que su pretensin de determinar las conductas de los
estudiantes contravena el propsito de la verdadera educacin: el desa-
rrollo de la autonoma personal, cuyos resultados son, en s mismos, im-
predecibles. El diseo experimental, por otra parte, haba mostrado que
con frecuencia se daba un conflicto entre la confiabilidad y la relevancia
de los resultados.
En la evolucin subsiguiente de la evaluacin educativa fueron relevan-
tes cuatro conferencias realizadas en Cambridge, Inglaterra, a partir del
inicio de los setenta, con el objeto de explorar acercamientos no tradicio-
nales a la evaluacin educativa y establecer algunas guas para su desarro-
llo futuro. Se buscaba justificar prcticas metodolgicas y funciones polticas
alternativas para la evaluacin. El cambio de paradigma abrevaba en la
tradicin de las investigaciones humanistas, fuera de la psicometra, el
experimentalismo y las encuestas sociales.
En la primera de ellas, llevada a cabo en 1972 (Hamilton, 1977), se
estableci que la evaluacin debera: a) responder a las necesidades y pers-
pectivas de diferentes audiencias, b) iluminar los procesos complejos
organizacionales, de enseanza y de aprendizaje, c) ser relevante para las
decisiones pblicas y profesionales por venir, y d) reportarse en un lengua-
je accesible a las audiencias. Recomendaba tambin que fueran usados datos
proporcionados por la observacin, cuidadosamente validados (algunas veces
en sustitucin de datos provedos por preguntas y exmenes); que la eva-
luacin se diseara de tal forma que fuera lo suficientemente flexible para
responder a eventos no anticipados (que su foco fuera obtenido de manera
Revista Mexicana de Investigacin Educativa
811
La evaluacin educativa
progresiva, en lugar de con un diseo preordenado), y que la posiciones
de valor del evaluador, tanto si fueran resaltadas como constreidas por el
diseo, se hicieran evidentes a los patrocinadores y a las audiencias de las
evaluaciones.
Las tres restantes conferencias se llevaron a cabo en 1975 (Simons, 1980),
cuyo foco fueron los mtodos de la investigacin mediante estudios de
caso; en 1979, para examinar el uso de los mtodos naturalistas, y en 1987
para considerar la evaluacin del desempeo y diferentes formas de eva-
luar a maestros y alumnos.
Para 1979, haba adquirido importancia poltica la rendicin de cuen-
tas y se haca un nfasis excesivo en la administracin. Para entonces, la
evaluacin educativa comparta los problemas de la investigacin vincula-
da con las polticas. Entre los problemas detectados en la tercera conferen-
cia se encontraban: la inadecuacin de las teoras sobre polticas y los procesos
para establecerlas; el nfasis usual en la evaluacin de programas en cuan-
to opuesto a la evaluacin de las polticas; el deterioro en la relacin entre
evaluadores y sus patrocinadores, clientes y otras audiencias, con frecuen-
cia debido a la abierta naturaleza poltica de la innovacin; la dificultad
de hacer coincidir las necesidades de informacin de los tomadores de
decisiones y el servicio a audiencias mltiples dentro de la escala de tiem-
po establecida por los administradores de los programas; una historia de
productos rechazados, especialmente por los administradores quienes es-
peraban reportes que simplificaran sus tareas en lugar de hacerlas ms
complejas; la dificultad de mantener la independencia; la vulnerabilidad
personal e institucional vinculada con las formas de evaluacin naturalista
las cuales emplean retratos de las personas y descripciones amplias de los
climas y contextos institucionales, y la naturaleza conservadora de esta
misma investigacin, la cual favoreca la descripcin sobre el anlisis.
A fines de la dcada setenta era claro que la evaluacin haba tenido
poco impacto en las polticas educativas y que, en donde lo haba te-
nido, haba hecho ms complejo el proceso de toma de decisiones. No
se alcanzaba el propsito de proporcionar informacin til y confiable.
El nuevo paradigma de la evaluacin educativa
La nueva evaluacin que surge de los cuestionamientos anteriores posee
las siguientes caractersticas: a) es pragmtica desde el punto de vista
metodolgico, b) responde a situaciones particulares: pone su atencin
Consejo Mexicano de Investigacin Educativa
812
De la Garza
en las preguntas, preocupaciones, problemas y necesidades de informa-
cin de los implicados y de los tomadores de decisin, c) hace a un lado
el paradigma hipottico deductivo y acoge otro de decisiones que enfatizan
mtodos mltiples, acercamientos alternativos y el hacer coincidir los
mtodos de la evaluacin con las preguntas y las situaciones especficas.
Se llega a decir que el propsito ms importante de la evaluacin es res-
ponder a los requerimientos de informacin de las audiencias, particu-
larmente, en formas que tomen en cuenta las variadas perspectivas de sus
miembros. La intencin es incrementar la utilidad de los resultados, aun
sacrificando la precisin proporcionada por las mediciones.
Investigacin naturalista ha sido el trmino genrico que fue usado para
describir varios de los acercamientos alternativos a la evaluacin que ob-
tuvieron prominencia en los setenta como reaccin a las formas tradicio-
nales. Se han caracterizado como acercamientos que atienden la pluralidad
de las audiencias y asumen el carcter poltico de la evaluacin. Sus rasgos
se expresan de la siguiente manera:
Comparados con los mtodos clsicos, tienden a ser ms extensivos (no nece-
sariamente centrados en datos numricos), ms naturalistas (basados en la
actividad del programa o proceso, ms que en su intento o logro), y ms adaptables
(no constreidos por diseos experimentales o preordenados). Asimismo, muy
probablemente son sensibles a los diferentes valores de los participantes en el
programa, suscriben mtodos empricos que incorporan trabajo de campo
etnogrfico, desarrollan materiales de retroalimentacin formulados en el lenguaje
natural de los destinatarios, y desplazan el lugar de los juicios formales, del
evaluador a los participantes (Hamilton, 1977).
Significan un compromiso de estudiar los programas en su contexto social, el
uso de mtodos cualitativos de indagacin, tales como las entrevistas no
estructuradas, la observacin directa y la reconstruccin histrico dramtica,
y formas de reportar que permiten a los lectores generalizar por s mismos,
utilizando una generalizacin naturalista (Simona, 1987).
Dirigidos a audiencias no tcnicas resaltando el uso del lenguaje ordinario, el
razonamiento informal y cotidiano y el uso de argumentos para tratar de esta-
blecer la estructura de la realidad. Estos argumentos son: los ejemplos, las
metforas, las ilustraciones y las analogas (House, 1980).
Revista Mexicana de Investigacin Educativa
813
La evaluacin educativa
La evaluacin educativa en Mxico en los ltimos aos
Las acciones y los estudios de evaluacin han estado creciendo y se han
consolidado en el medio mexicano en los ltimos quince aos. Las prue-
bas objetivas en gran escala, aplicadas a poblaciones del nivel bsico,
estudiantes y en menor medida maestros, recibieron un impulso impor-
tante a mediados de los noventa desde la Secretara de Educacin Pbli-
ca y, recientemente, con la creacin en 2002 del Instituto Nacional para
la Evaluacin de la Educacin (INEE). La creacin en 1994 del Centro
Nacional de Evaluacin para la Educacin Superior (CENEVAL) generali-
z tambin el empleo de estas pruebas en el mbito de la educacin su-
perior. En este nivel, ha cobrado importancia la evaluacin de programas
a travs de pares a partir de la creacin de los Comits Interinstitucionales
para la Evaluacin de la Educacin Superior en 1991 y, desde 1994, de
los organismos integrados en el Consejo para la Acreditacin de la Edu-
cacin Superior, en 2000. ltimamente, tambin en el mbito del nivel
superior, ha destacado el Programa Integral de Fortalecimiento Institucional
(PIFI) iniciado en 2001, para impulsar la evaluacin y planeacin de las
instituciones.
En el nivel de la educacin bsica es pertinente mencionar dos lneas
ms cultivadas actualmente por el INEE. La primera, es la evaluacin cua-
litativa de las escuelas, la cual haba sido iniciada previamente por la SEP
en programas como el de Escuelas de Calidad. La segunda lnea se refiere
a la definicin de indicadores educativos, aspecto tambin atendido pre-
viamente en la SEP. Desde su creacin, el INEE ha fomentado la elabora-
cin de investigaciones y estudios vinculados con sus tareas de evaluacin;
recientemente lo ha hecho mediante una convocatoria abierta a la comu-
nidad de investigadores. Tambin el CENEVAL ha sido un factor impor-
tante para impulsar la elaboracin de estudios, pues ha auspiciado, desde
1995, la celebracin de foros nacionales bianuales dedicados a la evalua-
cin de la educacin. El recuento anterior no pretende ser exhaustivo,
sino slo mostrar el creciente impulso de las actividades de evaluacin en
nuestro medio, muchas de ellas derivadas de polticas gubernamentales
que hacen eco a tendencias de orden internacional. Tampoco es aqu el
lugar para hacer una relacin de las investigaciones o estudios de corte
evaluativo realizados en el pas, lo cual rebasara el propsito de esta in-
troduccin. Baste decir que constituyen un campo de investigacin cre-
ciente y en proceso de maduracin.
Consejo Mexicano de Investigacin Educativa
814
De la Garza
Las investigaciones en este nmero
A pesar de la afirmacin anterior, la repuesta de la comunidad a la con-
vocatoria para este tema fue reducida. Se presentaron slo cinco traba-
jos, todos del medio mexicano. Cuatro de ellos fueron aprobados para
integrar la seccin que ahora introducimos. En l, el lector encontrar
una muestra de las investigaciones educativas de corte evaluativo que se
realizan actualmente en el medio mexicano. Tres de ellas son de natura-
leza emprica. En stas, se ha pedido expresamente a los autores reflexionar
sobre la metodologa utilizada. Consideramos, como debe haber queda-
do claro con las ideas anteriores, que las investigaciones de corte evalua-
tivo se benefician al explicitar y justificar su mtodo, en relacin con su
propsito.
El primer trabajo, Aprobar o reprobar? El sentido de la evaluacin
en educacin bsica, es una investigacin documental que cuestiona,
con base en experiencias y en la evidencia de estudios empricos realiza-
dos en contextos distintos al mexicano, la prctica de la reprobacin en
ese nivel educativo. En la medida en que se considera al xito un indica-
dor de la calidad educativa, esta discusin se hace pertinente. Los lecto-
res familiarizados con la educacin en los niveles superiores encontrarn
tambin resonancia en algunas conclusiones que vinculan el abandono
con la reprobacin.
El segundo texto, Evaluacin del desempeo en lectura y escritura.
Aportes empricos a la nocin de componentes lingsticos en el cuarto
grado de primaria, se detiene en el debate sobre la evaluacin del apren-
dizaje, su sentido y el uso de sus resultados. La investigacin postula la
necesidad de explicitar una teora que sustente tanto a los medios de me-
dicin utilizados como a las caractersticas y propiedades a evaluar y aporta
hallazgos significativos sobre la pertinencia de organizar en bloques el cu-
rrculum de espaol en primaria.
El tercer artculo, Evaluacin de la docencia universitaria: una pro-
puesta alternativa que considera la participacin de los profesores, es una
investigacin que privilegia el carcter formativo de la evaluacin, es decir
su utilidad para mejorar la calidad del mismo proceso educativo. El traba-
jo pretende contribuir a la construccin de un modelo de evaluacin des-
de la prctica, a partir del anlisis de la vida cotidiana en las aulas. El
evaluador en este modelo, acompaa al docente como consultor y orien-
tador, ayudndole en la reflexin sobre su propia prctica.
Revista Mexicana de Investigacin Educativa
815
La evaluacin educativa
El cuarto trabajo, Evaluacin de la docencia y el contexto disciplina-
rio: la opinin de los profesores en el caso de ingeniera y tecnologa, es
un estudio que explora las dimensiones de la docencia que, a sugerencia
de los propios docentes, deben incorporarse a un cuestionario de evalua-
cin. La investigacin identifica componentes relevantes de la enseanza
en la disciplina de estudio. Como en los dos trabajos anteriores, los au-
tores reflexionan sobre el estado del arte de la investigacin y las meto-
dologas empleadas, en este caso para la evaluacin de la docencia, y
hacen aportaciones importantes sobre el uso de los cuestionarios de opi-
nin de alumnos como recurso generalizado.
La entrega del nmero temtico se enriquece con una colaboracin en
la seccin de Aporte de discusin de dos investigadores, quienes desde
la experiencia de la evaluacin en el contexto espaol abogan por la
necesidad de iniciar procesos de metaevaluacin. Presentan una serie
de criterios o parmetros que deben ser satisfechos por las evaluaciones.
En su propuesta, el propsito de la metaevaluacin es avivar la reflexin
para generar comprensin rica y relevante sobre los programas evalua-
dos y, al mismo tiempo, garantizar la calidad de la evaluacin. Los au-
tores destacan seis contextos bsicos de toda evaluacin que permiten
explorar los elementos a ser considerados en la metaevaluacin. Ms adelante,
se detienen en los aspectos de la validez y confiabilidad de las evaluacio-
nes, y discuten su sentido en los distintos modelos utilizados. Se puede
estar de acuerdo o no con las posiciones de los autores y el tratamiento
que hacen de los tpicos, pero resulta interesante el propsito, aunque
no del todo exitoso, de sistematizar en una perspectiva nica paradigmas
cuantitativos y cualitativos que, hasta hace poco, se ubicaban en parcelas
irreconciliables.
La colaboracin termina discutiendo tpicos relevantes en los estudios
de evaluacin: su propsito, la generalizacin del conocimiento obtenido,
la tica y el aprendizaje.
Bibliografa
Atkin, J. Myron (1963). Some evaluation problems in a course content improvement
project, Journal of Research in Teaching 1, pp.129-32.
Cronbach, Lee J. (1963) Course improvement through evaluation, Teachers College Re-
cord 64, may, pp. 672-86.
Cronbach, Lee J. (1975) Beyond the two disciplines of scientific psychology American
Psychologist 30, 2, pp. 116-27.
Consejo Mexicano de Investigacin Educativa
816
De la Garza
Hamilton, David et alii (eds.) (1977) Beyond the numbers game. A reader in educational
evaluation, Londres: Macmillan Education.
House, Ernest (1980) Evaluating with validity, Beverly Hills: Sage Publications.
Lincoln, Yvonna & Guba, Egon (1985) Naturalistic inquiry, Beverly Hills: Sage
Publications.
Martnez R., Felipe (2003). Elementos para la definicin de una poltica nacional de
evaluacin educativa Mxico, D F: Instituto Nacional para la Evaluacin de la Edu-
cacin.
Norris, Nigel (1993). Understanding educational evaluatio, Londres: Kogan Page, CARE-
UEA.
Parlett, Malcolm y Hamilton, David (1972). Evaluation as illumination: a new approach
in the study of innovatory programmes, Occasional Paper 9, Center for Research
in Educational Sciences, University of Edinburgh. Reimpreso en Glass, G. (ed.)
(1976) Evaluation Studies Review Annual, I, Beverly Hills: Sage Publications,
pp. 140-57.
Scriven, Michael (1967) The methodology of evaluation en Tyler, R. W., Gagne, R.
M. y Scriven, M. Perspectives of curriculum evaluation AERA Monograph Series on
Curriculum nm. 1, Chicago: Rand McNally.
Simons, Helen (1980). Towards a science of the singular Norwich, G. B.: CARE-UEA.
Simons, Helen (1987). Getting to know schools in a democracy. The politics and process
of evaluation, Londres: The Falmer Press.
Stake, Robert (1967). The countenance of educational evaluation, Teachers College
Record 68, abril, pp. 523-40.
Stenhouse, Lawrence (1975). An introduction to curriculum research an development,
Londres: Heinemann.