Академический Документы
Профессиональный Документы
Культура Документы
Noviembre , n 66 , 1996
ISSN 0214 - 7823
[ Imprimir ]
Los tests en sus distintas modalidades constituyen uno de los instrumentos de medida ms
utilizados por los profesionales de la psicologa y por los investigadores. Como cualquier otro
instrumento de medida en cualquier campo de actividad, su utilizacin incorrecta resulta
nefasta, pero ello es especialemnte grave en psicologa y educacin, donde con frecuencia
estn implicadas decisiones de suma importancia para la vida de las personas. La mayora de
los problemas en torno a los tests provienen de su uso inadecuado, ms que del test en s, de su
construccin, o de sus propiedades tcnicas. Este uso inapropiado por parte de personas sin
una formacin suficiente, es el responsable de muchas de las crticas que reciben los tests,
cuestionarios y las escalas psicolgicas. Pero la realidad es que los tests siguen siendo una
instrumentacin imprescindible en la prctica psicolgica y educativa en todo el mundo, y
todo indica que va a seguir sindolo en el futuro, por tanto no hay que ahorrar esfuerzos en
mejorar su uso. Cmo hacerlo es una cuestin abierta, que ofrece muchas posibilidades y
modelos, y cualquier opinin es bienvenida. Los Colegios de Psiclogos de la mayora de los
pases tratan de mejorar esta prctica de formas muy diversas. Una lnea clave de actuacin es
promover que los tests que se comercializan estn tcnicamente bien construidos. A la base de
ello est una formacin psicomtrica adecuada y la publicacin de normas tcnicas que deben
de seguir los constructores. Los estndares tcnicos ms utilizados son los elaborados por la
Asociacin Americana de Psicologa y otras organizaciones (1985), actualmente en proceso de
revisin, esperndose una nueva edicin para 1998. Las propias casas editoras de tests,
primeras interesadas en un uso deontolgico apropiado, as como los Colegios Profesionales,
toman algunas medidas complementarias, tales como restringir el acceso a los tests en funcin
de su especializacin, registrar oficialmente a los usuarios cualificados, etc. La posibilidades
son muy variadas, vanse por ejemplo los trabajos de Bartram (1996), Fremer (1996), Evers
(1996) o Muiz (1996a).
La creciente globalizacin mundial que se est produciendo a todos los niveles y en todas las
esferas de la actividad humana, debido a la facilidad y rapidez de las comunicaciones, potencia
que los instrumentos de medida generados en determinado pas rpidamente se utilicen en otro
distinto. Existe adems un inters creciente en todo lo relacionado con los estudios
interculturales, como bien sealan van de Vijver y Lonner (1995). Ahora bien, los tests no son
automticamente utilizables, deben de adaptarse cuidadosamente en funcin de las diferencias
interculturales entre el idioma/cultura originario y aqullos en los que se pretende utilizar. Esto
es especialmente importante en un pas como Espaa en el que un porcentaje muy elevado de
los tests y las escalas que se utilizan provienen de traducciones y adaptaciones de otros
idiomas y culturas. Con la inminente integracin europea el problema seguramente se
agudizar. Para no sesgar de entrada el uso de estos tests hay que asegurarse de que su
traduccin/adaptacin es la adecuada. Si ya apareciesen fallos a este nivel bsico, cualquier
medida posterior encaminada a mejorar su uso caera en saco roto. Como se ir viendo,
traducir un test no es una mera cuestin de conocer bien los dos idiomas implicados, es un
proceso mucho ms complejo, por eso ms que de traduccin habra que hablar de adaptacin.
Consciente de este problema, el Colegio Oficial de Psiclogos (COP) ha participado en un
Comit Internacional auspiciado por la Comisin Internacional de Tests (ITC), de la cual es
miembro, para preparar unas directrices tcnicas para la adaptacin de los tests de unos pases
a otros. Este Comit ha elaborado un conjunto de veintids directrices o recomendaciones que
aparecern publicadas en un amplio documento. Avances de este documento, en los que se
basa nuestra exposicin, pueden verse en Hambleton (1993, 1994, 1996) y Van de Vijver y
Hambleton (1996).
El Comit, presidido por Ronald K Hambleton, est formado por las siguientes personas,
representando a diversas asociaciones internacionales:
Si bien, como antes se ha sealado, estn muy claras las razones por las que se adaptan los
tests, la metodologa para hacerlo no lo est tanto, y aparece dispersa en diversas
publicaciones. Esta es la razn fundamental por la que la Comisin Internacional de Tests se
plante la tarea de elaborar un documento tcnico al respecto, del cual lo que aqu se presenta
es un avance.
Ahora bien, dnde se producen los errores cuando alguien trata de adaptar un test de una
cultura a otra?. Hay cuatro grandes reas implicadas en la confeccin de un test en las cuales
se pueden tomar decisiones errneas:
- Contexto
- Construccin y adaptacin
- Aplicacin
Contexto: Se refiere al mbito sociocultural en el que estn enmarcadas las personas a las que
se aplicar el test. La mayora de los constructos utilizados en Psicologa son altamente
dependientes de los aspectos culturales, por tanto, lo primero de lo que hay que cerciorase es
que el constructo a evaluar es equiparable en ambas culturas. Si no se da esa equivalencia
razonable carece de sentido la adaptacin, y si se hace se estarn midiendo constructos
distintos en cada cultura. Hay que aportar datos empricos de la equivalencia, para lo cual
pueden llevarse a cabo estudios sobre el terreno por equipos de personas multiculturales y
multilnges para evitar un sesgo etnocntrico. Por ejemplo, evaluacin de variables como
inteligencia, actitudes, o personalidad, resultan altamente dependientes de la matriz cultural,
por lo que su utilizacin en estudios comparativos requiere sumo cuidado al adaptar la prueba.
Si existen datos acerca de la equivalencia de los constructos, puede pasarse a la fase de la
adaptacin propiamente dicha, que medir las conductas concretas para evaluar el constructo.
Construccin y adaptacin del test: La filosofa general que ha de guiar la adaptacin es que
el test mida el mismo constructo de la misma forma, pero ajustndose a las peculiaridades de
la nueva poblacin. Naturalmente esto no resulta nada fcil. La primera decisin difcil es la
seleccin de los traductores. Es fundamental que los traductores no slo conozcan ambos
idiomas, sino que estn familiarizados tambin con ambas culturas. En numerosas situaciones
hay que cambiar los tems casi completamente, y eso slo se puede hacer desde un
conocimiento profundo de la cultura objetivo del nuevo tem. Es tambin necesario que los
traductores tengan un cierto conocimiento de la tecnologa para la construccin de tests, y de
la materia a traducir, para lo cual han de recibir algn tipo de formacin. Si no disponen de
esos conocimientos tienden a traducir literalmente, lo cual obviamente no siempre es lo ms
adecuado.
Una traduccin correcta es slo el punto de partida para que un test resulte bien adaptado. A
partir de ah hay que comprobar empricamente sus propiedades psicomtricas, tales como la
fiabilidad, validez y estandarizacin en la nueva poblacin. Elaborar y mantener actualizados
los baremos es trabajoso, y caro en tiempo y dinero, pero bajo ningn concepto deben de
utilizarse los de la poblacin de origen sin ms. Otro aspecto clave es asegurarse de que
ciertos tems no estn sesgados contra determinado grupo. La tecnologa psicomtrica para la
deteccin del sesgo es en la actualidad abundante y eficaz, vase, por ejemplo, una exposicin
en castellano en el trabajo de Fidalgo (1996).
Dos aspectos claves que los adaptadores deben de valorar, aparte de la adecuacin de los
propios estmulos, es el tipo de formato de los tems y el concepto de velocidad en la
ejecucin de las tareas. Hay formatos, como el de eleccin mltiple, muy habituales en ciertas
culturas, que no lo son tanto en otras. Estas diferencias pueden mitigarse con suficientes
ejemplos y ejercicios. Los occidentales tendemos a asumir que no slo hay que hacer las cosas
bien, sino rpido, y as somos socializados desde nios. Pero esta asuncin no se da en todas
las culturas (van Leest y Bleichrodt, 1990; van de Vijver y Poortinga, 1991), y cuando se les
pide que trabajen en la prueba lo ms rpidamente posible, no entienden qu prisa puede haber
para acabar pronto, pues probablemente tiempo es de las pocas cosas de las que estn
sobrados. Hay que tratar de minimizar los efectos de la velocidad de respuesta, siempre y
cuando, claro est, no forme parte del constructo a evaluar.
Aplicacin: La forma en la que se aplica un test influye en sus propiedades psicomtricas,
tales como su fiabilidad y validez. Las relaciones de los aplicadores con las personas a las que
se pasa el test (rapport), la forma de dar las instrucciones de la prueba, y en general las
interacciones aplicador-examinado deben de cuidarse al mximo. Como seala Hambleton
(1996), los aplicadores, a) deben ser elegidos entre personas de la poblacin a la que se aplica
el test, b) estar familiarizados con los distintos matices de la cultura de que se trate, c) tener
experiencia y aptitudes para la aplicacin de tests, y d) conocer la importancia de seguir al pie
de la letra los procedimientos reglados para la aplicacin de los tests. Deben de programarse
sesiones de entrenamiento riguroso para los aplicadores.
Para tratar de minimizar los errores en las cuatro grandes reas citadas (contexto, adaptacin,
aplicacin e interpretacin), el Comit de la Comisin Internacional de Tests (ITC), propuso
recomendar veintids directrices que se consideran claves para una correcta adaptacin o
construccin simultnea de los tests psicolgicos y educativos.
Contexto
C.1. Los efectos de las diferencias culturales que no sean relevantes para los objetivos
centrales del estudio deberan minimizarse en la medida de lo posible.
C.2. Debera de evaluarse la cuanta del solapamiento de los constructos en las poblaciones de
inters.
D.2. Los constructores/editores de los tests deberan de proporcionar datos que garanticen que
el lenguaje utilizado en las instrucciones, en los propios tems y en el manual del test, son
apropiados para todas las poblaciones culturales e idiomticas a las que va dirigido el test.
D.3. Los constructores/editores de tests deberan de aportar evidencia de que las tcnicas de
evaluacin elegidas, los formatos de los tems, las reglas de los tests, y los procedimientos son
familiares a todas las poblaciones a las que van dirigidos.
D.5. Los constructores/editores de tests deberan aportar una justificacin racional sistemtica,
tanto lingstica como psicolgica, para mejorar la precisin del proceso de adaptacin, as
como reunir datos acerca de la equivalencia de todas las versiones en los distintos idiomas.
D.6. Los constructores/editores de tests deberan asegurar que el diseo de recogida de datos
permite el uso de tcnicas estadsticas apropiadas para establecer la equivalencia entre los
tems correspondientes a las diferentes versiones idiomticas del test
D.7. Los constructores/editores de tests deberan aplicar tcnicas estadsticas apropiadas para
1) establecer la equivalencia entre las diferentes versiones de un test, y 2) identificar
componentes problemticos o aspectos del test que puedan ser inadecuados para alguna de las
poblaciones a las que va destinado el test.
Aplicacin
A.1. Los constructores y los aplicadores de los tests deberan tratar de prever los tipos de
problemas que cabe esperar, y tomar las medidas oportunas para evitarlos mediante la
preparacin de materiales e instrucciones adecuados.
A.2. Quienes aplican los tests deberan de ser sensibles a cierto nmero de factores
relacionados con los materiales utilizados para los estmulos, los procedimientos de
aplicacin, y las formas de respuesta, que pueden reducir la validez de las inferencias extraidas
de las puntuaciones.
A.3. Aquellos aspectos del entorno que influyen en la aplicacin del test deberan de
mantenerse lo ms parecidos posible para todas las poblaciones a las que va dirigido el test.
A.4. Las instrucciones para la aplicacin del test en el idioma fuente y en el objetivo deben
minimizar la influencia de fuentes de variacin no deseadas.
A.5. El manual del test debera de especificar todos los aspectos del test y de su aplicacin que
han de revisarse al utilizarlo en un nuevo contexto cultural.
I.1. Cuando se adapta un test para utilizarlo en otra poblacin, debe de facilitarse la
documentacin sobre los cambios, as como los datos acerca de la equivalencia entre las
versiones.
I.2. Las diferencias entre las puntuaciones obtenidas por las muestras a las que se aplic el test
no deben de tomarse sin ms directamente. El investigador tiene la responsabilidad de
sustanciar las diferencias con otros datos empricos.
I.3.Las comparaciones entre poblaciones slo pueden hacerse al nivel de la invarianza que se
haya establecido para la escala en la que se expresan las puntuaciones.
I.4. El constructor del test debera de proporcionar informacin especfica acerca de las
distintas formas en las que los contextos socioculturales y ecolgicos de las poblaciones
pueden afectar al rendimiento en el test, y debera sugerir procedimientos para tener en cuenta
estos efectos en la interpretacin de los resultados.
En el documento final que la Comisin Internacional de Tests editar con las directrices, cada
una de ellas llevar una explicacin y fundamentacin de su sentido, se indican los pasos a
seguir para cumplirla, se sealan los errores ms frecuentes y se sugieren referencias y
documentacin complementarias. Aqu nos limitaremos a hacer algunos comentarios
generales. Para una exposicin ms detallada en castellano vase Hambleton (1996).
Contexto. Las dos primeras directrices tratan de asegurar que haya una equivalencia de los
constructos medidos en las dos poblaciones de inters. A medida que la distancia cultural entre
las dos (o ms) poblaciones de inters aumenta, ms probabilidades hay de que haya
diferencias entre los constructos. Por ejemplo, una variable tan clsica como la inteligencia
tiende a ser conceptualizada de muy diverso modo de unas culturas a otras; mientras en
Occidente suele asociarse a eficiencia y rapidez, en algunas sociedades del Este se asocia con
actitudes reflexivas y reposadas, ms que con rapidez (Lonner, 1990). La primera directriz
hace hincapi en la necesidad de minimizar la incidencia de cualquier aspecto ajeno al
constructo medido. Por ejemplo, en algunos estudios internacionales recientes (Wainer, 1993)
se observ que las diferencias en motivacin podan estar a la base de algunas de las
diferencias halladas.
Adaptacin. Una vez que los constructores del test han aportado los datos que garantizan que
hay una equivalencia apropiada entre los constructos a medir en ambas poblaciones, y por
tanto tiene sentido adaptar el test, empieza el proceso real de su construccin. Este proceso
une a la problemtica psicomtrica general para construir un test la dificultad aadida de
plasmar fielmente el test original, si se trata de una adaptacin; podra darse el caso tambin
de una doble construccin simultnea en las dos (o ms) poblaciones de inters. El meollo
central de la construccin/adaptacin gira en torno al funcionamiento adecuado del equipo de
traductores. Amn de la posibilidad de utilizar diseos tcnicos sofisticados, con la utilizacin
de monolnges y bilnges para asegurarse de las equivalencias, es clave que los traductores
conozcan las culturas implicadas adems de los idiomas (Bracken y Barona, 1991; Brislin,
1986; Hambleton y Kanjee, 1995; Prieto, 1992). Tal vez algunos puristas apuntarn que no se
puede dominar un idioma sin hacerlo tambin con la cultura y costumbres, y seguramente
tienen razn, pero hay que asegurarse de ello. Es imprescindible que los traductores, an sin
ser expertos, conozcan las reglas bsicas de la construccin de los tests. Por poner un solo
ejemplo, los traductores tienen que saber que cuando se utilizan tems de eleccin mltiple la
longitud de las alternativas tiene que ser aproximadamente la misma. Una buena exposicin en
castellano sobre la construccin de los tems puede consultarse en Prieto y Delgado (1996).
Las directrices subrayan la necesidad de asegurarse que los contenidos, formatos, estmulos,
grficos, diagramas, figuras, unidades de medida, y signos en general, son igualmente
familiares para las culturas implicadas.
Otro aspecto clave subrayado en varias de las directrices es que los constructores recojan datos
de todo tipo que permitan evaluar la validez y comparabilidad de las dos versiones. La
tecnologa estadstica es actualmente potente y variada para analizar los datos, pero no hay que
olvidar que cuanto ms amplias sean las muestras utilizadas con ms eficacia funcionan las
tcnicas estadsticas. Estas tcnicas son complementarias de los correspondientes anlisis
racionales, no los sustituyen. En los ltimos aos se ha perfeccionado notablemente la
tecnologa para evaluar el sesgo de las puntuaciones (Camilli y Shepard, 1994; Fidalgo, 1996;
Holland y Wainer, 1993), pero sigue siendo de suma importancia el anlisis racional por parte
de un equipo de expertos en las culturas implicadas. Lo que las tcnicas detectan es que cierto
tem funciona de modo diferente en un grupo que en otro, por eso suelen agruparse bajo el
nombre genrico de Funcionamiento Diferencial de los Items, ser el psiclogo quien tenga
que analizar las razones de ese funcionamiento diferencial. En sntesis, hay que garantizar
tanto por medios estadsticos como analtico-racionales que el test es igualmente vlido para
las poblaciones de inters.
Aplicacin. Las seis directrices correspondientes a la aplicacin de los tests tratan de subrayar
aquellos aspectos claves para una aplicacin correcta de los tests. A veces se descuida la
aplicacin, confindola a personas sin la debida formacin. Esto constituye un grave error,
pues una aplicacin defectuosa afecta directamente a la validez del test. Si esto ocurre en
general, cuando se trata de un test adaptado hay que extremar las precauciones, asegurndose
que las condiciones de aplicacin no constituyen una fuente de error respecto del test original.
El peligro es mayor cuanto mayor es la distancia cultural entre las poblaciones origen y
objetivo. El aplicador no debe de interferir ni con su conducta, apariencia, instrucciones, etc.,
en el proceso estrictamente reglado de la aplicacin del test. Los constructores de los tests
deben de asegurarse mediante una seleccin y entrenamiento adecuados que los aplicadores
actan correctamente. Suele ser muy til llevar a cabo algn estudio piloto para comprobarlo.
Bartram, D. (1996). Tests qualifications and test use in UK: the competence approach.
European Journal of Psychological Assessment, 12(1), 62-71.
Bracken, B. A. y Barona, A. (1991). State of the art procedures for translating, validating and
using psycho-educational tests in cross-cultural assessment. School Psychology International,
12, 119-132.
Camilli, G. y Shepard, L. A. (1994). Methods for identifying biased test items. London: Sage
Publications.
Evers, A. (1996). Regulations concerning test qualifications and test use in The Netherlands.
European Journal of Psychological Assessment, 12, 2, 153-159.
Fremer, J. (1996). Promoting high standards for test use: developments in the United States.
European Journal of Psychological Assessment, 12, 2, 160-168.
Hambleton, R. K. y Bollwark, J. (1991). Adapting tests for use in different cultures: technical
issues and methods. Bulletin of the International Test Commission, 18, 3-32.
Van Leest, P. F. y Bleichrodt, N. (1990). Testing of college graduates from ethnic minority
groups. En N. Bleichrodt y P. J. Drenth (eds.), Contemporary issues in cross-cultural
psychology. Amsterdam: Swets and Zeitlinger.
Westbury, I. (1992). Comparing American and Japanese achievement: Is the United States
really a low achiever? Educational Researcher, 21, 10-24.
Nota. Este trabajo fue realizado durante una estancia de Jos Muiz en la Univeridad de
Massachusetts, con una beca de investigacin del Ministerio de Educacin y Ciencia,
referencia PR95-342.