8/7/2017 Un modelo para evaluar la calidad de los tests utilizados en Espaa

Artculo en PDF
Cmo citar el artculo
Nmero completo
Ms informacin del artculo Sistema de Informacin Cientfica
Pgina de la revista en redalyc.org Red de Revistas Cientficas de Amrica Latina y el Caribe, Espaa y Portugal

Papeles del Psiclogo, 2000. n 77, pp. 65-75

Seccin Abierta
UN MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS
UTILIZADOS EN ESPAA
Gerardo Prieto* y Jos Muiz* *
* Universidad de Salamanca. ** Universidad de Oviedo

En el ejercicio de su profesin los psiclogos utilizan con frecuencia los tests para la obtencin de datos. Para que los datos as obte-
nidos sean de calidad y puedan ayudar al psiclogo a tomar las decisiones adecuadas, los tests utilizados han de reunir las propie-
dades tcnicas oportunas. Un medio eficaz para mejorar los tests y su prctica es ofrecer a los usuarios toda la informacin posible
acerca de su calidad y caractersticas. El Colegio Oficial de Psiclogos tiene la intencin de promover un proceso de evaluacin de
los tests ms utilizados en Espaa para proporcionar as una informacin tcnica precisa a los usuarios de las pruebas. En este art-
culo se describen las caractersticas del procedimiento de evaluacin y se presenta un modelo de cuestionario para llevar a cabo la
evaluacin.

A model to evaluate the quality of tests used in Spain. Professional psychologists very frequently use tests to gather information about
human behavior. In order to obtain good quality data which could help psychologists to make the right decisions, tests used to collect
data have to be psychometrically sound. An efficient way to improve tests and testing is to offer the practitioners technical information
about test characteristics. The Spanish Psychological Association is promoting a process of reviewing those tests more frequently used
in Spain, aiming to provide test users with the best information available on tests. In this paper the test review process to be implemen-
ted is described, and a model of questionnaire to evaluate tests presented.

L
os tests psicolgicos constituyen una de las herra-
mientas ms importantes al servicio de la prctica
profesional y de la investigacin de los psiclogos.
Como ocurre con cualquier otra tecnologa cientfica,
los tests pueden ser usados de forma correcta o inco-
rrecta. Una exposicin de las actitudes de los psiclo-
gos espaoles hacia los tests, los problemas ms
habituales de uso, as como las pruebas ms utilizadas,
puede consultarse en el reciente trabajo de Muiz y
Fernndez-Hermida (2000), publicado en esta misma
revista. En ese trabajo, los ms de tres mil psiclogos
encuestados ponan de manifiesto la necesidad de me-
jorar el uso que se hace de los tests en nuestro pas. Es-
te objetivo es compartido por buena parte de las
asociaciones profesionales de psiclogos, tanto nacio-
nales como internacionales. El Colegio Oficial de Psic-
logos (COP) no ha sido ajeno a esta corriente, y en
ao 1995 se puso en marcha una Comisin de Tests in-
tegrada por psiclogos procedentes del mbito acad-
mico, de las editoras de tests y del propio COP (vase
http://www.cop.es/tests/). La Comisin de Tests fue
creada para tratar de promocionar y potenciar el uso
adecuado de los tests en nuestro pas. Para llevar a ca-
bo esta tarea, la Comisin funciona de forma coordi-
nada con otros grupos de trabajo internacionales con
fines similares, tales como la Federacin Europea de
Correspondencia: Gerardo Prieto. Facultad de Psicologa. Uni-
versidad de Salamanca. Avda. de la Merced, 109-131. 37005 Sa-
lamanca. Espaa. E-mail: gprieto@gugu.usal.es
Asociaciones de Psiclogos Profesionales (EFPPA), o la
Comisin Internacional de Tests (ITC).
En general, podran seguirse tres vas para mejorar el
uso de los tests: (i) restringir el acceso de los usuarios,
permitiendo su empleo solamente a profesionales debi-
damente capacitados y acreditados, (ii) incrementar la
formacin de los usuarios y (iii) fomentar la investigacin
para desarrollar pruebas eficientes (construccin de nue-
vas pruebas, adaptacin adecuada de las desarrolladas
en otros pases y revisin peridica de la calidad tcnica
de las ya disponibles). Aunque lo ideal sera actuar en
los tres frentes, en ocasiones la primera va no est exen-
ta de dificultades, puesto que las asociaciones profesio-
nales no disponen de las armas legales para introducir
fuertes restricciones al uso de los instrumentos. Por ello,
parece ms viable mejorar la prctica profesional a tra-
vs de la formacin de los usuarios, puesto que las defi-
ciencias en los conocimientos tcnicos requeridos son
consideradas como la principal causa de las prcticas
inadecuadas (Anastasi, 1987; Kaufman, 1982; Muiz et
al., 1999; Muiz y Fernndez-Hermida, 2000). Ade-
ms, la mejora de la formacin favorece la tercera de
las vas antes mencionadas.
En algunos pases de nuestro entorno se ha seguido el
principio de que facilitar informacin a los usuarios
acerca de la calidad tcnica de los tests disponibles es
uno de los principales recursos formativos. As lo han
entendido, por ejemplo, las asociaciones profesionales
de psiclogos de Holanda y del Reino Unido. Ambas

65

http://www.redalyc.org/html/778/77807709/ 1/7
8/7/2017 Un modelo para evaluar la calidad de los tests utilizados en Espaa
Seccin Abierta UN MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS UTILIZADOS EN ESPAA
asociaciones publican peridicamente monografas en
las que se aporta informacin tcnica de los principales
tests usados en esos pases (Bartram et al., 1992a,
1992b, 1995 y 1997; Evers, 1996). En estas publica-
ciones se difunden los resultados de evaluaciones anni-
mas efectuadas por expertos siguiendo un proceso
estandarizado de revisin de los tests.
En nuestro pas las informaciones acerca de las carac-
tersticas de los tests no son exhaustivas, estn muy dis-
persas, no son fcilmente accesibles o, al ser facilitadas
por el editor del test, no pueden ser consideradas inde-
pendientes e imparciales. Por este motivo, los profesio-
nales carecen en muchas ocasiones de orientaciones
cientficas que les permitan seleccionar el instrumento
ms apropiado para sus objetivos. Consciente de este
problema, la Comisin de Tests del COP ha diseado
un modelo estandarizado de evaluacin de tests (CET)
con la finalidad de revisar los tests empleados en nuestro
pas, al objeto de informar a los usuarios sobre su cali-
dad tcnica. Puesto que se dispone de datos recientes
bastante fiables sobre los tests ms usados en los distin-
tos campos profesionales de la psicologa (Muiz y Fer-
nndez-Hermida, 2000), es intencin de la Comisin de
Tests focalizar inicialmente en estas pruebas las revisio-
nes, aunque tambin sera posible incluir otros tests en la
primera fase de evaluacin a instancias de editores y
autores
El objetivo de este artculo es la descripcin de un posi-
ble proceso de revisin a seguir, y la presentacin del
modelo de cuestionario que se utilizara en las revisiones
de los tests. Consideramos que la publicacin del sistema
de evaluacin y de los criterios de evaluacin generar
un beneficio colateral aadido a la informacin tcnica
facilitada, a saber, informar a los autores de tests de los
estndares de calidad que han de poseer las nuevas
pruebas que aparezcan en el mercado. Tanto el sistema
de evaluacin que se describe a continuacin, como el
modelo de cuestionario presentado, se han inspirado
principalmente en los modelos ingls y holands actual-
mente en funcionamiento.
PROCESO DE EVALUACIN
Se presenta a continuacin lo que podra ser en lneas
generales el proceso a seguir para llevar a cabo la eva-
luacin de los tests. El primer paso que hay que dar es
elegir los tests a revisar. La idea es que sea un proceso
continuo, hasta llegar a revisar la mayora, si no todas,
las pruebas que hay en el mercado, si bien parece razo-
nable empezar por aquellas pruebas ms utilizadas por
los profesionales.
Otro aspecto a resolver es la seleccin de los revisores
para la evaluacin de cada test. Los revisores habrn de
66
GERARDO PRIETO Y JOS MUIZ
los baremos, etc. Para lograr este objetivo, se han in-
cluido 32 tems cerrados y 6 abiertos. En la mayor parte
de los tems cerrados se propone un sistema de cinco ca-
tegoras ordenadas en funcin de la calidad de la carac-
terstica evaluada. Este sistema de cinco estrellas es
similar al empleado por el Colegio de Psiclogos del Rei-
no Unido (Bartram et al., 1997).
En los tems abiertos se solicita una justificacin razo-
nada de las respuestas a los tems cerrados y una eva-
luacin de cada caracterstica.
En ltimo apartado, se solicita una valoracin global del
test y un resumen de los dos primeros apartados, al ob-
http://www.redalyc.org/html/778/77807709/
a) ser expertos en metodologa psicomtrica y/o en el
campo profesional de evaluacin al que el test va dirigi-
do. La experiencia obtenida en otros pases sugiere que
uno de los revisores sea experto en psicometra y el otro
en la temtica que se pretende evaluar mediante el test
(Evers, 1996); b) no estar implicados en la construccin
o distribucin del test, y c) realizar la evaluacin de for-
ma annima e independiente.
Cada revisor recibira un ejemplar del test (cuaderni-
llo, hoja de respuesta, diskete, etc), un ejemplar de la
documentacin aportada por el editor o autor (manual,
informes tcnicos, trabajos cientficos, etc.), y el cuestio-
nario para la evaluacin, en formato impreso e infor-
matizado.
Si no existe un acuerdo sustancial entre los revisores, se
solicitar a un tercer revisor que lleve a cabo la evalua-
cin de la prueba. Antes de dar publicidad a los resulta-
dos de la evaluacin, se informar al autor y/o al editor
del test para que efecten las observaciones que consi-
deren oportunas, aporten informacin complementaria,
etc.
Finalmente se dar publicidad a los resultados.
Este proceso descrito es similar al que se lleva a cabo
actualmente en otros pases como Holanda, Inglaterra o
Estados Unidos, y coincide en su filosofa general con el
que utilizan habitualmente las revistas cientficas para la
revisin de los artculos. Cualquier sistema de evaluacin
que se utilice ha de tener necesariamente limitaciones,
pero el arriba descrito nos parece que mejora significati-
vamente el modelo actual en nuestro pas, consistente en
no hacer nada.
DESCRIPCIN DEL CUESTIONARIO PARA LA
EVALUACIN DE LOS TESTS (CET)
Para construir la versin final del cuestionario (CET) se
tomaron en consideracin los comentarios y sugerencias
a una versin inicial, recibidas de los miembros de la
Comisin de Tests del COP y de diecinueve expertos de
los mbitos acadmico y profesional que se relacionan
al final. El CET ha sido diseado para analizar funda-
mentalmente instrumentos psicomtricos basados en la
Teora Clsica de los Tests, puesto que por el momento
son los de ms frecuente uso en la prctica profesional
en Espaa. Est estructurado en tres apartados; el prime-
ro tiene la finalidad de elaborar una descripcin tcnica
del test. Est integrado por 31 tems relativos al nombre
de la prueba, autor, constructo medido, mbito de apli-
cacin, etc. En el segundo apartado se incluye la evalua-
cin tcnica de las caractersticas del instrumento. Los
expertos han de juzgar caractersticas como la funda-
mentacin terica, la adaptacin/traduccin (si el test
ha sido construido en otro pas), la fiabilidad, la validez,
Seccin Abierta
portantes contribuciones al desarrollo del cuestionario.
Nuestro agradecimiento ms sincero a: Mara Teresa
Anguera, Roco Fernndez Ballesteros, Manuel Mart-
nez, Rosario Martnez Arias, Eduardo Montes, Carlos
Rodrguez Sutil, Nicols Seisdedos y Manuel Garca
Prez.
Muchas gracias tambin a las personas que se citan a
continuacin por sus enriquecedores comentarios acerca
del cuestionario, que sin duda han contribuido a mejo-
rarlo: Alejandro vila Espada, Antoni Andrs Pueyo, Pi-
lar Snchez Lpez, Roberto Colom Maran, Gloria
Seoane, Miguel Angel Verdugo, Mara Jos Navas, Jos
2/7
8/7/2017 Un modelo para evaluar la calidad de los tests utilizados en Espaa
test y un resumen de los dos primeros apartados, al ob-
jeto de resumir toda la informacin en una ficha tcnica.
A continuacin, tras unas breves conclusiones, se pre-
senta el cuestionario completo.
CONCLUSIONES
La mayora de los expertos, as como las organizaciones
profesionales nacionales e internacionales coinciden en
sealar que una de las medidas ms eficaces para mejo-
rar la utilizacin que se hace de los tests es la de propor-
cionar una buena informacin y formacin a los
usuarios. Un profesional con una buena informacin so-
bre las pruebas y una formacin adecuada difcilmente
utilizar de forma incorrecta los tests. Enmarcado en esa
filosofa, en 1995 el Colegio Oficial de Psiclogos (COP)
cre una Comisin de Tests con el fin de analizar los
problemas implicados en el uso de los tests. En el pre-
sente trabajo se describe el proceso diseado por la Co-
misin de Tests del COP para llevar a cabo la revisin
de los tests editados en Espaa. Tambin se presenta el
cuestionario elaborado a tal efecto. En lneas generales,
el procedimiento de evaluacin propuesto consiste en re-
visar los tests de forma sistemtica por parte de expertos,
utilizando el cuestionario de recogida de datos diseado
a tal efecto, inspirado en los modelos holands e ingls
actualmente en funcionamiento. Cabe esperar que la pu-
blicacin de los resultados de las revisiones de los tests
ayude a los profesionales a elegir y evaluar las pruebas
que tienen a su disposicin en el mercado, al menos se
ha sido el objetivo que ha guiado a la comisin de tests
del COP parra llevar a cabo esta iniciativa. Sealar, fi-
nalmente, que cualquier sugerencia que pueda mejorar
el proceso de evaluacin expuesto ser bien recibida
por los autores, que la elevarn a la comisin de tests
del COP.
AGRADECIMIENTOS
Los autores desean expresar su agradecimiento al Co-
legio Oficial de Psiclogos (COP) por su inestimable
apoyo en la realizacin de este trabajo, as como a los
miembros de la Comisin de Tests del COP por sus im-
Seccin Abierta
CUESTIONARIO PARA LA
EVALUACIN DE LOS TESTS (CET)
1. Descripcin general del test 1
1.1. Nombre del test:
1.2. Nombre del test en su versin original (si la versin espaola es una
adaptacin):
1.3. Autor/es del test original:
1.4. Autor/es de la adaptacin espaola:
1.5. Editor del test en su versin original:
1.6.Editor de la adaptacin espaola:
1.7. Fecha de publicacin del test original:
1.8. Fecha de publicacin del test en su adaptacin espaola:
1.9. Fecha de la ltima revisin del test en su adaptacin espaola:
1.10. Clasifique el rea general de la o las variables que pretende medir
el test2
( ) Inteligencia
( ) Aptitudes
( ) Habilidades y Rendimiento acadmico
( ) Psicomotricidad
( ) Alteraciones neuropsicolgicas
http://www.redalyc.org/html/778/77807709/
Seoane, Miguel Angel Verdugo, Mara Jos Navas, Jos
Antonio Lpez Pina, Pere Joan Ferrando, Salvador Alga-
rabel, Isabel Barbero, Alfredo Fierro, Concha Fernn-
dez, Jordi Renom, Vicente Gonzlez Rom, Julio Olea,
Pedro Hontangas, Vicente Ponsoda y Antonio Pamos.
Gracias a todos por su colaboracin y ayuda, las defi-
ciencias que an se observen en el trabajo slo son im-
putables a los autores.
REFERENCIAS
Anastasi, A. (1987). What test users should know about
the interpretation os test scores . Keynote address at
Joint Committee on Testing Practices Second Test Pu-
blishers Conference, Rockville, Maryland. (Citado de
Fremer, 1996).
Bartram, D., Lindley, P.A.y Foster, J.M. (1992a) . A Re-
view of Psychometric Tests for Assessment in Vocatio-
nal Training . Leicester: BPS Books.
Bartram, D., Lindley, P.A.y Marshall, L. (1992b) . Update
to the Review of Psychometric Tests for Assessment in
Vocational Training . Leicester: BPS Books.
Bartram, D., Anderson, N., Kellett, D., Lindley, P.A.& Ro-
bertson, I. (Eds.). (1995). Review of Personality As-
sessment Instruments (Level B) for use in ocuppational
settings. Leicester: BPS Books.
Bartram, D., Burke, E., Kandola, R., Lindley, P., Mars-
hall, L. & Rasch, P. (Eds.). (1997). Review of Tests of
Ability and Aptitude (Level A) for use in ocuppational
settings. Leicester: BPS Books.
Evers, A. (1996). Regulations concerning test qualifica-
tions and test use in The Netherlands. European Jour-
nal of Psychological Assessment, 12, 153-159.
Kauffman, A.S. (1982). Psicometra razonada con el
WISC-R. Mxico: El Manual Moderno.
Muiz, J., Prieto, G., Almeida, L. y Bartram, D. (1999).
Test use in Spain, Portugal and Latin American coun-
tries. European Journal of Psychological Assessment,
15 , 151-157.
Muiz, J. y Fernndez-Hermida, J.R. (2000). La utiliza-
cin de los tests en Espaa. Papeles del Psiclogo, 76,
41-49.
67
UN MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS UTILIZADOS EN ESPAA
( ) Servicios sociales
( ) Psicologa del Trfico
( ) Otros (Indique cul:. ........................................... )
1.13. Formato de los tems 4:
( ) Respuesta libre
( ) Respuesta dicotmica (si/no, verdadero/falso, etc)
( ) Eleccin mltiple
( ) Tipo Likert
( ) Adjetivos bipolares
( ) Otro (Indique cul:. ........................................... )
1.14. Nmero de tems 5:
1.15. Soporte 6:
( ) Administracin oral
( ) Papel y lpiz
( ) Manipulativo
( ) Informatizado
( ) Otro (Indique cul:. ........................................... )
1.16. Cualificacin requerida para el uso del test de acuerdo con la do-
cumentacin aportada:
( ) Ninguna
( ) Entrenamiento y Acreditacin especifica*
( ) Nivel A 7
( ) Nivel B
( ) Nivel C
( ) Otra (Indique cul:. ........................................... )
*Indique el nombre de la institucin que lleva a cabo la acreditacin:
1.17. Descripcin de las poblaciones a las que el test es aplicable (espe-
cifique el rango de edad, nivel educativo, etc., y si el test es apli-
cable en ciertas poblaciones especificas: minoras tnicas,
3/7
8/7/2017 Un modelo para evaluar la calidad de los tests utilizados en Espaa
( ) Alteraciones neuropsicolgicas cable en ciertas poblaciones especificas: minoras tnicas,
( ) Personalidad discapacitados, grupos clnicos, etc.):
( ) Motivacin
( ) Actitudes 1.18. Indique si existen diferentes formas del test y sus caractersticas
( ) Intereses (formas paralelas, versiones abreviadas, versiones informatizadas
( ) Valores o impresas, etc). En el caso de que existan versiones informatiza-
( ) Otros (Indique cul:. ...........................................) das, describa los requisitos mnimos del hardware y software.
1.11. Breve descripcin de la variable o variables que pretende medir el
test: 1.19. Procedimiento de correccin:
( ) Manual mediante plantilla
1.12. rea de aplicacin 3 ( ) Lectora ptica
( ) Psicologa clnica ( ) Automatizada por ordenador
( ) Psicologa educativa ( ) Efectuado exclusivamente por la empresa suministradora
( ) Neuropsicologa ( ) Mediante expertos
( ) Psicologa forense ( ) Otro (Indique cul:............................................ ).
( ) Psicologa del trabajo y las organizaciones
( ) Psicologa del deporte 1.20. Puntuaciones: (Describa el procedimiento para obtener las puntua-
.............................
ciones directas).
1
Si el test est compuesto de subtests heterogneos en su formato y caractersticas,
1.21. Transformacin de las puntuaciones:
rellene un cuestionario para cada subtest.
( ) Caracterstica no aplicable para este instrumento
2
Puede marcar ms de una opcin.
3
Puede marcar ms de una opcin.
( ) Normalizada
4
Puede marcar ms de una opcin. ( ) No normalizada
5
Si el test tiene varias escalas, indique el nmero de tems de cada una.
6
Puede marcar ms de una opcin. 1.22. Escalas utilizadas:
7
Algunos pases han adoptado sistemas para la clasificacin de los tests en distintas ( ) Centiles
categoras, en funcin de la cualificacin requerida por los usuarios. Estos sistemas ( ) Puntuaciones tpicas
de clasificacin proporcionan a los editores de tests un medio para decidir a quin ( ) Cocientes de desviacin
pueden vender los tests. Un sistema muy utilizado es el que divide los tests en tres ( ) Eneatipos
categoras: Nivel A (tests de rendimiento y conocimientos), Nivel B (tests colecti- ( ) Decatipos
vos de aptitudes e inteligencia) y Nivel C (tests de aplicacin individual de inteli- ( )T
gencia, personalidad y otros instrumentos complejos). ( ) Otra (Indique cul:............................................ )

68

GERARDO PRIETO Y JOS MUIZ

Seccin Abierta

1.23. Posibilidad de obtener informes automatizados: 2.4. Adaptacin del test (si el test ha sido traducido y adaptado para su
( ) No aplicacin en Espaa):
( ) Si* ( ) Caracterstica no aplicable para este instrumento
*Breve descripcin: ( ) No se aporta informacin en la documentacin
*( ) Inadecuada
1.24. El editor ofrece un servicio para la correccin y/o elaboracin de ** ( ) Adecuada pero con algunas carencias
informes: *** ( ) Adecuada
( ) No **** ( ) Buena
( ) Si ***** ( ) Excelente (Descripcin precisa del procedimiento de
traduccin, de la adaptacin de los tems a la cultura
1.25. Tiempo estimado para la aplicacin del test (instrucciones, ejem- espaola, de los estudios de equivalencia con la ver-
plos y respuestas a los tems). sin original, utilizacin de la normativa de la Inter-
En aplicacin individual:........................... national Test Commission, etc.).
En aplicacin colectiva:............................
2.5. Calidad de las instrucciones:
1.26. Documentacin aportada por el editor: *( ) Inadecuada
( ) Manual ** ( ) Adecuada pero con algunas carencias
( ) Libros o artculos complementarios *** ( ) Adecuada
( ) Disketes/CD **** ( ) Buena
( ) Otra (Indique cul:. ........................................... ) ***** ( ) Excelente (Claras y precisas. Muy adecuadas para las
poblaciones a las que va dirigido el test).
1.27. Precio de un juego completo de la prueba (documentacin, test,
plantillas de correccin; en el caso de tests informatizados no se 2.6. Facilidad para comprender la tarea:
incluye el costo del hardware): *( ) Inadecuada
** ( ) Adecuada pero con algunas carencias
1.28. Precio y nmero de ejemplares del paquete de cuadernillos (tests *** ( ) Suficiente
de papel y lpiz): **** ( ) Buena
***** ( ) Excelente (Los sujetos de las poblaciones a las que va
1.29. Precio y nmero de ejemplares del paquete de hojas de respuesta dirigido el test pueden comprender fcilmente la tarea
(tests de papel y lpiz): a realizar).

1.30. Precio de la correccin y/o elaboracin de informes por parte del 2.7. Facilidad para registrar las respuestas :
editor: *( ) Inadecuada
** ( ) Adecuada pero con algunas carencias
1.31. Bibliografa bsica acerca del test aportada en la documentacin: *** ( ) Adecuada
**** ( ) Buena
2. Valoracin de las caractersticas del test ***** ( ) Excelente (El procedimiento para emitir o registrar
2.1. Calidad de los materiales del test (objetos, material impreso o soft- las respuestas es muy simple por lo que se evitan los
ware): errores en la anotacin).
*( ) Inadecuada
** ( ) Adecuada pero con algunas carencias 2.8. Calidad de los tems (aspectos formales):
*** ( ) Adecuada *( ) Inadecuada
**** ( ) Buena ** ( ) Adecuada pero con algunas carencias
***** ( ) Excelente (Impresin y presentacin de gran calidad, *** ( ) Adecuada
software muy atractivo y eficiente, etc.) **** ( ) Buena
****** ( ) Excelente (La redaccin y el diseo son muy apropia-
2.2. Calidad de la documentacin aportada: dos)
*( ) Inadecuada
** ( ) Adecuada pero con algunas carencias 2.9. Anlisis de los tems

*** ( ) Adecuada 2.9.1 Datos sobre el anlisis de los tems:

**** ( ) Buena ( ) Caracterstica no aplicable para este instrumento
***** ( ) Excelente (Descripcin muy clara y completa de las ( ) No se aporta informacin en la documentacin
http://www.redalyc.org/html/778/77807709/ 4/7
8/7/2017 Un modelo para evaluar la calidad de los tests utilizados en Espaa
***** ( ) Excelente (Descripcin muy clara y completa de las ( ) No se aporta informacin en la documentacin
caractersticas tcnicas, fundamentada en abundantes *( ) Inadecuados
datos y referencias) ** ( ) Adecuados pero con algunas carencias
*** ( ) Adecuados
2.3. Fundamentacin terica: **** ( ) Buenos
( ) No se aporta informacin en la documentacin .............................
*( ) Inadecuada 8
Este aspecto es esencial en los tests referidos al criterio y particularmente en los
** ( ) Adecuada pero con algunas carencias tests de rendimiento acadmico. Emita su juicio sobre la calidad de la representa-
*** ( ) Adecuada cin del contenido o dominio. Si en la documentacin aportada aparecen las eva-
**** ( ) Buena luaciones de los expertos, tmelas en consideracin.
9
Las cifras acerca del tamao de las muestras y de los estadsticos que aparecern
***** ( ) Excelente (Descripcin muy clara y documentada del ms adelante tienen un carcter orientativo.
constructo que se pretende medir y del procedimiento 10
Puede marcar ms de una opcin.
de medicin) 11
Puede marcar ms de una opcin.

69

Seccin Abierta UN MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS UTILIZADOS EN ESPAA

***** ( ) Excelentes (Informacin detallada sobre diversos es- * ( ) Inadecuada

tudios acerca de las caractersticas psicomtricas de ** ( ) Adecuada pero con algunas carencias
los tems: dificultad o variabilidad, discriminacin, *** ( ) Adecuada
validez, distractores, etc. ) **** ( ) Buena
***** ( ) Excelente
2.10. Validez
2.10.1. Validez de contenido 8: 2.10.2.6. Datos sobre el sesgo de los tems:
2.10.1.1. Calidad de la representacin del contenido o dominio: ( ) Caracterstica no aplicable para este instrumento
*( ) Inadecuada ( ) No se aporta informacin en la documentacin
** ( ) Adecuada pero con algunas carencias *( ) Inadecuados
*** ( ) Adecuada ** ( ) Adecuados pero con algunas carencias
**** ( ) Buena *** ( ) Adecuados
***** ( ) Excelente (En la documentacin se presenta una pre- **** ( ) Buenos
cisa definicin del contenido.Los tems muestrean ***** ( ) Excelentes (Informacin detallada sobre diversos es-
adecuadamente todas las facetas del contenido) tudios acerca del sesgo de los tems relacionado con
el sexo, la lengua materna, etc. Empleo de la metodo-
2.10.1.2. Consultas a expertos 9: loga apropiada)
( ) No se aporta informacin en la documentacin
* ( ) No se ha consultado a expertos sobre la representa- 2.10.3. Validez predictiva
cin del contenido 2.10.3.1. Describa los criterios empleados y las caractersticas de las
** ( ) Se ha consultado de manera informal a un pequeo poblaciones:
nmero de expertos
*** ( ) Se ha consultado a un pequeo nmero de expertos 2.10.3.1. Diseo de seleccin del criterio 11 :
mediante un procedimiento sistematizado (N<10) ( ) Concurrente
**** ( ) Se ha consultado a un nmero moderado de expertos ( ) Predictivo
mediante un procedimiento sistematizado (10< N<30) ( ) Retrospectvo
***** ( ) Se ha consultado a un amplio nmero de expertos me-
diante un procedimiento sistematizado (N>30) 2.10.3.2. Tamao de las muestras en la validacin predictiva:
( ) No se aporta informacin en la documentacin
2.10.2. Validez de constructo: *( ) Un estudio con una muestra pequea (N<100)
2.10.2.1. Diseos empleados 10: ** ( ) Un estudio con una muestra moderada (100N<200)
( ) No se aporta informacin en la documentacin *** ( ) Un estudio con una muestra grande y representativa
( ) Correlaciones con otros tests (N200)
( ) Diferencias entre grupos **** ( ) Varios estudios con muestras representativas de tama-
( ) Matriz multirasgo-multimtodo o moderado
( ) Anlisis factorial exploratorio ***** ( ) Varios estudios con muestras grandes y representativas
( ) Anlisis factorial confirmatorio
( ) Diseos experimentales 2.10.3.3. Procedimiento de seleccin de las muestras*:
( ) Otros (Indique cuales:............................................). ( ) No se aporta informacin en la documentacin
( ) Incidental
2.10.2.2. Tamao de las muestras en la validacin de constructo: ( ) Aleatorio
( ) No se aporta informacin en la documentacin *Describa brevemente el procedimiento de seleccin.
* ( ) Un estudio con una muestra pequea (N<200)
** ( ) Un estudio con una muestra moderada (200<N<500) 2.10.3.4. Mediana de las correlaciones del test con los criterios:
*** ( ) Un estudio con una muestra grande (N> 500) ( ) No se aporta informacin en la documentacin
**** ( ) Varios estudios con muestras de tamao moderado *( ) Inadecuada (r<0.20)
***** ( ) Varios estudios con muestras grandes ** ( ) Suficiente (0.20<r<0.35)
*** ( ) Buena (0.35<r<0.45)
2.10.2.3. Procedimiento de seleccin de las muestras*: **** ( ) Muy buena (0.45<r<0.55)
( ) No se aporta informacin en la documentacin ***** ( ) Excelente (r>0.55)
( ) Incidental
( ) Aleatorio 2.10.4. Comentarios sobre la validez en general:
*Describa brevemente el procedimiento de seleccin. 2.11. Fiabilidad
2.11.1. Datos aportados sobre la fiabilidad:
2.10.2.4. Mediana de las correlaciones del test con otros tests similares: ( ) Un nico coeficiente de fiabilidad
( ) No se aporta informacin en la documentacin ( ) Un nico error tpico de medida
* ( ) Inadecuada (r<0.25) ( ) Coeficientes de fiabilidad para diferentes grupos de
** ( ) Adecuada pero con algunas carencias (0.25< r<0.40) sujetos
*** ( ) Adecuada (0.40<r<0.50) ( ) Error tpico de medida para diferentes grupos de sujetos
**** ( ) Buena (0.50<r<0.60) 2.11.2. Equivalencia (Formas paralelas):
***** ( ) Excelente (r>0.60) 2.11.2.1. Tamao de las muestras en los estudios de equivalencia:
( ) No se aporta informacin en la documentacin
2.10.2.5. Calidad de los tests empleados como criterio o marcador: *( ) Un estudio con una muestra pequea (N<200)
( ) No se aporta informacin en la documentacin ** ( ) Un estudio con una muestra moderada (200<N<500)

70

http://www.redalyc.org/html/778/77807709/ 5/7
8/7/2017 Un modelo para evaluar la calidad de los tests utilizados en Espaa

GERARDO PRIETO Y JOS MUIZ

Seccin Abierta

*** ( ) Un estudio con una muestra grande (N>500) ( ) No se aporta informacin en la documentacin
**** ( ) Varios estudios con muestras de tamao moderado *( ) Pequeo (N<150)
***** ( ) Varios estudios con muestras grandes ** ( ) Suficiente (150<N<300)
*** ( ) Moderado (300<N<600)
2.11.2.2. Mediana de los coeficientes de equivalencia: **** ( ) Grande (600<N<1000)
( ) No se aporta informacin en la documentacin ***** ( ) Muy grande (N>1000)
*( ) Inadecuada (r<0.50)
** ( ) Adecuada pero con algunas carencias (0.50< r<0.60)
2.12.3. Procedimiento de seleccin de las muestras*:
*** ( ) Adecuada (0.60<r<0.70)
( ) No se aporta informacin en la documentacin
**** ( ) Buena (0.70<r<0.80)
( ) Incidental
***** ( ) Excelente (r>0.80)
( ) Aleatorio
2.11.3. Consistencia interna
*Describa brevemente el procedimiento de seleccin.
2.11.3.1. Tamao de las muestras en los estudios de consistencia:
( ) No se aporta informacin en la documentacin
*( ) Un estudio con una muestra pequea (N<200) 2.12.4. Comentarios sobre las normas
** ( ) Un estudio con una muestra moderada (200<N<500)
*** ( ) Un estudio con una muestra grande (N> 500) 3. Valoracin global del test
**** ( ) Varios estudios con muestras de tamao moderado 3.1. Con una extensin mxima de 1000 palabras, exprese su valoracin
***** ( ) Varios estudios con muestras grandes del test resaltando sus aspectos positivos y negativos, as como recomen-
daciones acerca de su uso en diversas reas profesionales. Indique asimis-
2.11.3.2. Mediana de los coeficientes de consistencia: mo cules son las caractersticas de la prueba que podran ser mejoradas,
( ) No se aporta informacin en la documentacin carencias de informacin en la documentacin, etc. 3.2. A modo de resu-
*( ) Inadecuada (r<0.60) men, rellene las Tablas 1 y 2. La Tabla 1 incluye algunos datos descripti-
** ( ) Adecuada pero con algunas carencias (0.60< r<0.70) vos del test. En la Tabla 2 se resume la valoracin de las caractersticas
*** ( ) Adecuada (0.70<r<0.80) generales del test. Tome en consideracin el promedio de las calificacio-
**** ( ) Buena (0.80<r<0.85)
nes emitidas en los apartados que figuran en la segunda columna de la Ta-
***** ( ) Excelente (r>0.85)
bla 2.

2.11.4. Estabilidad (Test-Retest)

2.11.4.1. Tamao de las muestras en los estudios de estabilidad 12:
( ) No se aporta informacin en la documentacin Tabla 1
*( ) Un estudio con una muestra pequea (N<100) Descripcin del test
** ( ) Un estudio con una muestra moderada (100<N<200)
*** ( ) Un estudio con una muestra grande (N> 200) Caracterstica Descripcin
**** ( ) Varios estudios con muestras de tamao moderado
***** ( ) Varios estudios con muestras grandes Nombre del test (apartado 1.1)
Autor (apartado 1.3)
2.11.4.2. Mediana de los coeficientes de estabilidad: Autor de la adaptacin espaola (apartado 1.4)
( ) No se aporta informacin en la documentacin Fecha ltima revisin (apartado 1.9)
*( ) Inadecuada (r<0.55) Constructo evaluado (apartado 1.11)
** ( ) Adecuada pero con algunas carencias (0.55< r<0.65) reas de aplicacin (apartado 1.12)
*** ( ) Adecuada (0.65<r<0.75) Soporte (apartado 1.15)
**** ( ) Buena (0.75<r<0.80)
***** ( ) Excelente (r>0.80)

2.11. 5 Comentarios sobre la fiabilidad en general:

2.12. Normas
2.12.1. Calidad de las normas: Tabla 2
( ) No se aporta informacin en la documentacin Valoracin del test
*( ) Un baremo que no es aplicable a la poblacin objetivo
** ( ) Un baremo aplicable a la poblacin objetivo con Caracterstica Apartados Valoracin
cierta precaucin Materiales y documentacin 2.1 y 2.2
*** ( ) Un baremo adecuado para la poblacin objetivo Fundamentacin terica 2.3
**** ( ) Varios baremos dirigidos a diversos estratos Adaptacin 2.4
poblacionales Anlisis de tems 2.9
***** ( ) Amplio rango de baremos en funcin de la edad, el Validez de contenido 2.10.1
sexo, el nivel cultural y otras caractersticas relevan- Validez de constructo 2.10.2
tes Anlisis del sesgo 2.10.2.6
Validez predictiva 2.10.3
2.12.2. Tamao de las muestras 13: Fiabilidad: equivalencia 2.11.2
Fiabilidad: consistencia interna 2.11.3
............................. Fiabilidad: estabilidad 2.11.4
12
Nmero de sujetos con ambas puntuaciones (antes-despus).
Normas 2.12
13
Si hay varios baremos, clasifique el tamao promedio.

71

NNoorrmmaass ddee ppuubblliiccaacciinn

PPaappeelleess ddeell PPssiiccllooggoo
La Revista Papeles del Psiclogo publica traba- cacin original, se aade entre parntesis Orig. y dicando el procesador de texto utilizado y una co-
jos referidos al campo de la Psiclogia princi- el ao. pia impresa del trabajo. Debern enviarse al Direc-

1
palmente en su vertiente aplicada y profesional.
Son de especial inters para Papeles del Psiclogo
artculos que aborden temas referidos al desarrollo
b) Para captulos de libros colectivos: Autor (es);
ao; ttulo del trabajo que se cita y, a continuacin,
introducido por En las iniciales del nombre y ape-
tor de Papeles del Psiclogo. Colegio Oficial de
Psiclogos. C/ Claudio Coello 46 2 Dcha. 28001
Madrid. Espaa, secop@correo.cop.es.

de la Psicloga como profesin en Espaa y en el llidos del director (es), editor

compilador(es), el ttulo
entorno latinoamericano tanto desde un punto de del libro en cursiva y, entre parntesis, la paginacin SECCIONES
vista terico, metodolgico y tcnico como de pol- del captulo citado; la ciudad y la editorial.
http://www.redalyc.org/html/778/77807709/ 6/7
8/7/2017 Un modelo para evaluar la calidad de los tests utilizados en Espaa
vista terico, metodolgico y tcnico como de pol- del captulo citado; la ciudad y la editorial.
tica profesionaly desde la tica de la intervencin. c) Para revistas: Autor: ttulo del artculo; nom- A FONDO

2 Los trabajos habrn de ser inditos y los dere-

chos de reproduccin por cualquier forma y
bre de la revista completo en cursiva; volmen en
cursiva, nmero entre parntesis y pgina inicial y
final.
Para los temas previstos en los A Fondo se acepta-
rn artculos para su valoracin y publicacin , si
procede. Dichos temas sern anunciados con ante-
medio son de la Revista.

3 La preparacin de los originales ha de atenerse

a las normas de publicacin de la APA (Ma-
nual de publicacin de la APA, tercera edicin,
1983). Algunos de los requisitos bsicos son:
Las citas bibliogrficas en el texto se harn con el
apellido y ao, entre parntesis y separados por
una coma. Si el nombre del autor forma parte de la
narracin se pone entre parntesis slo el ao. Si se
trata de dos autores se citan ambos. Cuando el tra-
bajo tiene ms de dos y menos de seis autores, se
citan todos la primera vez; en las siguientes citas se
pone slo el nombre del primero seguido de et al
y el ao. Cuando haya varias citas en el mismo pa-
rntesis se adopta el orden cronolgico. Para iden-
tificar trabajos del mismo autor, o autores, de la
misma fecha, se aade al ao las letras a, b, c, hasta
donde sea necesario, repitiendo el ao.
Las referencias bibliogrficas irn alfabticamente
ordenadas al final siguiendo los siguientes criterios:
a) Para libros: Autor (apellido, coma e iniciales
de nombre y punto. En caso de varios autores, se
separan con coma y antes del ltimo con una y),
ao (entre parntesis) y punto; ttulo completo en
cursiva y punto. En el caso de que se haya maneja-
do un libro traducido con posterioridad a la publi-
4 Los trabajos tendrn una extensin mxima
predeterminada (que incluir las referencias bi-
lacin de un nmero para otro. La extensin mxi-
ma ser de 15 DIN-A4.
bliogrficas, grficasy cuadros) segn la Seccin a
la que vaya dirigido y estipulada en pginas tama- CONTRAFONDO
o DIN-A4 con 35 lneas a doble espacio por una En esta Seccin se aceptarn artculos relacionados
cara con mrgenes de 3 cms y numeracin en la con el tema del A Fondo del nmero anterior y
parte superior derecha. que haya suscitado algn punto de debate, inters
La primera pgina debe contener : ttulo en cas- matizacin por parte de los lectores. La extensin
tellano e ingls. Nombre, apellidos, profesin y lu- mxima ser de 4 DIN-A4.
gar de trabajo de cada autor. Nombre y direccin
del autor al que dirigir la correspondencia. Telfo- SECCIN ABIERTA
no, Fax, Correo electrnico de contacto. La segun- Papeles del Psiclogo ofrece la posibilidad de pu-
da pagina ha de incluir un resumen de no ms de blicar cualquier artculo referido al desarrollo de la
150 palabras en castellano e ingls. Psicloga profesional en sus diferentes campos y
Papeles del Psiclogo acusar recibo inmediato posibilidades de aplicacin, independientemente
de todo artculo recibido. Los originales no sern del tema central tratado en el A Fondo.
devueltos ni se mantendr correspondencia sobre La extensin mxima para artculos en esta Seccin
los mismos. En un plazo mximo de 90 das se es de 8 folios en papel tamao DIN-A4.
contestar acerca de la aceptacin ono para su pu-
blicacin. AL DA
Todo artculo recibido ser leido, al menos, por Seccin que actualizar cientfica y crticamente
dos lectores cualificados, garantizando el anonima- temas transversales que interesen al conjunto de la
to del autor(es). profesin.
Los originales se enviarn preferentemente en un La extensin mxima para artculos en esta Seccin
fichero por correo electrnico en un disquette in- es de 12 DIN-A4.

FE DE ERRATAS
Papeles del Psiclogo N 76: En el artculo La utilizacin de los tests en Espaa de Jos Muiz y Jos Ramn Fernndez Hermida
publicado en el nmero anterior de Papeles del Psiclogo se desliz una errata en la Tabla 6 que pasamos a rectificar:

Tabla 6
Tests ms utilizados en Espaa

Test Frecuencia %
16PF 16PF-5 900 26,53
WISC WISC-R WPPSI 791 23,32
WAIS 605 17,84
MMPI MMPI-II 511 15,06
Inventario de Depresin de Beck (BDI) 310 9,14
STAI 267 7,87
RORSCHACH 219 6,46
TEST DE RAVEN 170 5,01
TEST DE BENDER 146 4,30
ISRA 129 3,80

72

http://www.redalyc.org/html/778/77807709/ 7/7