ORIGINALES

Evaluación del estrés laboral en trabajadores

50.860
de un hospital público español. Estudio de las
propiedades psicométricas de la versión española
del modelo «Desequilibrio Esfuerzo-Recompensa»
María Dolores Macías Roblesa, Juan Antonio Fernández-Lópezb,
Radhamés Hernández-Mejíab, Antonio Cueto-Espinarb, Iván Rancañob
y Johannes Siegristc
a
Servicio de Urgencias. Hospital San Agustín. Avilés. Asturias. Asturias. España.
b
Área de Medicina Preventiva y Salud Pública. Universidad de Oviedo. Oviedo. Asturias. España.
c
Instituto de Medicina Sociológica. Universidad Heinrich-Heine. Düsseldorf. Alemania.

FUNDAMENTO Y OBJETIVO: Actualmente se usan dos modelos para evaluar los factores psicosociales Existen evidencias científicas que relacio-
en el trabajo: el modelo Demand-Control (DC), de Karasek, y el modelo Effort-Reward Imbalan- nan las condiciones psicosociales adver-
ce (ERI), de Siegrist. El modelo DC ha sido adaptado al español, no así el modelo ERI. El obje-
tivo de este trabajo es explorar las propiedades psicométricas de la versión española del modelo sas en el puesto de trabajo con las enfer-
ERI en términos de consistencia interna, de validez de construcción y discriminante. medades de los trabajadores. Así, la
SUJETOS Y MÉTODO: Estudio descriptivo de corte transversal en una muestra representativa (n = prevalencia de estas condiciones psicoso-
298) de los trabajadores del hospital comarcal de Avilés (Asturias). La versión española del ciales adversas se ha fijado en el 10-30%1-
cuestionario ERI (23 ítems) se obtuvo por el método de traducción-contratraducción y se aplicó 3
autoadministrado. El análisis factorial exploratorio investigó la validez de construcción y el cál-
. Una condición adversa claramente iden-
culo del coeficiente alfa de Cronbach, la consistencia interna. La validez discriminante por tificada es el estrés laboral, que constituye
sexo, edad y nivel educativo se estableció mediante la prueba de la t para grupos independien- un factor de riesgo independiente para
tes y el ANOVA, respectivamente. cardiopatía isquémica y otras enfermeda-
RESULTADOS: El análisis factorial de la escala «Esfuerzo extrínseco» extrae dos factores, no con- des cardiovasculares, lo que explica la ele-
firmando la estructura unidimensional esperada. En las escalas «Recompensa» y «Sobreimpli-
cación» se extraen tres factores (estima, estatus financiero y seguridad en el trabajo) y un fac- vada prevalencia de estas enfermedades
tor, respectivamente, como era de esperar. La consistencia interna fue satisfactoria, con un en los trabajadores muy estresados4-12.
coeficiente alfa de Cronbach mayor de 0,80, excepto en la escala «Esfuerzo extrínseco» (α = También se ha documentado la relación
0,63). En cuanto al sexo, la edad y el nivel educativo se han podido reproducir diferencias. entre estrés laboral y enfermedades gas-
CONCLUSIONES: La evaluación de las propiedades psicométricas de la versión española del mode- tro- intestinales13,14, osteomusculares13 y
lo ERI es satisfactoria. La estructura factorial de la escala «Esfuerzo extrínseco» no pudo ser
reproducida, lo que obliga a una aplicación más extensa del cuestionario. psiquiátricas15, así como síntomas psico-
somáticos y emocionales16-19.
Palabras clave: Estrés laboral. Propiedades psicométricas. Versión española. Modelo Desequilibrio Para evaluar cuantitativamente la influen-
esfuerzo-recompensa. Validación. cia del estrés laboral en la salud se han de-
sarrollado dos modelos teóricos: el modelo
Measuring psychosocial stress at work in Spanish hospital’s personnel. clásico Demanda-Control (Demand-Control
Psychometric properties of the Spanish version of Effort-Reward Imbalance model model [DC]20-22 y el reciente modelo Dese-
BACKGROUND AND OBJECTIVE: Two main models are currently used to evaluate the psychosocial fac- quilibrio Esfuerzo-Recompensa (DER; en
tors at work: the Demand-Control (or «job strain») model developed by Karasek and the Effort- inglés, Effort-Reward Imbalance model
Reward Imbalance model, developed by Siegrist. A Spanish version of the first model has been [ERI])4,23,24. Entre ambos modelos hay dife-
validated, yet so far no validated Spanish version of the second model is available. The objecti- rencias esenciales: el modelo DC se centra
ve of this study was to explore the psychometric properties of the Spanish version of the Effort- en la evaluación de las características es-
Reward Imbalance model in terms of internal consistency, factorial validity, and discriminate
validity. pecíficas del puesto de trabajo y el grado
SUBJECTS AND METHODS: A cross-sectional study on a representative sample of 298 workers of the de control sobre las tareas, en tanto que el
Spanish public hospital San Agustin in Asturias was performed. The Spanish version of Effort- modelo ERI/DER aporta información adi-
Reward Imbalance Questionnaire (23 items) was obtained by a standard forward/backward cional sobre las características individuales
translation procedure, and the information was gathered by a self-administered application. Ex-
ploratory factor analysis were performed to test the dimensional structure of the theoretical mo-
del trabajador y el grado de recompensa
del. Cronbach’s alpha coefficient was calculated to estimate the internal consistency reliability. obtenido por el esfuerzo.
Information on discriminate validity is given for sex, age and education. Differences were calcu- El modelo DC cuenta con una versión
lated with the t-test for two independent samples or ANOVA, respectively. adaptada al español25. El modelo teórico
RESULTS: Internal consistency was satisfactory for the two scales (reward and intrinsic effort) ERI ha sido adaptado y probado en dife-
and Cronbach’s Alpha coefficients higher than 0.80 were observed. The internal consistency
for the scale of extrinsic effort was lower (alpha = 0.63). A three-factor solution was retained rentes lenguas internacionalmente; sin
for the factor analysis of reward as expected, and these dimensions were interpreted as a) este- embargo, todavía no se dispone de una
em, b) job promotion and salary and c) job instability. A one-factor solution was retained for the versión adaptada al español. El proceso de
factor analysis of intrinsic effort. The factor analysis of the scale of extrinsic effort did not sup- adaptación transcultural y la validación de
port the expected one-dimension structure. The analysis of discriminate validity displayed sig- una herramienta de medida son un paso
nificant associations between measures of Effort-Reward Imbalance and the variables of sex,
age and education level. esencial para permitir la comparación de
CONCLUSIONS: This study is the first one supporting satisfactory psychometric properties of the resultados entre estudios. Dada la influen-
Spanish version of the Effort-Reward Imbalance model. However, the factorial validity of the cia internacionalmente creciente del méto-
extrinsic effort could be questioned. do de medida basado en el modelo ERI,
Key words: Stress at work. Psychometric properties. Spanish version. Effort-Reward Imbalance
surgió la necesidad de llevar a cabo la
model. Validation. comprobación estadística de las propieda-
des psicométricas de la versión española
Correspondencia: Dra. M.D. Macías Robles. del cuestionario.
Avda. San Agustín, 16, 3.o B. 33400 Avilés. Asturias. España. El objetivo principal del presente estudio
Recibido el 16-10-2002; aceptado para su publicación el 4-2-2003. fue, pues, la validación de la versión es-
652 Med Clin (Barc) 2003;120(17):652-7
 MACÍAS ROBLES MD, ET AL. EVALUACIÓN DEL ESTRÉS LABORAL EN TRABAJADORES DE UN HOSPITAL PÚBLICO ESPAÑOL. ESTUDIO DE LAS PROPIEDADES
PSICOMÉTRICAS DE LA VERSIÓN ESPAÑOLA DEL MODELO «DESEQUILIBRIO ESFUERZO-RECOMPENSA»

pañola del cuestionario estandarizado Ef-

fort-Reward Imbalance-ERI o Desequi-
Modelo Desequilibrio Esfuerzo-Recompensa (DER)
librio Esfuerzo Recompensa-DER, mediante
la evaluación de sus principales propieda- (Effort-Reward Imbalance model [ERI])
des psicométricas (validez de construc-
ción, consistencia interna y validez discri- Intrínseco Implicación excesiva en el trabajo
minante) en una muestra representativa (overcommitment)
de trabajadores del hospital San Agustín de (persona) (dedicación excesiva, sentimientos
Avilés (Asturias). negativos y positivos, actitudes y
compromiso en el trabajo)
Sujetos y método
Sujetos
Se diseñó un estudio descriptivo de corte transversal
en una muestra representativa de los trabajadores Alto esfuerzo Baja recompensa
del Hospital Comarcal del Área Sanitaria III de Astu-
rias. Los recursos humanos de este hospital durante Extrínseco
el período de estudio (mayo a julio de 2001) fueron
de 1.271 trabajadores. Para facilitar su estudio los
trabajadores se clasificaron en los siguientes estratos (situación) Demandas y Dinero,
laborales: directivos, facultativos, ATS, auxiliares de obligaciones estima, seguridad y
Fig. 1. Componente ex- carrera profesional
enfermería, administrativos y empleados de manteni-
trínseco e intrínseco del
miento. Mediante un muestreo aleatorio por estratos
modelo ERI/DER.
laborales, con un margen de error del 5%, se selec-
cionó una muestra representativa de trabajadores en
quienes se investigó el grado de estrés laboral. La Módulo II: el componente extrínseco y 25 puntos para la versión de 5 ítems y entre 6 y 30
medición del estrés laboral se efectuó mediante la puntos para la versión de 6 ítems. Una mayor pun-
aplicación autoadministrada del cuestionario estan- 1. Escala «Esfuerzo extrínseco». Los primeros 5 o 6
tuación indica un mayor esfuerzo extrínseco en el tra-
darizado ERI o DER. La encuesta fue bien acogida y ítems (del 1 al 6) representan el «esfuerzo extrínse-
bajo tal como lo experimenta el sujeto28,29.
completada por el grupo de estudio. El porcentaje de co» exigido por el trabajo. En la construcción de esta
rechazos fue del 4%. Se investigó a 298 trabajadores escala se postuló una estructura factorial de un único 2. Escala «Recompensa». Se mide con 11 ítems (del
(84 varones y 214 mujeres) en condiciones óptimas factor. El ítem 5 es especialmente apropiado para 7 al 17). En la construcción de esta escala se postuló
de confidencialidad y relajación. El tiempo promedio muestras de trabajadores manuales (blue collars) y el una estructura factorial de tres factores: del primer
invertido para cumplimentar el cuestionario fue de 5 ítem 6 es más adecuado para muestras de trabajado- factor definido por los aspectos relacionados con el
min. La edad media encontrada en los 298 trabaja- res no manuales (white collars). Todos estos ítems «estatus financiero» (ítems 11, 14, 16 y 17); un se-
dores que participaron en el estudio fue de 43 años. tienen descriptores de respuesta estratificados en gundo factor definido como «estima» (ítems 7, 8, 9,
Casi un 54% tenían estudios universitarios y el 86% dos pasos; en primer lugar, se pregunta si se está o 10 y 15) y por último un tercer factor definido como
eran trabajadores no manuales. Más de la mitad tení- no de acuerdo con la cuestión y, en segundo lugar, «seguridad en el trabajo» (ítems 12 y 13). Concep-
an un contrato de trabajo estable (propietarios) con se pide que se evalúe en qué medida afecta negati- tualmente se conviene que las tres dimensiones re-
una media de 11 años trabajados. El puesto de tra- vamente tal experiencia al encuestado. Así, si la presentan un factor latente único denominado «Re-
bajo más frecuentemente encontrado fue el de auxi- cuestión no es aplicable al encuestado se puntúa 1; compensa». La categorización de las respuestas aquí
liares de enfermería (27%), seguido por ATS (25,5%) si es aplicable pero «no me afecta», la puntuación es es idéntica a la de la escala «Esfuerzo extrínseco».
y facultativos (15%) (tabla 1). 2; si «me afecta moderadamente», 3; si «me afecta Así, si la cuestión no es aplicable al encuestado, el
mucho, 4, y si «me afecta muchísimo», 5. La puntua- valor es 1; si es aplicable pero «no me afecta», 2; si
Instrumento de medida del estrés laboral ción total de la escala resulta de la suma de todos los «me afecta moderadamente», 3; si «me afecta mu-
ítems. Por tanto, el rango de puntuación varía entre 5 cho, 4, y si «me afecta muchísimo», 5. Dado el senti-
El instrumento utilizado para evaluar el grado de estrés
laboral de los individuos seleccionados fue la versión
abreviada del cuestionario alemán ERI. Previamente TABLA 1
se adaptó al español utilizando el método estándar se-
guido en estos casos (traducciones-contratraducciones Características sociolaborales de la muestra de estudio
independientes realizadas por personal bilingüe, discu-
sión –entre los grupos investigadores alemanes y espa- Varones Mujeres Frecuencia
Porcentaje
ñoles– de los ítems problemáticos con el fin de ajustar- (n = 84) (n = 214) (total = 298)
los conceptualmente, nueva adaptación idiomática y
pilotaje de la versión final adaptada a fin de comprobar Edad (años)
su comprensibilidad y aceptabilidad)26,27. < 40 25 64 89 29,9
El modelo ERI/DER combina información sobre las 40-44 24 70 94 31,5
demandas y las recompensas en el trabajo (compo- 45-49 20 49 69 23,2
nente extrínseco), con información acerca de las ca- 50-54 10 18 28 9,4
racterísticas personales de cómo afrontar esas de- > 54 5 13 18 6
mandas y desafíos en el trabajo (componente Nivel de estudios
intrínseco) y que están determinadas por un elevado Primarios 12 31 43 14,4
compromiso y una alta necesidad de aprobación (fig. Medios 20 75 95 31,9
1). La combinación de ambas fuentes de información Universitarios 52 108 168 53,7
proporciona una estimación más exacta de la tensión Estrato laboral
total atribuible a la vida laboral que la restricción a Directivos 9 15 24 8,1
una sola de ellas (circunstancial o personal). Mantenimiento 12 28 40 13,5
El cuestionario ERI/DER consta de tres partes. En la Administrativos 7 27 34 11,1
primera (módulo I) se recogen las variables sociode- ATS 16 60 76 25,5
mográficas más importantes del trabajador y un míni- Auxiliares 6 74 80 26,9
mo de información descriptiva del ambiente laboral. Facultativos 24 20 44 14,8
El módulo II comprende 17 ítems y registra informa- Situación laboral
ción de la apreciación del trabajador acerca de su si- Titulares 53 111 164 55
tuación laboral en lo referente al esfuerzo extrínseco Eventuales 31 103 134 45
y a la recompensa profesional (componente extrínse- Tipo de trabajo
co). El módulo III comprende 6 ítems y mide el grado Manual 23 20 43 14,4
de implicación vivido por el trabajador en su puesto No Manual 61 194 255 85,6
de trabajo (componente intrínseco). Los 23 ítems Turnos
comprendidos en los módulos II y III tienen un escala Sí 42 128 170 57,1
tipo Likert y con un formato estandarizado de medi- No 42 86 128 43,0
ción operacionalizan psicométricamente el modelo Otros trabajos
teórico definido y representado en la figura 1. Los dos Sí 17 23 40 13,4
módulos específicos (II y III) del modelo se evalúan No 67 191 258 86,6
de la siguiente forma: Edad: 26-64 años; edad media (DE): 42,7 (7); media de años trabajados: 11 años.

Med Clin (Barc) 2003;120(17):652-7 653

MACÍAS ROBLES MD, ET AL. EVALUACIÓN DEL ESTRÉS LABORAL EN TRABAJADORES DE UN HOSPITAL PÚBLICO ESPAÑOL. ESTUDIO DE LAS PROPIEDADES
PSICOMÉTRICAS DE LA VERSIÓN ESPAÑOLA DEL MODELO «DESEQUILIBRIO ESFUERZO-RECOMPENSA»

do de las preguntas para la computación final de la giendo el criterio Kaiser para seleccionar los factores más del 56% y para la escala de «So-
escala, todos los ítems deben ser recodificados. De con «valores propios» superiores a 1. La consistencia
este modo, resulta un rango de puntuación final de interna se refiere a si los ítems presentan homogenei- breimplicación» se extrae un único factor
escala que oscila entre 11 y 55. Una puntuación cer- dad entre sí. La consistencia interna o fiabilidad se que explica un 63,27% de la variancia
cana a 11 significa, por tanto, una recompensa baja investigó mediante el coeficiente alfa de Cronbach, total. Los pesos factoriales son consisten-
debido a un grado de estrés elevado y viceversa. que se calcula para cada escala del cuestionario,
Combinando las puntuaciones de ambas escalas pre- tanto para el total de la muestra investigada como de
tes y satisfactorios especialmente en las
vias se obtiene una ratio esfuerzo-recompensa. Ésta forma estratificada para cada sexo. A fin de alcanzar escalas «Recompensa» y «Sobreimplica-
se calcula con la puntuación de «Esfuerzo extrínse- una fiabilidad satisfactoria es necesario que cada ción».
co» en el numerador y la de «Recompensa» en el de- ítem se relacione linealmente con la escala que hipo-
nominador. Para compensar el desigual número de téticamente representa (correlación ítem-escala).
ítems intervinientes en las dos puntuaciones finales Esta asunción se comprobó en nuestro caso exami- Resultados de consistencia interna
de las respectivas escalas se multiplica el cociente nando la correlación de cada ítem con la escala hipo- (fiabilidad) del cuestionario
por un factor de corrección. El factor de corrección tética a la que pertenece. Para valorar la capacidad
es 0,4545 si el número de ítems es 5/11, y es 0,5454 discriminante del cuestionario o validez relacionada En la tabla 3 se resumen los valores bru-
si el numerador contiene 6 ítems (6/11). Mediante con grupos se investigaron las diferencias por sexo, tos de cada ítem con sus respectivas DE,
este cálculo se obtiene una medida estandarizada del edad y nivel educativo mediante el estadístico t para
componente extrínseco del modelo, definida por un grupos independientes y el ANOVA, respectivamente. la correlación de cada uno de ellos con la
umbral donde 1,0 discrimina entre grupos de alto El análisis estadístico de los datos se realizó con la escala supuesta como propia y el valor
riesgo (valores superior a 1,0) y grupos de bajo o sin ayuda del paquete informático estadístico SPSS 10. alfa de Cronbach cuando cada ítem es
riesgo (valores de 1,0 o menor). Teniendo en cuenta eliminado. Asimismo, se reproduce el va-
el valor predictivo demostrado en estudios previos
por este valor, se propone su uso como medida resu- lor de la consistencia interna de cada es-
men del componente extrínseco del modelo ERI8,29. Resultados cala, expresada por el coeficiente alfa de
Cronbach. La fiabilidad de las escalas del
Módulo III: componente intrínseco (sobreimplica- Resultados de validez de construcción
ción). Este módulo mide el componente intrínseco cuestionario resultó ser superior a 0,80, a
del cuestionario
del modelo que investiga la dedicación excesiva al excepción de la escala de «Esfuerzo ex-
trabajo, los sentimientos negativos y positivos, y las La tabla 2 reproduce la solución factorial trínseco» que es algo menor (α = 0,63).
actitudes relacionadas con el trabajo por parte del
trabajador. Esta versión de 6 ítems de la escala «So- obtenida mediante el análisis factorial ex- El coeficiente alfa estratificado por sexos no
breimplicación» (del 18 al 23) es una versión abre- ploratorio de los datos recogidos. Se pre- presentó diferencias significativas (tabla 4).
viada de la escala que originalmente contenía 29 sentan los pesos factoriales de todos los Los coeficientes de correlación ítem-escala
ítems. La mayoría de ellos hacen referencia a la inca- ítems, los valores propios y los porcenta- dentro de la escala supuesta fueron signifi-
pacidad para «desconectar» de las obligaciones del
trabajo y han sido identificados como los más ade- jes explicados de la variancia por cada cativos en tamaño, excediendo en la mayo-
cuados para representar convenientemente tal di- factor extraído. Se han extraído para la ría de los casos el estándar recomendado
mensión, de acuerdo con las investigaciones holan- escala «Esfuerzo extrínseco» dos factores de 0,4030. Sólo en la escala «Esfuerzo ex-
desas28. La versión corta de 6 ítems, más fácil de
utilizar y más económica, resulta una medida satis- que explican el 64% de la variancia. Para trínseco» se observó una baja correlación
factoria de la escala intrínseca del modelo ERI. Fac- la escala «Recompensa» se extraen tres ítem-escala, especialmente en relación con
torialmente se postula una estructura de un único factores que explican una variancia de los ítems 3 y 4.
factor. Los ítems tienen, también, un escala tipo Li-
kert, pero de 4 intervalos en lugar de 5. Las respues-
tas son, pues, codificadas del 1 al 4; así «muy en de- TABLA 2
sacuerdo», 1; «en desacuerdo», 2; «de acuerdo», 3,
y «muy de acuerdo», 4. Con ellos se puede obtener Análisis factorial exploratorio de las tres dimensiones del modelo Desequilibrio
valores con un intervalo entre 6 y 24. Uno de los
ítems (el 20) tiene un sentido negativo y, por ello, exi- esfuerzo-recompensa (DER) de medición del estrés laboral en 298 empleados del
ge una codificación inversa a la del resto. Una pun- Hospital San Agustín de Avilés
tuación de la escala en el valor más alto define una
condición de alto riesgo frente a los grupos restan- Pesos factoriales
Variable
tes1,8,24,29. Otra forma más sencilla de computación Factor 1 Factor 2 Factor 3
de esta escala es calcular la puntuación media de los
valores brutos de sus ítems respectivos, oscilando el Escala «Esfuerzo extrínseco»
valor final de la escala entre 1 y 4. Mediante este mé- ERI 1. Ritmo apurado 0,85 0,13 –
todo de cálculo, a un mayor valor le corresponde un ERI 2. Interrupciones frecuentes 0,73 –0,02 –
más alto grado de implicación en el trabajo y vicever- ERI 3. Mucha responsabilidad 0,27 0,66 –
sa. Esta forma fue la que utilizamos nosotros en ERI 4. Horas extra –0,08 0,85 –
nuestro análisis de la escala. ERI 5. Esfuerzo físico 0,64 0,32 –
ERI 6. Cada vez más trabajo 0,82 0,11 –
Valores propios 2,11 1,07 –
Análisis estadístico Porcentaje de variancia 42,26 21,55 –
El análisis univariante se realizó mediante el estudio Estima Salario Seguridad
descriptivo de las variables sociolaborales del cues-
tionario. Se calcularon los valores medios de todos Escala «Recompensa»
los ítems del cuestionario ERI/DER y de las escalas ERI 7. Reconocimiento de los superiores 0,66 0,12 –0,05
con sus respectivas desviaciones estándar (DE). La ERI 8. Reconocimiento de los compañeros 0,72 –0,04 –0,04
comprobación empírico-cuantitativa de la representa- ERI 9. Apoyo en situaciones difíciles 0,78 0,12 –0,05
ción del contructo teórico de la medida se basó en la ERI 10. Tratamiento injusto 0,70 0,19 0,11
hipótesis de que la información contenida en las va- ERI 11. Escasa promoción 0,10 0,70 0,18
riables puede ser representada por una o varias di- ERI 12. Empeoramiento del trabajo 0,33 0,17 0,64
mensiones latentes llamadas factores. Dimensión la- ERI 13. Inseguridad del puesto de trabajo –0,05 –0,04 0,80
tente (factor) se refiere a que no puede observarse ERI 14. Adecuación al cargo 0,11 0,71 –0,04
directamente, sino a través de los respectivos ítems. ERI 15. Reconocimiento del esfuerzo 0,58 0,54 0,15
El método estadístico más importante para este objeti- ERI 16. Oportunidades de promoción adecuadas 0,16 0,80 –0,07
vo es el análisis factorial. La relación entre los factores ERI 17. Salario adecuado 0,17 0,49 0,37
extraídos y las correspondientes variables se expresa Valores propios 3,91 1,32 1,03
por la matriz factorial, es decir, las cargas factoriales. Porcentaje de variancia 35,57 12,0 9,4
Cuanto más alto es el valor de carga factorial, mejor Escala «Sobreimplicación»
representada está la variable respectiva por medio del OC 1. Falta de tiempo 0,47 – –
factor. En general los valores de carga factorial de OC 2. Pienso en el trabajo al despertar 0,93 – –
0,40 o mayores se consideran satisfactorios30. La vali- OC 3. En casa me olvido del trabajo 0,91 – –
dez de construcción del cuestionario se investigó me- OC 4. Dicen que me sacrifico mucho 0,74 – –
diante el análisis factorial exploratorio de las escalas OC 5. No puedo olvidarme del trabajo 0,89 – –
«Esfuerzo extrínseco», «Recompensa» y «Sobreimpli- OC 6. No duermo bien si aplazo algo 0,73 – –
cación», separadamente. Los componentes principa- Valores propios 3,80 – –
les se extrajeron mediante rotación Varimax, esco- Porcentaje de variancia 63,27 – –

654 Med Clin (Barc) 2003;120(17):652-7

 MACÍAS ROBLES MD, ET AL. EVALUACIÓN DEL ESTRÉS LABORAL EN TRABAJADORES DE UN HOSPITAL PÚBLICO ESPAÑOL. ESTUDIO DE LAS PROPIEDADES
PSICOMÉTRICAS DE LA VERSIÓN ESPAÑOLA DEL MODELO «DESEQUILIBRIO ESFUERZO-RECOMPENSA»

TABLA 3 Comparación de puntuaciones finales

Distribución de las puntuaciones de los ítems y consistencia interna de estrés laboral según las principales
(alfa de Cronbach) de las escalas de la versión española del cuestionario variables laborales y los diversos
Effort-Reward Imbalance (ERI) subgrupos profesionales investigados

Puntuación Desviación Correlación ítem- Alfa si el ítem

En un primer momento se compararon
N.o de casos las puntuaciones de las escalas del ERI
media estándar escala total es suprimido
Escala «Esfuerzo extrínseco» según las variables laborales considera-
E1 3,3535 1,1269 298 0,6252 0,4885 das mayores: hacer o no guardias, ser o
E2 3,0303 1,2823 298 0,3609 0,5891 no propietario y hacer o no trabajo a tur-
E3 2,8687 1,2190 298 0,2638 0,6254
E4 1,2929 0,8493 298 0,0774 0,6668
nos. No se encontraron diferencias signi-
E5 2,3670 1,4577 298 0,2778 0,6313 ficativas en ninguna de las tres escalas
E6 3,3232 1,2479 298 0,6102 0,4826 entre los trabajadores que realizan guar-
α = 0,6318 dias y quienes no las hacen. Sí hubo di-
Escala «Recompensa»
R7 3,4714 1,3178 298 0,5953 0,7708 ferencias significativas en la escala «Re-
R8 4,3131 1,1299 298 0,3980 0,7909 compensa» entre los trabajadores no
R9 3,6465 1,5267 298 0,4993 0,7807 propietarios de plaza y los propietarios,
R 10 4,2660 1,2892 298 0,5198 0,7789
R 11 2,7576 1,1309 298 0,4700 0,7847 más alta entre los últimos. También se
R 12 3,2222 1,6143 298 0,4538 0,7868 hallaron diferencias significativas en «Es-
R 13 3,8081 1,6358 298 0,2066 0,8168 fuerzo extrínseco» y «Recompensa» en
R 14 4,2189 1,2286 298 0,3849 0,7921
R 15 3,2088 1,3545 298 0,6808 0,7610
los trabajadores que no realizan turnos
R 16 3,1212 1,2325 298 0,5122 0,7801 frente a los que sí los hacen. Los valores
R 17 2,2559 1,1720 298 0,4330 0,7878 de esfuerzo extrínseco son más elevados
α = 0,8007 entre los que hacen turnos y los valores
Escala «Sobreimplicación»
S 18 2,4411 0,8245 298 0,3652 0,9024 de recompensa son más elevados en los
S 19 2,4579 0,9331 298 0,8589 0,8209 trabajadores que no los hacen. En la es-
S 20 3,4377 0,9062 298 0,8346 0,8262 cala «Sobreimplicación» no se pudo de-
S 21 2,5859 0,8097 298 0,6271 0,8631
S 22 2,1751 0,8238 298 0,8112 0,8329 mostrar diferencias significativas en rela-
S 23 2,4747 0,8968 298 0,6104 0,8666 ción con las variables laborales anteriores
α= 0,8075 analizadas. Sin embargo, es importante
hacer constar que la implicación excesiva
en el trabajo demostró ser más alta entre
Resultados de validez discriminatoria menor nivel educativo, especialmente en- los trabajadores que hacen guardias, los
tre las mujeres. La «Recompensa» se que no son propietarios de su plaza, los
En la tabla 4 se presentan las puntuacio- percibe más alta entre las mujeres que que trabajan a turnos y los que hacen
nes finales de las escalas del cuestionario entre los varones sin alcanzar significa- trabajos no manuales. En este último
ERI estratificadas según género, grupo de ción estadística. También es más elevada caso la diferencia es cercana a la signifi-
edad y nivel educativo. También se repro- entre los empleados de mayor edad, so- cación estadística (tabla 5).
duce el coeficiente alfa de Cronbach para bre todo mujeres y en aquellos con un ni- En la comparación de las puntuaciones
cada escala estratificado por género. vel educativo más alto. En cuanto al gra- de las tres escalas del cuestionario según
Los valores de «Esfuerzo extrínseco» son do de «Sobreimplicación», se demuestra los estratos laborales en los que fueron
menores entre los varones que entre las que ésta es más alta entre las mujeres clasificados los trabajadores para su estu-
mujeres y en los de edades más avanza- que entre los varones (significativamen- dio no se demostraron diferencias signifi-
das que en los más jóvenes. Se com- te), entre los trabajadores con mayor ni- cativas en ningún caso. El nivel más alto
prueba una tendencia a desarrollar es- vel formativo y en las edades entre 40 y de esfuerzo extrínseco se encontró entre
fuerzos mayores entre los empleados de 54 años. los auxiliares de enfermería, los directivos

TABLA 4
Consistencia interna y validez discriminatoria de las tres escalas de la versión española del cuestionario Effort-Reward
Imbalance (ERI) (diferencias calculadas con la prueba de la t para dos muestras independientes y con ANOVA,
respectivamente)
Esfuerzo Sobreimplicaciónc
Recompensab
extrínsecoa (media ítem [DE])
Varones Mujeres Varones Mujeres Varones Mujeres
t (p) t (p) t (p)
(n = 84) (n = 214) (n = 84) (n = 214) (n = 84) (n = 2149
Suma (DE) 15,75 (4,40) 16,42 (4,26) 0,231 37,51 (8,70) 38,55 (8,46) 0,345 2,48 (0,59) 2,63 (0,62) 0,057
Alfa de Cronbach 0,66 0,62 0,81 0,80 0,80 0,82
Edad (años)
< 40 15,56 (3,52) 15,72 (4,53) 36,32 (10,1) 38,17 (8,75) 2,23 (0,49) 2,61 (0,60)
40-44 17,71 (4,45) 17,27 (4,20) 36,88 (8,76) 37,44 (8,50) 2,63 (0,63) 2,68 (0,59)
45-49 16,75 (3,64) 16,55 (4,26) 38,68 (9,09) 37,22 (7,47) 2,54 (0,47) 2,72 (0,67)
50-54 11,40 (3,03) 15,00 (3,03) 39,60 (4,84) 42,89 (7,56) 2,65 (0,70) 2,63 (0,49)
> 54 12,00 (6,12) 16,85 (4,12) 39,60 (6,62) 42,69 (9,72) 2,43 (0,95) 2,23 (0,86)
0,000 0,182 0,782 0,048 0,149 0,144
Nivel educativo
Primarios 15,92 (6,37) 16,97 (3,45) 36,58 (8,12) 37,13 (8,32) 2,33 (0,73) 2,61 (0,60)
Medios 15,85 (4,38) 16,32 (4,98) 38,70 (8,97) 38,43 (8,72) 2,41 (0,56) 2,66 (0,70)
Universitarios 15,67 (3,95) 16,34 (3,95) 37,43 (8,86) 39,05 (8,36) 2,54 (0,58) 2,63 (0,59)
0,013 0,749 0,782 0,535 0,462 0,935
a
A mayor valor corresponde un mayor esfuerzo extrínseco: intervalo, 6-30; ba mayor valor corresponde una mayor recompensa: intervalo,11-55; ca mayor valor corresponde una mayor implicación
en el trabajo: intervalo, 0-4.

Med Clin (Barc) 2003;120(17):652-7 655

MACÍAS ROBLES MD, ET AL. EVALUACIÓN DEL ESTRÉS LABORAL EN TRABAJADORES DE UN HOSPITAL PÚBLICO ESPAÑOL. ESTUDIO DE LAS PROPIEDADES
PSICOMÉTRICAS DE LA VERSIÓN ESPAÑOLA DEL MODELO «DESEQUILIBRIO ESFUERZO-RECOMPENSA»

TABLA 5 ción») reproduce satisfactoriamente unos

Puntuaciones finales comparadas de estrés laboral en las tres escalas del elevados pesos factoriales y una solución
cuestionario Effort-Reward Imbalance (ERI) según las variables laborales «hacer/no estructural equivalente a la esperada
hacer guardias», «ser/no ser propietario», «trabajar (sí/no) a turnos» y «trabajo desde la teoría. En ambas escalas la fia-
manual/no manual» bilidad o consistencia interna es muy
buena y similar a la que nosotros conoce-
Esfuerzo extrínsecoa Recompensab Sobreimplicaciónc mos a partir de otros estudios realizados
[suma (DE)] [suma (DE)] [media (DE)]
previamente en varios países4,28,29.
Guardias Asimismo, con la medición realizada con
Sí (n = 41) 15,43 (3,72) 38,12 (6,90) 2,73 (0,54)
No (n = 255) 16,38 (4,38) 38,17 (8,72) 2,58 (0,62) la versión adaptada del cuestionario abre-
p 0,145 0,97 0,102 viado del modelo ERI se ha podido repro-
Titulares ducir diferencias en cuanto al sexo, la
Sí (n = 164) 16,29 (4,3) 39,76 (8,2) 2,57 (0,63) edad y el nivel educativo de los trabajado-
No (n = 134) 16,16 (4,2) 36,41 (8,5) 2,62 (0,61)
p 0,79 0,001* 0,532 res. Tal hecho posee gran relevancia esta-
Turnos dística, ya que confirma y apoya la capaci-
Sí (n = 170) 17,43 (4,22) 36,47 (8,82) 2,61 (0,65) dad discriminatoria de la versión adaptada
No (n = 128) 14,64 (3,88) 40,62 (7,53) 2,56 (0,58)
p 0,000** 0,000** 0,456 y, por tanto, su idoneidad para ser utiliza-
Trabajo manual da en futuros estudios. Las puntuaciones
Sí (n = 43) 15,74 (4,48) 38,46 (7,60) 2,43 (0,64) recogidas con la escala «Esfuerzo extrín-
No (n = 255) 16,31(4,20) 38,22 (8,60) 2,62 (0,61)
p 0,438 0,852 0,088 seco» varían entre ambos sexos. El esfuer-
a
A mayor valor corresponde un mayor esfuerzo extrínseco: intervalo, 6-30; ba mayor valor corresponde una mayor recompensa:
zo realizado es menor entre los trabajado-
intervalo, 11-55; ca mayor valor corresponde una mayor implicación en el trabajo: intervalo, 0-4. *p < 0,05; **p < 0,001. res de edad más avanzada, especialmente
entre los varones. Por el contrario, se
TABLA 6 comprueba una tendencia a desarrollar
un esfuerzo extrínseco mayor entre los
Puntuaciones finales comparadas (ANOVA) de estrés laboral en las tres escalas empleados con menor nivel educativo y,
del cuestionario Effort-Reward Imbalance (ERI), según los diferentes estratos especialmente, entre las mujeres. En lo
laborales en estudio tocante a las puntuaciones finales de la
Esfuerzo extrínsecoa Recompensab Sobreimplicaciónc escala «Recompensa», las diferencias
[suma (DE)] [suma (DE)] [media (DE)] entre los sexos son menores. Se demues-
Facultativos (n = 44) 15,00 (3,71) 38,97 (7,35) 2,66 (0,53) tra la existencia de una mayor sensación
Administrativos (n = 34) 15,26 (4,21) 40,52 (7,94) 2,57 (0,59) de recompensa entre los empleados de
Mantenimiento (n = 40) 15,72 (4,41) 37,95 (7,51) 2,44 (0,68) más edad, especialmente mujeres, y
ATS (n = 76) 16,68 (4,11) 37,51 (9,14) 2,58 (0,60)
Directivos (n = 24) 16,83 (3,31) 41,87 (5,71) 2,75 (0,60) también entre aquellos con más alta cua-
Auxiliares (n = 80) 16,90 (5,20) 36,67 (8,71) 2,60 (0,61) lificación profesional. Por su parte, las
p 0,489 0,168 0,382 puntuaciones finales de la escala «So-
a
A mayor valor corresponde un mayor esfuerzo extrínseco: intervalo, 6-30; ba mayor valor corresponde una mayor recompensa: breimplicación» presentan también dife-
intervalo, 11-55; ca mayor valor corresponde una mayor implicación en el trabajo: intervalo, 0-4.
rencias importantes entre sexo, edad y
nivel educativo. Se demuestra una impli-
y los ATS, y el mayor grado de recompen- La versión española adaptada DER ha cación en el trabajo mayor en las mujeres
sa se dio entre los directivos y administra- demostrado poseer un nivel alto de fiabi- que en los varones, en los trabajadores
tivos. Por último, la mayor puntuación en lidad para todas las escalas, a excepción con un mayor nivel educativo, así como
implicación excesiva en el trabajo se dio de la escala de medición del esfuerzo ex- en las edades entre 40 y 54 años. Todos
entre directivos y facultativos (tabla 6). trínseco. La fiabilidad de la escala «Es- estos hallazgos son similares y están en
fuerzo extrínseco», con un valor alfa de consonancia con los descritos por otros
Cronbach de 0,63, es baja y menor de lo estudios previos realizados con la versión
Discusión
deseable (≥ 0,70)30. Sin embargo, no sor- original alemana y con otras adaptacio-
Con el presente trabajo se ha realizado la prende que esto sea así si se tiene en nes idiomáticas4,5,8,29.
validación preliminar de la versión espa- cuenta la estructura factorial reproducida Al analizar las puntuaciones de las tres
ñola de cuestionario ERI. Han podido re- con la muestra investigada. Hemos ob- escalas en relación con las característi-
producirse en nuestro medio los compo- servado que los ítems 3 y 4 de la escala cas laborales más influyentes hemos ob-
nentes del modelo teórico definido, «Esfuerzo extrínseco» se agregan de for- jetivado un esfuerzo extrínseco mayor en
validándose los ítems del instrumento de ma independiente al resto de los ítems los trabajadores que hacen turnos y una
medida. El estudio ha establecido que la de su misma escala, reproduciendo un recompensa más alta en los propietarios
versión española final adaptada del cues- segundo factor extra que se suma al úni- de la plaza y en los empleados que no
tionario ERI tiene suficiente consistencia co factor esperado desde la teoría y con- trabajan a turnos. Todos estos hallazgos
interna y validez. formado por los 4 ítems restantes de la son coherentes con lo que cabe esperar
En la aceptabilidad y comprensibilidad escala. Esto explica que la correlación de y pueden considerarse una expresión in-
del cuestionario no se observaron por- estos ítems con su escala hipotética sea directa de validez del cuestionario.
centajes altos de ítems no respondidos o menor y, por tanto, sea baja la consisten- En cuanto a los diferentes estratos o ca-
diferencias significativas según edad o cia interna de toda la escala, expresada tegorías laborales investigados, no hemos
estrato laboral. Los casos de abandono mediante el coeficiente alfa de Cronbach. podido demostrar diferencias significati-
ocurridos durante la recogida de la infor- Por el contrario, la fiabilidad encontrada vas entre ellas en ninguna de las tres es-
mación no pueden atribuirse, en ningún para las escalas «Recompensa» y «So- calas del modelo.
caso, a problemas de aplicabilidad o breimplicación», de 0,80 y 0,81, respec- La recogida completa de los datos, la ca-
compresión del cuestionario, sino a un tivamente, es satisfactoria. El análisis fac- lidad de éstos, la distribución presentada
rechazo explícito de los sujetos a partici- torial de los datos recogidos con ambas por las respuestas y otras propiedades de
par en el estudio. escalas («Recompensa» y «Sobreimplica- medida (como el escalamiento) del cues-
656 Med Clin (Barc) 2003;120(17):652-7
 MACÍAS ROBLES MD, ET AL. EVALUACIÓN DEL ESTRÉS LABORAL EN TRABAJADORES DE UN HOSPITAL PÚBLICO ESPAÑOL. ESTUDIO DE LAS PROPIEDADES
PSICOMÉTRICAS DE LA VERSIÓN ESPAÑOLA DEL MODELO «DESEQUILIBRIO ESFUERZO-RECOMPENSA»
tionario son satisfactorias y similares a las
descritas por la versión alemana original
en diferentes muestras. Todo ello indica
que los métodos seguidos de adaptación
transcultural han producido una versión
española del cuestionario DER equivalen-
te a la versión original alemana. Este he-
cho es esencial para permitir futuros es-
tudios nacionales, así como estudios
comparativos internacionales. No obstan-
te, no debemos olvidar que se han en-
contrado problemas de reproducción es-
tructural en dos ítems de la escala
«Esfuerzo extrínseco» de la versión espa-
ñola adaptada (el 3 y el 4). Este hecho
requiere una clarificación más detenida
y una comprobación futura. La correla-
ción ítem-escala para el ítem 3 no es de-
masiado baja, está casi en el límite; sin
embargo, el ítem 4 no encajó satisfacto-
riamente en la escala hipotética a que
pertenece.
Pensamos que una de las razones que
pueden explicar este hecho es la escasa
importancia que tiene entre los trabaja-
dores del sistema sanitario público espa-
ñol el concepto medido mediante el ítem
4; esto es, el concepto «horas extra»
(overtimework). En este colectivo los tra-
bajos extra, como las guardias, se ven
como parte integrante del propio trabajo
y como una característica peculiar inhe-
rente a él. Creemos que en ningún caso
este sobreesfuerzo es entendido por el
trabajador como algo a lo que está obli-
gado de forma extraordinaria y extempo-
ránea, sino más bien algo consustancial,
aunque la remuneración por ello sea, en
efecto, independiente del salario base.
Otra idea que apoya esta percepción
nuestra es la escasa dificultad en la
adaptación conceptual de ambos ítems
(3 y 4) al español. Ahondando más en
esta posible explicación, el análisis por
separado de la consistencia interna en la
submuestra de trabajadores manuales
demostró valores alfa superiores a 0,70
para la escala de «Esfuerzo extrínseco».
Sin embargo, no descartamos la reformu-
lación completa del ítem 4 adaptándolo a
la idea de que se trabaja más tiempo real
del que es remunerado; nos referimos
por ejemplo, a cuando las jornadas labo-
rales se prolongan por necesidades de
servicio, sin que ello tenga una repercu-
sión económica beneficiosa en el trabaja-
dor. En cualquier caso, se necesitan más
investigaciones sobre este aspecto para
verificar los resultados encontrados en
estos ítems problemáticos, dado que la
mayor limitación de nuestro estudio es la
escasa proporción de trabajadores ma-
nuales investigados, debido a la propia
composición del colectivo sanitario.
Por ello consideramos necesaria una
aplicación más extensa del cuestionario
ERI/DER español adaptado en diferentes
muestras de trabajadores, especialmente
en obreros manuales y pertenecientes a
compañías privadas, de tal manera que
se pueda comprobar el comportamiento
de todos los ítems repetidamente y, en su
caso, demostrar la veracidad o no de las
asunciones descritas o bien el comporta-
miento del ítem modificado.
REFERENCIAS BIBLIOGRÁFICAS
1. Marmot M, Siegrist J, Theorell T, Feeney A. He-
alth and the psychosocial environment at work.
In: Marmot M, Wilkinson R, editors. Social deter-
minants of health. Oxford. Oxford: University Press,
1999; p. 105-31.
2. Siegrist J. A theory of occupational stress. In:
Dunham J, editor. Stress in the workplace: Past,
present and future. London and Philadelphia:
Whurr Publishers, 2001; p. 52-66.
3. Siegrist J. Long-therm stress in daily life in a so-
cio-epidemiologic perspective. In: Theorell T,
editor. Everyday biological stress mechanisms.
Advances in Psychosomatic Medicine. Basel:
Karger, 2001; p. 91-103.
4. Siegrist J, Peter R, Junge A, Cremer P, Seidel D.
Low status control, high effort at work and ische-
mic heart disease: prospective evidence from
blue-collar men. Soc Sci Med 1990;31:1127-34.
5. Bosma H, Peter R, Siegrist J, Marmot M. Two al-
ternative job stress models and the risk of coro-
nary heart disease. Am J Public Health 1998;
88:68-74.
6. Siegrist J, Peter R, Cremer P, Seidel D. Chronic
work stress is associated with atherogenic lipids
and elevated fibrinogen in middle-aged men. J
Intern Med 1997;242:149-56.
7. Joksimovic L, Siegrist J. Overcommitment predicts
restenosis after successful coronary angioplasty in
cardiac patients. Int J Behav Med 2000;6:356-69.
8. Peter R, Alfredsson L, Hammar N, Siegrist J,
Theorell T, Westerholm P. High effort, low re-
ward, and cardiovascular risk factors in emplo-
yed Swedish men and women: baseline results
from the WOLF Study. J Epidemiol Community
Health 1998;52:540-7.
9. Niedhammer I, Siegrist J. Facteurs psychoso-
ciaux au travail et maladies cardio-vasculaires:
l’apport du modele du Déséquilibre Efforts/Ré-
compenses. Rev Épidém Santé Publ 1998;
46:398-410.
10. Hemingway H, Marmort M. Psychosocial factors
in the etiology and prognosis of coronary heart
disease: systematic review of prospective cohort
studies. BMJ 1999;318:1460-7.
11. Alterman T, Shekella RB, Vernon SW, Burau KD.
Decision latitude, psychological demand, job
strain, and coronary heart disease in the Western
Electric study. Am J Epidemiol 1994;139: 620-7.
12. Niedhammer I, Golberg M, Leclerc A, David S,
Bugel I, Landre MF. Psychosocial work environ-
ment and cardiovascular risk factors in an occu-
pational cohort in France. J Epidemiol Comm
Health 1998;52:93-100.
13. Peter R, Geibler H, Siegrist J. Associations of ef-
fort-reward imbalance at work and reported
symptons in different groups of male and female
public transport workers. Stress Med 1998;14:
175-82.
14. Rothenbacher D, Peter R, Bode G, Adler G,
Brenner H. Dyspepsia in relation to Helycobac-
ter pylori infection and psychosocial work stress
in white collar employees. Am J Gastroenterol
1998;93:1143-9.
15. Stansfeld SA, Fuhrer R, Shipley MJ, Marmot
MG. Work characteristics predict psychiatric di-
sorders: prospective results from the Whitehall II
Study. Occup Environ Med 1999;56:302-7.
16. Sanz Ortiz J. El estrés de los profesionales sani-
tarios y los cuidados paliativos. Med Clin (Barc)
1991;96:377-8.
17. Peter R, Siegrist J. Chronic work stress, sickness
absence, and hypertension in middle managers:
general or specific sociological explanations? Soc
Sci Med 1997;45:1111-20.
18. Stansfeld SA, Bosma H, Hemingway H, Marmot
M. Psychosocial work characteristics and social
support as predictors of SF-36 health functio-
ning: the Whitehall II Study. Psychosom Med
1998;60:247-55.
19. Ferrer R. Burn out o síndrome de desgaste pro-
fesional. Med Clin (Barc) 2002;119:495-6.
20. Karasek RA. Job demands, job decision latitude,
and mental strain: implications for job redesign.
Admin Sci Q 1979;24:285-308.
21. Karasek RA, Theorell T. Healthy work: stress,
productivity, and the reconstruction of working
life. New York: Basic Books, 1990.
22. Karasek RA, Baker D, Marxer F, Ahlbom A, Theo-
rell T. Job decision latitude, job demands, and car-
diovascular disease: a prospective study of swe-
dish men. Am J Public Health 1981;71:694-705.
23. Siegrist J. Adverse health effects of high-
effort/low-reward conditions. J Occup Health
Psychol 1996;1:27-41.
24. Siegrist J, Peter R. The effort-reward imbalance
model. Occup Med 2000;15:83-7.
25. Artazcoz Lazcano L, Cruz Cubells JL, Moncada
Lluís S, Sánchez Miguel A. Estrés y tensión labo-
ral en enfermeras y auxiliares de clínica de hos-
pital. Gac Sanit 1996;10:282-92.
26. Hunt SM, Alonso J, Bucquet D, Niero M, Wi-
klund I, Mckema SP. Cross-cultural adaptation of
health measures. Health Policy 1991;19:33-44.
27. Guillemin F, Bambardier C, Beaton D. Cross-cul-
tural adaptation of health-related quality of life
measures: literature review and proposed guide-
lines. J Clin Epidemiol 1993;46:1417-32.
28. Hanson EKS, Schaufeli W, Vrijkotte T, Plomp
NH, Godaert GRL. The validity and reliability of
the Dutch effort-reward imbalance questionnai-
re. J Occup Health Psychol 2000;5:142-55.
29. Niedhammer I, Siegrist J, Landre MF, Golberg
M, Leclerc A. Étude des qualités psychométri-
ques de la version française du modèle du Dé-
séquilibre Efforts/Récompenses. Rev Epidém
Santé Publ 2000;40:419-37.
30. Nunnally JC. Psychometric theory. 2nd ed. New
York: McGraw-Hill, 1978.
Med Clin (Barc) 2003;120(17):652-7 657