Memorias II Congreso Latinoamericano de Ingeniera Biomdica, Habana 2001, Mayo 23 al 25, 2001, La Habana, Cuba

LAS PRUEBAS DE USABILIDAD EN LOS EQUIPOS MDICOS.

I. Quiones Maya.
Centro de Control Estatal de Equipo Mdicos
Calle 4 # 455 (altos) e/ 19 y 21. Vedado Ciudad de la Habana Cuba. CP 10400. E..mail isac@cceem.sld.cu

RESUMEN
La evaluacin del diseo frecuentemente se basa en
criterios estticos del usuario y pacientes, tambin esta
evaluacin por lo general se efecta en las etapas
finales ya cercanas a la comercializacin donde los
problemas de diseo, uso y aceptacin muchas veces
no pueden ser solucionados y que en ocasiones
provocan daos a los usuarios, pacientes y dems
quienes emiten reclamaciones al fabricante por los
problemas causados.
Las pruebas de usabilidad permiten al fabricante,
evaluar objetivamente el diseo bajo condiciones
reales simuladas y a que travs del Indicador de
Usabilidad (IU), se califica el diseo y por ende su
impacto en la seguridad y eficacia, ya que el IU es
inversamente proporcional a la probabilidad y
frecuencia de ocurrencia de potenciales errores
humanos durante el uso en condiciones no controladas
y viceversa.
En nuestro trabajo tiene como objetivo dar a conocer
de forma general en que consisten y como se
desarrollan las pruebas de usabilidad, y que a travs de
sus resultados se puede medir el grado de satisfaccin
de las necesidades del usuario. Se ilustran a algunos
aspectos cuantitativos y cualitativos que se pueden
contemplar durante la realizacin de las pruebas de
usabilidad para obtener el IU, para as demostrar que
los requisitos de seguridad, efectividad y necesidades
del usuario, tomando en cuenta las debilidades y
fortalezas, han sido cumplidos.
Palabras claves: prueba de usabilidad, Diseo
ergonmico, evaluacin del diseo, equipo mdico.

1. INTRODUCCIN
En EUA la Food and Drug Administration (FDA)
recopil informacin de la base de datos relacionada
con las reclamaciones donde se demostr que
aproximadamente de un 45 a 50% se deban a
problemas de diseo ergonmico de los equipos[7]. En
el ao 1999 se publica por el Instituto de Medicina, de
la Academia Nacional de Ciencias de Washington, el
libro Errar es Humano[6] donde se expone que el
nmero de reportes anualmente recibidos debido a
problemas con los equipos mdicos son de
aproximadamente 80000 a 85000, que si asumimos el
mismo por ciento de los aos 85-89 entonces el valor

de eventos adversos asociados al diseo ergonmico

es aproximadamente de 40000 a 42000. En nuestro
pas se han reportado 9 eventos adversos causados por
problemas de diseo, de un total de 31 reportes [1].
Estos valores indican que un 29% de los reportes son
por problemas de diseo del equipo
La usabilidad es una caracterstica que muestra en que
medidas las soluciones aplicadas al diseo
ergonmico, del equipo mdico han tomado en
consideracin las debilidades y fortalezas del usuario,
para obtener un equipo usable de forma cmoda segura
y eficaz en el ambiente mdico.[3,9]
La prueba de usabilidad tambin conocida como
prueba de usuario es una tcnica empleada para
determinar objetivamente cun usable o no es el
equipo [2] en condiciones reales o simuladas y no de
manera subjetiva o por apreciacin esttica del diseo;
los resultados de estas pruebas puede expresarse por
medio del IU, que est en funcin de la rapidez,
seguridad y facilidad con que se opera, se chequea y
fijan los parmetros de funcionamiento[4]. Las
pruebas de usabilidad permiten, evaluar el impacto del
diseo sobre los requisitos fundamentales o esenciales.
Entre las principales ventajas que ofrecen estas
pruebas, es obtener, como resultado final del proceso,
un producto con un diseo ergonmico de la interfase
equipousuario-medio ambiente, teniendo en cuenta al
usuario real, en la que los posibles errores humanos
relacionados con el uso, son reducidos a valores
mnimos con un pequeo gasto de costo y tiempo, los
resultados son ms confiables y reales, que los
obtenidos por las tcnicas analticas solamente[10]. La
ejecucin de las pruebas de usabilidad deben hacerse
en las etapas tempranas del diseo y desarrollo del
equipo ya que permite acortar el tiempo de entrada del
equipo al mercado ya que existen pocas probabilidades
de ser modificado durante el ciclo de vida [7].

2. METODOLOGA.
Las primeras pruebas de usabilidad pueden y deben
comenzarse a llevarse desde la conceptualizacin del
diseo antes de construir el primer prototipo, las
mismas pueden ser efectuadas en maquetas,
simuladores o mediante modelos computarizados. Una
vez obtenidos dichos resultados y en la medida en que
se avance con la ejecucin de las pruebas de usabilidad
el uso de prototipos es ms aconsejable ya que en los

950-7132-57-5 (c) 2001, Sociedad Cubana de Bioingeniera, artculo 00440

mismos los resultados son ms fieles al equipo final

deseado, por lo tanto, los resultados de las pruebas son
ms confiables y reales que las realizadas en las
maquetas o simuladores y aportan mayores evidencias
sobre las potencialidades y debilidades del sistema.
Mediante las pruebas de usabilidad se valida el diseo
del equipo acorde al uso previsto,[9] adems de la
comprobacin de los requisitos fundamentales, estas
pruebas brindan al fabricante la posibilidad de mejorar
el funcionamiento, la esttica del equipo y la
potencialidad de venta. En el caso de los equipos
mdicos estas pruebas permiten identificar,
comprender, y mitigar los riesgos asociados con su
uso.
Una prueba de usabilidad correcta tiene que ver con:
1. Evaluacin y Prueba (experimental y de
aceptacin).
2. Anlisis de qu es lo crtico en la interfase usuario
y especificacin de los niveles de aceptacin de la
usabilidad.
3. Seleccin y uso de mediciones apropiadas para
cuestiones especficas.
4. Consideraciones de la realizacin humana y del
sistema. [11]
Las pruebas de usabilidad pueden ser ejecutadas por
diversas vas con diferentes grados de complejidad
pero deben incluir los siguientes aspectos o
caractersticas.
El objetivo general de mejoramiento que incluye la
seguridad y efectividad
Los participantes en la prueba representan a los
usuarios reales
Los participantes en el ensayo realizarn las tareas
reales que mejor reflejen cun seguro y efectivo es en
el uso que se pretende
Los observadores anotarn los aspectos importantes
relacionados con la opinin y operacin de los
equipos.
Los resultados son analizados para identificar los
peligros y tomar las acciones correctivas para estos
problemas. [2]
Estas pruebas deben ser llevadas a cabo bajo un
protocolo diseado por los investigadores y
diseadores, [8] en el cual se tengan contemplado
aspectos tales como el alcance, objetivos, pruebas a
realizar y criterios de aceptacin de cada prueba
realizada, criterios de seleccin de los individuos,
cantidad suficiente de individuos, requisitos y
necesidades de los usuarios y dems aspectos que
permitan obtener resultados confiables y trazables
durante las pruebas. Este protocolo debe tener un
alcance que contemplen tanto las pruebas de
usabilidad para las secciones, basndose en la
prioridad o importancia de la misma, como para el
equipo en su totalidad, pues la usabilidad es una
caracterizacin integral del equipo.

En el protocolo se describe detalladamente las

secciones que sern estudiadas y que pruebas se le
realizaran a cada una, los objetivos a alcanzar y los
resultados esperados de cada prueba con sus
respectivos rangos de aceptacin para los diferentes
aspectos que se evaluarn, as como las
consideraciones e implicaciones para la seguridad y
efectividad de los posibles tipos de errores a cometer
por los usuarios y as sucesivamente con el resto de los
elementos que se deseen comprobar.
Este protocolo debe ser revisado por un equipo tcnico
independiente el cual bajo un estudio podr admitir o
recomendar modificaciones para mejorar y obtener
resultados que reflejen mejor el impacto del diseo
sobre el equipo mdico.
El IU general del equipo se obtiene llevando a cabo
pruebas de usabilidad de forma integral a todas las
secciones que integran el equipo, prestando mayor
inters a aquellas secciones que ms repercusin o
importancia tiene a de acuerdo al uso previsto del
equipo.
La obtencin del IU se calcula sobre la base de los
resultados obtenidos en las pruebas, a las cuales se les
imponen una calificacin en puntos mxima por cada
posible respuesta definida en el protocolo, los
resultados alcanzados en dichas pruebas son
calificados en funcin de la puntuacin antes
mencionada, una vez alcanzados todos los resultados
se calcula el promedio total para esa seccin o equipo
en su totalidad llegndose de esta manera al IU
particular o general partiendo de una usabilidad
terica del 100% (ver tabla #1).
Tabla I
Elementos cuantitativos y cualitativos a incluir durante la
realizacin de las pruebas de usabilidad
Aspectos Cuantitativos
1
2
Aspectos Cualitativos
Cantidad de errores del
usuario.
-0 y <5
- > 5 y < 10
- > 10
Tipos o severidad de
los errores
- menor
- mayor
- critico
Incidencia del mismo
tipo de error.
Baja
Media
Alta
Tiempo de ejecucin
Rpido
Medio
Lento
Subtotal promedio
Indicador de usabilidad
(%)

10
5
0

10
5
0

10
5
0

Opinin del usuario

Buena
Regular
Mala
Satisfaccin del usuario
Completa
Media
Incompleta
Uso de colores, smbolos
y marcas
Bueno
Regular
Malo

10
5
0

10
5
0

10
5
0

Sobrecarga subjetiva
10
5
0

Baja
Media
Alta
Subtotal promedio

10
5
0

Nota: los valores expuestos en la columna 1 son los puntos mximos

para cada determinacin y la columna 2 es para los puntos obtenidos

Para las primeras etapas del diseo se debe llevar a

cabo las pruebas de usabilidad para aquellas secciones
de mayor inters y que ms influencia ejerce sobre la
usabilidad del equipo como un todo, con el objetivo de
asegurar que las soluciones de diseo implementadas
para esa seccin son correctas y que por lo tanto se
puede avanzar a una evaluacin de otra seccin o del
equipo en su totalidad. La pruebas de usabilidad para
el equipo integral tambin persiguen el objetivo que
las diferentes partes no entren en contradiccin una
con la otra.
Las pruebas de usabilidad deben ser llevadas a cabo
por un grupo de diseadores independientes al
proyecto del equipo. Por otro lado las pruebas al
sistema deben estar validadas de manera que los
resultados obtenidos sean reproducibles y confiables y
que su interpretacin sea comn por todos los
especialistas del tema.
Las pruebas de usabilidad entre otros resultados que se
esperan es la de brindarle a los evaluadores del ensayo
la cantidad de tipos de errores diferentes en que se
puede incurrir durante la operacin del equipo, as
como sus implicaciones, frecuencia y consecuencias
para la seguridad, eficacia y funcionamiento y que
medidas fueron creadas por los diseadores para
contrarrestar o eliminar dichas consecuencias.
Como resultado de las pruebas de usabilidad se
obtienen datos medibles o cuantificables como por
ejemplo: Tipos de errores, severidad de los errores
(menor, mayor y crticos) en funcin del riesgo que
implican para el funcionamiento y eficacia correcto del
equipo, tiempo necesario en ejecutar una operacin,
ajustes de parmetros de operacin y de alarmas entre
otros, tambin se obtienen criterios cualitativos a partir
de las opiniones de los usuarios, resultados de los
grupos de participantes, cuestionarios de datos, ndices
de sobrecarga subjetivos, entrevistas, anlisis de los
protocolos de comunicacin, entre otros. Otro aspecto
ventajoso que se obtiene es la posibilidad de mejorar la
productividad del equipo durante su preparacin y uso
en el trabajo.
La cantidad de aspectos cuantitativos y cualitativos
que deben ser abordados durante las pruebas de
usabilidad para las diferentes secciones o para el
equipo en su conjunto se establecen en el protocolo por
los investigadores y diseadores del equipo mdico y
en la medida que sean contemplados ms aspectos,
ms significativo y confiable ser el valor del IU.
Clasificacin De La Usabilidad.
La clasificacin del IU permite evaluar el diseo
ergonmico de la interfase hombre-maquinamedioambiente, y en que medida ha sido considerado
al usuario con sus debilidades y fortalezas, as como la
probabilidad de cometer errores que comprometan la
seguridad y efectividad del equipo para el uso previsto

en condiciones no controladas, es decir, en la medida

que el IU sea mayor, la probabilidad de la ocurrencia
de cometer errores de tipo humano es mucho menor.
Siempre existe un nmero de errores humanos, para
los cuales a travs de las pruebas de usabilidad se
prevn las acciones correctivas como por ejemplo
advertencias, entrenamientos, manuales de usuario, los
que tienen como objetivo final reducir, mitigar o
tolerarlos sin consecuencias graves para el
funcionamiento del equipo o para el usuario.
Clasificacin del Indicador De Usabilidad (IU).
La clasificacin se divide en 4 categoras:
- 0 a 25%
mala
- 25% a 50%
regular
- 50% a 75%
buena
- 75% a 100%
muy buena.
El criterio de aceptacin del IU del equipo mdico est
en funcin de la clase de riesgo, por lo tanto los
equipos de mayor riesgo clase IIb y III debern tener
un IU general mayor de un 85% as como para sus
funciones criticas, mientras que los equipos de menor
riesgo el IU pueden estar entre 65-85%, (I y IIa).
No obstante, este estudio tambin se debe basar en un
anlisis de costo beneficio, pues tampoco es
aconsejable un diseo muy costoso econmicamente si
los beneficios o el uso para el que esta destinado el
equipo no lo requiere.
En general, se deben disear y concebir los equipos
mdicos con un IU general mayor del 85% de manera
que la probabilidad de ocurrencia de errores humanos
por un deficiente diseo de la interfase de operacin
equipo-hombre-medio ambiente sea reducida al nivel
mas bajo prcticamente posible.

3. RESULTADOS Y DISCUSIN
Los resultados de implementar estas pruebas desde las
etapas iniciales del diseo implican obtener equipos
con niveles elevados de seguridad ya que el diseo es
evaluado en condiciones y con usuarios reales, donde
los problemas encontrados son solucionados a tiempo
con un mnimo de costos, mientras que las posibles
reclamaciones y quejas por los usuarios son reducidas.
El nivel de seguridad del diseo es expresado por el
IU, que debe ser mayor en funcin de la clase de riesgo
del equipo segn la tabla II.
Considerar un equipo con un IU entre de 65-60% es
aceptado si el diseador demuestra que no existen
posibilidades reales desde el punto de vista de diseo
como econmico que mejoren significativamente este
indicador y que para contrarrestar los potenciales
efectos se han implementado medidas de seguridad y
de control, alarmas e indicadores para las funciones
criticas del sistema que permiten que la seguridad y
efectividad del equipo mdico no sean afectadas.

Sin embargo, un equipo que posee un IU general por

debajo del 60% denota, un diseo deficiente y los
posibles errores que se generan durante el uso son
elevados atentando contra la seguridad y eficacia
requerida, por lo tanto sera aconsejable redisear esta
variante aplicada, o de lo contrario implementar una
variante nueva en que el IU sea mejorado hasta valores
aceptables de acuerdo al nivel de riesgo que posee el
equipo que se pretende disear.
Tabla II
Clasificacin del diseo en funcin del indicador de
usabilidad.
Valores recomendados del
IU segn la clase de Riesgo
del Equipo Mdico.
I
IIa
IIb
III

Clasificaci
n del diseo.

Valor
de
IU(%)

Mala
Regular
Buena
Muy buena

0-25
25-50
50-75 65-85 65-85
75-100

>85

La aplicacin de las pruebas de usabilidad en la etapa

inicial del diseo, verifica y comprueba que el diseo
para el equipo en su conjunto logra disminuir los
potenciales errores humanos y por lo tanto los riesgos
a los que puede estar expuesto el paciente, tambin se
mejora la aceptacin y comodidad en la operacin del
equipo por parte del usuario en general. El proceso de
evaluacin por secciones permite avanzar en el
desarrollo del diseo de los siguientes mdulos de
forma segura, mientras que la evaluacin integral
permite hacer un anlisis total del sistema con las
respectivas influencias que ejercen las diferentes
sesiones en el funcionamiento de todo el equipo.
En estas pruebas ejecutadas por el fabricante durante
la fase de diseo y prototipo salen a relucir los
problemas de diseo que pueden ser solucionados sin
incurrir en grandes gastos y esfuerzos, que de no
solucionarse antes de la fase productiva y de
comercializacin se convierten en prdidas
econmicas y reclamaciones por parte de los usuarios
por productos poco seguros y eficaces en el uso.

>85

REFERENCIAS
El IU constituye un criterio numrico concreto que
define objetivamente en que medida el equipo es
usable de manera rpida segura y cmoda. Visto
desde otro punto de vista constituye un coeficiente de
seguridad del diseo el que es inversamente
proporcional con la frecuencia y ocurrencia de errores
debido a un deficiente diseo de la interfase hombreequipo-medio ambiente. Adems el IU permite:
- evaluar el diseo ergonmico, de una manera
palpable, sin la base de criterios subjetivos o
estticos, pudindose
convertir en otro dato
tcnico, dentro de la relacin de especificaciones
tcnico del equipo.
- hacer anlisis comparativos entre equipos de
un mismo gnero, siempre y cuando las pruebas de
usabilidad contemplen los mismos objetivos de
evaluacin.
- establecer pruebas especificas para grupos de
equipos de un mismo gnero, que a su vez fijen
valores admisibles mnimos para el indicador que
deben cumplir estos equipos de una misma clase de
riesgo.

4.CONCLUSIONES
La implantacin de las pruebas de usabilidad para la
evaluacin del diseo constituye una metodologa que
permite constantemente verificar y ajustar el diseo a
los requisitos regulatorios y del usuario. Los criterios y
observaciones sobre el diseo son sustentados sobre
una base objetiva. Este modo de evaluacin del diseo
sigue las tendencias internacionales actuales.

[1]
[2]

CCEEM. Alertas de Seguridad emitidas desde 1992

Food and Drug Administration. CDRH. Device Use Safety:
Incorporating Human Factors in Risk Management, (draft guidance)
August 3, 1999. En: www.fda.gov/cdrh/HumanFactors.hmtl
[3] Food and Drug Administration. CDRH. Human Factors General
Information. 1999. En: www.fda.gov/cdrh/humfac/hufacgen.hmtl
[4] Food and Drug Administration. CDRH. Human Factors Points
to
Consider
for
IDE
Devices.
1997.
En:
www.fda.gov/cdrh/humfac/ide_hf.hmtl
[5] GHTF SG 3. Design Control Guidance for Medical Device
Manufacturers (draft). 1997
[6] Kohn LT, Corrigan JM, Donaldson MS, ed. To Err Is Human.
Building a Safer Health System. Washington: National Academy
Press, 1999.
[7] OConnell GM. Human Factors in the GMP Inspeccion
Process. 1996
[8] Sawyer, Dick. Do it by Design. An introduction to human
factors
in
Medical
Devices.
1996.
En:
www.fda.gov/cdrh/HumanFactors
[9] Semple, Clarence. Design Control and Usability Engineering.
1998
[10] Sue M. Human Factors and Medical Devices: Lack of Device
Feeback. User Facility Reporting, issue14, pp. 1-8, 1995.
[11] Welch, Daniel L. Human Factors Usability Test and
Evaluation. En: Biomedical Instrumentation & Technology. 32 (2):
183-87, 1998.

USABILITY TEST IN MEDICAL DEVICES

ABSTRACT
The evaluation of design frequently is based in esthetic criteria of users and pacients, also this
evaluation is carry out in ended steps before of comercialization, where problems of desing, use
and aceptation can not be resolved, and sometimes could cause injures on users and pacients who
recalls by this problems. Usability tests allows to evaluate the design under simulated real
conditions and through of Usability Indicator (UI), design is qualified and it impact in safety and
efficacy. The UI is inversily proportional to the probability and frequency of human been error
potential occurrence during it use in no-controlled conditions. The aim of our work is to give, in
general form, what is and how is developed the usability test and through its results we can
measure the satisfaction degree of users needs. Some cuantitative and qualitative aspects
are ilustrated that can be contemplated during usability tests implementation to obtein the
UI and to demostrate that safety and effectiveness requirements and users needs, taking
acount strongs and weakness have been accomplish.
Keywords: Usability Test, Ergonomic Design, Evaluation of design, Medical devices.