UNIVERSIDAD POLITECNICA SALESIANA FACULTAD DE INGENIERIA CARRERA DE INGENIERIA ELECTRNICA

TEMA: DISEO Y CONSTRUCCION DE UN GUANTE PROTOTIPO ELECTRNICO CAPAZ DE TRADUCIR EL LENGUAJE DE SEAS DE UNA PERSONA SORDOMUDA AL LENGUAJE DE LETRAS

ANTE-PROYECTO DE GRADUACIN PARA LA OBTENCIN DEL TTULO DE INGENIERO ELECTRNICO.

REALIZADO POR:

HERNN AUGUSTO POGO LEN hpogo@est.ups.edu.ec

PABLO ANDRS ESPINOSA AGUILAR pespinosaa@est.ups.edu.ec

2012 CUENCA ECUADOR

1. TEMA: DISEO Y CONSTRUCCION DE UN GUANTE PROTOTIPO ELECTRNICO CAPAZ DE TRADUCIR EL LENGUAJE DE SEAS DE UNA PERSONA SORDOMUDO AL LENGUAJE DE LETRAS. 2. JUSTIFICACIN En nuestro medio las personas privadas de hablar y escuchar aprenden la comunicacin manual (mmica dactilolgica) y/o la lectura labio facial para poder comunicarse con la sociedad, sin embargo la gran mayora de personas con la capacidad de hablar no entienden su mmica dactilolgica. Un cierto porcentaje de las personas con discapacidad son de escasos recursos econmicos y por esta razn no pueden acceder a un trabajo bien remunerado, ya que toda actividad exige de una buena comunicacin para poder realizar las distintas tareas que se asignen. Datos estadsticos proporcionados por el CONADIS [7] revelan que del total de la poblacin del Ecuador, el 13,2 % son personas con algn tipo de discapacidad (1`600.000 personas), y podemos sealar que en el pas existen aproximadamente:

592.000 personas con discapacidad por deficiencias fsicas 432.000 personas con discapacidad por deficiencias mentales y psicolgicas 363.000 personas con discapacidad por deficiencias visuales; y, 213.000 personas con discapacidad por deficiencias auditivas y del lenguaje

Es por este motivo que la implementacin de un sistema traductor que permita a una persona sordomudo interactuar sin problemas con la sociedad podra resolver el problema de la pobreza extrema en la comunidad de discapacitados sordomudos as como tambin asegurar una mejor comunicacin con las personas que no sufren de esta discapacidad mejorando su nivel de vida. Viendo la necesidad de que las personas sordomudas puedan comunicarse con ms facilidad con el resto de la sociedad (personas que no sufren de esta discapacidad), se ha planteado disear y construir un guante electrnico para las personas sordomudas capaz de traducir el lenguaje de seas sordomudo al lenguaje de letras del alfabeto castellano. El presente proyecto desarrolla el Diseo y Construccin de un Guante que capture el movimiento de los dedos de la Mano de una persona sordomuda para luego traducir el Lenguaje de seas sordomudo al lenguaje alfabtico. Est enfocado a ayudar a las personas privadas de hablar, con el fin de mejorar una comunicacin con el resto de la sociedad.

Mediante este proyecto tratar de: Interpretar las seas ms importantes utilizadas por las personas privadas del habla. Establecer una comunicacin entre las personas privadas del habla con el resto de la sociedad Que las personas privadas del habla utilicen el proyecto como una fuente de aprendizaje para el lenguaje bsico de seas Sordomudo.

Institucin beneficiada por el proyecto: Para tener una idea ms clara en la realizacin del proyecto fuimos al Instituto Especial de Invidentes y Sordos del Azuay I.E.S.A. en donde nos recibi la directora Lcda. Miryam Falconi , expresndonos que la realizacin de este proyecto fuera de gran ayuda para el aprendizaje de las personas sordas de esta institucin, adems no supo orientar de mejor manera en cuanto al lenguaje de seas que se utiliza en nuestro pas ya que nos supo aclarar que es diferente el lenguaje de seas que utilizan otros pases.

3. OBJETIVOS a. OBJETIVO GENERAL Disear y construir un guante prototipo electrnico capaz de convertir el lenguaje de seas, en lenguaje escrito o hablado para mejorar la comunicacin con las dems personas dotadas de hablar. b. OBJETIVOS ESPECIFICOS Disear y construir un guante sensitivo para la captura del movimiento de los dedos de la mano. Disear y construir una tarjeta con interfaz USB que permita la comunicacin entre el guante prototipo y la computadora. Disear una Aplicacin (Software en MATLAB 2010) para adecuar y visualizar la informacin segn los movimientos que realice los dedos de la mano capturados por el guante. Este software se ejecutar en una computadora. Visualizar en una aplicacin tanto el alfabeto latino como el lenguaje de seas utilizada por una persona sordomudo la cual se encargara de realizar la traduccin adecuada del lenguaje de seas al lenguaje alfabtico.

4. DELIMITACIONES. a. DELIMITACIONES 4.1.1 Delimitacin Geogrfica: Nuestro proyecto y sus respectivas investigaciones se centrar en la ciudad de Cuenca provincia del Azuay. 4.1.2 Delimitacin del Universo Estadstico: En la provincia del Azuay existen 1927 personas con discapacidades auditivas o de comunicacin. Nos centraremos en las Instituciones Educativas para personas sordomudas de la ciudad de Cuenca, entre 200 y 300 personas aproximadamente. 5. MARCO TERICO 5.1 INTRODUCCIN. ANATOMA DE LA MANO. Mediante el estudio de la anatoma de la mano podremos tener una idea clara para realizar correctamente el diseo y construccin del guante electrnico as como tambin la adquisicin de los datos y el tipo de sensor a utilizar.[1]

Fig. 1: Anatoma de la Mano. [1] La mano est constituida por 27 huesos que se agrupan en tres reas distintas: Huesos del carpo,

Huesos del metacarpo, Huesos de los dedos.

METACARPO El metacarpo constituye el esqueleto de la regin palmar y consta de cinco huesos contados desde del pulgar hacia fuera, como se observa en la Figura 2. CARPO El carpo est formado por ocho huesos pequeos en dos hileras transversales. Todos los huesos del carpo son irregularmente cuboides y por consiguiente tienen seis caras. De estas 6 caras, la anterior o palmar y la posterior o dorsal son rugosas y estn en relacin con las partes blandas de la regin palmar y de la regin dorsal. Las otras cuatro, son lisas y estn recubiertas de cartlago. DEDOS Los dedos son los rganos esenciales de prensin y del tacto, muy mviles. Sus huesos estn articulados con los metacarpianos y tambin se numeran del 1 a 5 comenzando por el pulgar. Estn formados por tres columnas decrecientes que se denominan falanges (primera, segunda y tercera falanges). [1]

Fig. 2: Huesos de la Mano. [1]

LENGUAJE DE SEAS QUE UTILIZA UNA PERSONA SORDOMUDA Se presenta el lenguaje de seas que utiliza una persona sordomuda para comunicarse con sus semejantes y con el resto de la sociedad.

Fig. 3: Lenguaje de Seas. [8] Las seas dibujadas en color oscuro muestran la letra del alfabeto correspondiente tal como se ve cuando las ejecuta una persona, frente a nosotros, con la mano derecha. Las seas dibujadas en color claro representan la misma letra que se encuentra a su izquierda pero vista desde otro ngulo; su nico objetivo es el de aclarar la posicin de los dedos o el movimiento de la mano. SENSORES A UTILIZAR Sensores Piezoelctricos. Los sensores piezoelctricos tienen la particularidad que al ser flexionados se produce un cambio en la resistencia elctrica entre sus terminales. Son transductores pasivos, es decir necesitan alguna excitacin o polarizacin para poder convertir un tipo de energa en otra. En este proyecto se utilizar un circuito partidor de tensin, de modo que al flexionarlos se obtenga un voltaje proporcional al grado de flexin. FLEX SENSOR

Fig. 7: Flex Sensor.[1]

El Flex Sensor, como se muestran en la Figura 7, es un sensor que cambia su resistencia dependiendo de la cantidad de curva que experimenta el sensor. Su variacin en curvatura es convertido a resistencia elctrica, cuanto ms es la curva, ms es el valor de la resistencia. Se dispone en una tira fina a partir de 1" a 5" de largo, largo que vara en resistencia de aproximadamente 10 K a 40 K. [1] Cuando el sensor est recto completamente tiene una resistencia nominal de 10 K. Mientras que si es flexionado la resistencia aumenta casi proporcionalmente. En 90 la resistencia de los sensores aumenta a aproximadamente 35 K.

Fig. 8: Valor aproximado de la resistencia segn la flexin (grados). [1] ARQUITECTURA DEL PUERTO USB. A pesar de que el puerto USB nos ofrece ms ventajas que sus predecesores, su complejidad para implementarlo es enorme, ya que su funcionamiento est basado en protocolos de software. El hub es un elemento plug and play en la estructura USB y es un concentrador al cual, se le pueden agregar ms dispositivos USB, incluyendo otro hub. La velocidad de transferencia depende de la velocidad del HUB que se est utilizando. Ver figura 9. Las velocidades tpicas son: 480Mb /s en high speed, 12Mb/s fullspeed y 1.5Mb/s en Lowspeed.[4]

Fig. 9 Mltiple velocidad en un BUS. [4]

El cable que tpicamente es usado no es largo, debido a la velocidad de transferencia y tiene la estructura mostrada en la figura 10. Sus terminales son del tipo diferencial y consta de 4 hilos.

Fig. 10: Cable USB.[4] La arquitectura USB comprende cuatro tipos bsicos de transferencia de datos: Control Transfers: Es usado para configurar un dispositivo al momento de que se conecta. Los datos entregados pueden perderse. Bulk Data Transfers: Entrega el dato por volumen, el ancho de banda puede variar. Es usado en escner cmaras. La rfaga de datos es secuencial. Interrupt Data Transfers: Used for timely but reliable delivery of data, for example, characters or coordinates with humanperceptible echo or feedback response characteristics. Isochronous Data Transfers: Occupy a prenegotiated amount of USB bandwidth with a prenegotiated delivery latency. (Alsocalledstreaming real time transfers). Aunque el PIC no puede funcionar como host, ya que se requiere de una gran capacidad de manejo de datos para administrar a cada componente del BUS, es suficiente que se pueda administrar como un device, para esto se requiere memorizarle los protocolos necesarios para enlazarse al host. Estos protocolos se le llaman descriptores y sirve para informarle al host todo lo necesario para que pueda administrarlo. Los PICs de la serie 18Fxx5x tienen tres modos de funcionamiento: 1. USB Human Interface Device (HID): Velocidad Baja, no requiere driver. 2. USB Communication Device Class (CDC): Velocidad Media, requiere driver. Crea un Puerto Serie Virtual. 3. USB Custom Driver: Velocidad Alta, requiere driver. Este es el modo que usa WinUSB (para windows vista) y el mpusbapi (windows 2000 y posterior). Dentro de los protocolos hay que especificar el tipo de transferencia de datos a usar (endpoints), VID&PID, nombre y serie del producto que se conecta para que el host identifique al driver y pueda instalarlo con el fin de que el dispositivo pueda formar las pipes tneles para su comunicacin con el host (ver figura 11).

Fig. 11: Flujo de comunicacin USB. [4]

CONFIGURACION DEL MODULO ADC DEL PIC Caractersticas: En 10 bits de resolucin. 13 canales multiplexados. Seal de reloj configurable. Tiempo de adquisicin programable (0 a 20 TAD). Rango de tensin de conversin configurable mediante tensin de referencia externa. el compilador C las funciones para manejar el convertidor AD son:

setup_adc(mode); mode: configura el mdulo del conversor A/D correspondientes a los bits 7:6 del registro ADCON0. Mode puede ser:

Mode ADC_OFF ADC_CLOCK_INTERNAL ADC_CLOCK_DIV_2 ADC_CLOCK_DIV_8 ADC_CLOCK_DIV_32

Accin ADC Apagado ADC usa oscilador interno 32 khz ADC preescalar 2 (Fosc/2) ADC preescalar 8 (Fosc/8) ADC preescalar 32 (Fosc/32)

Tabla 1. Configuracin del Mdulo ADC del PIC. [6]

setup_adc_ports(value); value: Definicin de las entradas analgicas correspondientes a los bits 3:0 del ADCON1

Tabla 2. Entradas analgicas del PIC. [6]

set_adc_channel(channel); channel: seleccin del canal analgico correspondiente a los bits 5:2 de ADCON0. 0(AN0) 1(AN1) 2(AN2) 3(AN3) 4(AN4) 8(AN8) 9(AN9) 10(AN10) Value=read_adc(); Lectura del resultado donde value es un entero de 16 bits. La directiva utilizada determina el nmero de bits del ADC. Por ejemplo #device 18F4550, debe incluir la indicacin del nmero de bits del conversor, as: #device adc = 10. read_adc() permite tres modos de funcionamiento ADC_START_AND_READ ADC_START_ONLY ADC_READ_ONLY Inicio y lectura del convertidor. Opcin por defecto Slo inicio la conversin Slo lee los registros del conversor 5(AN5) 6(AN6) 7(AN7)

11(AN11) 12(AN12) 13(AN13)

10

COMUNICACIN USB CON PIC 18F4550 Y PC

Fig. 12: Esquema del circuito para la comunicacin USB. [9] Lo que se pretende en este proyecto es implementar una comunicacin bidireccional masiva, bulk transfers, entre el PIC y el Software del PC va USB 2.0 a full speed. Como intermediarios se utilizaran dos recursos de Microchip: El Driver para Windows y la dll mpusbapi.dll. Para el firmware se utilizar como base los ejemplos y descriptores USB que trae como ejemplos el CCS C, adaptndolo a los requerimientos del proyecto, fundamentalmente darles los VID&PID que espera encontrar el driver para Windows y el tamao mximo del buffer de emisin-recepcin del canal USB, mas alguna que otra descripcin. Despus de esto solo nos quedar definir los comandos que vamos a procesar en l e implementar las funciones que lo realizan efectivamente. De la parte del PC se tendr que instalar el Driver para Windows XP que nos ofrece Microchip, que nos va a servir de puente entre nuestro software con el canal USB del PC. Es quien define los VID&PID que vamos a utilizar. En el software en MATLAB los VID&PID definidos en el Driver y en el Firmware e implementar de forma complementaria los mismos comandos USB que van a ser procesados por el Firmware. Para el software en MATLAB se dispone tambin del unit que sirve de puente entre la aplicacin y la mpusbapi.dll.

11

Con todo ello se pretende conseguir el envi de comandos e informacin al PIC y que conteste oportunamente devolviendo lo que corresponda.

6. DESCRIPCION DEL SISTEMA ADQUISICION DE DATOS La etapa que mejor debe ser diseada para los parmetros a medir es la etapa de adquisicin de datos. Los Parmetros a censar son los siguientes: Flexin de los dedos. Grado de inclinacin de la mano. Postura de la mueca.

Fig. 4: Angulo de flexin de cada uno de los dedos. [1]

Fig. 5: Ubicacin de los sensores Flexibles. [1] Nuestro sistema est formado bsicamente de 4 partes: 1. Un arreglo de sensores que detectan el movimiento de las articulaciones de la mano,

12

2. Un circuito que permite digitalizar las seales provenientes de los sensores. 3. Un sistema de comunicacin USB entre el circuito y la computadora. 4. Una aplicacin encargada de adecuar y visualizar la informacin (software). Los sensores estn hechos de materiales flexibles y permiten medir la magnitud de la deformacin a los que son sometidos. En caso de que el sensor sea doblado, el voltaje en sus terminales puede relacionarse con el ngulo de flexin.[1]

Fig. 6: Ubicacin de los sensores flexibles en los dedos de la mano.[1] El software de nuestro sistema se ejecuta en la computadora externa y permite leer la informacin proveniente del hardware de captura. El comportamiento de los datos capturados puede visualizarse directamente en la aplicacin.

6.1 FUNCIONAMIENTO DEL GUANTE ELECTRNICO. En este trabajo se realiza el diseo y construccin de un guante electrnico sensitivo al movimiento el cual poseer diez sensores flexibles, dos sensores en cada uno de los dedos de la mano.

13

El prototipo diseado tendr como base un guante, al cual se le acoplarn sensores y una aplicacin para procesar y desplegar la informacin en la pantalla de una PC. El hardware del sistema est formado bsicamente por un microcontrolador, y un conjunto de sensores flexibles. Dos sensores en cada uno de los dedos de la mano (10 sensores flexibles en total), de tal forma que al doblar los dedos sea posible medir el ngulo de flexin. Las seales provenientes del arreglo de sensores ingresan a los puertos de conversin analgico/digital (A/D) del microcontrolador 18F4550, un sensor por puerto (A/D). Una vez que las seales son digitalizadas se construye un vector por cada seal monitoreada de cada sensor. Estos vectores son transferidos a una computadora externa a travs de un puerto USB. En MATLAB 2010 versin 7.10.0.499 se desarrollar una aplicacin que procese la informacin proveniente de cada sensor. La aplicacin relacionar los valores enviados por los sensores con una base de datos correspondientes a los valores de cada una de las seas para que luego el programa identifique la letra correspondiente segn el lenguaje de seas capturado, en donde cada sea producida por la persona sordomuda (con el guante colocado) ser traducida a su correspondiente letra del alfabeto. Es importante considerar que las personas tienen diferente tipo de mano en cuanto se refiere al tamao de la misma, por esta razn se considera conveniente que debido a esto se van a obtener algunos errores cuando se coloquen el guante ya sea un nio o un adulto, es por esto que se realiza un entrenamiento previo en el software para recalibrar los datos segn el tamao de la mano. Tambin se ve como posibilidad de solucin la recalibracin en hardware, pues con el buen diseo del guante se puede realizar uno que se adapte a cada tipo de mano existente, entonces acorde a estos futuros anlisis se utilizara el mtodo ms factible para el buen funcionamiento. El prototipo tiene como base un guante al cual se le acopl un hardware especfico y una aplicacin encargada de adecuar y visualizar la informacin. El prototipo del sistema puede monitorear las seales de diez sensores.

7. ESQUEMA DE CONTENIDOS

CAPITULO I. INTRODUCCIN GENERAL. 1.1 Introduccin. 1.2 Anatoma de la Mano Humana. 1.2.1 Carpo 1.2.2 Metacarpo 1.2.3 Dedos. 1.3 Estudio de los Dedos de la Mano.

14

CAPITULO II. ANALISIS DE LOS DIFERENTES TIPOS DE SENSORES. 2.1. Tipos de Sensores. 2.1.1. Bend Sensor. 2.1.2. Galgas Extensomtricas. 2.1.3. Sensores pticos. 2.1.4. Sensor de Presin 2.1.5. Acelermetro 2.1.6. Sensor Lineal de Posicin (LVDT). 2.1.7. Sensor Flexible 2.2. Seleccin del Sensor a utilizar 2.2.1 Justificacin del Sensor a utilizar 2.3. Tipos de Acondicionamiento de la Seal del Sensor Flexible. 2.3.1 Justificacin del Tipo de Acondicionamiento seleccionado. 2.4 Propuesta de Diseo 2.4.1 Especificacin del Software 2.4.2 Especificacin del Hardware CAPITULO III. DISEO Y CONSTRUCCION DEL HARDWARE. 3.1. Construccin del Guante Traductor. 3.1.1 Parmetros del Guante Traductor para su Construccin. 3.1.2 Diseo del Guante traductor y Distribucin de Sensores. 3.2 Calculo de la variacin de la resistencia de los Sensores Flexibles. 3.3 Circuitos de acondicionamiento de los Sensores Flexibles. 3.4 Construccin de la tarjeta de adquisicin de datos 3.4.1 Parmetros de la tarjeta de adquisicin de datos. 3.4.2 Circuito de adquisicin de datos del PIC 18F4550 con interfaz USB 2.0. CAPITULO IV. DESARROLLO DEL SOFTWARE. 4.1 Consideraciones para el desarrollo del programa del Microcontrolador 18F4550 4.1.1 Desarrollo del Programa del Microcontrolador 18F4550 4.1.1.1 Manejo de los puertos Analgicos del PIC 18F4550 4.2 Consideraciones para el desarrollo del programa en MATLAB 2010 4.2.1 Comunicacin entre la tarjeta interfaz y la aplicacin desarrollada en Matlab. 4.2.2 Interpretacin de las seales adquiridas. 4.3 Interfaz de Usuario.

15

4.3.1 Visualizacin de la traduccin del Lenguaje de seas al Lenguaje Escrito. 4.3.2 Sistema de muestreo para su recalibracin. CAPITULO V. ANALISIS DE RESULTADOS. 5.1. Pruebas de funcionamiento 5.2. Resultados Obtenidos 5.3. Costos del Proyecto CAPITULO VI. CONCLUSIONES Y RECOMENDACIONES 6.1 Conclusiones. 6.2 Recomendaciones.
REFERENCIAS BIBLIOGRAFICAS ANEXOS. A1. Manual de Usuario.

8. CRONOGRAMA DE ACTIVIDADES:

Mes 1 ACTIVIDADES

Mes 2

Mes 3

Mes 4

Mes 5

Mes 6

123 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 CAPITULO I CAPITULO II CAPITULO III CAPTULO IV CAPTULO V CAPITULO VI

16

9. RECURSOS 8.1 RECURSOS FSICOS Dentro de estos recursos se contar con lo siguiente: Computadora Personal. Libros. Revistas. Instrumentos de Medicin Laboratorios UPS. CD`s de Instalacin de software.

Materiales para la construccin de la tarjeta USB y el guante con sus respectivos sensores

8.2 RECURSOS HUMANOS Investigadores: Hernn Pogo Pablo Espinosa 8.3 RECURSOS FINANCIEROS: Todos los gastos que la tesis requiera sern financiados 100% por los autores. 9 BIBLIOGRAFA.

[1]MAILA, Freddy Oswaldo.Diseo y Construccin de un prototipo para captura del movimiento con un grado de libertad de los dedos de una mano y visualizacin en una PC en tiempo real. Tesis (Ingeniero en Electrnica y Telecomunicaciones). Quito, Ecuador. Escuela Politcnica Nacional, Facultad de Ingeniera Elctrica y Electrnica, 2008. 126 p. [2] CAICEDO, David R. y SOLORZANO, Enrique X. Diseo de un traductor de gestos por medio de un guante electrnico sensitivo al movimiento. Tesis (Ingeniero en Electrnica y Telecomunicaciones). Guayaquil, Ecuador. Escuela Superior Politcnica del Litoral, Facultad de Ingeniera en Electricidad y Computacin, 2006. 81 p. [3]Flex Sensor.Rebecca Bray. 2006. Disponible en: <http://www.robotmag.com/robotics/h-bend-sensors.html> [4]POOL, Gabriel J. Transferencia y procesamiento de datos a alta velocidad, mediante el uso de MATLAB, el puertoUSB 2.0 y PIC18F2455 de Microchip. Mrida, Yucatn. Universidad Modelo, Escuela de Ingeniera. 2009. 15 p. [5]Microchip Technology. Data SheetPIC18F2455/2550/4455/4550. USA. 2006

17

[6] GARCIA, Eduardo. Compilador C CCS y simulador PROTEUS para microcontroladores PIC. Barcelona, Espaa. Alfaomega Grupo Editor. 2008. 276 p. [7] CONADIS. Distribucin de las personas con discapacidad por tipo de deficiencia [En lnea]. Cuenca , Ecuador [Consulta: 18 enero 2012]. Institucional. Disponible en: http://www.conadis.gob.ec/estadisticas.htm#estadis [8] ADIS A LA SORDERA. Lenguaje de Seas. [En lnea]. [Consulta: 18 enero 2012]. Disponible en:

http://www.adiosalasordera.com/singLang/lenguaje.htm. [9] LADELEC. Como aprender a usar el Puerto USB con PIC 18f4550 y visual basic. [En lnea].
[Consulta: 18 enero 2012]. Disponible en: http://ladelec.com/practicas/colaboradores/alfredo-rossini/593-comoaprender-a-usar-el-puerto-usb-con-pic-18f4550-y-visual-basic-60.

18