UNIVERSIDAD NACIONAL DE TRUJILLO

FACULTAD DE INGENIERÍA
ESCUELA PROFESIONAL DE INGENIERÍA MECATRÓNICA

DISEÑO E IMPLEMENTACIÓN DE GUANTES ELECTRÓNICOS

SINTETIZADORES DE GESTOS USANDO REDES NEURONALES

AUTOR:

Viera Zegarra, Diego Leonardo

ASESOR:

Ing. Asto Rodriguez, Emerson Asto

TRUJILLO – PERÚ

2019
 GENERALIDADES

1. TÍTULO

Diseño e implementación de guantes electrónicos sintetizadores de gestos usando

redes neuronales.

2. AUTOR

Viera Zegarra, Diego Leonardo

3. TIPO DE TESIS

Investigación aplicada

4. LOCALIDAD E INSTITUCIÓN DONDE SE REALIZARÁ EL PROYECTO

4.1. LOCALIDAD:

Trujillo, La Libertad, Perú

4.2. INSTITUCIÓN:

Universidad Nacional de Trujillo

4. DURACIÓN DE LA EJECUCIÓN DE LA TESIS

Fecha de inicio: Septiembre del 2019

Fecha de término: Diciembre del 2019

5. HORAS SEMANALES DEDICADAS A LA TESIS

24 horas semanales

2
7. RECURSOS

7.1. PERSONAL

Viera Zegarra, Diego Leonardo (Ejecutor)

Ing. Asto Rodriguez, Emerson Máximo (Asesor Principal)
Dr. Mendoza Orbegoso, Elder (Asesor Metodológico)

8. CRONOGRAMA DE EJECUCIÓN DEL PROYECTO

OBJETIVO DURACIÓN

Adquisición de conocimiento 36 días

Selección de componentes 5 días

Implementación de Hardware 18 días

Implementación de Software 24 días

Entrenamiento de Redes Neuronales 22 días

Resultados 3 días

El cronograma detallado se encuentra en el Anexo N° 04

9. MATERIALES Y EQUIPOS

Detalle Unid. Cantidad

1.- Protoboard Unid. 1

2.- Multímetro Unid. 1

3.- Sensor flexible Unid. 5

4.- Tarjeta Raspberry Pi Zero W Unid. 1

5.- Acelerómetro Unid. 1

3
 6.- Guante Par 1

7.- Miniparlante Unid. 1

8.- Laptop Unid. 1

9.- MicroSD - 16 GB Und. 1

9.1. SERVICIOS

Detalle Und Cantidad

1.- Impresiones Hojas 100

2.- Internet Meses 4

3.- Movilidad Meses 4

4.- Telefonía móvil Meses 4

10. PRESUPUESTO

COSTO SUB
DENOMINACIÓN UNIDAD CANT UNIT. TOTAL
S/. S/.
Materiales y Equipos

Protoboard Unid. 1 10.00 10.00

Multímetro Unid. 1 40.00 40.00

Sensor Flexible Unid 5 30.50 152.50

Tarjeta Raspberry Pi Zero W Unid 1 65.00 65.00

Acelerómetro Unid 1 18.00 18.00

Guante Par 1 15.00 15.00

Miniparlante Unid. 1 3.50 3.50

Laptop Unid. 1 - -

MicroSD - 16 GB Und 1 19.00 19.00

Servicios

4
 Impresiones Hojas 100 0.10 10.00
Internet Meses 4 40.00 160.00
Movilidad Meses 4 60.00 240.00
Teléfono Móvil Meses 4 30.00 120.00
TOTAL 853.00

11. FINANCIAMIENTO

- Con recursos propios (100%)

5
 ÍNDICE

I. INTRODUCCIÓN 10
I.1. REALIDAD PROBLEMÁTICA 10
I.2. ANTECEDENTES 12
I.3. ENUNCIADO DEL PROBLEMA 22
I.4. OBJETIVOS 22
I.4.1. GENERAL 22
I.4.2. ESPECÍFICOS 23
I.5. HIPÓTESIS 23
I.6. JUSTIFICACIÓN 23
II. MARCO REFERENCIAL 25
II.1. MARCO TEÓRICO 25
II.1.1. EL SENTIDO DEL OÍDO 25
II.1.2. IMPLICACIONES DE LA DISCAPACIDAD AUDITIVA 26
II.1.3. CAUSAS Y CLASIFICACIÓN DE LA PÉRDIDA AUDITIVA 27
II.1.4. SISTEMAS DE COMUNICACIÓN PARA PERSONAS CON DISCAPACIDAD
AUDITIVA 29
II.1.5. LENGUAJE DE SEÑAS 31
II.1.6. PARÁMETROS FORMATIVOS DEL LENGUAJE DE SEÑAS 31
II.1.7. PLATAFORMAS ELECTRÓNICAS OPEN SOURCE 33
II.1.8. RASPBERRY PI 33
II.1.9. REDES NEURONALES ARTIFICIALES 35
II.1.10. ENTRENAMIENTO DE UNA RED NEURONAL ARTIFICIAL 42
II.1.11. CORRECCIÓN DE ERROR DE UNA RED NEURONAL ARTIFICIAL 42
II.1.12. PERCEPTRÓN MULTICAPA 43
II.1.13. ALGORITMO DE RETRO PROPAGACIÓN 43
II.1.14. PYTHON 44
II.1.15. TENSORFLOW 45
II.2. MARCO CONCEPTUAL 46
III. METODOLOGÍA 49
III.1. VARIABLES 49
III.1.1. Variables independientes o de entrada: 49
III.1.2. Variables dependientes o de salida: 49
III.2. DISEÑO DE EJECUCIÓN 49
III.2.1. Objeto de estudio: 49

6
 III.2.2. Métodos: 50
III.2.3. Población y Muestra: 53
III.3. OPERACIONALIZACIÓN DE VARIABLES: 53

IV. PERFIL DE LA TESIS 54

V. REFERENCIAS BIBLIOGRÁFICAS 55

7
 ÍNDICE DE FIGURAS

Figura N° 1: Respuesta del sist. de reconocimiento de gestos con redes entrenadas .... 17
Figura N° 2: Reconocimiento por acumulación de fallas de sensores ........................... 17
Figura N° 3: Desviación del dedo medio para la posición 4 ......................................... 21
Figura N° 4: Desviación del dedo medio para la posición 5 ......................................... 21
Figura N° 5: Estructura del oído humano ...................................................................... 26
Figura N° 6: Diferentes orientaciones de la mano ......................................................... 32
Figura N° 7: Estructura de una red neuronal artificial ................................................... 36
Figura N° 8: Estructura de funciones de una red neuronal artificial ............................. 37
Figura N° 9: MPL de 3 capas ........................................................................................ 43
Figura N° 10: Raspberry Pi 4......................................................................................... 45
Figura N° 11: TensorBoard, interfaz gráfica de TensorFlow ........................................ 46
Figura N° 12: Diagrama de flujo del diseño experimental ............................................ 50

8
 ÍNDICE DE TABLAS

Tabla N° 1: Muestreo de la posición del dedo pulgar de la mano ................................. 13

Tabla N° 2: Muestreo de la posición del dedo medio de la mano ................................. 14
Tabla N° 3: Ejemplificación de una tabla de la BD correspondiente a una letra .......... 15
Tabla N° 4: Representación del margen de error obtenido en pruebas ......................... 16
Tabla N° 5: Pruebas de funcionamiento con una tolerancia igual a 100 ....................... 19
Tabla N° 6: Pruebas de funcionamiento con una tolerancia igual a 120 ....................... 19
Tabla N° 7: Pruebas de funcionamiento con una tolerancia igual a 140 ....................... 19
Tabla N° 8: Valores obtenidos de los ángulos y los errores .......................................... 21
Tabla N° 9: Clasificación de grados de pérdidas auditivas de acuerdo a severidad ...... 28
Tabla N° 10: Especificaciones técnicas de las placas Raspberry .................................. 34
Tabla N° 11: Operacionalización de variables .............................................................. 53

9
I. INTRODUCCIÓN

I.1. REALIDAD PROBLEMÁTICA

Desde siempre, la comunicación ha sido, y es un elemento indispensable en la

cotidianidad de cada persona. Tanto el aprendizaje de la lengua, como el ejercicio del

habla y la apropiación del lenguaje son inherentes a nuestro desarrollo a lo largo del

tiempo, y nos da la impresión de ser tareas sencillas para nosotros. Sin embargo, el

proceso de aprendizaje involucra ciertos factores como esfuerzo, tiempo, y también

frustraciones. (Santos, 2012)

Estas dificultades se acrecientan en personas con discapacidades auditivas y del

habla, las cuales no pueden comunicarse de forma directa y, en consecuencia, tienen la

necesidad de hacerlo mediante el lenguaje de señas.

A esta problemática se le añade el hecho de la existencia de diversos dialectos de

lenguaje, que mantienen contraste en términos de léxico, gramática, y lenguas propias de

cada país. Es por ello, que es absolutamente necesaria la accesibilidad a las formas de

interpretación del lenguaje. (Rodríguez, 1991)

En el mundo, alrededor de 466 millones de personas, lo cual es el 6% de la

población mundial, presentan problemas auditivos ya considerados como discapacidad, y

se prevé que para el año 2050 esta cifra aumentaría a 900 millones de personas; es decir,

una de cada diez personas presentaría algún problema auditivo (OMS, 2019). En el Perú,

más de 200 mil personas, que conforman el 7,6% de la población con alguna

discapacidad, presentan problemas auditivos (INEI, 2017). Esto representa una cantidad

considerable de personas que tienen dificultad de comunicación.

10
 El Perú no ha sido esquivo a esta problemática, y es por ello que contamos con la

Lengua de Señas Peruana (LSP), el cual es un idioma autóctono de la comunidad sorda

en el país. Esta lengua está reconocida por el Estado mediante la Ley 29535, y ya está

debidamente reglamentada. (Diario Oficial El Peruano, 2015)

El lenguaje de señas es de gran ayuda para establecer una mejor comunicación, sin

embargo, es necesario que ambas partes, tanto el emisor como receptor, tengan el

conocimiento para comunicarse en dicho lenguaje. Por ello, durante las últimas décadas

se han desarrollado mecanismos de traducción de lenguaje de señas, convirtiendo éstas

últimas a lenguaje hablado, con la finalidad de brindarle a las personas con discapacidad

auditiva la facilidad de comunicarse con personas que no dominan el lenguaje de señas.

Estas aplicaciones van desde la traducción de señas mediante un sistema de

procesamiento de imágenes usando, por ejemplo, un Kinect, diseñado para mejorar la

experiencia de uso en consolas de videojuegos (Rodríguez Arboleda, Grijalva Lima,

Gallar Pérez, 2015); hasta la traducción mediante elementos mucho más prácticos, tal es

el caso de la innovación más reciente denominada “Showleap”, el cual es un brazalete

que permite traducir en tiempo real la lengua de señas al lenguaje oral (Innovadores, La

Razón, 2018), y aunque este último se encuentra en periodo de prueba, nos da a conocer

el avance de la tecnología y el gran aporte que ésta puede brindar en los diversos

problemas que se pueden presentar frente a esta discapacidad.

En el Perú esta tecnología tiene aún muy pocas aplicaciones sobre esta

problemática; es por ello, que se requiere desarrollar mecanismos con un sistema de

reconocimiento y traducción de señas mediante el uso de elementos adaptados para este

fin, que sea de fácil acceso, y que tenga la capacidad de reconocer las señas hechas con

la o las manos para luego poder traducirlas a través de un sintetizador de voz y así poder

11
hacer llegar el mensaje deseado de manera sonora. Con ello, se dará oportunidad a las

personas con problemas auditivos de poder comunicarse con mayor facilidad,

accesibilidad, y tener un apoyo en la construcción tanto en relaciones personales como

profesionales, lo cual es el objetivo fundamental de esta tesis.

I.2. ANTECEDENTES

Haciendo referencia al uso de elementos y métodos adecuados para su

implementación, se halló una tesis en la que los autores basan la construcción de un

dispositivo para interpretación del lenguaje de señas en un proceso de varias etapas

constructivas (Calvache Espín, 2015), partiendo del uso de sensores piezoeléctricos y

mediante un bus de datos se apoya en un circuito de acondicionamiento con el objetivo

de tener un rango de voltajes a diferentes posiciones de la mano. Con esta información

por procesar, el circuito de acondicionamiento se conecta a una placa Arduino Uno con

el objetivo de que esta placa pueda leer los valores de voltaje dependientes de la posición

de los dedos y deformación de los sensores, y así enviarlos mediante comunicación serial

al software Matlab.

La finalidad del trabajo mencionado es, mediante el algoritmo implementado en el

software Matlab, convertir las señales de cada sensor en letras al español. Este algoritmo

está constituido por una red neuronal basada en el aprendizaje por error y preceptrón

simple, el cual consiste en formar una serie de operaciones comparativas con el fin de

obtener el resultado que coincide con los movimientos de los dedos de la mano.

Las siguientes tablas muestran algunos ejemplos de los resultados promedio de cada

dedo de la mano, el error considerado en cada caso:

12
Tabla 1. Muestreo de la posición del dedo pulgar de la mano

Letra D1 D1 D1 Promedio Error

a 1,38 1,36 1,39 1,38 0,0088
b 1,85 1,87 1,87 1,86 0,0067
c 1,85 1,84 1,85 1,85 0,0033
ch 0,56 0,55 0,58 0,56 0,0088
d 0,67 0,69 0,7 0,69 0,0088
e 0,4 0,41 0,41 0,41 0,0033
f 0,37 0,38 0,36 0,37 0,0058
g 1,6 1,59 1,6 1,60 0,0033
h 0,28 0,28 0,27 0,28 0,0033
i 2,03 2,02 2,02 2,02 0,0033
j 2,05 2,04 2,07 2,05 0,0088
k 0,32 0,32 0,34 0,33 0,0067
l 0,46 0,44 0,47 0,46 0,0088
m 1,43 1,42 1,43 1,43 0,0033
n 1,45 1,44 1,45 1,45 0,0033
ñ 1,45 1,45 1,44 1,45 0,0033
o 2,13 2,12 2,13 2,13 0,0033
p 1,72 1,73 1,73 1,73 0,0033
q 0,68 0,67 0,68 0,68 0,0033
r 1,44 1,45 1,44 1,44 0,0033
s 0,56 0,57 0,56 0,56 0,0033
t 0,8 0,78 0,8 0,79 0,0067
u 1,44 1,43 1,45 1,44 0,0058
v 1,44 1,44 1,43 1,44 0,0033
w 1,44 1,43 1,44 1,44 0,0033
x 2,11 2,1 2,11 2,11 0,0033
y 2,16 2,15 2,16 2,16 0,0033

Fuente. (Calvache Espín, 2015)

13
 Tabla 2. Muestreo de la posición del dedo medio de la mano

Letra D3 D3 D3 Promedio Error

a 3 3,02 3,03 3,02 0,0088
b 1,65 1,68 1,67 1,67 0,0088
c 2,65 2,65 2,64 2,65 0,0033
ch 1,64 1,64 1,64 1,64 0,0000
d 3 2,99 2,99 2,99 0,0033
e 3,22 3,22 3,23 3,22 0,0033
f 1,78 1,79 1,78 1,78 0,0033
g 3,32 3,32 3,31 3,32 0,0033
h 2 1,99 2 2,00 0,0033
i 3,32 3,33 3,31 3,32 0,0058
j 3,36 3,35 3,36 3,36 0,0033
k 3,32 3,33 3,35 3,33 0,0088

Fuente. (Calvache Espín, 2015)

De la información mostrada se observa que los métodos implementados en la tesis

mencionada resuelven el problema de sintetización de señas de forma aceptable, sin

embargo, las pruebas experimentales han sido aplicadas únicamente para la interpretación

de las letras del abecedario, y no para palabras y construcciones gramaticales básicas, por

lo cual no podemos observar la medición de las posiciones y errores en esos casos, por lo

que no obtenemos una visión completa y adecuada de los resultados.

Continuando con la recopilación de trabajos relacionados con la presente

investigación, se ha hallado un artículo científico en el cual los autores realizan la

implementación de dos guantes que tienen la capacidad de traducir algunas palabras

básicas y el alfabeto dactilológico de La Lengua de Señas Mexicana a texto y sonido

mediante el uso de una pantalla LCD y una bocina (G. Ruvalcaba, M. Ruvalcaba, Orozco,

López y Cañedo, 2018). La implementación de cada guante se da haciendo uso de

sensores de flexión, de un acelerómetro en la muñeca, y conectando las salidas a un

multiplexor para así enviar los datos a un Arduino Nano en donde se realizará el

14
procesamiento y la salida de datos mediante la pantalla LCD y bocina mencionados

anteriormente.

La finalidad del trabajo es, a partir del alfabeto dactilológico y las palabras

seleccionadas, usar la plataforma Arduino para implementar el código de procesamiento,

el cual se da en cuatro etapas: La calibración, donde, mediante posiciones específicas, se

obtienen valores máximos y mínimos de cada sensor de flexión para así establecer un

rango de funcionamiento; la lectura de datos, donde obtenemos los valores obtenidos en

cada letra o palabra seleccionada y así realizar un mapeo para guardar la información y

posteriormente procesarla; el manejo de datos, donde se agrupan los datos de forma

estratégica para dar la identificación adecuada de las letras y palabras seleccionadas; y la

impresión de datos, que será visualizada en una pantalla LCD y escuchada mediante una

bocina, gracias a la programación de ambos componentes.

Las siguientes tablas muestran una ejemplificación tanto de los resultados como el

error obtenido en cada caso ejemplificado:

Tabla 3. Ejemplificación de una tabla de la base de datos correspondiente a una letra

Letra A
Componente Valor
S.F. 1* > 30
S.F. 2 <= 15
S.F. 3 <= 15
S.F. 4 <= 15
S.F. 5 <= 15
B. 1* 1
B. 2 1
B. 3 1
B. 4 1
B. 5 1
A. 1* X=0 Y = > 570 Z=0
A. 2 X=0 Y=0 Z=0

*S.F. =Sensor de Flexión, B = Botón, A = Acelerómetro

Fuente. (G. Ruvalcaba, M. Ruvalcaba, Orozco, López y Cañedo, 2018)

15
 Tabla 4. Representación del margen de error obtenido en pruebas

N1 N2 N3 N4 N5 N6 % Error
A • • • • • • 0%
E X • • • • • 16.7 %
Hola X • • • • • 16.7 %
Adiós • • X • • • 33.4 %

Fuente. (G. Ruvalcaba, M. Ruvalcaba, Orozco, López y Cañedo, 2018)

De la información mostrada se observa que los métodos implementados en la tesis

mencionada han considerado el uso tanto de letras como palabras básicas de una Lengua

de Señas, no obstante, resuelven el problema de sintetización de señas de forma

deficiente, ya que la programación realizada no establece rangos correctos de valores de

los sensores de flexión, y esto conlleva a obtener un elevado margen de error y por ello,

los resultados no son confiables.

La siguiente investigación, el autor tiene como objetivo diseñar un mecanismo de

gestos manuales que realice una traducción de gestos a necesidades básicas de una

persona de la tercera edad con problemas del habla (Dulanto Ramos, 2015). Esta

aplicación consiste en el reconocimiento de los gestos mediante un guante electrónico,

con la finalidad de extraer las señales correspondientes de la mano.

Para el desarrollo de la investigación, se hace uso de dos formas de modelamiento,

las cuales son el modelamiento directo e inverso, y para ello se usa la herramienta

Simulink, perteneciente al software Matlab. El procedimiento consiste en modelar por

análisis paramétrico (directo) a una mano antropomórfica que reacciona a las señales

dadas por los movimientos del guante electrónico, para luego poder aplicar identificación

de sistemas mediante los algoritmos de redes neuronales, que en este caso son algoritmos

de retropropagación a los modelos obtenidos previamente. Posteriormente se realiza el

16
modelado inverso con la finalidad de hacer al sistema tolerante a fallas, para concluir

diseñando un núcleo de reconocimiento de gestos, el cual es capaz de reconocer patrones

dentro de la data experimental.

En las siguientes tablas se muestran los resultados del sistema de reconocimiento de

gestos y las consideraciones de los errores:

Figura N° 1. Respuesta del sistema de reconocimiento de gestos con redes entrenadas

Fuente. (Dulanto Ramos, 2015)

Figura N° 2. Reconocimiento por acumulación de fallas de sensores

Fuente. (Dulanto Ramos, 2015)

17
 De la información mostrada se puede observar que el sistema de reconocimiento es

altamente tolerable a fallas externas e internas, y logra una precisión superior al 99%

cuando no existe ruido considerable en el sistema. No obstante, no se trata de una

simulación muerta, por lo cual no esta investigación no cuenta con una comprobación

experimental adecuada a una situación en tiempo real y, en consecuencia, no toma en

consideración los errores dados ante tales situaciones.

Por otro lado, se ha encontrado una investigación en la cual los autores presentan un

prototipo que permite traducir el lenguaje dactilológico usado por las personas con

problemas del habla (Espinoza y Pogo, 2013). Este prototipo consta de ocho sensores

flexibles, uno en el pulgar y meñique, y dos en los dedos restantes, y cuenta con una

tarjeta de adquisición de datos formada principalmente por un microcontrolador

PIC18F4550 con comunicación USB, donde se dará la recepción de datos para enviarlos

a un computador y puedan ser procesados mediante el software Matlab.

Mediante la recepción de señales de los sensores provenientes del guante, estos datos

se llevan vía USB al software Matlab, el cual recepciona esta información y las almacena

en un archivo de texto. En consecuencia, el entrenamiento del sistema se puede hacer una

única vez, y en las siguientes entradas de las señales realiza la comparación con los

valores ya existentes.

A continuación, se presentarán algunas tablas que ejemplifican los resultados y las

consideraciones de tolerancia:

18
Tabla 5. Pruebas de funcionamiento con una tolerancia igual a 100

Pruebas
Señas Tolerancia
Satisfactorias
A X ✔ X X ✔ 100
B ✔ ✔ X X X 100
C X ✔ X ✔ ✔ 100
D ✔ X ✔ ✔ X 100
E ✔ ✔ X ✔ X 100
F X ✔ X ✔ ✔ 100
G X ✔ X X ✔ 100
H ✔ ✔ X ✔ X 100
I ✔ ✔ X X X 100

Fuente: (Espinoza y Pogo, 2013)

Tabla 6. Pruebas de funcionamiento con una tolerancia igual a 120

Pruebas
Señas Tolerancia
Satisfactorias
A ✔ ✔ ✔ X ✔ 120
B ✔ ✔ X ✔ ✔ 120
C X ✔ X ✔ ✔ 120
D ✔ ✔ ✔ ✔ X 120
E ✔ ✔ X ✔ X 120
F X ✔ ✔ ✔ ✔ 120
G ✔ ✔ X X ✔ 120
H ✔ ✔ X ✔ ✔ 120
I ✔ ✔ ✔ X ✔ 120

Fuente: (Espinoza y Pogo, 2013)

Tabla 7. Pruebas de funcionamiento con una tolerancia igual a 140

Pruebas
Señas Tolerancia
Satisfactorias
A ✔ ✔ X ✔ ✔ 140
B ✔ ✔ ✔ ✔ ✔ 140
C ✔ ✔ ✔ ✔ ✔ 140
D ✔ ✔ ✔ ✔ ✔ 140
E ✔ ✔ ✔ ✔ X 140
F ✔ ✔ ✔ ✔ ✔ 140
G ✔ X ✔ X ✔ 140
H ✔ ✔ ✔ ✔ ✔ 140
I ✔ ✔ ✔ ✔ ✔ 140

Fuente. (Espinoza y Pogo, 2013)

19
 De la información mostrada, se puede observar que el resultado es mucho más preciso

mientras la tolerancia va en aumento, no obstante, la aplicación y las pruebas dadas han

sido probadas experimentalmente en letras, y no en palabras o construcciones

gramaticales básicas, lo cual nos proporciona un menor campo de confiabilidad.

Por último, encontramos una investigación en la cual se realiza el diseño y la

construcción de un prototipo para captura de movimiento con un grado de libertad de los

dedos de una mano (Maila, 2008), y que cuenta con una visualización en tiempo real a

través de una computadora. Este prototipo tiene como base de construcción un guante, al

cual se acoplaron tres sensores flexibles y un microcontrolador PIC16F877A que se

encargará de procesar y llevar la información a la pantalla de una PC en donde, haciendo

uso del software Visual Basic 6.0., se ha desarrollado una aplicación que procesa la

información recibida y anima un modelo de mano.

Esta aplicación establece una relación entre los valores enviados por los sensores y

los ángulos formados al flexionar los dedos, mediante el algoritmo de Interpolación de

Lagrange, el cual describe el movimiento de los dedos, consiguiendo en la animación un

movimiento suave y un retardo mínimo entre la ejecución del movimiento y su

representación gráfica.

En estas gráficas y tablas, se mostrarán algunos de los resultados obtenidos en esta

investigación:

20
 Tabla 8. Valores obtenidos de los ángulos y los errores

Error relativo Valor físico Valor gráfico Valor gráfico

máximo (%) [grados] (+) [grados] (-) [grados]
Ángulo 1 2,29 131 133,99 128,0
Ángulo 2 2,2 132 134,90 129,09
Ángulo 3 2,38 133 136,16 129,83
Ángulo 4 1,52 152 154,31 149,68
Ángulo 5 2,25 128 130,88 125,12

Fuente: (Maila, 2008)

Figura N° 3. Desviación del dedo medio para la posición 4

Fuente: (Maila, 2008)

Figura N° 4. Desviación del dedo medio para la posición 5

Fuente (Maila, 2008)

21
 De la información mostrada, podemos observar que los resultados hallados muestran

un margen de error aceptable cuando analizamos cada sensor de forma individual, sin

embargo, este margen de error aumenta al considerar el movimiento completo de la mano,

por lo cual no es un sistema de reconocimiento de gestos eficiente para realizar una

síntesis de movimiento.

I.3. ENUNCIADO DEL PROBLEMA

¿Cómo diseñar e implementar un guante electrónico para personas con

discapacidades auditivas y del habla que permita traducir de forma eficiente el lenguaje

de señas a voz en tiempo real?

I.4. OBJETIVOS

I.4.1. GENERAL

La presente investigación pretende diseñar e implementar un dispositivo que

permite mejorar la comunicación en personas con discapacidades auditivas y del

habla, con respecto a un marco referencial que integre los planteamientos teóricos

que comprenden el Procesamiento Digital de Señales y la Lengua de Señas Peruana,

complementados con técnicas de Inteligencia Artificial, mediante una investigación

aplicada y un tipo de análisis predominantemente cuantitativo con interpretaciones

cualitativas, con el propósito de poder identificar y mejorar la precisión de estos

mecanismos al realizar la sintetización del lenguaje de señas y traducirlo a lenguaje

hablado, y así contribuir con una mejora en la calidad de vida y en las relaciones

personales y laborales de personas con las discapacidades antes mencionadas.

22
 I.4.2. ESPECÍFICOS

- Adquirir conocimiento teórico realizando revisión bibliográfica acerca de

los tópicos correspondientes a Redes Neuronales y a la Lengua de Señas

Peruana.

- Realizar una selección adecuada de los componentes a usar en la

implementación del dispositivo sintetizador de señas.

- Implementar en forma física el dispositivo sintetizador de señas.

- Diseñar un algoritmo de predicción haciendo uso de redes neuronales para

dar funcionalidad al dispositivo sintetizador de señas implementado.

- Realizar un entrenamiento del dispositivo a partir del algoritmo

implementado.

- Observar y analizar los resultados obtenidos posteriores al entrenamiento.

I.5. HIPÓTESIS

La implementación de guantes sintetizadores de señas permite mejorar la

comunicación en personas con discapacidad auditiva y del habla.

I.6. JUSTIFICACIÓN

1. Relevancia tecnológica

En la actualidad se han diseñado mecanismos para personas con problemas

auditivos y del habla, haciendo uso de diversos algoritmos para mejorar su comunicación;

sin embargo, los mecanismos diseñados hasta el momento muestran márgenes de error

aceptables únicamente al realizar pruebas sintetizando letras. Es por ello, que esta tesis

23
propone la implementación de un algoritmo basado en redes neuronales que brinde una

mayor precisión no solo al sintetizar letras, sino también al sintetizar construcciones

gramaticales básicas, brindando como resultado una mejor comunicación.

2. Relevancia institucional

El objetivo de esta tesis también colabora con el desarrollo de nuevo conocimiento

en el campo de la inteligencia artificial, al implementar un algoritmo de redes neuronales

con un elevado grado de precisión y eficiencia.

3. Relevancia social

El desarrollo de un mecanismo que permite sintetizar lenguaje de señas al lenguaje

hablado es un objetivo de relevancia social, y se traduce en una ventaja muy importante,

la cual es la mejora de la comunicación en personas que cuentan con alguna discapacidad

auditiva y del habla, lo que permite un mejor desenvolvimiento en las relaciones

personales y profesionales.

4. Relevancia económica

El desarrollo del mecanismo sintetizador de gestos propuesto en esta tesis

haciendo uso de elementos de costos viables para el público en general, da un impulso en

el ámbito comercial con la finalidad de que en un futuro cercano puedan desarrollarse

este tipo de mecanismos de forma masiva, y sean de fácil acceso al público en general.

5. Relevancia ambiental

El desarrollo del mecanismo sintetizador de gestos propuesto en esta tesis haciendo

uso de elementos de alta confiabilidad, conlleva a un uso más eficiente y duradero de

éstos, consiguiendo reducir el impacto ambiental que producen.

24
II. MARCO REFERENCIAL

II.1. MARCO TEÓRICO

II.1.1. EL SENTIDO DEL OÍDO

La audición tiene como principal significado el oír y también el comprender lo que se

dice, es por ello que se convierte en una función indispensable para la comunicación oral.

El órgano que se encarga de cumplir esta función es el oído, que es el que transforma las

ondas sonoras recibidas del exterior, para luego amplificarlas y convertirlas en energía

bioeléctrica para que el cerebro pueda procesarlas y darles un significado. El oído está

confirmado por tres partes:

1. Oído externo: Formado por la oreja y el conducto auditivo externo, el cual

cumple una función de embudo para conducir el sonido hacia adentro. La oreja

se encarga de contribuir a la localización del sonido, es decir, de qué dirección

proviene. En el límite del oído externo y el medio se encuentra el tímpano, el cual

vibra cuando recibe las ondas sonoras.

2. Oído medio: Es la parte más pequeña, del tamaño de un borrador de lápiz, y

cuenta con tres huesecillos: el martillo, el yunque y el estribo. Estos huesecillos

cumplen la función de transmitir y amplificar las vibraciones mecánicas

ocurridas en el tímpano hacia el oído interno.

3. Oído interno: Dentro de él se encuentra la cóclea, cuya forma es similar a la de

un caracol, y que contiene líquidos y vellosidades. El sistema coclear es el

encargado de transformar las vibraciones mecánicas en energía bioeléctrica para

conducirlas por el nervio auditivo hacia el cerebro, donde es reconocido el

sonido. (Consejo Nacional de Fomento Educativo de México, 2010)

25
 Figura N° 5. Estructura del oído humano

Fuente (Consejo Nacional de Fomento Educativo de México, 2010)

II.1.2. IMPLICACIONES DE LA DISCAPACIDAD AUDITIVA

La pérdida auditiva se define como la incapacidad para recibir de forma adecuada los

estímulos auditivos del exterior. Desde un punto de vista médico-fisiológico, la pérdida

auditiva consiste en la disminución de la capacidad de oír, siendo que la persona afectada

no solo escucha con menor intensidad, sino que también percibe el sonido de forma

distorsionada e irregular, lo que limita en gran parte las posibilidades de procesar

debidamente la información auditiva.

Una persona que cuenta con pérdida auditiva enfrenta a menudo severos problemas

al momento de desenvolverse en la sociedad, debido a la dificultad para detectar la fuente

sonora, para identificar cualquier sonido del habla o del ambiente, e incluso para poder

seguir una conversación. En consecuencia, estas pérdidas traen consigo problemas

notorios en el desarrollo de las habilidades del pensamiento, lenguaje y habla, y también

consecuencias en la conducta, el desarrollo social y emocional, y el desempeño escolar y

laboral.

26
 El grado de pérdida auditiva se especifica de acuerdo al umbral de intensidad en la

que una persona escucha. Este umbral se mide en términos de qué tan fuerte debe ser el

sonido para que la persona tenga la capacidad de escucharlo, y la unidad de medida es el

decibelio. (Consejo Nacional de Fomento Educativo de México, 2010)

II.1.3. CAUSAS Y CLASIFICACIÓN DE LA PÉRDIDA AUDITIVA

Las pérdidas de audición se pueden clasificar en función del momento ocurrido:

1. Congénita (desde el nacimiento): Suele ser asociado a problemas renales en

mujeres gestantes, afecciones del sistema nervioso, deformaciones en la cara o

cabeza, peso bajo al nacer (menor a 1500 gramos), o también a enfermedades

virales contraídas por la madre durante el periodo de embarazo, como sífilis,

herpes e influenza.

2. Adquirida (luego del nacimiento): Puede ser ocasionada por enfermedades

virales como la meningitis o la rubéola, uso de medicamentos muy fuertes o que

han sido administrados por un periodo muy largo, manejo de desinfectantes e

infecciones frecuentes de oído.

También se clasifican de acuerdo al lugar de la lesión:

1. Conductiva: Caracterizada por un problema en la oreja, conducto auditivo o en

el oído medio (martillo, yunque, estribo o tímpano) , lo que conlleva a no poder

escuchar sonidos de baja intensidad.

2. Neurosensorial: Dada cuando en el oído interno o en el nervio auditivo hay una

lesión que va del oído hacia el cerebro, lo cual tiene como consecuencia principal

el impedimento de poder traducir la información mecánica en eléctrica

adecuadamente. De esa forma, no se diferenciarían entre frecuencias, y por ende,

27
 tampoco entre sonidos, y es posible confundir palabras como copa-sopa, o

tampoco escuchar sonidos suaves como el canto de los pájaros.

3. Mixta: Se presenta cuando las partes, tanto conductiva como neurosensorial,

están afectadas.

4. Prelingüística: Es aquella que proviene desde el nacimiento o antes que el niño

tenga la capacidad de poder comunicarse de forma oral o usando el lenguaje. En

este caso, es mucho más complicado el poder desarrollar el lenguaje oral, dado

que no puede escuchar las palabras y tampoco sabe cómo articularlas, por lo que

requiere servicios especiales.

5. Poslingüística: Se presenta luego de que la persona ya ha desarrollado la

comunicación oral o el lenguaje.

Tabla 9. Clasificación de grados de las pérdidas auditivas de acuerdo a severidad

Posibles
Cómo se escucha
Grado de consecuencias de
Clasificación Causa posible según el grado de
pérdida la pérdida (si no
pérdida
hay tratamiento)
0-15dB Normal Todos los sonidos del Ninguna
lenguaje y ambientales
15-20dB Ligera Pérdida auditiva de tipo Las vocales se escuchan Ligeros problemas en la
conductivo y algunas con claridad, pero se adquisición del lenguaje.
neurosensoriales pueden dejar de oír
algunas consonantes en
contextos ruidosos.
20-30dB Media Pérdida auditiva de tipo Sólo algunos sonidos del Ligero retardo del
conductivo y habla emitidos en voz lenguaje, problemas para
neurosensorial. alta. comprender lenguaje en
ambientes ruidosos e
inatención.
30-50dB Moderada Pérdida auditiva de tipo Casi ningún sonido del Problemas del habla,
conductivo con habla a una intensidad de retardo del lenguaje,
desórdenes crónicos en conversación normal. problemas en el
oído medio; pérdidas aprendizaje e inatención.
neurosensoriales.
50-70dB Severa Pérdidas Ningún sonido del habla a Problemas severos del
neurosensoriales mixtas una intensidad de habla, retraso del
y combinación de conversación normal. lenguaje, y problemas en

28
 disfunción de oído medio el aprendizaje y la
e interno. atención.

70dB a Profunda Pérdidas Problemas severos del

neurosensoriales mixtas habla, serias dificultades
y combinación de para el desarrollo
más disfunción de oído medio adecuado y natural del
lenguaje oral, problemas
e interno. en el aprendizaje e
inatención.

Fuente (Consejo Nacional de Fomento Educativo de México, 2010)

II.1.4. SISTEMAS DE COMUNICACIÓN PARA PERSONAS CON

DISCAPACIDAD AUDITIVA

Existen diversas formas de comunicación que son usadas por las personas con

discapacidad auditiva. Éstas se pueden clasificar en:

1. SISTEMAS DE COMUNICACIÓN ALFABÉTICOS

Son aquellos sistemas que se apoyan en el deletreo del mensaje, usadas en su

mayoría en personas sordociegas. Entre éstos tenemos:

1.1. Sistema dactilológico: Consiste en hablar mediante cambios de posición de

los dedos, acompañados de ligeros movimientos de la mano. En este sistema,

cada letra está representada con una forma que se hace sobre la palma de la

mano.

1.2. Mayúsculas sobre la palma: Consiste en ir escribiendo sobre la palma de la

mano con el índice cada una de las letras que componen las palabras en

mayúsculas, una detrás de otra.

1.3. El dedo como lápiz: Se toma el dedo índice de la persona y se escribe con

él, haciendo una función similar a la de un lápiz, el mensaje a transmitir.

(Asociación de Sordociegos de España, 2019)

29
2. SISTEMAS DE COMUNICACIÓN NO ALFABÉTICOS

Son aquellos sistemas que se basan en la transmisión del mensaje, idea o

concepto a través de un signo o palabra. Entre ellos tenemos:

2.1. Lenguaje de gestos naturales: Combinan gestos que hacen referencia a la

funcionalidad del objeto, movimientos del cuerpo que ayudan a describir la

acción deseada y signos convencionales de fácil comprensión que se apoyan

en el concepto en el cual se desarrollan.

2.2. Lengua de señas: Son el conjunto de señas o sistemas lingüísticos de carácter

visual, gestual, espacial y manual en cuya conformación intervienen factores

históricos, culturales, lingüísticos y sociales, y que conforman una forma de

comunicación tradicional para las personas con pérdida auditiva.

2.3. Lengua oral: En caso de que los restos de audición sean lo suficientemente

funcionales para permitir aún la recepción auditiva, hay una gran posibilidad

de seguir usando como forma de comunicación el lenguaje oral, pero con la

necesidad de adaptadores que le permitan hacerlo. Éstas pueden ser desde

ayudas técnicas auditivas como audífonos o implantes cocleares, hasta

aquellas relacionadas con las características del mensaje y las condiciones a

las cuales se recibe el mismo, como el tono del emisor, volumen, ruido

ambiental, distancia, etc.

2.4. Bimodal: Hace referencia a los mensajes que se expresan en dos modalidades

al mismo tiempo, considerando como la lengua base, que es la que marca el

orden de la frase y la sintaxis, a la lengua oral. (Asociación de Sordociegos de

España, 2019)

30
II.1.5. LENGUAJE DE SEÑAS

El lenguaje de señas es aquel que se percibe a través de la vista y requiere el uso de

las manos como articuladores activos, y el uso del espacio como lugar de articulación y

como referencia temporal. Para aprender este lenguaje es necesario ejercitar la atención,

la percepción y también la memoria visual, así como también la agilidad manual, la

expresión facial y corporal. (Ministerio de Educación del Perú, 2015)

II.1.6. PARÁMETROS FORMATIVOS DEL LENGUAJE DE SEÑAS

1. CONFIGURACIÓN DE LA MANO

Hace referencia a las propiedades de los dedos y las uniones entre las falanges

en una forma correcta de la mano, la cual es adoptada al momento de realizar el

signo. Una gran ventaja se presenta en la flexibilidad de la mano, ya que permite

una gran cantidad de formas diferentes. Sin embargo, a pesar de la gran cantidad

de grados de libertad que posee la mano, cada lengua de signos incluye un

reducido grupo de las configuraciones posibles. (Carreiras & Gutiérrez, 2009)

2. ORIENTACIÓN DE LA PALMA DE LA MANO

Este parámetro se refiere a la posición de la mano con respecto al cuerpo de

la persona signante. Esta posición suele especificarse en función de la posición de

la palma de la mano con respecto al cuerpo. (Carreiras & Gutiérrez, 2009)

3. PUNTO DE ARTICULACIÓN O LOCALIZACIÓN

El punto de articulación es una región del cuerpo o del espacio alrededor del

cuerpo del signante en la que las manos interactúan para producir un signo. Esta

área está delimitada en el plano vertical por la parte superior de la cabeza y por la

cadera. (Carreiras & Gutiérrez, 2009)

31
4. EL MOVIMIENTO

El movimiento hace referencia a cómo y hacia dónde se mueven las manos.

Los signos, por norma general, contienen algún movimiento y no suelen ser

estáticos en alguna de las localizaciones. Incluso en los casos en los que la forma

no flexionada puede ser una realización sin movimiento, si el signo se produce de

manera aislada, en las interacciones entre signantes, cuando varios signos se

concatenan, se suele incluir algún movimiento secundario a estas formas.

(Carreiras & Gutiérrez, 2009)

5. OTRAS CARACTERÍSTICAS

Otras características descritas han sido el acento, definido como la velocidad

pico del movimiento de un signo, la duración de la producción del signo y la tasa

de repetición de un movimiento. Estas características también podrían estar

implicadas en la formación y modificación de los signos, sin embargo, no parecen

ser esenciales para describir la estructura interna de todas las lenguas de signos

estudiadas y podrían ser consideradas como parte de la estructura prosódica.

(Carreiras & Gutiérrez, 2009)

Figura N° 6. Diferentes orientaciones de la mano

Fuente (Carreiras & Gutiérrez, 2009)

32
II.1.7. PLATAFORMAS ELECTRÓNICAS OPEN SOURCE PARA

DESARROLLO DE PROYECTOS DE INGENIERÍA

Las plataformas electrónicas en la actualidad permiten el desarrollo de proyectos de

ingeniería de diferentes tipos como la automatización, sistemas embebidos, domótica,

robótica, etc. Estas plataformas se basan en el concepto de Hardware Libre (HL), el cual

se define como “aquel hardware cuyo diseño se hace disponible públicamente para que

cualquier persona lo pueda estudiar, modificar, distribuir, materializar y vender, tanto el

original como otros objetos basados en ese diseño”. (Lazalde, Torres & Vila-Viñas, 2015)

Estas plataformas hacen uso de elementos y materiales accesibles, infraestructura

abierta, contenido sin restricción y herramientas de diseño libres, ofreciendo así la

posibilidad a los usuarios de desarrollar y compartir proyectos con total libertad.

El uso de Hardware Libre brinda diferentes ventajas a una sociedad y en particular a

los sectores más innovadores. Entre ellas destaca la mejora de la sostenibilidad y

soberanía tecnológicas, así como la adopción de las libertades al igual que el software

libre. (Lazalde, Torres & Vila-Viñas, 2015)

A esto se suma la oportunidad de contribuir a salvar la brecha tecnológica y educativa

entre los países desarrollados y los subdesarrollados. Incluso, en la actualidad existen

ochenta y cuatro grupos de investigación en esta materia a lo largo de diecisiete países,

con una visión en los ideales de software libre, y la comercialización se da a lo largo de

aproximadamente setenta y un países, incluyendo el Perú. (Lazalde, Torres & Vila-Viñas,

2015)

II.1.8. RASPBERRY PI

Raspberry Pi es el nombre de una serie de computadoras de una sola placa fabricadas

por la Raspberry Pi Foundation, la cual es una organización benéfica del Reino Unido

33
que tiene como objetivo educar a las personas en informática y crear un acceso más fácil

a la educación tecnológica.

La Raspberry Pi fue lanzada en el año 2012, y desde entonces se han lanzado varias

iteraciones. El Pi original contaba con una CPU de 700MHz de un solo núcleo y solo

256MB de RAM, mientras que el último modelo tiene una CPU de 1,4GHz de cuatro

núcleos con una versión de hasta 4GB de RAM. (Red Hat, Inc., 2019)

Para trabajar con una Raspberry Pi es necesario contar con almacenamiento que en

este caso específico debe ser una tarjeta de memoria Micro SD. Las placas más actuales

cuentan con 4 puertos USB para poder conectar periféricos como mouse y teclado, un

conector HDMI con capacidad de reproducir contenido en 4K y a 60fps y una conexión

Ethernet para poder conectarse a internet de forma cableada, aunque también cuentan con

conectividad inalámbrica, como Wifi y Bluetooth.

Entre los sistemas operativos que se encuentran disponibles para Raspberry Pi se

encuentran: Raspbian, Arch Linux, RaspBMC, Pidora u OpenELEC, así como también

existe una versión de Windows 10 para esta plataforma. (Red Hat, Inc., 2019)

A continuación, se mostrará una tabla con las especificaciones técnicas de las placas

electrónicas Raspberry Pi:

Tabla 10. Especificaciones técnicas de las placas Raspberry

Tarjeta Velocidad Memoria

Procesador USB HDMI
electrónica del reloj RAM
Quad Core
Raspberry 2 x USB 2.0 2 x Micro 1, 2, 4 GB
Cortex A- 1,5 GHz
Pi 4 B 2 x USB 3.0 HDMI LPDDR4
72
Raspberry Quad Core
1 GB
Pi 3 Cortex A- 4 x USB 2.0 HDMI 1,4 GHz
LPDDR2
A+/B/B+ 53
Raspberry Quad Core 1 GB
4 x USB 2.0 HDMI 900MHz
Pi 2 B Cortex A-7 LPDDR2
Raspberry 256/512
2/4 x USB
Pi 1 ARM11 HDMI 700MHz MB
2.0
A/A+/B/B+ LPDDR2

34
 Raspberry
1 Micro 512MB
Pi Zero/ ARM11 Mini-HDMI 1GHz
USB LPDDR2
Zero W

Fuente (Red Hat, Inc., 2019)

II.1.9. REDES NEURONALES ARTIFICIALES

Una Red Neuronal Artificial (ANN) es un modelo matemático que intenta emular a

los sistemas neuronales biológicos en la función de procesamiento de información.

(Alejo Eleuterio, 2010)

Las ANN se basan en una estructura de neuronas unidas por enlaces que transmiten

información a otras neuronas, las cuales entregan un resultado mediante funciones

matemáticas. Las ANN aprenden de la información histórica a través de un

entrenamiento, proceso mediante el cual se ajustan los parámetros de la red, a fin de

entregar la respuesta deseada, adquiriendo entonces la capacidad de predecir respuestas

del mismo fenómeno. El comportamiento de las redes depende entonces de los pesos para

los enlaces, de las funciones de activación que se especifican para las neuronas, las que

pueden ser de tres categorías: lineal, de umbral (o escalón) y sigmoideal, y de la forma en

que propagan el error. (Freeman & Skapura, 1991)

1. ESTRUCTURA DE UNA RED NEURONAL

En la siguiente imagen se puede observar los principales elementos que componen

una red neuronal artificial:

35
 Figura N° 7. Estructura de una red neuronal artificial

Fuente (Muñoz Fernández, 2014)

Como se puede observar en la imagen, una red neuronal artificial es una

combinación ordenada de neuronas en las que se pueden observar una serie de

capas que de acuerdo a su posición son denominadas de un determinado modo:

Las capas de entrada y salida son siempre únicas, mientras que la cantidad de

capas ocultas puede variar de acuerdo a la necesidad. En la imagen también se

observa cómo ante un conjunto de entrada dado, la red genera un conjunto de

salida. (Muñoz Fernández, 2014)

En la siguiente imagen se puede observar como ejemplo una neurona de dos

entradas y una salida, haciendo una separación de sus partes en función de la

actividad matemática que en ella se desarrolla: función de entrada, función de

activación y función de salida.

36
 Figura N° 8. Estructura de funciones de una red neuronal artificial

Fuente (Muñoz Fernández, 2014)

- Función de entrada: Las entradas en la neurona son modificadas por los

pesos, y estos resultados dan lugar mediante la función aplicada a un

valor único que será procesado en otra función posterior.

𝑖𝑛𝑝𝑢𝑡𝑖 = (𝑖𝑛1 · 𝑤1 ) ∗ (𝑖𝑛2 · 𝑤2 ) ∗ … ∗ (𝑖𝑛𝑛 · 𝑤𝑛 ) (1)

Donde (*) establece la función de entrada utilizada.

- Función de activación: Calcula el estado de actividad de una neurona,

transformando la entrada global (diferenciada del umbral) en un valor

(estado) de activación, cuyo rango normalmente va de [0 a 1] o de [-1 a

1].

- Función de salida: El valor procedente de la función de activación

atraviesa esta función que genera el valor de salida de la neurona. (Muñoz

Fernández, 2014)

37
2. CLASIFICACIÓN DE REDES NEURONALES

2.1. En función del problema:

- Redes heteroasociativas: En este modo, la red aprende parejas de datos

[(𝐴1 , 𝐵1 ), (𝐴2 , 𝐵2 ), … , (𝐴𝑛 , 𝐵𝑛 )], de tal forma que cuando se presente

información de la entrada 𝐴𝑖 , debe responder generando la

correspondiente salida 𝐵𝑖 .

- Redes autoasociativas: La entrada aprende ciertas informaciones

𝐴1 , 𝐴2 ,etc., de manera que ante una entrada, se responde con una

información que más le parezca.

2.2. En función del número de capas:

- Monocapa: Una sola capa.

- Multicapa: Varias capas de neuronas.

2.3. En función de la conexión de neuronas:

- Conexión hacia adelante: Es aquella en la que la salida de una neurona

nunca es entrada de neuronas del mismo nivel o precedentes.

- Conexión hacia atrás: Es aquella en la que la salida de una neurona es

entrada de neuronas del mismo nivel o precedentes. (Muñoz Fernández,

2014)

2.4. Tipo de neuronas:

- Función de entrada: Entre las más conocidas tenemos:

 Sumatorio de entradas pesadas: Es la suma de todos los valores

de entrada de la neurona, multiplicados por sus pesos

correspondientes.

∑(𝑖𝑛𝑛 · 𝑤𝑛 ) 𝑐𝑜𝑛 𝑗 = 1,2, … , 𝑛 (2)

𝒋

38
  Producto de entradas pesadas: Es el producto de todos los

valores de entrada de la neurona, multiplicados por sus pesos

correspondientes.

∏(𝑖𝑛𝑛 · 𝑤𝑛 ) 𝑐𝑜𝑛 𝑗 = 1,2, … , 𝑛 (3)

𝑗

 Máximo de las entradas pesadas: Solamente se toma en

consideración el valor de la entrada más fuerte, previamente

multiplicado por su peso correspondiente.

𝑀𝑎𝑥𝑗 (𝑖𝑛𝑛 · 𝑤𝑛 )𝑐𝑜𝑛 𝑗 = 1,2, … , 𝑛 (4)

- Función de activación: Esta función calcula el estado de actividad de una

neurona. Las más habituales son:

 Función lineal:

1
−1, 𝑠𝑖 (𝑖𝑛𝑝𝑢𝑡𝑖 − 𝜃𝑖 ) ≤ −
𝑎
1 1
𝑓(𝑥) = 𝑎 ∗ (𝑖𝑛𝑝𝑢𝑡𝑖 − 𝜃𝑖 ), 𝑠𝑖 − < (𝑖𝑛𝑝𝑢𝑡𝑖 − 𝜃𝑖 ) < (5)
𝑎 𝑎
1
{ 1, 𝑠𝑖 (𝑖𝑛𝑝𝑢𝑡𝑖 − 𝜃𝑖 ) ≥
𝑎

Donde 𝜃𝑖 es el umbral y 𝑎 es un número positivo de cuyo valor

depende la pendiente de la función.

 Función sigmoidea:

1
𝑓(𝑥) = (6)
1+ 𝑒 −𝑎·(𝑖𝑛𝑝𝑢𝑡𝑖 −𝜃𝑖 )

 Función tangente hiperbólica:

𝑒 𝑎·(𝑖𝑛𝑝𝑢𝑡𝑖 −𝜃𝑖 ) − 𝑒 −𝑎·(𝑖𝑛𝑝𝑢𝑡𝑖 −𝜃𝑖 )

𝑓(𝑥) = (7)
𝑒 𝑎·(𝑖𝑛𝑝𝑢𝑡𝑖 −𝜃𝑖 ) + 𝑒 −𝑎·(𝑖𝑛𝑝𝑢𝑡𝑖 −𝜃𝑖 )

- Función de salida: Dos de las funciones de salida más comunes son:

39
  Ninguna: Es el tipo de función más sencillo, tal que la salida es

igual a la entrada. A esta función también se le llama identidad.

 Binaria:

1, 𝑠𝑖 𝑓(𝑥) ≥ 𝜃𝑖
𝑓(𝑥) = { (8)
0, 𝑠𝑖 𝑓(𝑥) < 𝜃𝑖

Donde 𝜽𝒊 es el umbral. (Muñoz Fernández, 2014)

3. MECANISMOS DE APRENDIZAJE DE UNA RED NEURONAL

Una red neuronal está diseñada para aprender, y lo puede realizar de diversas

formas:

3.1. Online: En este mecanismo, la red neuronal se mantiene en constante

aprendizaje durante su funcionamiento, y no se puede distinguir entre fase de

entrenamiento y de operación, ya que estos pesos varían dinámicamente

siempre que se presente nueva información al sistema. El estudio de la

estabilidad es un aspecto fundamental en este método.

3.2. Offline: En este método, se puede distinguir entre fase de entrenamiento y de

operación, debido a la existencia de un banco de datos de entrenamiento y un

conjunto de datos de prueba que serán utilizados en sus respectivas fases. Al

tener un método estático, estos sistemas no presentan problemas de estabilidad

en su funcionamiento.

3.3. Supervisado: Un agente externo controla el aprendizaje y permite la

modificación de los pesos en caso considere que hay error en la salida. El

aprendizaje supervisado puede ser por corrección de error, por refuerzo o

estocástico.

3.4. No supervisado: La corrección de los pesos no depende de un agente externo.

Hay de dos tipos:

40
 - Hebbiano (Para neuronas binarias): Si dos neuronas 𝑁𝑖 y 𝑁𝑗 tienen el

mismo estado de forma simultánea, el peso de la conexión entre ellas se

incrementa.

- Competitivo y comparativo: Clasifica los datos de entrada modificando

pesos asociados a patrones o ajustándolos para reconocer nuevos patrones.

(Muñoz Fernández, 2014)

4. VENTAJAS DE LAS REDES NEURONALES

Las redes neuronales poseen una cantidad incontable de ventajas, entre ellas:

4.1. Aprendizaje adaptativo: Capacidad de aprender a realizar tareas que estén

basadas en una experiencia inicial o entrenamiento. Durante el proceso de

aprendizaje, los enlaces ponderados de las neuronas son ajustados de tal forma

que se puedan obtener resultados específicos.

4.2. Auto-organización: Una red neuronal es capaz de crear su propia

organización o representación de la información que recibe, y esto lo hace a

través de la etapa de aprendizaje.

4.3. Tolerancia a fallos: Las redes tienen la capacidad de aprender a reconocer

patrones con ruido, distorsionados o incompletos. Pero también tienen la

capacidad de mantenerse realizando su función, aunque se destruya parte de

la red neuronal.

4.4. Operación en tiempo real: Los cálculos neuronales pueden ser realizados de

forma paralela.

4.5. Fácil inserción dentro de la tecnología existente: Es de fácil acceso a la

integración modular en sus sistemas, ya que se pueden obtener chips

especializados para redes neuronales que mejoran la capacidad a la hora de

realizar ciertas tareas. (Muñoz Fernández, 2014)

41
II.1.10. ENTRENAMIENTO DE UNA RED NEURONAL ARTIFICIAL

El entrenamiento o aprendizaje consiste en realizar modificaciones a los pesos de las

conexiones sistemáticas para codificar la relación entre la entrada y salida de la red. (Alejo

Eleuterio, 2010)

El método de aprendizaje que es más comúnmente usado se encuentra basado en una

técnica de descenso por gradiente que hace uso de la minimización del error cuadrático

medio (MSE) y lo hace de forma iterativa. El MSE está definido como:

𝑁 𝐾
1
𝐸(𝑉) = ∑ ∑(𝑑𝑘𝑛 − 𝑧𝑘𝑛 )2 (9)
2𝑁
𝑛=1 𝑘=1

Donde 𝑑𝑛 es la salida esperada de la red, 𝑉 = {𝑊, 𝑈} los parámetros libres de la red,

y 𝑧 𝑛 la salida real. 𝑁 es el total de muestras del entrenamiento y 𝐾 el número de clases.

II.1.11. CORRECCIÓN DE ERROR DE UNA RED NEURONAL

ARTIFICIAL

Es el proceso donde el paradigma de aprendizaje supervisado establece un valor

deseado 𝑑 para cada entrada 𝑋. (Alejo Eleuterio, 2010)

𝛿 = 𝛼(𝑑 − 𝑦) (10)

Donde α es el porcentaje de corrección.

La actualización de los pesos está dada por:

𝑤𝑖𝑗 = 𝑤𝑖𝑗 + 𝛿 (11)

42
II.1.12. PERCEPTRÓN MULTICAPA

El Preceptrón Multicapa (MLP) es una estructura interconexionista, compuesta por

una o más capas ocultas entre los nodos de entrada y los nodos de salida. Se caracteriza

fundamentalmente porque no existen conexiones entre neuronas de la misma capa ni

conexiones hacia atrás. Cada capa alimenta a todas las neuronas de la capa siguiente.

(Alejo Eleuterio, 2010)

En el MLP la cantidad de neuronas de entrada se corresponde con la dimensión del

vector de entrada (𝑋) y el número de neuronas en la capa de salida con el total de clases

en la muestra de entrenamiento. La siguiente figura muestra un MLP con tres capas:

entrada, oculta y salida. (Alejo Eleuterio 2010)

Figura N° 9. MPL de 3 capas

Fuente (Alejo Eleuterio 2010)

II.1.13. ALGORITMO DE RETRO PROPAGACIÓN

La Retro Propagación es un tipo de red de aprendizaje supervisado, que emplea un

ciclo de dos fases: propagación y adaptación. Una vez que se ha aplicado un patrón a la

entrada de la red como estímulo, este se propaga desde la primera capa a través de las

43
capas superiores de la red, hasta generar una salida. La señal de salida se compara con la

salida deseada y se calcula una señal de error para cada una de las salidas.

Las salidas de error se propagan hacia atrás, partiendo de la capa de salida, hacia

todas las neuronas de la capa oculta que contribuyen directamente a la salida. Sin

embargo, las neuronas de la capa oculta, solo reciben una fracción de la señal total del

error basándose aproximadamente en la contribución relativa que haya aportado cada

neurona a la salida original. Este proceso se repite, capa por capa, hasta que todas las

neuronas de la red hayan recibido una señal de error que describa su contribución relativa

al error total. Basándose en la señal de error percibida, donde se actualizan los pesos de

conexión de cada neurona, para hacer que la red converja hacia un estado que permita

clasificar correctamente todos los patrones de entrenamiento. (García Martínez, Servente

& Pasquín, 2003)

II.1.14. PYTHON

Python es un lenguaje de programación que fue creado por Guido van Rossum en

1991. Se caracteriza por ser de alto nivel e interpretado, haciendo especial énfasis en la

legibilidad del código. Usa tipado dinámico y es un lenguaje multiparadigma, lo que

significa que soporta programación orientada a objetos, estructurada, funcional, etc.

Python es ampliamente usado en todas las industrias, por ejemplo: Google, Reddit,

en la NASA y en la CIA, Mozilla Firefox, Instagram, Disney, y juegos como Los Sims 4.

Por supuesto también para entrenamiento de redes neuronales y cálculos numéricos

mediante las librerías NumPy y SciPy.

Como consecuencia, Python se ha convertido en el segundo lenguaje más usado en

GitHub y siempre está en el Top 5 en cualquier otro ranking de lenguajes de

programación. (Conde Ortiz, 2018)

44
 Figura N° 10. Raspberry Pi 4

Fuente (Conde Ortiz, 2018)

II.1.15. TENSORFLOW

TensorFlow es una librería desarrollada por Google para construir y entrenar redes

neuronales. Influenciada por Theano, es la predecesora de DistBelief (otra librería creada

por Google) y es usada tanto para la investigación como para la producción de los propios

productos de Google.

Su arquitectura flexible hace que pueda ser ejecutada en una gran cantidad de

plataformas (GPU’s, CPU’s o TPU’s) y en ordenadores, clústeres de servidores e incluso

dispositivos móviles. TensorFlow usa grafos computacionales estáticos, lo que quiere

decir que se debe definir el modelo de la red neuronal antes de empezar a ejecutarla o

entrenarla. (Conde Ortiz, 2018)

Los tensores (elementos que dan nombre a esta librería) son objetos geométricos que

describen relaciones entre vectores geométricos, escalares y otros tensores. Es decir, son

los objetos que maneja la red para producir valores. Así, cada nodo del grafo tomará como

entrada 0, 1 o más tensores y producirá un tensor como salida, que será pasado a otros

nodos.

45
 Para introducir valores en la red usaremos variables, las cuales serán fijas siempre, o

parámetros de sustitución (placeholders), los cuales podremos ir variando su valor cada

vez que usemos la red. TensorFlow nos permite utilizar también librerías numéricas

avanzadas para nuestras representaciones de valores, como son NumPy y Pandas. (Conde

Ortiz, 2018)

Figura N° 11. TensorBoard, interfaz gráfica de TensorFlow

Fuente (Conde Ortiz, 2018)

II.2. MARCO CONCEPTUAL

1. Decibelio

Unidad de medida que sirve para expresar la relación entre dos potencias mediante

el logaritmo decimal de esta relación. También permite expresar la relación entre dos

magnitudes de campo, como una tensión, una corriente, una presión acústica, un

campo eléctrico, una velocidad o una densidad de carga, cuyo cuadrado es

46
 proporcional a una potencia en los sistemas lineales. (Unión internacional de

Telecomunicaciones, 2016)

2. Plataforma Virtual

Es un conjunto de facilidades informáticas y telemáticas para la comunicación y

el intercambio de información en el que se desarrollan procesos de enseñanza y

aprendizaje. (Lazalde, Torres & Vila-Viñas, 2015)

3. Sistemas embebidos

Son una combinación de hardware y software de computadora, sumado a algunas

piezas mecánicas o de otro tipo, diseñado para tener una función específica. Estos

sistemas cuentan con un procesador y un programa ejecutándose que permiten su

funcionamiento. (Carrión Viramontes, 2009)

4. CPU

Central Processing Unit (Unidad Central de Procesamiento) es un procesador

diseñado para resolver todos los problemas de cómputo de manera general. El diseño

del caché y la memoria está diseñado para ser óptimo para cualquier problema de

programación general. (Conde Ortiz, 2018)

5. GPU

Graphics Processing Unit (Unidad de procesamiento de gráficos) es un procesador

diseñado para acelerar la representación de gráficos. (Conde Ortiz, 2018)

6. TPU

Tensor Processing Unit (Unidad de procesamiento de tensor) es un coprocesador

diseñado para acelerar las tareas de aprendizaje profundo desarrolladas utilizando

TensorFlow (un marco de programación). Los compiladores no se han desarrollado

para que un TPU pueda usarse para programación de propósito general, por lo tanto,

se requiere un esfuerzo significativo para poder hacerlo. (Conde Ortiz, 2018)

47
7. Periférico

Un periférico es un dispositivo electrónico físico que se conecta o acopla a una

computadora, pero no forma parte del núcleo básico (CPU, memoria, placa madre,

alimentación eléctrica) de la misma. Los periféricos sirven para comunicar la

computadora con el exterior (ratón, monitor, teclado, etc.) o como almacenamiento

de información (disco duro, unidad de disco óptico, etc.). Los periféricos suelen poder

conectarse a los distintos puertos de la computadora. (Carrión Viramontes, 2009)

8. Patrón

Un patrón es un tipo de tema de sucesos u objetos recurrentes, además que estos

elementos se repiten de una manera predecible. (Berzal, 2018)

9. Codificación

Es una etapa en la que se debe traducir los algoritmos que deseemos a un lenguaje

de programación específico; es decir, las acciones definidas en los algoritmos hay que

convertirlas en instrucciones. (Berzal, 2018)

10. Tipado dinámico

Un lenguaje de programación es dinámicamente tipado si una misma variable

puede tomar valores de distinto tipo en distintos momentos. La mayoría de lenguajes

de tipado dinámico son lenguajes interpretados, como Python o Ruby. (Berzal, 2018)

11. Librería

Es un conjunto de recursos (algoritmos) prefabricados, que pueden ser utilizados

por el programador para realizar determinadas operaciones. Las declaraciones de las

funciones utilizadas en estas librerías, junto con algunas macros y constantes

predefinidas que facilitan su utilización, se agrupan en ficheros de nombres conocidos

que suelen encontrarse en sitios predefinidos. (Carrión Viramontes, 2009)

48
 12. Grafo

Un grafo es una estructura de datos, específicamente es un tipo abstracto de datos

(TAD), que consiste en un grupo de nodos a los cuales también le podemos llamar

vértices y un grupo de aristas que establecen relaciones entre los vértices. (Conde

Ortiz, 2018)

III. METODOLOGÍA

III.1. VARIABLES

III.1.1. Variables independientes o de entrada

- Valores correspondientes a movimientos de la mano

- Valores correspondientes a posición de la mano

III.1.2. Variables dependientes o de salida

- Traducción oral a los valores correspondientes a la posición y movimiento de la

mano.

III.2. DISEÑO DE EJECUCIÓN

III.2.1. Objeto de estudio

Estudio de la eficiencia de un algoritmo de redes neuronales para la traducción del

lenguaje de señas al lenguaje hablado, el cual será implementado haciendo uso de la

librería de código abierto TensorFlow y la placa Raspberry Pi Zero W.

49
III.2.2. Métodos

En esta tesis se hará uso del método experimental, debido a que las variables

independientes pueden ser controladas a criterio del investigador y, en consecuencia,

conlleva a realizar los experimentos respectivos.

Figura N° 12. Diagrama de flujo del diseño experimental

Fuente (Elaboración propia)

50
1. SELECCIÓN DE COMPONENTES

En esta etapa se hace la selección más conveniente de cada componente a

usar, como los sensores y el microcontrolador. Se realiza una comparación entre

opciones posibles para cada componente, sus ventajas y desventajas, y se

selecciona el más adecuado para el desarrollo experimental.

2. IMPLEMENTACIÓN DEL HARDWARE

En esta etapa se realiza el diseño y construcción del prototipo de guante

sintetizador de señas, haciendo uso de los sensores, microcontrolador, y demás

componentes seleccionados en la etapa previa en base a la conveniencia del

desarrollo.

3. IMPLEMENTACIÓN DEL SOFTWARE

En esta etapa se realiza la selección del software más adecuado para la

realización del desarrollo experimental. Este software debe ir de la mano con

ciertas características fundamentales del microcontrolador, para que se puedan

aprovechar sus características en buena medida y se puedan obtener resultados

más óptimos.

4. SELECCIÓN DE SEÑAS

En esta etapa se escogerá un determinado conjunto de gestos pertenecientes

a la Lengua de Señas Peruana, con la finalidad de usarlas para el entrenamiento

de la red neuronal.

5. MEDICIÓN DE DATOS

En esta etapa las señas seleccionadas previamente bajo el criterio del

investigador, se ingresan a la tarjeta de adquisición de datos, que en este caso es

el microcontrolador, mediante valores provenientes de los sensores, que

representarán el movimiento y posición de la mano a la hora de realizar los gestos.

51
 Estos datos serán agrupados en “paquetes” para que puedan ser identificados por

la red neuronal.

6. PREPROCESAMIENTO DE DATOS

En esta etapa se realiza un filtro básico de los datos empaquetados con la

finalidad de eliminar cualquier tipo de ruido que pueda presentarse debido a

posibles inconvenientes con los sensores, como estar mal colocados o con alguna

falla casi despreciable.

7. SELECCIÓN DE PARÁMETROS DE RED NEURONAL

En esta etapa se hace una selección de los parámetros iniciales para la

creación de la red neuronal. Esta selección estará basada en los resultados

presentados en los antecedentes, que servirán de guía para iniciar las pruebas

correspondientes.

8. ENTRENAMIENTO DE RED NEURONAL

En esta etapa, una vez obtenidos y preprocesados los datos correspondientes

a los gestos, se someten a la aplicación de la red neuronal, con la finalidad de

obtener un alto valor de precisión en el resultado final. En caso de no obtenerse el

resultado deseado, se realizan variaciones en los parámetros de la red neuronal, y

nuevamente se somete a la aplicación de esta red. Este procedimiento continúa de

forma iterativa, hasta conseguir el resultado de precisión deseado.

9. PESOS FINALES DE LA RED NEURONAL

Una vez conseguido el resultado deseado, se puede visualizar que los

parámetros de la red neuronal tienen el valor necesario para poder hacer un

reconocimiento de gestos con un alto grado de precisión, con lo que se da por

concluido el diseño del algoritmo de redes neuronales.

52
 10. IMPLEMENTACIÓN FINAL DEL SISTEMA

En esta etapa unimos el algoritmo ya entrenado al prototipo de guante creado

previamente, con la finalidad de poner en práctica la traducción de gestos al

lenguaje hablado.

III.2.3. Población y Muestra

III.2.3.1. Población

Lenguaje de Señas del Perú

III.2.3.2. Muestra

Base de señas elegidas para entrenamiento de la red neuronal artificial.

III.3. OPERACIONALIZACIÓN DE VARIABLES

Al haber sido ya identificadas las variables que serán estudiadas, se procede a

establecer el significado que tiene cada una de las variables en la investigación:

Tabla 11. Operacionalización de variables

Definición
Variable Indicadores Unidad de medida
conceptual
Conjunto de valores
proporcionados por
VI: Valores
sensores de Valores de sensores Valor digital entre
correspondientes a
movimiento, que de flexión [0,5V]
movimientos de la
representan los (movimiento) Unidad: Voltaje
mano
movimientos de los
dedos de la mano.
Conjunto de valores
Valores digitales
proporcionados por
VI: Valores entre [-360,360] en
sensor de posición, Valores de
correspondientes a los canales X, Y y Z
que representa la giroscopio (posición)
posición de la mano Unidad:
posición de la mano
grados/segundo (°/s)
en el espacio.

53
 Audio proporcionado
por un miniparlante,
VD: Traducción oral
como respuesta a un
a los valores
proceso de
correspondientes a la Traducción sonora Unidad: Cualitativa
reconocimiento de
posición y correcta del gesto (acierto o falla)
gestos en base a los
movimiento de la
valores de
mano.
movimientos y
posición de la mano.

Fuente (Elaboración propia)

IV. PERFIL DE LA TESIS

CAPÍTULO I: INTRODUCCIÓN

Capítulo referente a la introducción al proyecto, se hace mención a todo lo referente

a la realidad problemática de las personas con problemas auditivos, antecedentes sobre

investigaciones realizadas con el fin de mejorar la comunicación en personas con este

problema, planteamiento del problema a solucionar, objetivos de la tesis que ayudará a

solucionar este problema, hipótesis a corroborar, y la justificación en diversos aspectos

del por qué la aplicación de esta tesis.

CAPÍTULO II: MARCO REFERENCIAL

Capítulo referente a todo el contenido teórico y bibliográfico que ayudará al

desarrollo de esta tesis. El contenido teórico comprende información relevante acerca de

la Discapacidad Auditiva, Lenguaje de Señas, Redes Neuronales, e información básica

acerca del lenguaje de programación Python y la librería de código abierto a usar,

TensorFlow. También contiene una serie de conceptos fundamentales para poder

enriquecer el contenido teórico.

54
 CAPÍTULO III: METODOLOGÍA

Capítulo referente al punto de partida del desarrollo de la tesis. Se identifican las

variables dependientes e independientes, población y muestra, y el esquema de la

metodología planteada para el desarrollo experimental de la tesis.

V. REFERENCIAS BIBLIOGRÁFICAS
Santos, D. (2012) Fundamentos de la Comunicación. Tlalnepantla: Red Tercer Milenio
S.C.

Rodríguez, M. (1991) Lenguaje de Signos. España: Confederación Nacional de Sordos

de España.

Organización Mundial de la Salud, OMS. (2019) Sordera y pérdida de la audición.

Recuperado el 15 de Marzo del 2019 de https://www.who.int/es/news-room/fact-
sheets/detail/deafness-and-hearing-loss

Instituto Nacional de Estadística e Informática, INEI. (2018) Perú: Perfil

Sociodemográfico. Informe Nacional 2017. Lima: Autor.

Diario El Peruano. (2015) Ley N° 29535: Ley que otorga Reconocimiento Oficial a la
Lengua de Señas Peruanas. Lima: Congreso Nacional de la República

Rodríguez, V., Grijalva, J. y Gallar, Y. (2015) Sistema de Traducción Simultánea de

Lenguaje de Señas a voz mediante una interfaz natural de usuario para personas con
discapacidad. Quito: Universidad Internacional SEK del Ecuador

Innovadores, Diario La Razón. (2018) El brazalete que traduce la lengua de signos en

tiempo real. Recuperado el 22 de Agosto del 2018 de:
https://innovadores.larazon.es/es/not/el-brazalete-que-traduce-la-lengua-de-signos-en-
tiempo-real

55
Calvache Espín, D. (2015) Diseño y construcción de un dispositivo para interpretación

del lenguaje de señas al español. Universidad Tecnológica Equinoccial, Ecuador.

D. G. Ruvalcaba, M. Ruvalcaba, J. P. Orozco, R. López y C. E. Cañedo (2018) Prototipo

de guantes traductores de la lengua de señas mexicana para personas con discapacidad

auditiva y del habla. Universidad Autónoma de Chihuahua, México.

Dulanto Ramos, L. (2015) Diseño de un guante electrónico para el mapeo y

reconocimiento de gestos utilizando redes neuronales. Pontificia Universidad Católica

del Perú, Perú.

Espinoza Aguilar, P. y Pogo León, H. (2013) Diseño y construcción de un guante

prototipo electrónico capaz de traducir el lenguaje de señas de una persona sordomuda

al lenguaje de letras. Universidad Politécnica Salesiana, Ecuador.

Maila Maila, F. (2008) Diseño y construcción de un prototipo para captura del

movimiento con un grado de libertad de los dedos de una mano y visualización en una

PC en tiempo real. Escuela Politécnica Nacional, Ecuador.

Consejo Nacional de Fomento Educativo de México (2010) Discapacidad auditiva: Guía

didáctica para la inclusión en educación inicial y básica. México DF: Autor.

Asociación de Sordociegos de España (2019) Sistemas de Comunicación para personas

sordociegas. España: Autor.

Carreiras & Gutiérrez (2009) El papel de los parámetros fonológicos en el procesamiento

de los signos de la lengua de signos española. Fundación CNSE, España.

Lazalde, Torres & Vila-Viñas (2015) Hardware: Ecosistemas de innovación y

producción basados en hardware libre. Buen Conocer – FLOK Society, Ecuador

Red Hat, Inc. (2019) What is a Raspberry Pi? Recuperado el 10 de Julio del 2019 de:
https://opensource.com/resources/raspberry-pi

56
Alejo Eleuterio, R. (2010) Análisis del error en redes neuronales: Corrección de los
datos y distribuciones no balanceadas. Universitat Jaume I, España.

James A Freeman, David M Skapura (1991) Algorithms, Applications, and Programming

Techniques. Addison-Wesley Publishing Company, Estados Unidos.

Muñoz Fernández, J. (2014) Estudio de la predictibilidad del rendimiento académico de

alumnos en asignaturas de segundo curso. Universidad Politécnica de Cartagena, España.

García Martínez, R., Servente, M., & Pasquín, D. (2003) Sistemas Inteligentes, Capítulo
1: "Aprendizaje automático", Capítulo 2: "redes Neuronales Artificiales". Buenos Aires,
Argentina.

Conde Ortiz, D. (2018) Inteligencia Artificial con Tensorflow para predicción de

comportamientos. Escuela Técnica Superior de Ingeniería Universidad de Sevilla,
España.

Buxó Rey, M. (1983) Antropología lingüística. Barcelona, España. 1ra Edición.

Sector de Radiocomunicaciones de la UIT (2015) Uso del decibelio y del neperio en

telecomunicaciones. Unión Internacional de Telecomunicaciones, Ginebra.

Meirinhos, M. (2009) El Open Source en la educación. Instituto Politécnico de Bragança,

Portugal.

Carrión Viramontes, J. (2009) Teoría de la computación. Instituto Tecnológico y de

Estudios Superiores de Monterrey, México.

Berzal, F. (2018) Redes neuronales y Deep Learning. Universidad de Granada, España.

57
 ANEXOS
ANEXO N° 01

1. Planteamiento del problema:

 REALIDAD:
Personas con discapacidades auditivas y del habla presentan problemas al
momento de comunicarse con las personas que desconocen el lenguaje de señas
como forma de comunicación.
 NECESIDAD:
Formas de comunicación que se puedan establecer entre personas con problemas
auditivos y del habla, y personas que no tienen estas discapacidades, para tener
una comunicación efectiva.
 PROBLEMA:
Falta de mecanismos de comunicación entre personas con discapacidad auditiva
y del habla, accesibles al público y de fácil manejo.

2. Planteamiento de problemas de acuerdo a criterios:

2.1. Criterio 1 – Planteamientos Teóricos:

 PLANTEAMIENTO TEÓRICO:
Se pueden desarrollar mecanismos que permiten una mejor comunicación a las
personas con problemas auditivos y del habla.
 REALIDAD:
Mecanismos ya existentes para mejorar la comunicación de personas con
problemas auditivos y del habla no son completos y tampoco son de fácil acceso
para el público en general.
 PROBLEMA:
Necesidad de desarrollar mecanismos para mejorar la comunicación en personas
con problemas auditivos y del habla que sean completos y accesibles al público
en general.

58
2.2. Criterio 6 – Carencias:

 OBJETIVO:
Masificar el uso de mecanismos para mejorar la comunicación en personas con
discapacidades auditivas y del habla.
 REALIDAD:
La existencia de mecanismos para mejorar la comunicación en personas con
discapacidades auditivas y del habla únicamente en ámbitos de desarrollo
educativo y en pruebas experimentales.
 PROBLEMA:
Inexistencia de mecanismos para mejorar la comunicación en personas con
discapacidad auditiva y del habla en el ámbito comercial.

2.3. Criterio 7 – Deficiencias:

 OBJETIVO:
Desarrollar mecanismos para personas con discapacidad auditiva y del habla a un
costo accesible al público en general.
 REALIDAD:
Los elementos usados para lograr la implementación de estos mecanismos son de
costo elevado.
 PROBLEMA:
Elevado costo de implementación de mecanismos para personas con
discapacidades auditivas y del habla.

59
 ANEXO N° 02

TABLA DE CRITERIOS

60
ANEXO N° 03

61