Академический Документы
Профессиональный Документы
Культура Документы
SO PAULO
2014
SO PAULO
2014
Resumo
Atualmente a tecnologia assistiva tem desenvolvido um papel importante
na acessibilidade s atividades corriqueiras de pessoas que apresentam algum
tipo de deficincia. Um dos desafios para esta rea de estudo o
desenvolvimento de solues que permitem estabelecer comunicao efetiva
entre pessoas que apresentam alguma deficincia com pessoas que no
possuem. Este trabalho apresenta uma soluo capaz de criar um meio de
comunicao entre deficientes auditivos com pessoas que no apresentam
esta deficincia, por meio da traduo do alfabeto de LIBRAS utilizando o
dispositivo Microsoft KINECT. O objetivo deste trabalho descrever as etapas
de desenvolvimento e de usabilidade de um software que, utiizando-se dos
conceitos da interface natural de usurio, capaz de reconhecer e traduzir em
tempo de execuo os vinte e seis sinais que compem o alfabeto da Lingua
Brasileira de Sinais. So apresentados referenciais tericos sobre a lingua de
sinais, com estudo aprofundado sobre os sinais que compem o alfabeto em
LIBRAS, o detalhamento do hardware e software utlizados, focando as
caractersticas do dispositivo KINECT e dos Frameworks necessrios e por fim,
a apresentao detalhada dos algoritmos capazes de traduzir os sinais, assim
como testes aplicados com usurios para avaliar a usabilidade do software.
Palavras-Chave: LIBRAS. Reconhecimento. Alfabeto. Kinect. NUI.
Abstract
The assistive technology has developed an important role with people who
developed some kind of disability assuring them the accessibility to ordinary
activities nowadays. One of the challenges for this subject is focused on the
development of solutions which enable effective communication between
people who have a disability with people who do not. This project introduces a
solution able to create a medium of communication between deaf people with
those that do not have this kind of deficiency, through the translation of the
LIBRAS alphabet using the Microsoft KINECT device. The main objective is to
describe the stages of the development and usability of a software that, through
the concepts of natural user interface, is able to recognize and translate, at
runtime, all the signs that make up the alphabet of the Brazilian Signal
Language. A previous research is stated defining the concepts about the signal
language, including a depth study of the signs that consist in the LIBRAS
alphabet, detailing the hardware and software used, describing the KINECT
device characteristics and all the Frameworks required and, finally, a detailed
presentation about the algorithms developed that is capable of translate the
signals, as well as an usability test performed with users to evaluate the
software.
Keywords: LIBRAS. Recognizing. Alphabet. Kinect. NUI.
Lista de Ilustraes
Figura 1 Sinais do Alfabeto de LIBRAS ................................................ 16
Figura 2 Representao das letras sem dedos definidos ..................... 20
Figura 3 Comparao de reas entre as letras S, A e O ...................... 20
Figura 4 Interface CLI ........................................................................... 24
Figura 5 Programao em COBOL e FORTRAN.................................. 25
Figura 6 Sistema Operacional Lisa ....................................................... 26
Figura 7 Windows 95 ........................................................................... 27
Figura 8 Interface NUI .......................................................................... 28
Figura 9 Componentes eletrnicos contidos no dispositivo KINECT .... 31
Figura 10 Recursos de Hardware do dispositivo Kinect ........................ 32
Figura 11 Pontos do corpo rastreados pelo dispositivo KINECT .......... 33
Figura 12 Arquitetura OPENNI SDK 2 .................................................. 36
Figura 13 Software de reconhecimento de Sinais................................. 38
Figura 14 Reconhecimento da lngua oral para lngua de sinais .......... 38
Figura 15 Classes envolvidas no desenvolvimento da aplicao ......... 40
Figura 16 Classe App ........................................................................... 41
Figura 17 Classe Config ....................................................................... 42
Figura 18 Classe wConfig ..................................................................... 42
Figura 19 Classe CountHistory ............................................................. 43
Figura 20 Classe HandCoordinates ...................................................... 43
Figura 21 Classe HandInterfaceElement .............................................. 45
Figura 22 Classe InterfacePainter......................................................... 46
Figura 23 Classe KinectControls........................................................... 47
Figura 24 Classe KinectSkeleton .......................................................... 48
Figura 25 Classe MainWindow ............................................................. 49
Figura 26 Classe ModeCombination ..................................................... 50
Lista de Tabelas
Tabela 1 Classificao das letras do alfabeto de LIBRAS .................... 17
Tabela 2 Caractersticas das letras que possuem movimento .............. 18
Tabela 3 Caractersticas das letras que no possuem movimento ....... 21
Tabela 4 Tarefas Preliminares Teste de Usabilidade ........................ 68
Tabela 5 Erros x Tarefa Teste de Usabilidade ................................... 69
Tabela 6 Questionrio de Avaliao Teste de Usabilidade ................ 70
SUMRIO
Introduo ................................................................................................ 11
1. Lingua de Sinais .................................................................................. 14
1.1. Caractersticas da Lingua de Sinais ..................................... 14
1.2. LIBRAS A Lingua Brasileira de Sinais ............................... 15
1.3. Alfabeto em LIBRAS ............................................................ 16
2. Recursos Tecnolgicos de Interatividade ............................................ 23
2.1. Command Line Interface CLI............................................. 23
2.2. Graphic User Interface GUI ............................................... 25
2.3. Natural User Interface NUI ................................................ 27
3. KINECT - Potencialidade e Bibliotecas de Desenvolvimento............... 29
3.1. Histrico ............................................................................... 29
3.2. Especificaes Tcnicas ...................................................... 31
3.3. Limitaes Tcnicas ............................................................. 34
3.4. Frameworks.......................................................................... 35
3.4.1. Microsoft SDK ......................................................... 35
3.4.2. OPENNI .................................................................. 35
3.4.3. Candescent NUI ..................................................... 36
4. O uso do Kinect no reconhecimento de sinais ..................................... 37
5. Software de Reconhecimento Completo do Alfabeto de LIBRAS ........ 39
5.1. Desenvolvimento .................................................................. 39
5.2. Classes ................................................................................ 41
5.2.1. App ......................................................................... 41
5.2.2. Config e wConfig .................................................... 41
5.2.3. CountHistory ........................................................... 43
5.2.4. HandCoordinates .................................................... 43
5.2.5. HandInterfaceElement ............................................ 44
11
Introduo
12
13
14
1. Lingua de Sinais
1.1.
15
1.2.
16
1.3.
Alfabeto em LIBRAS
Fonte (MASSOLI,2006)
17
Com
Movimento
A
B
C
D
E
F
G
H
I
J
K
L
M
N
Sem
Dedos
Definidos
Com
Dedos
Definidos
18
O
P
Q
R
S
T
U
V
W
X
Y
Z
Fonte - Autor
Representao
Grfica
H
Dedos
presentes no
Sinal
Descrio do Movimento
Indicador e
Mdio
Mnimo
19
Indicador e
Mdio
Indicador
Movimento horizontal da
estando na posio deitada.
Indicador
Combinao entre o
horizontal e diagonal.
mo
movimento
Fonte - Autor
20
Fonte - Autor
S<A<O
Fonte - Autor
Onde a rea ocupada pelo sinal que representa a letra O maior do que
a rea do sinal que representa a letra A, que por sua vez, maior do que a
21
Representao
Grfica
C
Qtde. Dedos
Identificao
Polegar
Indicador
Sentido dos
Dedos
Direita (se mo
esquerda)
Esquerda (se mo
direita)
Polegar
Indicador
Mdio
Para cima
Polegar
Indicador
Mdio
Anelar
Mnimo
Para cima
Indicador
Para cima
Mnimo
Para cima
Polegar
Indicador
Para cima
22
Indicador
Mdio
Anelar
Para baixo
Indicador
Mdio
Para baixo
Indicador
Mdio
esquerda)
Esquerda (se mo
direita)
Indicador
Para baixo
Indicador
Mdio
Para cima
Polegar
Indicador
Mdio
Anelar
Mnimo
Para cima
Indicador
Mdio
Para cima
Indicador
Mdio
Para cima
Indicador
Mdio
Anelar
Para cima
Polegar
Mnimo
Para cima
Direita (se mo
Fonte - Autor
23
24
25
Fonte Autor
26
Fonte (ARRUDA,2011).
27
Figura 7 Windows 95
Fonte (ARRUDA,2011).
na
utilizao
desta
interface.
No
necessidade
de
28
Fonte (ARRUDA,2011).
29
3.1.
Histrico
30
2010).
Anunciado e demonstrado como "Projeto Natal" em junho de 2009, o
Kinect apresenta uma interao com o usurio inovadora ao conseguir traduzir
todos os movimentos do corpo do usurio e reproduzi-lo em aplicaes e jogos.
Alm disso, atualmente o hardware compatvel com o Windows capaz de
reconhecer o rosto e a voz do usurio para que ele possa buscar e saber quem
est utilizando o equipamento em determinado ambiente. (REYNOLDS, 2010)
Project Natal teve sua primeira demonstrao realizada na conferncia
E3 (Electronic Entertainment Expo). Com a campanha de Marketing focada em
atingir novos pblicos. Tendo como slogan "Voc o controle", a Microsoft
superou os investimentos realizados no lanamento do Xbox 360, chegando a
atingir um oramento de publicidade de U$ 500 milhes. (LEADBETTER,
2011).
O "Projeto Natal" levou esse nome em referncia cidade de Natal no Rio
Grande do Norte, cujo seu autor, o Brasileiro Alex Kipman, procurou prestar
homenagem. (Jnior e Petr, 2010)
O nome definitivo foi implantado pouco antes da data de lanamento nos
Estados Unidos da Amrica em quatro de Novembro de 2010. A origem da
palavra Kinect a uma juno das palavras kinetic (cintica, em portugus) e
connect (conectividade), que descrevem os principais aspectos da iniciativa.
(WASH, 2010).
A Microsoft projetou o Kinect como um acessrio para o Xbox Live
Experience, o console Xbox 360 e posteriormente para a plataforma Windows.
O Kinect, porm, no mgica em tudo. , entretanto, uma combinao
inovadora de cmeras, microfones e software que transforma corpo do usurio
em um controle.
31
3.2.
Especificaes Tcnicas
Fonte (http://tecnoblog.net/46298/kinect-e-aberto-e-desmontado-de-verdade/)
32
33
Fonte (http://msdn.microsoft.com/en-us/magazine/jj159883.aspx)
34
3.3.
Limitaes Tcnicas
35
3.4.
Frameworks
3.4.2. OPENNI
O grupo sem fins lucrativos OPENNI foi fundado em 2010 com o objetivo
de promover e estabelecer padres de comunicao e compatibilidade da
Interao Natural (Natural Interaction - NI) com dispositivos, aplicaes e
36
Fonte (OPENNI,2014)
37
38
39
No
foram
encontradas
pesquisas
ou
registros
de
aplicaes
5.1.
Desenvolvimento
A escolha da
40
Fonte - Autor
41
5.2.
Classes
5.2.1. App
A classe App uma das classes que apresentam um arquivo xaml para
exibio da camada de usurio. Sua funo porm, apenas instanciar e
inicializar a aplicao (figura 16).
Figura 16 Classe App
Fonte - Autor
42
Fonte - Autor
Fonte - Autor
43
5.2.3. CountHistory
A classe CountHistory (figura 19) tem como funo contar quantos dedos
esto presentes no momento em que o usurio est realizando o sinal. Esta
classe pertencia ao projeto Candescent NUI originalmente, porm foi
modificada para atender s necessidades do projeto.
Figura 19 Classe CountHistory
Fonte - Autor
5.2.4. HandCoordinates
Fonte - Autor
44
5.2.5. HandInterfaceElement
45
Fonte Autor
46
5.2.6. InterfacePainter
Fonte - Autor
5.2.7. KinectControls
47
Fonte - Autor
5.2.8. KinectSkeleton
48
Fonte - Autor
5.2.9. MainWindow
49
Fonte - Autor
50
5.2.10. ModeCombination
Fonte - Autor
5.2.11. OpenControls
A classe OpenControls (Figura 27) tem como funo instanciar o objeto
IdataSourceFactory que um dos objetos responsveis pela identificao do
corpo humano pelo dispositivo Kinect.
Figura 27 Classe OpenControls
Fonte - Autor
5.2.12. PathFactory
51
Fonte - Autor
5.2.13. PerguntaLetra
Fonte - Autor
52
Fonte - Autor
53
Fonte - Autor
54
5.3.
Telas
Fonte - Autor
55
Fonte - Autor
56
Fonte - Autor
57
58
Fonte - Autor
59
5.4.
Algoritmos
5.4.1. Calibragem
60
Fonte - Autor
61
62
Fonte - Autor
63
Fonte - Autor
64
65
Fonte - Autor
Fonte - Autor
66
Fonte - Autor
Fonte - Autor
67
Fonte (Autor)
6. Testes de Usabilidade
O teste de usabilidade um dos modelos de testes conceituado e
desenvolvido pelo estudo da Interao Humano-Computador (IHC).
Em seu livro Handbook of Usability Testing, sem traduo para o
portugus, os autores Jeff Rubin 1 e Dana Chisnell 2 definem que, em geral, um
produto possui usabilidade quando h [...] ausncia de frustrao na utilizao
[...] quando um produto ou servio realmente til, o usurio pode fazer o que
ele ou ela quer fazer do jeito que ele ou ela espera ser capaz de faz-lo, sem
impedimentos, hesitao, ou questes.(RUBIN J., Chisnell D.,2008).
Segundo Rubin e Chisnell (RUBIN J., Chisnell D.,2008) o teste de
usabilidade pode ser definido como um processo no qual os participantes
avaliam o grau que um produto se encontra em relao a critrios especficos
de usabilidade. Os teste de usabilidade so mais eficientes quando
implementados no processo de desenvolvimento do software.
1
68
N Tarefa
TME: 15 minutos
Observar e treinar os sinais do alfabeto em LIBRAS
a partir dos desenhos apresentados pelo avaliador.
TME: 10 minutos.
Fonte - Autor
69
Tarefas
Usurio 1
Usurio 2
Usurio 3
Usurio 4
Mdia
Desvio
Padro
Pior Nvel
Aceitvel
Nvel Alvo
Melhor
Nvel
1
2
3
4
5
6
7
8
9
10
11
12
13
1
5
3
0
0
2
1
4
5
1
2
5
2
2
3
0
0
0
3
0
3
5
1
0
3
0
1
3
0
0
0
2
1
1
5
0
0
2
0
3
5
2
0
0
2
2
3
0
0
3
2
2
1,75 4,00 1,25 0,00 0,00 2,25 1,00 2,75 3,75 0,50 1,25 3,00 1,00
1,66 2,00 2,60 0,00 0,00 0,87 1,41 2,18 4,33 1,00 2,60 2,45 2,00
2
1
3
1
1
0
1
0
2
1
3
1
1
0
2
1
3
1
1
0
2
1
3
1
2
0
Fonte - Autor
70
Usurio 1
Usurio 2
Usurio 3
Usurio 4
3,5
1,7321
b Algoritmo de Calibragem
3,25
0,8660
c Algortimo de Reconhecimento
4,25
1,6583
3,5
1,0000
0,0000
Mdia
Desvio Padro
4,75
0,8660
4,25
0,8660
h Mensagens do Sistema
3,5
1,7321
0,0000
4,25
0,8660
4
Fonte - Autor
71
72
Consideraes Finais
Um dos principais desafios para o desenvolvimento de aplicaes
voltados tecnologia assistiva est relacionado usabilidade do sistema.
Ao buscar alcanar o objetivo proposto para o desenvolvimento do
software, a principal preocupao esteve relacionada usabilidade do mesmo.
Como e o quo confortveis os usurios se sentiriam ao utilizar uma aplicao
que no necessitasse dos perifricos bsicos, como teclado e mouse, e, ao
mesmo tempo, passando informaes relevantes para o sistema conseguir
interpretar o sinal proposto.
A partir dos dados levantados atravs do teste de usabilidade do software
possvel analisar, com o desvio padro, a mdia da variao do nmero de
erros cometidos por tarefa entre cada participante, o que indica que a
exprincia do usurio com o uso do software tambm relevante para avaliar a
usabilidade do mesmo.
importante ressaltar que grande parte das tarefas propostas foram
realizadas mantendo a mdia de erros dentro do nvel esperado, sendo vlido
observar que os usurios tiveram maior dificuldade justamente nas letras com
maior complexidade no sinal, com ou sem dedos definidos, como as letras T ou
F, e em alguns movimentos especficos, como nas letras H e K.
O questionrio de avaliao da usabilidade do software mostrou que os
pontos crticos de utilizao do sistema esto acima da mdia esperada, ao
mesmo tempo em que as respostas dissertativas dos usurios serviram para
levantar possveis alteraes de melhorias no o uso do sistema.
O layout das telas, a organizao das informaes e at mesmo o prprio
algoritmo de reconhecimento dos sinais so pontos a serem destacados.
Enquanto o algoritmo de calibragem, o tempo em que o usurio precisa esperar
para receber a confirmao do sinal e o reconhecimento de letras que o
dispositivo Kinect no consegue distinguir os dedos presentes, podem ser
reanalisados para melhor atender aos usurios em uma prxima verso do
software.
73
74
75
76
Difcil
0
1
Confuso
0
1
Confuso
0
1
Rpido
0
1
Ruim
0
1
Confuso
0
1
Confuso
0
1
Confuso
0
1
Difcil
0
1
Montona
0
1
Fcil
5
Claro
4
5
Claro
4
5
Demorado
4
5
Boa
4
5
Claro
4
5
Claro
4
5
Claro
4
5
Fcil
4
5
Interessante
4
5
4
77
Referncias Bibliogrficas
78
<http://www.pcworld.com/businesscenter/article/202184/mundie_microsofts_res
earc h_depth_enabled_kinect.html>. Acesso em: 19 Maro 2011.
IBGE - Censo Demogrfico 2010:Resultados gerais da amostra. Disponvel em:
http://censo2010.ibge.gov.br/noticiascenso?busca=1&id=3&idnoticia=2170&view=noticia. Acesso em: Mar/2012.
JNIOR, lvaro Pereira Jr. e PETR, Gustavo. Conhea o brasileiro que criou
o videogame que se joga sem joystick. Disponvel em:
<http://g1.globo.com/tecnologia/noticia/2010/06/conheca-o-brasileiro-que-criouo-videogame-que-se-joga-sem-joystick.html>. Acessado em: 19 Fevereiro
2014.
Kinect For Windows. Dev Center. Disponvel em: <http://www.microsoft.com/enus/kinectforwindows/discover/features.aspx> Acesso em 08 Abril 2014.
LEADBETTER, Richard. Prime Sense: Beyond Natal. Disponvel em:
<http://www.eurogamer.net/articles/digitalfoundry-primesense-article?page=2>
Acesso em: 19 Fevereiro 2014.
Libras. O que LIBRAS? Disponvel em: <http://www.libras.com.br/libras/oque-e-libras> .Acesso em: Jan/2014.
MASSOLI, Adriano. Alfabeto Libras. Disponvel em:<
http://csjonline.web.br.com/alfabeto.htm> Acesso em: 08 Abril 2014.
MICROSOFT. Microsoft, 2011. Disponivel em: <www.microsoft.com>. Acesso
em: 26 Abril 2011.
OLIVEIRA, P. M. T. D. Sobre Surdos. Site de Jonas Pacheco, 2011. Disponivel
em: <http://www.surdo.org.br/informao.php?lg=pt&info=Historiadossurdos>.
Acesso em: 24 Fevereiro 2014.
OPENNI. Disponvel em: <http://www.openni.org/> Acesso em: 08 Abril 2014.
RAMOS, C. R. LIBRAS: A Lngua de Sinais dos Surdos Brasileiros, Petrpolis,
2006. Disponivel em: <http://www.editora-arara-azul.com.br/pdf/artigo2.pdf>.
Acesso em: 05 Maro 2014.
RESEARCH. Microsoft. Kinect Sign Language Translator. Disponvel em:
<http://research.microsoft.com/en-us/collaboration/stories/kinect-sign-languagetranslator.aspx> Acesso em: 08 Abril 2014.
79