Universidade Federal de Pelotas

Curso de Engenharia Eletrônica

Reconhecimento de gestos em imagens estáticas
aplicados a Libras
Processamento Digital de Sinais
Michael S. Centeno
e-mail:mchlcenteno@gmail.com

Resumo—O objetivo da atividade é o reconhecimento de gestos como os da figura 2, para a classificação do objeto a ser
em imagens estáticas aplicados a Libras, através de reconhe- reconhecido.
cimento de imagem por computador, com auxı́lio do software
MatLab. Procurou-se reconhecer somente as vogais como prova
de validação do método. Atividade esta que deve ser submetida
ao professor da disciplina de Processamento Digital de Sinais,
como requisito a nota da disciplina.

I. I NTRODUÇ ÃO
As lı́nguas de sinais são produzidas através de movimentos
no espaço e percebidas visualmente. Apesar de neste trabalho Figura 1: Vogais na Lı́ngua Brasileira de Sinais[3]
se utilizar a técnica de tradução da Lı́ngua Brasileira de Sinais,
através da utilização de configurações estáticas, a Libras não
se resume a uma lı́ngua de tradução, possuindo toda uma
heterogeneidade em torno da cultura surda.
o Método Haar Cascade é um método eficaz de detecção
de objetos proposto por Paul Viola e Michael Jones. É uma
abordagem baseada em Machine Learning, em que uma função
cascade ou cascata é treinada com o uso de muitas imagens
positivas e negativas, e então é usado para detectar objetos em
outras imagens. Imagens positivas são imagens do objeto que
se deseja detectar, onde o objeto é apresentado sob diferentes Figura 2: Janelas retangulares classificadoras
perspectivas e condições de iluminação. Imagem negativa é
tudo aquilo que não se deseja detectar, ou seja, imagens
que não contenham o objeto a ser detectado. Esse método II. D ESENVOLVIMENTO
é conhecido por ser utilizado principalmente em reconheci- Para o treinamento dos dados foi utilizado um banco de
mento de faces, porém qualquer objeto rı́gido sólido pode dados baseado na Lı́ngua Americana de Sinais disponibilizado
ser detectado, esses tendem a ter uma taxa de acerto maior por [4] que possui algumas configurações de mão equivalentes
nesta abordagem. Conforme [1] , corpos humanos tendem a na Libras e são suficientes para este projeto. Através do
se dobrar durante o movimento, o que pode diminuir a taxa de Matlab 2016.b, foram utilizadas em média 72 figuras positivas
acerto. Segundo [2] a técnica utilizada no classificador consiste com resolução de 200x200 px, para média de 1000 negativas
em uma análise de imagens em tons de cinza, em que as para cada vogal. A ROI (Região de Interesse) das imagens,
diferenças de intensidade de regiões distintas são comparadas foram retiradas através do aplicativo training image labeler
a caracterı́sticas armazenadas em uma árvore de decisões, que disponibilizado pelo próprio software. Após treinamento, a
é desenvolvida através de um algoritmo de treinamento e um rede de configuração Haar, gerou um arquivo com extensão
conjunto de imagens das quais são extraı́das caracterı́sticas XML para cada letra, arquivo esse que contém todas as
especı́ficas do objeto a ser rastreado. O termo “cascata” é informações para comparação com as imagens que se deseja
utilizado porque o algoritmo de treinamento cria uma série de reconhecer. O resultado pode ser verificado nas figuras da
classificadores que são analisados em sequência, até que um segunda página. O arquivo contendo o código esta nomeado
padrão seja identificado, utilizando assim janelas retangulares de “modelo.m” e será encaminhado em anexo a este relatório.
 III. C ONSIDERAÇ ÕES

Apesar de não ser o algoritmo mais eficaz, foi possı́vel

demonstrar de maneira simples, que é possı́vel reconhecer
padrões e caracterı́sticas, com uma boa margem de precisão,
conforme demonstrado, o teste com imagens utilizadas para
treinamento e imagens externas, foi bem satisfatório, com
uma margem de cerca de 90% de acertos. Claro que existem
diversos tipos de algoritmos melhores para esta atividade, mas
de maneira simples e utilizando um método mais “primitivo”
também é possı́vel se aproximar de um resultado mediano.
Figura 6: Ocorrência da letra O

Figura 3: Ocorrência da letra A

Figura 7: Ocorrência da letra U com falso positivo

Figura 4: Ocorrência da letra E Figura 8: Ocorrência de um falso positivo

R EFER ÊNCIAS
[1] F. A. Correa, “Apresentacao tchelinux 2017 fazendo maquinas enxergarem
com opencv,” Disponivel em https://wdhouse.com.br/wdframe/ , ultimo
acesso em Julho de 2018.
[2] F. A. C. M. Adilson Roberto Pavan, “Reconhecimento de gestos com
segmentacao de imagens dinamicas aplicadas a libras,” Disponivel em
http://www.lbd.dcc.ufmg.br/colecoes/wrva/2010/0014.pdf , ultimo acesso
em Julho de 2018.
[3] P. E. Vix, “Aula de libras,” Disponivel em https://escolavix.webnode.com/
auladelibras/ , ultimo acesso em Julho de 2018.
[4] S. Gupta, “American sign language translator using opencv and machine
learning.” Disponivel em https://github.com/mjk188/ASL-Translator , ul-
timo acesso em Julho de 2018.

Figura 5: Ocorrência da letra I