RECONHECIMENTO DE GESTOS DAS MOS PARA MOVIMENTAO DE UM MANIPULADOR ROBTICO COM SEIS GRAUS DE LIBERDADE BASEADO EM VISO COMPUTACIONAL

Andressa Corrente Martins, andressa.correntemartins@gmail.com Guilherme Kisseloff Coracini, guilherme.coracini@gmail.com

Instituto Tecnolgico de Aeronutica - ITA, Praa Marechal Eduardo Gomes, 50, Vila das Accias, CEP:12228-900, So Jos dos Campos, So Paulo, Brasil.

Resumo. Desenvolvimento de um sistema de reconhecimento das mos para movimentao de uma manipulador robtico com seis graus de liberdade acadmico, baseado em viso computacional. Este sistema foi desenvolvido em LabVIEW e utilizou nas mos luvas com marcadores para favorecer o sistema a funcionar em ambientes no estruturados. Palavras-Chave: Reconhecimentos dos gestos das mos,Viso computacional, Robtica, Interface. 1. INTRODUO Nos ltimos anos, as interfaces computacionais vem apresentado uma grande evoluo, que se deve aos lanamentos no mercado de sistemas e dispositivos que utilizam modos de interao diferentes dos apresentados pelos tradicionais teclado e mouse (Rocha, 2010). Os novos sistemas de input e output de interface computacional vem superando as simples bases de textos oferecidas pelos teclados e apresentam novos dispositivos que despertam uma forma intuitiva de se comunicar com os novos sistemas e dispositivos digitais. Neste contexto o campo da viso computacional vem sendo utilizada cada vez, tornando os sistemas de interface computacionais flexveis, de fcil manipulao e de rpida adaptao pelo seus usurios. Os sistemas de interfaces por viso computacional vem se popularizando de tal forma que podem ser encontrados em aparelhos domsticos, tais como televisores e videogames. Como exemplo deste equipamentos, pode-se citar a Sansung Smart TV e o Microsoft Kinect, como mostra a Fig. 1.

(a)

(b)

Figura 1.(a) Sansung Smart TV e (b) Microsoft Kinect Assim como sistemas computacionais convencionais, os manipuladores robticos, tambm utilizam sistemas de interface de entrada de dados. Este sistema geralmente constitudo por dois tipos de dispositivos, o painel de controle e os perifricos (teclado e mouse). Com o objetivo de criar uma interface mais amigvel e de interao intuitiva, o presente trabalho ir descrever o desenvolvimento de um sistema de reconhecimento de gestos das mos, por viso computacional, para movimentao de um manipulador robtico com seis graus de liberdade. 2. EMBASAMENTO TERICO Esta seo ir apresentar uma breve explanao sobre a teoria que envolve o sistema desenvolvido. Iniciando por uma pequena introduo sobre gestos e viso computacional, passando pelos principais conceitos e o que ser utilizado, depois ser apresentado o software que foi utilizado para o processamento das imagens e por final ser abordados os sistemas dos manipuladores robticos. 2.1. Gestos e Viso Computacional Os seres humanos esto constantemente utilizando as mos para interagir com o mundo a sua volta, como por exemplo mover objetos, transportar caixas, etc. Da mesma forma usa-se as mos para gesticular enquanto se fala ou para comunicar idias, como por exemplo, pedir para algum parar, se aproximar, afirmar ou negar algo. Os gestos das

mos so, portanto, uma forma de comunicao no-verbal, que pode ir de uma simples ao, como apontando para um objeto, at as mais complexas, como expressar sentimentos ou se comunicar com outras pessoas. Neste sentido, os gestos humanos podem ser definidos como um conjunto de permutaes geradas pela ao da mo e do brao (Freeman; Anderson; Beardsley, 1998). Assim, a adoo de mo, particularmente a palma e os dedos, como meio comunicao para dispositivos de entrada de dados pode quebrar a barreira tecnolgica na interao entre os usurios e os sistemas computadorizados (Vardy; Robinson; Cheng, 1999). Vrios sistemas utilizam o reconhecimento dos gestos mo como entrada de dados, como por exemplo Chai et ai. (2009) apresentam uma aplicao de gestos da mo na navegao 3D. Acrescenta-se a estrutura de informao global, com a variao de textura local no quadro do gesto projetado. Pavlovic et al. (1997) concluram em seu estudo que os gestos realizados pelos usurios devem ser logicamente explicvel para a concepo de uma interface de computador. Dias et al. (2004) apresentam um free-hand interface que baseado em encontrar o vo de marcadores de cor ligados aos dedos do usurio. O que todos estes trabalhos tem em comum a utilizao de viso computacional para anlise dos movimentos das mos. A viso computacional procura auxiliar a resoluo de problemas complexos, buscando imitar o conhecimento humano e a habilidade do ser humano em tomar decises de acordo com as informaes contidas em imagens. Entretanto a deciso a ser tomada condicionada pela seqncia dos passos relevantes que envolvem o processamento e a anlise de imagens, sendo muitas vezes realizada por um operador humano que detm o conhecimento ou a experincia sobre o domnio da aplicao (Pedrini; Schwartz, 2008). Os sistemas de interface que utilizam viso computacional no utilizam dispositivos de rastreamento explcito ligados ao computador e ao corpo do usurio. Utilizam somente cmeras para capturar imagens e tcnicas de processamento e reconhecimento de padres em imagem (Handenberg, 2001). 2.2. Software para Processamento de Imagem O processamento de imagens tem como objetivo melhorar o aspecto visual de certas feies estruturais para o analista humano e fornecer outros subsdios para a sua interpretao, inclusive gerando produtos que possam ser posteriormente submetidos a outros processamentos (Bastos, 2002). Para realizao deste processamento, atualmente existem inmeros softwares e bibliotecas disponveis, como por exemplo o OpenCV, ToolBox do MatLab, etc. Uma outra opo para realizao do processamento de imagem utilizando o LabVIEW, um software baseado em linguagem de programao grfica, que utiliza cones ao invs de textos para criar os programas e aplicaes (Nery, 2012). Diferentemente das linguagens que utilizam textos (linhas de comando) onde as instrues determinam o desenvolvimento do programa, a linguagem do LabVIEW baseada em fluxo de dados, onde os dados determinam a sequncia de execuo (Nery, 2012). Os programas e aplicativos desenvolvidos em LabVIEW, como mostrado na Fig. 2, utilizam os conjuntos de ferramentas e objetos que possuem funes para aquisio, anlise e apresentao dos dados, controle de instrumentos e GPIB (Nery, 2012).

Figura 2. Exemplo de programao em LabVIEW Uma das vantagens na utilizao do LabVIEW possibilidade de expanso do software atravs de mdulos, ou como conhecido comercialmente ToolBox, como por exemplo, o mdulo de Vision, responsvel por adicionar ferramentas de captao, tratamento, anlise e exibio de imagens. Outra vantagem a possibilidade de criao de interfaces com o usurio de forma simples e que apresenta os dados sem a necessidade de conhecimento do operador em qualquer tipo de linguagem programao. 2.3. Manipuladores Robticos Os manipuladores robticos podem ser conceitualmente apresentados como dispositivos mecanicamente concebidos para posicionar e orientar no espao os seus rgos terminais: uma garra, um porta ferramentas ou uma ferramenta (Lopes, 2002). Manipuladores robticos possuem um sensvel sistema de controle que comandam seus movimentos

quer seja pelo prprio operador ou pela alterao da sua sequncia de trabalho. Exemplos os Robs usados na indstria, como os robs Scara, cartesianos, cilndricos, etc. (Capeli, 2003). Um manipulador pode ser descrito como um conjunto de corpos ligados por juntas, formando cadeias cinemticas que definem uma estrutura mecnica. No manipulador incluem-se os atuadores, que agem sobre a estrutura mecnica, modificando a sua configurao e a transmisso, que liga os atuadores estrutura mecnica. Os termos manipulador e rob so muitas vezes usados com a mesma finalidade, embora, formalmente, tal informao no esteja correta (Lopes, 2002). A Fig. 3 apresenta a estrutura construtiva de uma manipulador robtico.

Figura 3. Estrutura construtiva de uma manipulador robtico. Os manipuladores robticos no esto presentes somente no ambiente industrial, local onde normalmente encontrado, esto muito presentes no meio acadmico onde so desenvolvidas inmeras pesquisas para melhoria de performance, segurana e interface. A Fig. 4 mostra dois tipos de manipuladores robticos, o industrial (a) e o acadmico (b).

(a)

(b)

Figura 4. (a) Manipulador robtico industrial. (b) Manipulador robtico acadmico.

3. DESENVOLVIMENTO Com o objetivo de criar uma interface mais amigvel e de interao intuitiva, foi desenvolvido um sistema de reconhecimento de gestos das mos, por viso computacional, para movimentao de um manipulador robtico com seis graus de liberdade acadmico. Para o desenvolvimento deste sistema foram utilizados um rob acadmico, como o apresentado na Fig. 4 (b), para captura das imagens, foi utilizada uma webcam, como mostrada na Fig. 5 (a), para localizao dos movimentos das mos, foi utilizada uma luva, como mostrada na Fig. 5 (b) e para aquisio e processamento das imagens foi utilizado o software LabVIEW.

(a)

(b)

Figura 5. (a) Webcam utilizada para adquirir as imagens. (b) Luva para localizao dos movimentos das mos. O fluxograma apresentado na Fig. 6, mostra a sequncia utilizada para o desenvolvimento do sistema. Iniciando com a visualizao da mo, passando para a aquisio das imagens, aps a captura das imagens elas passaram por um processamento. Aps o processamento, os dados colhidos das imagens so convertidos em dados e comandos para o manipulador, que por sua vez, recebe estes dados e os converte em movimentos.

Figura 6. Fluxograma das etapas do sistema. O sistema de localizao das mos foi baseado em mapeamento dos marcadores localizados nos dedos, polegar e indicador, e na palma da mo. A Fig. 7 apresenta a diviso e utilizao destes marcadores para a converso de dados para o manipulador. Para este trabalho os marcadores foram importantes pois houve a necessidade da utilizao do sistema em ambientes no estruturados, sendo assim a no utilizao dos marcadores seria um complicador a mais e que no traria nenhum beneficio aparente.

Marcadores para movimentao movimentao

Marcadores para garra

Figura 7. Localizao dos marcadores na mo. Para manipulao das imagens, foi desenvolvida uma interface em LabVIEW, que apresenta a imagem em tempo real, os marcadores que o sistema esta vendo, tamanho e tipo de imagem, mdulo de seleo de cmera, janela de varredura, nmero de marcadores a seguir e ngulos de posicionamento de cada atuador no manipulador robtico. A Fig. 8 apresenta esta interface.

Figura 8. Interface desenvolvida para observao do sistema. No conjunto de realizao dos movimentos, foi enviado ao manipulador robtico dois tipos de dados, o primeiro de movimentao dos elos, o segundo de abertura e fechamento da garra. Para obteno destes dados foi assumidas duas premissas. A primeira que, para movimentao dos elos, o sistema iria seguir o objeto de maior rea, que o da palma da mo. A segunda que, para movimentao da garra, o sistema iria seguir os objetos de menor rea, que so os dedos. No caso da movimentao da garra, foi assumido uma proporo de abertura e fechamento dos dedos com relao a abertura e fechamento da garra. Isso proporciona ao usurio um controle maior da pega de objetos, evitando acidentes e perda da funcionalidade na movimentao dos dispositivos. 4. TESTES E RESULTADOS Nesta seo sero apresentados os testes de funcionalidade do sistema, para anlise funcional do sistema foram realizados trs testes principais, o primeiro testou a movimentao dos elos do manipulador, o segundo a abertura e fechamento da garra e o terceiro testou em conjunto a movimentao dos elos e a abertura e fechamento da garra. Os teste foram realizados no LAME (Laboratrio de Automao da Montagem Estrutural de Aeronaves), localizado no ITA (Instituto Tecnolgico de Aeronutica). Para realizao de todos os testes foram utilizados os mesmos equipamentos usados no desenvolvimento do sistema, um rob manipulador acadmico, para captura das imagens foi utilizada uma webcam, para localizao dos movimentos das mos foi utilizada uma luva com marcadores e para aquisio e processamento das imagens foi utilizada a interface desenvolvida no software LabVIEW.

No primeiro teste foram feitos primeiramente movimentos verticais e horizontais e aps a anlise destes movimentos, foram feitos movimentos aleatrios, unindo movimentos diagonais e circulares. Aps a realizao deste movimentos foi possvel verificar que o rob correspondia aos comandos com agilidade e eficincia em seus movimentos, atendendo positivamente o seu objetivo. No segundo teste foram feitas vrias sequncias de abertura e fechamento da garra do rob, verificando a proporcionalidade dos movimentos dos dedos com os da garra. Com este teste foi possvel verificar que o rob atendia aos comando de abertura e fechamento da garra, com proporcionalidade de posicionamento e velocidade, na relao dedos e garra. No ltimo e principal teste, foram analisados os mesmos movimentos do primeiro e segundo teste, porm de forma conjunto. Com este teste foi possvel verificar que o rob tambm atende positivamente o objetivo quando mandado comandos simultneos, como por exemplo, movimentar horizontalmente abrindo a garra. 5. CONCLUSES E TRABALHOS FUTUROS De posse dos dados de projeto e de testes, pode-se concluir que o sistema desenvolvido atendeu positivamente o seu objetivo de criar uma interface de movimentao de um manipulador robtico com viso computacional. Porm verificou-se que para utilizar a movimentao de robs por cmeras, a utilizao da cinemtica dos manipuladores robticos se faz necessria, pois fornece a localizao do seu ponto terminal, facilitando o alcance dos pontos desejados. Pode-se concluir tambm que a utilizao de um padro para calibrao inicial do sistema se faz necessrio, pois com isso pode-se evitar a variao da escala da imagem, evitando perda da funcionalidade do dispositivo. 6. REFERNCIAS Bastos, V. P. Tcnicas de Segmentao de Imagens para Recuperao de Informaes Visuais. 2002. 100 f. Dissertao (Graduao) Universidade Catlica de Pelotas, Pelotas, 2002. Disponvel em: <http://paginas.ucpel.tche.br/~vbastos/index.htm>. Acesso em: 10 nov. 2012. Capeli, A. Mecatrnica Industrial. So Paulo: Saber, 2003. Dias, J. M. S.; Nande, P.; Santos, P.; Barata, N.; Correia, A. Image Manipulation through Gestures. In: Proceedings of AICG04, pp. 1-8, 2004. Disponvel em: < http://virtual.inesc.pt/aicg04/papers/12_DiasACGP.pdf>. Acesso em: 08 nov. 2012. Freeman, W. T.; Anderson, D. B.; Beardsley, P. Computer vision for interactive computer graphics. In: IEEE Computer Graphics and Applications, 18, 1998, Cambridge. Journals & Magazines. Cambridge: IEEE, 2002. p. 42 - 53. Disponvel em: <http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=674971>. Acesso em: 11 nov. 2012. Handenberg, C. Fingertracking and Handposture Recognition for real-Time Human-Computer Interaction. Dissertao (Mestrado), Fachbereich Elektrotechnik und Informatik der Technischen Universitt Berlin, 2001. Disponvel em: < http://iihm.imag.fr/publs/2001/Hardenberg01_FingerTracking.pdf >. Acesso em: 10 nov. 2012. Lopes, Antnio Mendes. Manipuladores de Estrutura Paralela. Porto: Faculdade de Engenharia Universidade do Porto, 2002. 41 p. Disponvel em: <http://paginas.fe.up.pt/~aml/maic_files/Rob_para.pdf>. Acesso em: 09 nov. 2012. Nery, Roberta Tamara da Costa. Introduo ao LabVIEW. Disponvel em: <http://www.joinville.ifsc.edu.br/~coral/PROGRAMACAO_EM_LINGUAGEM_GRAFICA/APOSTILAS_PARA _LABVIEW/Apostila_Baixada_na_net2.pdf>. Acesso em: 10 jun. 2012. Pavlovic, Vladimir I.; Sharma, Rajeev; Huang, Thomas S. Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review. In: IEEE Transactions on Pattern Analysis and Machine Intelligence, 19, 1997, San Francisco. IEEE Computer Society Press. San Francisco CA: IEEE, 1997. p. 677 - 695. Disponvel em: <http://www.cs.rutgers.edu/~vladimir/pub/pavlovic97pami.pdf>. Acesso em: 09 nov. 2012. Pedrini, H.; Schwartz, W. R. Anlise de imagens digitais: princpios, algoritmos e aplicaes. So Paulo: Thomson Learning, 2008. p. 508. Rocha, Cleomar. Interfaces Computacionais e Experincia Sensvel. In: Encontro da Associao Nacional de Pesquisadores em Artes Plsticas, 19, 2010, Cachoeira. Anais . Cachoeira: ANPAP, 2010. p. 1138 - 1144. Disponvel em: <http://www.anpap.org.br/anais/2010/pdf/cpa/cleomar_de_sousa_rocha.pdf>. Acesso em: 11 nov. 2012. Vardy A, Robinson J, Cheng L. The WristCam as Input Device. In: Proc. International Symp. on Wearable Computing, San Francisco CA, October 18-19, IEEE Computer Society Press, 1999. pp. 199.202. Disponvel em: < http://www.cs.mun.ca/av/papers/vardy99.pdf>. Acesso em: 09 nov. 2012. Xiujuan Chai, Yikai Fang and Kongqiao Wang. Robust Hand Gesture Analysis and Application in Gallery Browsing. In: Proceeding of ICME, New York, pp. 938-94, 2009. Disponvel em: < http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=05202650>. Acesso em: 08 nov. 2012.