Proposta de Projeto: Experimento de interação 3D utilizando o Microsoft
Kinect® no contexto de composição musical interativa
Filipe Calegario
Centro de Informática - UFPE
RESUMO
O surgimento de dispositivos como o Microsoft Kinect®
(Microsoft 2010) e o consequente desenvolvimento de drivers
opensource (Giles 2010) para a sua utilização em diversos
ambientes de programação amplia a possibilidade de
implementação de sistemas interativos com alto grau de
complexidade, robustez e velocidade de maneira simples, ágil e
transparente. O objetivo deste trabalho é entender o
funcionamento de técnicas de body tracking e skeleton tracking
no espaço tridimensional utilizando o Kinect como sensor de
ambiente, estudar as formas de interação mais adequadas no
contexto de composição musical algorítmica influenciada pelos
gestos do usuário e construir um sistema interativo no qual o
usuário, a partir do seu movimento, cria peças musicais.
PALAVRAS-CHAVE: Kinect, Algorithmic Composition, Musical
Interactivity, Gestural Control, Body Tracking, Skeleton Tracking
1 INTRODUÇÃO
O avanço do poder de processamento e o surgimento de novos
dispositivos estão trazendo para a realidade o uso de diferentes
formas de interação entre o humano e o computador. As interfaces
naturais, que substituem o paradigma teclado-mouse por gestos,
movimentos, comandos de voz etc., estão adquirindo tempos de
resposta cada vez menores e tornando possível o seu uso em
diversos tipos de aplicação (Saffer 2008).
Com o lançamento do Microsoft Kinect no segundo semestre de
2010, a comunidade de desenvolvedores, usando técnicas de
engenharia reversa, em pouco tempo conseguiu implementar
bibliotecas opensource (Giles 2010) que permitem a utilização do
sensor em ambientes de programação de diversas plataformas
operacionais. A partir daí surge a possibilidade do
desenvolvimento simples, ágil e transparente de sistemas
interativos que utilizam o rastreamento 3D do corpo do usuário de
forma rápida e robusta.
Estas novas oportunidades tecnológicas, dão à Computação
Musical a possibilidade de desenvolvimento de aplicações cada
vez mais interessantes e envolventes para o usuário, dando acesso
de forma mais fácil ao leigo em música e ampliando o horizonte
do especialista.
2 TEORIA
2.1 Técnicas de rastreamento
Utilizando uma câmera de profundidade (depth camera), o
Kinect permite a visualização tridimensional do ambiente. O
sistema funciona a partir da combinação da projeção de uma
malha de pontos em luz infravermelha e da captação da imagem
através de uma câmera sensível a essa luz. A partir da deformação
da malha, o cálculo de profundidade é realizado (Wilson 2010).
Do espaço tridimensional de pontos adquiridos, pode-se realizar
o rastreamento do corpo do usuário (Chen, et al. 2008) e a partir
da forma obtida, projetar um esqueleto imaginário (Menier, Boyer
e Raffin 2006) na imagem do usuário (vide Figura 1). As técnicas
de body tracking e skeleton tracking serão mais bem entendidas
com o decorrer do projeto.
Figura 1: Skeleton tracking utilizando o Kinect
2.2 Contexto Musical
Para este projeto, é importante destacar dois conceitos de
Computação Musical: Sistemas Musicais Interativos e
Composição Algorítmica.
2.2.1 Sistemas Musicais Interativos
“Interatividade vem do sentimento de participação, onde um
conjunto de possíveis ações é conhecido ou intuído, e os
resultados têm efeitos óbvios e significantes, porém com o
mistério suficiente para causar [surpresa], curiosidade e
exploração” (Winkler 1998).
Em Computação Musical, muito já foi estudado com o objetivo
de desenvolver sistemas interativos de composição, improvisação
e performance musical (Pachet 2003) (Pachet e Addessi 2004)
(Paradiso 1999) (Mathews 2005) (Rokeby 1989) (Camurri 1999)
(Morales-Manzanares, et al. 2001) (Smith 2008) (Keston 2008).
Tanto leigos quanto músicos profissionais se beneficiam destes
sistemas como forma de ampliar seus horizontes musicais abrindo
possibilidade para novas criações e experiências na execução de
músicas.
Música interativa é uma composição musical ou uma
improvisação onde software interpreta uma performance ao vivo
com o intuito de influenciar a música gerada ou modificada pelos
computadores.
A partir de (Winkler 1998) podemos definir alguns
componentes de um sistema interativo musical:
1. Entrada humana, instrumentos: as atividades humanas
são convertidas para o computador.
2. Análise da performance: os dados vindos do humano
são analisados pelo computador.
3. Interpretação: o computador interpreta os dados da
análise e gera dados que irão influenciar a
composição
 4. Composição pelo computador: a partir dos dados da
interpretação a composição é gerada.
5. Saída, síntese de som: a composição é executada e o
som é gerado.
2.2.2 Composição Algorítmica
Podemos definir composição algorítmica como sendo a
aplicação de um algoritmo bem definido no processo de
composição musical com o intuito de automatizar o processo de
criação (Jacob 1996).
No caso deste projeto, a composição algorítmica será usada
como base para a criação de músicas de forma automática, sendo
suas variáveis modificadas pela interação com o usuário.
Algumas técnicas de composição algorítmica como Modelos
Matemáticos, Sistemas Baseados em Conhecimento, Gramáticas,
Métodos Evolucionários, Sistemas baseados em Aprendizado,
Sistemas Distribuídos e Sistemas Híbridos, podem ser encontradas
em (Gonçalves, Lopes e Paiva 2009).
2.3 Interação Humano-Computador e Música
Dadas as técnicas de rastreamento e de geração de música, resta
debater quais as mais adequadas maneiras de casá-las.
De (Wanderley 2001), podemos levantas algumas questões
muito pertinentes para este projeto:
 Que gestos obtidos de novas formas de interação
fazem sentido musicalmente?
 Quais limitações estão relacionadas com a técnica de
rastreamento utilizada e quais são inerentes ao
contexto musical?
 Como projetar sistemas musicais interativos que
façam sentido do ponto de vista do mapeamento de
gestos do usuário?
É bastante importante a possibilidade de quebrar o paradigma
de que a interação musical entre o usuário e o computador é
apenas realizada através de um teclado semelhante ao de um
piano. Para (Levitin, McAdams e Adams 2002), as novas formas
de interação precisam ser estudadas e validadas para ampliar a
interatividade musical.
3 OBJETIVOS
Os objetivos deste trabalho são: (1) estudar as técnicas de body
tracking e skeleton tracking utilizando o Kinect como sensor, (2)
a partir da análise de projetos relacionados e referências
bibliográficas entender quais as mais adequadas formas de
interação humano-computador no contexto de composição
musical interativa e (3), como prova de conceito, implementar um
sistema musical interativo no qual o usuário a partir de seus
movimentos cria uma peça musical.
4 METODOLOGIA
O desenvolvimento do projeto seguirá os seguintes passos:
1. Revisão da Literatura e Estado da Arte: serão estudadas
técnicas tanto de rastreamento quanto de mapeamento de
gestos relacionando-as com formas de composição de
música algorítmica.
2. Análise de Projetos Relacionados: projetos que se
relacionam do ponto de vista de composição musical
algorítmica e do ponto de vista de interatividade e música
serão analisados.
3. Estudo e experimentação das bibliotecas disponíveis:
bibliotecas como openframeworks (OpenFrameworks
2008), OpenNI (OpenNI 2010), OSCeleton (SenseBloom
2010), re.scalla (re.scalla 2010) e Processing
(Processing.org 2008) serão estudadas e alguns
experimentos serão realizados afim de ter domínio sobre as
técnicas utilizadas por essas bibliotecas.
4. Mapeamento das formas de interação: a partir de uma
análise das referências bibliográficas, será criada uma lista
de gestos pertinentes no contexto musical e dentro do
escopo do projeto. Os gestos selecionados então serão
relacionados com variáveis musicais.
5. Concepção e Implementação do Projeto: o escopo do
projeto será definido, será realizada a adequação do
funcionamento das diversas bibliotecas envolvidas e
finalmente a codificação do projeto.
6. Documentação e apresentação: o artigo será escrito
assim como a apresentação final será organizada.
5 CRONOGRAMA
Março
Junho
Abril
Maio
Atividades
Revisão da Literatura e Estado da Arte X X
Análise de Projetos Relacionados X X
Estudo e experimentação das bibliotecas
X X
disponíveis
Mapeamento das formas de interação X X
Concepção do projeto X X
Implementação do Projeto X X X
Preparação do artigo X X
Preparação da apresentação X X
6 RESULTADOS ESPERADOS
No final do projeto espera-se entender as vantagens e
desvantagens do uso de técnicas de body tracking e skeleton
tracking no contexto de composição musical e interativa. Além de
assimilar quais limitações são inerentes ao sistema musical e quais
são relacionadas às técnicas de rastreamento. Bem como, quais
restrições são específicas do sistema desenvolvido no projeto e
quais podem ser generalizadas para qualquer sistema de interação
musical. E a partir da validação do conceito, construir um
mapeamento de interfaces tridimensionais mais adequadas num
ambiente de composição musical que possa servir de guideline
para o desenvolvimento de outros projetos musicais e interativos.
REFERÊNCIAS
Camurri, A. “Music Content Processing and Multimedia: Case
Studies and Emerging Applications of Intelligent Interactive
Systems.” Journal of New Music Research 28, n. 4 (1999): 351-
363.
Chen, Daniel, Pi-Chi Chou, Clinton B Fookes, e Sridha
Sridharan. “Multi-view human pose estimation using modified
five-point skeleton model.” International Conference on Signal
Processing and Communication Systems 2007. Gold Coast, 2008.
17-19.
Giles, Jim. "Inside the race to hack the Kinect." The New
Scientist 208 (2010): 22-23.
Gonçalves, André, Eduardo Lopes, e Ana Paiva. “The music of
paintings: a rhythmic perspective.” 12th Generative Art
Conference. GA2009, 2009.
Jacob, B. “Algorithmic composition as a model of creativity.”
Organised Sound, 1996: 157-165.
Keston, John. Audio cookbook: recipes for sound design. 2008.
http://audiocookbook.org/gms/ (acesso em June de 2010).
 Levitin, Daniel J, Stephen McAdams, e Robert L Adams.
“Control parameters for musical instruments: a foundation for
new mapping of gesture to sound.” Organised Sound, 2002, 7 ed.:
171-189.
Mathews, Max. Radio Baton. 2005.
http://www.csounds.com/mathews/ (acesso em June de 2010).
Menier, Clement, Edmond Boyer, e Bruno Raffin. “3d skeleton-
based body pose recovery.” Proceedings of the 3rd International
Symposium on 3D Data Processing, Visualization and
Transmission. Chapel Hill: Hill, 2006.
Microsoft. “Microsoft Kinect.” Kinect. 2010.
http://www.xbox.com/kinect (acesso em 2011).
Morales-Manzanares, R, E F Morales, R Dannenberg, e J
Berger. “SICIB: An interactive music composition system using
body movements.” Computer Music Journal 25, n. 2 (2001): 25-
36.
OpenFrameworks. “OpenFrameworks.” OpenFrameworks.
2008. http://openframeworks.cc (acesso em 2011).
OpenNI. “OpenNI.org.” OpenNI.org. 2010.
http://www.openni.org (acesso em 2011).
Pachet, F. “The Continuator: Musical interaction with style.”
Proceedings of the ICMC Conference. 2003. 211-218.
Pachet, F, e A Addessi. “When children reflect on their playing
style: The Continuator.” ACM Computers in Entertainment, 2004.
Paradiso, J. “The brain opera technology: New instruments and
gestural sensors for musical interaction and performance.”
Journal of New Music Research 28, n. 2 (1999): 130-149.
Processing.org. “Processing.org.” Processing.org. 2008.
http://www.processing.org (acesso em 2011).
re.scalla. “re.scalla.” re.scalla. 2010.
http://code.google.com/p/rescalax (acesso em 2011).
Rokeby, David. Very Nervous System. 1989.
http://homepage.mac.com/davidrokeby/vns.html (acesso em June
de 2010).
Saffer, D. Designing Gestural Interfaces: Touchscreens and
Interactive Devices. Sebastopol, CA: O'Reilly Media, 2008.
SenseBloom. “OSCeleton.” OSCeleton. 2010.
https://github.com/Sensebloom/OSCeleton (acesso em 2011).
Smith, David. Variations V. 2008.
http://arttorrents.blogspot.com/2008_07_01_archive.html (acesso
em June de 2010).
Wanderley, Marcelo. “Gestural Control of Music.” IRCAM,
2001.
Wilson, Andrew D. “Using a depth camera as a touch sensor.”
ACM International Conference on Interactive Tabletops and
Surfaces (ITS '10). New York: ACM, 2010. 69-72.
Winkler, Todd. Composing Interactive Music. Cambridge, MA:
MIT Press, 1998.