Академический Документы
Профессиональный Документы
Культура Документы
CAMPINAS
2017
ERIVAN GONÇALVES DUARTE
CAMPINAS
2017
COMISSÃO JULGADORA - DISSERTAÇÃO DE MESTRADO
As pessoas surdas têm sido excluídas da educação musical. Isso acontece devido ao fato de as
consequência, eles não podem participar em atividades musicais, que promovem coordenação
atividades pode se basear em sentidos diferentes da audição, como visão e toque. Neste
trabalho, nós propomos e avaliamos o uso de elementos hápticos e visuais para educação
permite interações musicais entre surdos e ouvintes. Esses mapeamentos foram incorporados
Deaf people are often neglected in music education. This happens because musical activities
are often focused on the development of the sense of hearing. As consequence, they do not
participate in musical activities which also foster motor coordination, emotional growth and
sociability. However, the participation in such activities can rely on senses other than hearing,
like sight and touch. In this study we propose and evaluate the use of visual and haptic cues
for music education. These cues are generated from the real-time mapping of audio features
extracted from a microphone stream. The real-time aspect of the mapping allows musical
interactions between deaf and non deaf people. These mappings were incorporated into a
mobile app and used in music lessons offered to a group of deaf children and adolescents. As
a result of these lessons, participants developed perception of sound and produced rhythms,
playing virtual instruments and participating in a collective musical practice. Therefore our
proposal is a potential aid on the promotion of music education for hearing impaired people.
SUMÁRIO
INTRODUÇÃO
PESSOAS SURDAS
APÊNDICES
ANEXO
INTRODUÇÃO
social. Essa reflexão permite concluir que implementar ferramentas que propiciem o contato
das pessoas surdas com a música é de grande importância na inclusão, bem-estar e
desenvolvimento dessas pessoas. Nessa seção, também apresentamos questionamentos a
respeito da musicalidade do homem e como isso nos influenciou ao pensar a musicalidade das
pessoas surdas.
A Seção 1.3 apresenta os valores da educação musical que são referência para
o desenvolvimento e avaliação das oficinas de música.
A Seção 1.4 discute o papel da música na vida das pessoas surdas, mostrando
que há pessoas surdas interessadas em música. Essas pessoas têm criado uma cultura musical
surda que se caracteriza pelo uso da língua de sinais para comunicar suas experiências, além
do uso de imagens e vibrações como elemento de interação com o som. Aponta também
aspectos relacionados à educação musical de surdos, mostrando que atualmente a educação
musical tem evoluído no sentido de inclusão do aluno surdo a partir de formas alternativas de
percepção e o desenvolvimento de ferramentas tecnológicas que facilitem essa percepção.
A Seção 2.1 mostra que não há impedimentos neurológicos para a experiência
musical de pessoas surdas, já que ela está ligada também a outros modos de percepção. Desta
forma, as pessoas surdas podem ter acesso à música a partir de outras características inerentes
ao som, como a vibração e a imagem.
A Seção 2.2 discute iniciativas artísticas envolvendo mapeamentos entre som,
imagem e vibração, mostrando que é possível criar significados artísticos e culturais por meio
de manifestações multimodais.
A Seção 2.3 apresenta dispositivos tecnológicos direcionados especificamente
a proporcionar experiências musicais aos surdos e as seções 3.1 e 3.2 apresentam nossa
proposta de desenvolvimento de um dispositivo tecnológico portátil direcionado às pessoas
surdas e sua forma de utilização. Nas seções do Capítulo 4 descrevemos o uso do aplicativo e
as atividades trabalhadas nas oficinas de música com pessoas surdas, bem como os resultados
e análises dos processos de avaliação do dispositivo. Por fim, o Capítulo 5 apresenta nossas
conclusões delineando possíveis trabalhos futuros.
13
expandimos nosso conceito a partir do contato com novas peças musicais ou peças de culturas
ou tradições que não nos são familiares. Segundo o autor, não existe um consenso universal
sobre o que é música. O autor afirma que sons são necessários, mas não são uma condição
suficiente para música, uma vez que sons ocorrem ao redor do mundo o tempo todo e poucos
Kania [1] adota uma postura filosófica que pretende estabelecer condições
necessárias e suficientes para chegar a uma definição de música. Essa definição não é
O autor propõe reflexões a respeito de estratégias que poderiam ser uma base para
se definir música. Uma estratégia possível seria recorrer às propriedades intrínsecas do som,
no entanto, em música mesmo conceitos físicos como frequência e tempo estão ligados a
notas e ritmos que são elementos variáveis e que podem apresentar uma ampla gama de
qualquer som percebido por um ouvinte como música, o é independente de suas propriedades
intrínsecas. Essa definição apresenta a exigência de um observador para que a música exista e
com isso pode excluir certas manifestações culturais do universo musical devido a
que sugere que o traço definidor da música está na intenção de quem a produz. Dessa forma,
podemos considerar tanto uma gravação quanto uma apresentação musical ao vivo como
elementos musicais igualmente válidos, no entanto pode trazer problemas no que se refere ao
computadores.
14
A princípio cada uma das estratégias isoladas poderia ser usada para criar uma
definição, no entanto, cada uma delas apresenta pontos desfavoráveis. Isso leva o autor a
considerar os elementos em conjunto para chegar a uma definição mais ampla de música.
conceito central (um evento musical) a partir do qual podemos definir outros conceitos. Um
instrumento musical, por exemplo, pode ser uma ferramenta cuja função é produzir eventos
musicais. Também aponta que o tratamento mais promissor é adotar uma definição
intencional em que a música está ligada a intenção da pessoa que é responsável pelo fazer
musical. Assim o que distingue os sons musicais dos outros é que eles são musicais por
intenção de alguém.
Dessa forma, o autor passa por definições provisórias antes de chegar a uma
definição final para música. Em sua primeira definição provisória aponta que: Música é (1)
som (2) intencionalmente produzido ou organizado, (3) tendo no mínimo uma característica
musical básica, tal como altura ou ritmo. No entanto, é possível encontrar músicas que não
apresentam nenhuma dessas características básicas ou que podem ser contestadas com relação
a intencionalidade de sua produção como, por exemplo, Williams Mix (1952) de John Cage
ou Yoko Ono’s Toilet Piece/Unknown (1971). De outro lado temos sons com características
musicais inegáveis, mas produzidos sem a intenção que essas características sejam atendidas,
Dessa forma sua segunda definição provisória, considera que música é (1) som,
(2) intencionalmente produzido ou organizado (3) quer (a) tenha alguma característica
musical básica, como altura ou ritmo, ou (b) para ser escutado a partir de tais recursos. Assim
alguma coisa intencionada a ser escutada. Dessa forma sua definição final aparece da seguinte
15
forma: música é (1) algum evento intencionalmente produzido ou organizado (2) para ser
escutado (3) quer (a) tenha alguma característica musical básica, como altura ou ritmo, ou (b)
características musicais básicas. Como veremos nos tópicos posteriores a definição nos
permite guiar nas questões de que elementos musicais devem ser incluídos na prática musical
além de mostrar que, além do som, música está permeada por muitos outros elementos,
Neste trabalho, elementos como imagens e vibrações são usados para comunicar
significados musicais. Eles permitem gerar elementos intencionalmente produzidos para ser
escutados, como mencionado na definição final de Kania [1]. Consideramos que esses
elementos podem representar características musicais básicas como ritmo e altura. Um ritmo,
por exemplo, pode ser percebido a partir de uma sequência de imagens apresentadas em
intervalos de tempo. Uma melodia, por sua vez, pode ser identificada a partir de um conjunto
razoável supor que, assim como linguagem e religião, é uma espécie de traço do homem,
produto do comportamento de grupos humanos.
Turino [2] argumenta que a participação e experiência musicais são valiosos para
o processo de integração do sujeito à sociedade ou comunidade. Ele aponta que as artes são
centrais à evolução e sobrevivência humana; práticas culturais públicas como música e dança
são uma forma primária de as pessoas articularem identidades coletivas, elementos
fundamentais na formação e sustentação de grupos sociais que são, por sua vez, básicos à
sobrevivência. O autor afirma que as performances artísticas são frequentemente
sustentáculos de identidade, permitindo às pessoas se sentirem parte da comunidade por meio
da realização de um conhecimento cultural compartilhado e do ato de participarem juntos na
performance. Turino recorre às ideias do cientista e antropólogo Gregory Bateson para
apresentar o potencial evolutivo da arte. Para Bateson a arte é uma forma diferente de
comunicação que tem uma função integrativa – integrando e unindo membros de grupos
sociais, mas também integrando sujeitos individualmente e com o mundo. Ele sugere que
artistas se comunicam por meio da apresentação de formas e padrões que servem como mapas
integradores de sensações, imaginação e experiências e que é por meio destes padrões que nós
estamos mais profundamente conectados ao mundo natural.
Atualmente é muito comum as pessoas encararem a música como um objeto ou
um produto que pode ser de propriedade de seus criadores por meio de direitos autorais e
comprada por consumidores. Turino [2] argumenta que no processo de industrialização da
música observamos uma mudança gradual de pensamento de música como um fazer social
para a música como objeto. No entanto, ainda encontramos muitas atividades em que a
música está ligada ao fazer e à interação social, como dançar, cantar na igreja ou tocar com os
amigos apenas por diversão. Muitas dessas atividades podem ser definidas como
performances musicais participativas, isto é, um tipo de performance com alto potencial para
a interação entre as pessoas e no qual não há distinção entre audiência e artista. Na
performance participativa, somente participantes e potenciais participantes desempenham
papéis e o objetivo é envolver o maior número de pessoas em algum papel. A ideia de
participação é pensada no restrito sentido de contribuição ativa a um evento musical através
de palmas, dança, canto e tocar um instrumento musical, cada uma destas atividades é
considerada integral à performance, ressaltando que sons e movimentos estilizados são
conceitualmente importantes como intensificadores da interação social.
17
Turino [2] aponta elementos necessários para que uma atividade possa gerar o
envolvimento dos participantes. Esses elementos foram considerados no processo de
desenvolvimento e uso da ferramenta que estamos propondo:
Como o nível de habilidade do sujeito aumenta, o desafio deve aumentar para que o
A atividade deve ter uma constante possibilidade de expansão dos seus desafios.
A atividade precisa conter o potencial para imediato feedback sobre a forma como está
sendo feita, que, novamente, mantém a mente focada sobre a atividade realizada.
A atividade deveria claramente ser delimitada por tempo e lugar de modo que os
Podemos pensar também nos elementos que são utilizados para fazer música e
como se dá a avaliação de uma atividade musical ou o desempenho musical de uma pessoa.
Blacking [3] considera música como o som humanamente organizado, numa relação entre
padrões de organização humana e padrões de sons produzidos como resultado da interação
humana. Esta ordem pode ser criada como resultado de processos extramusicais, tais como a
seleção de buracos em uma flauta ou trastes em um instrumento de corda. Com relação à
avaliação da musicalidade do homem, Blacking [3] aponta que devemos conhecer quais sons
e que tipo de comportamento determinada sociedade escolhe chamar de musical. A música
deve ser recebida por sujeitos que compartilhem, ou possam compartilhar de alguma forma
das mesmas experiências culturais e individuais de seus criadores. Dessa forma podemos
pensar, por exemplo, que testes de habilidade musical (tais como exames de canto lírico) são
relevantes somente em culturas cujo sistema musical é representado pelo teste. Por
consequência, um músico de sucesso formado dentro da cultura e paradigma da música
ocidental erudita clássica pode não ter sucesso dentro da prática musical de tribos xamânicas.
Essas questões nos levaram a propor um trabalho de desenvolvimento tecnológico que esteja
em constante contato com o público-alvo para conhecer suas práticas culturais e formas de
interação musical.
Assim a prática musical é de grande importância ao homem. Ela se baseia na
organização humana dos sons, ressaltando o papel das interações humanas e influência da
estrutura psíquica de cada indivíduo. Diferentes sociedades apresentam práticas culturais
características, que servem como elemento agregador da vida em sociedade, além de
contribuir também para o desenvolvimento interno do sujeito. Mesmo dentro de um mesmo
país, cidade ou bairro podemos encontrar diversas formas de prática musical. Isso nos leva a
pensar se as pessoas surdas poderiam construir sua própria forma de prática musical, serem
incluídos em práticas musicais já existentes ou aulas de educação musical. Nesse caso, quais
seriam os elementos importantes na sua manifestação musical ou inclusão? Como eles
articulariam estes elementos em atividades musicais? A exploração de processos
extramusicais pode ser um caminho para sua prática musical? Quais seriam esses processos?
19
O autor indica que esse processo pode se dar a partir de elementos extramusicais
uma vez, por exemplo, que da mesma forma tendemos a ver luzes alternadas de painéis
publicitários ou expositores de vitrines como linhas contínuas em vez de lâmpadas. Dessa
forma o autor expõe o caráter multimodal para o conceito de gesto. Conforme indica o
trabalho de Gunther e O'Modhrain [5] também podemos adotar uma postura musical diante
de sensações vibráteis. Os autores apresentam indicações de equivalências entre elementos
musicais e táteis, isso permite uma linguagem de comunicação expressiva a partir do toque,
ou seja, a pele pode compreender e apreciar uma linguagem expressiva para o toque, análoga
à linguagem sonora da música.
Como mostra a Seção 2.1, é possível encontrar, em elementos visuais e vibráteis,
aspectos que se assemelham àqueles que são usualmente encontrados em elementos musicais
como ritmo e melodia. Esses elementos podem ser apresentados de forma a representar as
mesmas características que o autor aponta permitir ouvir tons como música: uma ilusão de
movimento, uma sensação de peso, espaço e tempo; permitindo, assim, a identificação desses
elementos como gestos. A seção 2.1 também descreve como se dá interpretação psíquica dos
elementos visuais e hápticos, bem como os elementos relevantes para pensá-los como
elementos musicais.
Com relação à construção de um discurso metafórico, Swanwick [4] afirma que
somente quando tons tornam-se gestos e estes gestos envolvem formas de interlocução, a
música pode relatar e informar formas e padrões de nossas experiências de vida. Ele indica
que uma educação em música pressupõe que os alunos tenham a possibilidade de acesso a
todos as três transformações metafóricas. O surdo pode ter acesso a vibrações e imagens,
elementos equivalentes aos tons. Dessa forma, seu processo de educação musical pode ser
pensado a partir do acesso as três transformações a partir da percepção tátil e visual dos tons,
seguido pelos processos de integração e interpretação dessas entradas.
Swanwick [4] aponta que as três transformações metafóricas são observáveis
através das camadas de elementos musicais observáveis a que dão origem. Essas camadas são
chamadas Materiais, Expressão, Forma e Valor.
21
Materiais
Expressão
Forma
Valor
sobre a música.
possibilidades interpretativas.
2. O cuidado com o discurso musical dos alunos. Considera discurso como conversa
3. O cuidado com a fluência musical. Se a música é uma forma de discurso, então ela é,
sequência processual mais eficaz é muitas vezes: escutar, articular, depois ler e
escrever.
acadêmicos. De acordo com Maler [6], músicos e compositores são geralmente presumidos
possuir “audição normal”. A autora argumenta que essa suposição tem levado estudiosos a
23
imaginar a surdez como a mais profunda antítese para música. Dessa forma uma pessoa surda
é considerada incapacitada para música, isso promove o distanciamento entre essas pessoas e
a música e consequentemente dos benefícios que a música pode trazer. Esse tipo de
concepção geralmente está embasada em uma visão muito limitada de música. Como vimos
na Seção 1.1, música envolve muitos elementos além do som, além disso, como veremos na
seção seguinte, a experiência musical não está limitada somente ao sentido da audição.
Destacamos também que a principal questão que esse tipo de postura desconsidera é que há
Como exemplo podemos citar o músico surdo Bob Hiltermann [7] que relata que ele, assim
como muitas pessoas surdas, amam música. Essas pessoas estão ajudando a construir novos
permite pensar a relação dessas pessoas com a música e conhecer as diferentes formas de
experiência musical a partir das suas práticas musicais. Jones [7] nos desafia a pensar em uma
experiência musical além dos ouvidos, pensar nos modos alternativos de escuta que a
experiência musical surda oferece. Mostra que os músicos surdos interagem com o som a
partir da sensação proporcionada pelas vibrações, além de fazerem uso de imagens. Jones [7],
dentro de um contexto maior de História e Cultura Surdas2. Dessa forma argumenta que a
forma de fazer e escutar música específica dos Surdos é uma forma de expressão que permite
que as pessoas conheçam sua realidade como minoria cultural dentro um mundo ouvinte,
1 Jones [7] aponta que é convencional o uso do termo “Deaf” (com a primeira letra em maiúsculo) em
referência a cultura, comunidade e identidade Surdos. Ao passo que o termo “deaf”(com a primeira letra em
minúsculo) é usado para se referir à condição física de surdez ou o grupo de pessoas com perda auditiva que
não estão associados com a cultura Surda. No nosso trabalho empregamos os termos em português, ou seja,
“Surdo” e “surdo”. A autora ressalta ainda que o uso do termo “deficiente auditivo” é visto como
problemático pela comunidade Surda.
2 Jones [7] faz alguns apontamentos a respeito de história e cultura Surdas, mostrando que a língua de sinais é
a definitiva característica da cultura Surda. Essas pessoas compartilham histórias e experiências em comum,
participam de escolas e clubes Surdos que ajudam a formar um forte sentido de identidade Surda.
24
Jones [7] mostra que a língua de sinais é um forte elemento de afirmação artística
e política para músicos Surdos. Como exemplo a autora apresenta o trabalho da banda
Beethoven's Nightmare3 e dos rappers Sean Forbes4 e SignMark5 que fazem da língua de
sinais uma parte chave do seu repertório. Jones [7] argumenta que os músicos fazem música
que é culturalmente Surda uma vez que suas canções falam de suas experiências únicas como
Darrow e Heller [8] descrevem o primeiro caso de educação musical que se tem
registro. No artigo "Music Among the Deaf and Dumb" de 1848, William Wolcott Turner e
David Ely Bartlett, relatam a experiência de ensino de música a Augusta Avery of Syracuse,
uma jovem surda que desejava aprender piano. Turner afirma que música pode ser percebida
pelas pessoas surdas e ensinada a eles, podem obter uma ideia de ritmo musical, relações
tonais, qualidades expressivas e forma por meio do uso da visão e do toque. Para dar suporte
aos seus argumentos ele cita o caso da jovem pianista que impressionava a audiência com seu
domínio sobre o piano. Darrow and Heller [8] ressaltam o fato de que o interesse em aprender
o instrumento partiu da própria jovem, mostrando, mais uma vez, um exemplo de interesse de
trabalhos a respeito da educação musical de surdos. Finck [9] relata que esses trabalhos
cultural e como propósito de reabilitação da fala. Finck [9] ressalta que em muitos casos a
música tem um papel funcional, como apoio a outras áreas do conhecimento, mas não com
3 Beethoven's Nightmare é uma banda de rock formada por músicos Surdos. Sua experiência musical envolve
a sensação de vibrações e comunicação expressiva por meio da língua de sinais. Trabalham em colaboração
com intérpretes que gesticulam a canção de acordo com o pulso da música. Os integrantes da banda têm
mostrado à audiência Surda como “sentir” e “ver” música.
4 Sean Forbes é um rapper Surdo. Vídeos são parte integral do seu trabalho. Cada faixa de áudio inclui um
vídeo em que há músicas em inglês falado (Forbes fala inglês muito bem), performances em língua de sinais
ou vídeos com imagens figurativas que contam a narrativa da história. Jones [7] indica que Sean é um artista
proeminente dos Estados Unidos. A autora indica que o artista proclama sua identidade Surda a partir da
música. O artista tem se apresentado por todo país e sua popularidade tem crescido entre os jovens surdos e
ouvintes americanos.
5 Segundo Jones [7] o trabalho do rapper Surdo SignMark alcançou dimensões globais, sendo o primeiro
artista Surdo a conseguir um contrato com o selo internacional Warner Music. Ele produz músicas cantadas
e sinalizadas em vídeo. As músicas refletem questões da cultura e história Surdas.
25
fins diretamente musicais, poucos trazem a discussão a respeito do fazer musical das pessoas
surdas ou a respeito da construção de uma cultura musical Surda. Destaca ainda que em
Finck [9] indica que a música pode deixar de ser uma fonte de prazer quando
distanciada das emoções e prazer estético e colocada apenas como uma forma de tratamento,
que proporcionar experiências musicais de forma lúdica e prazerosa na infância pode ser de
fundamental importância para a formação da pessoa surda como ser musical. Além disso um
partir da Lei nº 11. 768 de 18 de Agosto de 2008 [10] trouxe um novo desafio aos educadores
musicais: a inclusão de alunos com limitações, principalmente no que se refere aos surdos 6.
Segundo Reily [12], quando uma criança apresenta limitações que afetam a percepção de
sensações ou a sua resposta motora a elas, é preciso valorizar outras vias de acesso sensorial.
No momento atual a educação musical tem evoluído no sentido de inclusão do aluno surdo, a
sensações vibráteis, expressão corporal e a relação entre som e imagem. Tais experiências
podem ser facilitadas a partir do uso de ferramentas tecnológicas. Como aponta Pereira [13],
para os Surdos, os recursos tecnológicos podem se caracterizar como uma nova via de acesso
à música, abrindo nova dimensão nas possibilidades de comunicação e contribuindo para que
cultura Surda pode proporcionar a inclusão dentro da educação musical, bem como permitir a
6 Na legislação Federal o termo empregado para dirigir-se à pessoa surda é deficiência auditiva. O Decreto
3.298 de 20/12/99 [11] em seu Art.4, define deficiência auditiva como sendo a perda parcial ou total das
possibilidades auditivas sonoras, variando de graus e níveis nas seguintes formas:
a) de 25 a 40 decibéis (dB) - surdez leve;
b) de 41 a 55 dB - surdez moderada;
c) de 56 a 70 dB - surdez acentuada;
d) de 71 a 90 dB - surdez severa;
e) acima de 91 dB - surdez profunda.
26
participação em atividades culturais que por sua vez podem promover o desenvolvimento e
integração social. Como afirma Finck [9] é comum encontrar relatos de como a música pode
facilitar ao aluno aprender as coisas, tais como correr, alimentar-se, brincar, comunicar-se,
entre outras. A autora indica que as experiências musicais são valiosas para a maturação
experiências são, algumas vezes mais limitadas. A ideia é reforçada por Luiz [14] que afirma
que o desenvolvimento rítmico por parte da criança surda tem ligação com o desenvolvimento
das ações motoras e também implicações na fala. Assim levar música para vida deste
músicos Surdos produzindo música e construindo uma cultura musical Surda. Esses
pessoas surdas. Como vimos desde a publicação do artigo até os dias atuais a educação
musical ou relação do surdo com a música passou por muitas situações em que não se
afirmação cultural a partir da atividade musical. No entanto, acreditamos que o novo olhar
que algumas pessoas Surdas e acadêmicos estão atribuindo à música e seu papel na vida
dessas pessoas pode gerar uma ressignificação dessa atividade. Isso pode permitir a
tecnológicos pode acelerar esse processo. Um exemplo disso, os músicos Surdos Sean Forbes
e SignMark que se utilizam de vídeos e internet para divulgar seu trabalho musical. Isso
também nos leva a pensar a respeito da educação musical para pessoas surdas, suas
DE PESSOAS SURDAS
O som age em todo corpo humano, não apenas nos ouvidos, num processo que
particular para os surdos. Jones [7] afirma que na experiência musical surda o corpo todo é
um receptor para o som, pessoas surdas podem sentir as vibrações sonoras. Afirma também
que essa percepção corporal pode ser mediada através de uma compreensão cultural do
significado daquela experiência. Além disso, também podemos associar sons a imagens, ao
ou vibrando.
cuja vibração o ouvido recebe e transforma em sinais elétricos. Segundo ela, a audição não é o
único sentido que pode proporcionar a percepção disso: o toque também pode fazê-lo, ou seja,
mesmo um surdo profundo pode interagir com o som a partir das vibrações. Glennie [15]
também afirma que o cérebro pode criar sons correspondentes a partir de coisas que se
movem, como ao ver as folhas de uma árvore se movendo ao vento ou objetos vibrando.
Segundo ela a pessoa ouvinte usa três sentidos para escutar, a visão, o tato e a audição; o
surdo, por sua vez, utiliza apenas dois desses sentidos: o tato e a visão. Para esse trabalho, é
importante a distinção entre os verbos ouvir e escutar. O verbo '‘escutar’', em sua raiz
semântica, engloba três ações: o ouvir o sentir e o ver. Já o verbo ouvir envolve apenas a ação
orgânica específica do aparelho auditivo. Dessa forma caracterizamos a música como uma
em mente que nosso cérebro combina informações de diferentes sentidos para formar uma
percepção humana são organizados pelo cérebro em duas regiões diferentes (Figura 2). Como
aponta Nanayakkara [16], comumente, considera-se a audição como sendo processada no lobo
pelos surdos é tão real quanto seu equivalente sonoro por serem ambos processados na mesma
região do cérebro.
Os trabalhos apresentados nesta seção mostram que a escuta vai além da audição.
Ocorrem interações entre as modalidades sensórias, permitindo a integração entre informação
auditiva, visual e tátil. Dessa forma argumentamos que é possível estabelecer um significado
musical para imagens e vibrações. Esses elementos servem como forma de acesso às
atividades musicais para as pessoas surdas. Por meio dessas atividades são agregados
pensamentos, memórias e sentimentos a esses elementos.
uma interface digital que mapeia dados musicais a figuras 3D. Volume, timbre e altura são
representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente.
Existem também trabalhos que propõem usar computadores para gerar
automaticamente representações visuais para elementos musicais. Mitroo, Herman e Badler
[27] propuseram utilizar elementos musicais simbólicos (notas, acordes e intensidade) para
criar composições de cores e objetos em movimento. Nanayakarra [16] descreve o trabalho
de Smith & Williams que desenvolveram um sistema visual que mapeia elementos musicais
simbólicos a figuras tridimensionais. Nessa proposta, intensidade, timbre e altura são
representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente.
Trabalho similar foi feito por McLeod e Wyvill [27], porém usando sinais de áudio
digitalizados (em vez de dados simbólicos) como entrada em tempo real.
Também, alguns trabalhos exploram a relação entre música e sensações táteis.
Nanayakarra [16] descreve o “EmotiChair”, um dispositivo que representa informação de
áudio como estímulo tátil. Nele, o som é processado de acordo com transformações pré
definidas de forma a produzir uma saída tátil.
Russ Palmer [29] desenvolveu uma teoria que permite mapear frequências de
vibração para a percepção humana em diferentes partes do corpo. O autor trabalha com uma
ideia chamada “Feeling the music philosophy” em que as pessoas podem sentir a música a
partir de vibrações e não por meio do ouvido.
Gunther e O'Modhrain [5] desenvolveram trabalho em que exploram a resolução
vibrotátil da pele, analisando parâmetros que incluem frequência de estímulo vibratório,
localização dos estímulos no corpo e idade do observador. Introduzem o conceito de
“composição tátil” baseado em um sistema composto de treze transdutores usados contra o
corpo com o objetivo de criar música tátil.
Gunther e O'Modhrain [5] apresentam dados com relação a alguns valores
psicofísicos e indicações com relação ao uso de vibrações para representar música. Com
relação à discriminação de frequências temos que a extensão de resposta vibrotátil da pele
está entre 20 e 1000 Hz com máxima sensibilidade ocorrendo em torno 250 Hz. Apontam
também que a pele é relativamente pobre na discriminação de frequências e que dependendo
do paradigma experimental é possível encontrar diferentes valores para a habilidade de
discriminação. Os valores dependem da faixa de frequência a ser representada. Os autores
apresentam dois resultados. O primeiro indica que de 3 a 5 valores de vibrações podem ser
32
distinguidas entre 2 e 300 pulsos por segundo, já o segundo indica que é possível de 8 a 10
distinções entre 70 e 800 Hz.
Gunter e O'Modhrain [5] também apresentam valores com relação à percepção
temporal de vibrações. A mínima separação temporal entre dois cliques táteis depende da
intensidade dos cliques, assim a mínima separação apresentada é de 10 ms, mas pode chegar
até 5 ms dependendo da intensidade dos cliques.
Os trabalhos apresentados nos mostram propostas de correspondência entre
elementos musicais e elementos visuais ou táteis. Além disso, apontam para concepções
teóricas e elementos tecnológicos para se pensar o mapeamento entre som e imagem ou entre
som e vibração. No desenvolvimento tecnológico desta pesquisa temos esses trabalhos como
referência para estabelecer nossos mapeamentos envolvendo elementos musicais, vibrações e
imagens.
relacionadas a cada uma das funcionalidades. Por fim, a Seção 9.3 mostra as telas usadas para
cada uma das interfaces.
D. Bateria háptica/visual – Cada peça da bateria fornece uma resposta háptica, visual
e sonora como resposta a produção musical do usuário. Dessa forma o usuário pode
diferenciar cada parte da bateria a partir de sua resposta tátil ou visual. Apresenta também um
metrônomo visual que permite mediar a prática em conjunto e permitir estudo individual. A
resposta sonora da bateria está ligada a possibilidade de realização de atividades em conjunto
entre pessoas surdas e ouvintes.
Funcionalidades
Aspectos fornecidos ao usuário
A B C D E
6 Executar melodias X X
3.2.2 Desenho
A. Metrônomo Háptico/Visual
B. Identificador de Intensidades
Como mostrado na Figura 4, o Identificador de intensidades sonoras tem como
entrada o toque do usuário para seleção de sensibilidade e um sinal de áudio que será
analisado com relação à sua intensidade.
níveis de intensidade sonora (I1 e I0) está relacionada pela seguinte equação:
subjacentes. Dessa forma há uma relação de 4 para 1 para sons que estão em diferentes níveis.
Essa relação foi adotada para permitir que uma pessoa, ao produzir um som para interagir
com o instrumento possa perceber facilmente a diferença entre cada nível de intensidade, isso
que são convertidas em números. Isso caracteriza o processo de conversão analógico digital
sonoridade corrente para encontrar ataques que ocorrem em intervalos muitos curtos de
tempo. Isso permite identificar ataques que acontecem repentinamente e evita problemas com
mantido entre a detecção de ataques. O valor de m representa a potência do sinal e tem seus
valores constantemente ajustados de acordo com a variação da potência (p). Isso ocorre a
partir de uma análise temporal do espectro sonoro da seguinte forma: Ao fim de cada análise,
se p > m, m recebe o valor de p. Uma nova análise acontece a cada 3 ms; Caso contrário, se m
não foi atualizado por mais de 5 análises, o mascaramento decai por um fator de 0.8. Como o
padrão de análise é de 3 ms, esse processo ocorre em 15 ms. Segundo Puckette et al. [34] esse
Essa relação é somada para estimar o aumento para todos os onze canais. Se g
exceder o limiar superior (12) e depois decrescer abaixo do limiar inferior (6) um ataque é
reportado.
definidos. Isso permite identificar melhor os ataques uma vez que exclui problemas de
detecção como mascaramento ou identificação de sons indesejados.
Após, seleção do nível de intensidade e identificação dos ataques, o usuário tem
acesso à classificação do som por meio de três diferentes níveis de intensidade (piano, mezzo
e forte), conforme será apresentado na Tabela 3. O mapeamento atribui uma correspondência
visual e háptica para cada um dos níveis de intensidade.
C. Identificador de Notas
Como mostrado na Figura 6, o Identificador de notas tem como entrada o toque
do usuário para seleção de sensibilidade e um sinal de áudio que será analisado com relação à
sensibilidade. A diferença entre cada nível é de 3 dB. Considerando a equação (1) isso nos dá
uma razão de 2 para 1 entre as intensidades sonoras para as notas em cada um dos níveis. Essa
redução em relação ao caso anterior se deu pelo fato de que nesse caso estamos prevendo o
43
uso da voz para explorar o aplicativo nesse caso temos um alcance menor em potência em
algoritmo sigmund descrito em Puckette et al. [34]. O diagrama mostrado na Figura 7 mostra
o funcionamento do algoritmo.
( 2)
D. Bateria Háptica/Visual
toque do usuário. O usuário seleciona a parte da bateria que deseja tocar. A partir do
mapeamento proposto o usuário tem como saída a emissão das respostas sonora, háptica e
E. Teclado Háptico/Visual
toque do usuário. Ele seleciona nota do teclado que deseja tocar. A partir do mapeamento
proposto o usuário tem como saída a emissão das respostas sonora, háptica e visual que
A. Metrônomo háptico/visual
Na Figura 10b), podemos ver como o metrônomo apresenta a resposta visual para
os tempos do compasso. Nesse caso, temos um compasso 4/4 em que os tempos do compasso
são representados por barras gráficas nomeadas com os números 1, 2, 3 e 4. O número de
47
barras é dado pelo numerador da fração que indica a fórmula de compasso. Os tamanhos das
barras está distribuído entre pequeno, médio e grande que indicam se o tempo é fraco,
intermediário ou forte, respectivamente.
Para cada fórmula de compasso temos uma configuração diferente para a imagem
das barras, a Tabela 2 mostra as possíveis configurações visuais para as diferentes fórmulas de
compasso.
B. Identificador de intensidades
Figura 11 a), podemos observar que essas barras estão relacionadas a três níveis de
intensidade que vão de piano a forte. Esses nomes estão relacionados à nomenclatura musical
intensidade sonora.
entre Low e Hi as três barras gráficas representam intensidades com limiares inferiores
acordo com o tipo de instrumento ou ambiente em que deseja captar o som. Em um ambiente
silencioso ou ao utilizar um instrumento de baixa potência sonora, ele pode utilizar o nível
ruidoso ou ao utilizar um instrumento de alta potência sonora, ele pode utilizar o nível de
sensibilidade (Hi) que permite diferenciar sons de alta intensidade. A resposta háptica se dá
C. Identificados de notas
Nível 1 2 3 4 5
7 FS significa “full scale” é uma unidade de medida para nível de amplitude em sistemas digitais. 0 dBFS é o
nível de um sinal que está no máximo nível em que o sistema digital pode responder sem prejudicar a forma
de onda.
50
Como mostrado na Figura 12 b, o teclado ativa uma cor para nota detectada. O
musical cromática e a distribuição cromática de cores, como mostra a Figura 13. Nesse
mapeamento, propomos uma analogia entre o cromatismo das cores e o cromatismo das notas
Figura 12: (a) Interface Identificador de notas e (b) resposta visual para
a nota lá.
51
Nota C C# D D# E F F# G G# A A# B
RGB 00CC 0099 0066 0000 6600 9900 CC00 FF66 FF99 FFCC FFFF CCF
00 CC FF CC CC 99 66 00 00 00 00 F0
Tabela 7: Códigos RGB para as cores utilizadas no mapeamento.
As notas são representadas a partir de seus períodos (T). Cada nota é associada uma vibração
com duração T/2 que ocorre a cada período de tempo T , dessa forma o espaçamento entre as
vibrações é de T/2. A nota dó, por exemplo é representada por uma frequência de 16.35 Hz,
ou seja, com período de 61,1 ms. Dessa forma temos vibrações de 31,25 ms, espaçadas de
31,25 ms. A frequência de 16.35 Hz foi escolhida com referência ao piano (Dó - 1). Essa
escolha se deu devido à possibilidade de permitir a representação háptica para uma oitava e
por apresentar uma maior separação para o intervalo entre as vibrações, permitindo melhor
período pequeno. Isso dificulta a diferenciação entre as notas. Lembrando que como
apresentado na Seção 2.2 a mínima separação entre dois cliques é de 10 ms, mas pode chegar
até 5 ms dependendo da intensidade dos cliques [5]. Adotamos 10 ms como o valor mínimo
de separação entre as notas, uma vez que o aplicativo será utilizado em diferentes aparelhos,
52
dessa forma não podemos prever o valor da intensidade de vibração para cada aparelho. A
Tabela 8 apresenta a frequência e separação entre os cliques (T/2) para cada uma das doze
notas.
Nota C C# D D# E F F# G G# A A# B
f (Hz) 16.35 17.32 18.35 19.44 20.60 21.83 23.12 24.50 25.96 27.50 29.1 30.87
3
T/2 30.58 28.86 27.24 25.71 24.27 22,91 21.62 20.41 19.26 18.18 17.1 16.20
(ms) 6
Tabela 8: Espaçamento entre vibrações para cada nota.
D. Bateria háptica/visual
uma das partes do instrumento, o dispositivo emite uma resposta háptica, visual e sonora
Figura 14: (a) Bateria háptico/visual e (b) tela de configurações da Bateria háptico/visual.
53
da bateria. Esse metrônomo funciona da mesma forma que o apresentado no item A desta
seção. A barra gráfica branca com o número 1, mostrada na Figura 14 a), é a representação
Figura 14a), o usuário tem acesso à tela de configurações apresentada na figura 14b). Nessa
tela o usuário pode alterar os volumes da bateria (Drums) e metrônomo (Metronome) e alterar
A resposta visual se dá a partir de cores. Quando usuário toca uma peça pode
perceber a intensificação de sua cor, ou seja, percebe um piscar de luzes de acordo com o
ritmo tocado.
chimbal são representados por vibrações de tempos diferentes. A duração foi escolhida de
acordo com a intensidade sonora para cada peça. Temos 100 ms para o bumbo, 50 ms para a
caixa e 25 ms para o chimbal. Essas peças foram definidas como vibrações únicas pois
necessitam um ataque muito bem definido para tocar, uma vez que são as peças básicas da
do mapeamento proposto para as notas do teclado, essas vibrações são espaçadas de forma
irregular, de forma que as vibrações se tornam cada vez mais espaçadas. Dessa forma, a
distribuição das vibrações de forma irregular com relação ao tempo representa sons
percussivos (altura indefinida) enquanto a distribuição das vibrações de forma regular com
Para o conjunto de tambores (tom 1, tom 2, surdo) cada peça da bateria, definimos
um padrão de vibração mínimo (t1) que se repete a cada T1 segundos. Após um tempo 3 T 1, os
mais. Com esse mapeamento esperamos dar uma sensação de agudo para grave ao passar do
tom 1 para o surdo. Isso ocorre com a adoção de tempos maiores do grave para o agudo.
um tempo entre a repetição dos padrões (T1). O tempo t1 é fixo e T1 sofre um acréscimo de 10
ms a cada repetição.
Dessa forma temos mapeamentos diferentes para as peças básicas (bumbo, caixa,
para peça.
Tempo (ms) t1 T1
Prato 1 10 20
Prato 2 20 40
Tom 1 15 30
Tom 2 25 50
Surdo 50 100
Tabela 9: Tempos característicos para os mapeamentos dos pratos e tambores da bateria.
E. Teclado háptico/visual:
dispositivo, tem uma resposta visual e háptica, além de uma emissão de som para cada nota
Identificador de notas, mostrado no item C desta seção. A resposta visual é dada a partir do
ritmos e melodias. O usuário pode usar o instrumento como guia ao tocar um instrumento
acústico ou realizar a leitura de um ritmo ou melodia. O metrônomo também pode ser usado
ouvintes. Isso ocorre por meio do compartilhamento das informações visuais a partir da tela
do aplicativo. A informação sonora do metrônomo pode ser utilizada por algum ouvinte que
e classificá-los em três níveis diferentes de intensidades. Dessa forma o usuário pode perceber
um padrão rítmico e a dinâmica de cada nota desse padrão. Permite ao usuário verificar o
dos sons musicais e classificá-los a partir da sua identificação em um teclado. Dessa forma o
usuário pode perceber notas individuais de uma melodia. O identificador de notas permite ao
usuário identificar as notas de sua voz e solfejar melodias e interagir com instrumentos
pessoas surdas e ouvintes pode ocorrer a partir da informação sonora fornecida pela bateria.
surdas e ouvintes. Duas pessoas surdas podem tocar de forma sincronizada a partir do
pessoas surdas e ouvintes pode ocorrer a partir da informação sonora fornecida pelo teclado.
A B C D E
6 Executar melodias X X
8 Desenvolver a composição X X X X
Tabela 10: Atividades da educação musical que podem ser realizadas usando cada uma das
interfaces.
58
que o aplicativo permite realizar, bem como a funcionalidade do aplicativo indicada para
realizar a atividade. Chamamos essas atividades de básicas pois envolvem questões como
pesquisas e atende pessoas com deficiência visual e surdez. Sua atuação se dá em uma visão
Turma 1) foi composta de crianças de 5 a 7 anos, enquanto a segunda (rotulada como Turma
musicais pudessem ser significativas. Nas atividades musicais com o uso do aplicativo,
propusemos formas de música com participação coletiva como uma forma inicial de se pensar
atividades musicais mediadas pelo uso do aplicativo. O tema de cada oficina foi escolhido de
acordo com sua relevância dentro da educação musical. Para cada tema exploramos o uso dos
um discurso musical.
59
Oficina Tema
2 Ritmo.
As atividades planejadas tiveram que ser adaptadas devido a uma série de fatores não
musicais, adaptação desses conceitos musicais para LIBRAS. Palavras comuns em música,
trabalhar os conceitos musicais a partir de sua descrição em LIBRAS. Por sugestão das
participantes entender melhor o que cada mapeamento representa musicalmente. Para superar
de pessoas surdas. A partir dessa avaliação, foi possível considerar a opinião dessas pessoas
para analisar quais seriam as funcionalidades que deveriam ser disponibilizadas no aplicativo,
questionário (Apêndice A) para saber qual o envolvimento dos participantes com música em
seu cotidiano. Após isso, realizamos o registro em vídeo das oficinas para avaliar o uso do
aplicativo. A partir dos vídeos analisamos a interação dos participantes com o aplicativo em
cada uma das 5 oficinas, buscando observar como se deu o uso do aplicativo pelos
realização de cada uma das atividades musicais. A Seção 4.3 mostra as observações realizadas
em cada oficina.
uso de som, isto é, usando apenas o aplicativo (com som desativado) para mediar as
atividades musicais. Isso nos permitiu avaliar os mapeamentos propostos e seu uso em
atividades musicais. Além disso, permitiu identificarmos a relevância artística de uma prática
aplicativo permitiu aos participantes surdos agir de forma musical ao utilizar as respostas do
produção musical de outras pessoas, comparar com a sua e a partir disso promover a interação
61
musical com outras pessoas. Buscamos observar isso a partir das alterações que o participante
realizava em sua produção musical buscando melhorá-la a partir da resposta que o aplicativo
lhe fornecia. Essa produção musical ocorre a partir da realização de ritmos, sons com
ou vocais. Dessa forma, na primeira avaliação não temos como foco principal a qualidade
aplicativo permite a eles se expressar musicalmente, ou seja, perceber a organização dos sons
de forma musical e alterar sua produção sonora em busca de sentidos musicais. Em suma, a
para ter uma posição frente a música, alterar a sua produção sonora com a intenção de criar
4.3.1 Questionário
Essa atividade contou com intérpretes para traduzir as perguntas propostas de português para
principalmente no que se refere à comunicação das questões. Nossa intenção inicial era que a
questionários. Essa adaptação se deu pelo fato de que alguns participantes não apresentavam
conhecimento sobre alguns dos termos utilizados em música ou educação musical. Com a
ajuda das tradutoras chegamos a uma tradução, de forma que os participantes pudessem
lidas em português (língua falada) e traduzidas para LIBRAS de forma que cada participante
62
manifestou sua opinião. A partir das conversas o pesquisador anotou os principais pontos das
comunicação este questionário poderia conter figuras, alternativa de respostas com figuras,
perguntas com respostas diretas (Gosta ou não gosta de algo?/Alternativas com figuras).
conceitos envolvidos nas perguntas do questionário. Uma possibilidade para se obter mais
eventos que envolvem música como ao observar uma pessoa escutando rádio ou dançando.
brincadeiras que envolvem música na escola. Essas brincadeiras envolvem palmas e gestos.
Imitam os gestos de cantores ou pessoas que ouvem música, percebem música em locais
música em situações cotidianas de suas vidas, tais como na igreja, em shows, na escola e no
carro. Os participantes mencionaram conhecer gêneros musicais como rock, forró, sertanejo,
rap e pagode. Todos mencionaram ter um estilo predileto de música. Eles mencionaram
perceber a música por meio das vibrações da caixa de som ou ao observar as pessoas
interagirem com o som quando estão ouvindo música ou participando de alguma atividade
são receptivos às atividades musicais, até mesmo os participantes com surdez profunda
(Anexo 1) manifestaram ter relação com música. Alguns dos participantes mencionaram
63
gostar de música e todos disseram que percebem a música no seu ambiente e participam de
atividades musicais.
De uma forma geral os participantes relatam que a música está presente em seu
cotidiano seja em lugares que frequentam ou em atividades que mencionam participar. Essas
atividades tratam de práticas que envolvem música como, dançar, cantar e brincadeiras que
envolvem música. Houve também relatos de participantes que mencionaram tocar e estudar
O interesse dos participantes por música foi fundamental para a fase inicial de
público poderia ser significativo, uma vez que foi possível verificar que de forma geral há um
interesse dos participantes por música. A música está presente em suas vidas em um amplo
leque de situações e atividades, além disso também há participantes que já tem uma prévia
4.3.2 Oficina 1
do Identificador de intensidades:
um ritmo
Descrição Produção de sons Identificação de Utilização do Execução Livre
aplicativo
Tabela 13: Atividades desenvolvidas na Oficina 1.
Durante toda a oficina foi possível observar o envolvimento dos participantes com
relação ao aplicativo. Eles se mostraram receptivos durante todo o tempo da oficina, sempre
ou no uso do aplicativo para interagir com outras pessoas. Essa exploração se deu pela
produção sonora a partir do uso da voz, palmas e a percussão de objetos, indicando que a
intenção de verificar primeiramente qual era a resposta háptica e depois a resposta visual do
Na segunda atividade, nos parece que a resposta visual foi o principal estímulo a
para a recepção e a produção rítmica dos participantes. Eles procuravam olhar ou sentir as
padrões rítmicos e utilização do aplicativo para interagir com outra pessoa. Os participantes
usaram o aplicativo para interagir com outros participantes, nesse caso uso da resposta visual
participantes produzindo som não somente para interagir com o aplicativo que estava em suas
4.3.3 Oficina 2
do Identificador de intensidades.
66
rítmica
Descrição Utilização do Reprodução da Produzir Reprodução
rítmico equivalente ao padrão percebido. Nesse caso o aplicativo proporcionou uma situação
em que se pode perceber e imitar um padrão rítmico específico, ao mesmo tempo que
com o uso do aplicativo, o som produzido pelas palmas dos outros participantes. Foi possível
enquanto outros realizaram movimentos que não pareciam apresentar uma constância rítmica.
alcançam uma produção sonora relativamente uniforme, criando assim uma resposta uniforme
do aplicativo e permitindo a detecção quando há erros pontuais por parte dos participantes. Na
atividade realizada os participantes não chegaram a uma produção uniforme, dessa forma uso
do aplicativo não foi efetivo nessa atividade, não possibilitou aos participantes o
entendimento do seu papel dentro de uma atividade coletiva, não permitiu a eles identificar
seus erros em relação ao coletivo. Essa atividade necessitaria de mais tempo para permitir
4.3.4 Oficina 3
aplicativo
Tabela 15: Descrição das atividades da Oficina 3.
observar a resposta para a exploração vocal de altura. Nas atividades 1 e 2, observamos que a
para interagir com o aplicativo, seja para procurar notas diferentes ou para sustentar uma
mesma nota.
4.3.5 Oficina 4
diferentes partes básicas do instrumento (bumbo, caixa e chimbal) a partir de sua resposta
A atividade dois não está nas atividades previstas (Apêndice B), pois foi criada no
instrumento que o participante deveria tocar. Com isso realizamos uma atividade em que
regíamos os participantes para que tocassem a bateria. A atividade foi interessante pois
com o tempo. Isso envolveu o uso das partes básicas da bateria (bumbo, chimbal e caixa). Os
4.3.6 Oficina 5
trecho melódico
Descrição das Diferenciar duas notas a partir da resposta tátil. Os participantes
atividades
Primeiramente cada participante vê a cor e sente a reproduzem um
sente a vibração e deve dizer a qual das cores ela melódico utilizando o
corresponde. teclado
Tabela 17: Descrição das atividades da Oficina 5.
diferentes que formam entre si um intervalo de sétima. Iniciamos com intervalos menores, no
entanto, o intervalo de sétimo foi o primeiro que possibilitou identificação por, pelo menos,
um dos participantes. Mesmo com acertos por parte de alguns participantes para o intervalos
entendê-lo em termos musicais, ou seja, classificando-o de acordo com sua intensidade, altura
e ocorrência temporal. Isso forneceu elementos para se trabalhar exercícios musicais em que
70
os participantes podiam perceber os sons e a partir disso entendê-lo de forma musical para se
regular a intensidade da força com que tocavam instrumentos para obter sons com diferentes
Verificamos que a resposta visual foi um fator que serviu como um forte guia aos
participantes para a realização das atividades. Podemos citar os casos das atividades
resposta vibrátil não parece ter dado tanta segurança aos participantes. No geral eles não
atividades sem maiores problemas. No caso da vibração, acreditamos que um tempo maior de
contato com aplicativo pode levar a melhores resultados com relação ao reconhecimento dos
padrões vibratórios, uma vez que os participantes que conseguiram realizar exercícios
interação musical que permita aos participantes interagir entre si para realizar uma atividade
musical em conjunto. Isso poderia ocorrer tanto pela interação sonora dos dispositivos, quanto
informações vibráteis e visuais a partir de arquivos de áudio, uma vez que muitos
4.4.1 Questionário
Para realizar esta avaliação usamos o sistema MOS (Mean Opinion Score) [35] no
MOS 1 2 3 4 5
Qualidade Mal Pobre Satisfatório Bom Excelente
Tabela 18: Pontuação MOS.
seguindo um roteiro (Apêndice C). Essas atividades englobam tarefas musicais básicas como
executar e identificar uma melodia ou ritmo, além de realizar uma prática em conjunto.
metrônomo.
metrônomo é:
metrônomo é:
é:
é:
72
é:
é:
F. As três últimas perguntas tratam de uma visão global a respeito do uso do aplicativo
sugestões
do aplicativo.
74
Figura 17: Avaliação dos mapeamentos visual e háptica para cada funcionalidade do
aplicativo.
Tomando por base os resultados mostrados na Figura 17, podemos perceber que,
com exceção do Metrônomo, todas as funcionalidades apresentam uma melhor avaliação para
75
o mapeamento visual que para o mapeamento háptico. Também podemos perceber que o
avaliação.
Erros do programa
intensidade média dos sons a serem identificados, então uma calibração inadequado
enquanto se faz a captação. De toda forma os erros podem estar associados a outras
questões que podemos não ter considerado. Esta é uma questão que exige atenção e
mais testes e também traz um desafio, uma vez que o aplicativo pode rodar em
muito diferente.
intensidade média dos sons a serem identificados, então uma calibração inadequada
Além disso o algoritmo depende da identificação de picos para encontrar a altura, mais
identificação de alguns sons. De toda forma os erros podem estar associados a outras
questões que podemos não ter considerado, está uma questão que exige atenção e mais
testes e também traz um desafio uma vez que o aplicativo pode rodar em diferentes
diferente.
resolução.
Desenho da Interface
velocidade tem como intenção permitir o acesso às crianças não alfabetizadas, além
dinâmico.
78
metrônomo
Esse foi o primeiro mapeamento que realizamos para tempos e sua acentuação,
altura e cor. Optamos por um mapeamento que se baseou na comparação relativa entre
cores e alturas. Os resultados, por nós obtidos, mostram que esse mapeamento
apresentou uma boa avaliação. No entanto, pode ser interessante empregar outros
Sugestões
Muitas dos comentários sugerem uma melhora para a diferenciação entre notas
(diferença entre alturas). Essa questão se relaciona principalmente com o mapeamento entre
alturas das notas e vibrações. Muitas vezes a tarefa de diferenciar duas notas em intervalos
diferenciação de frequências seria uma tarefa complicada uma vez que a pele não apresenta
um sistema tão rico de discriminação de frequências quanto o ouvido. Dessa forma indicamos
o uso dessa primeira versão do aplicativo com intervalos maiores que uma 4ª justa. Os
comentários são muito úteis e nos permitem pensar em questões para a melhora desse quesito,
Na versão inicial optamos por trabalhar como uma oitava devido ao fato da
Na versão inicial optamos por três níveis para permitir testes e verificar o
possível.
Esse comentário traz uma sugestão muito importante, uma vez que dentro da
CAPÍTULO 5. CONCLUSÃO
educação musical de pessoas surdas. Para isso, adotamos uma visão de música como algo
tanto na intenção de quem produz, como na interpretação de quem recebe música. Mostramos
neurológicos para que pessoas surdas tenham experiências musicais. Essas experiências
vibrações. Esses elementos serviram como base para criar mapeamentos entre som, vibração e
Essa percepção permitiu a interpretação musical dos sons e com isso os participantes puderam
produzir sons com intenção de produzir música. A reflexão a respeito dos benefícios da
música, bem como os comentários dos participantes em relação às atividades musicais, mostra
em geral, estes estudantes indicam que aplicativo pode ser uma boa ferramenta a ser utilizada
mapeamentos hápticos foram avaliados como piores que os visuais, o que mostra que a
nossa proposta, estávamos limitados a um sistema de hardware que nos permitia controlar
sonoras. Para isso, seria desejável propor outras formas de mapeamento para a altura das
distribuição das vibrações por diferentes partes do corpo. Além disso foi possível notar
durante as oficinas que o aplicativo pode ser mais efetivo se permitir ampliar o leque de
interações musicais dentro das atividades musicais. Assim, possíveis direções para trabalhos
produções musicais.
entender o que estão acontecendo sob um ponto de vista musical. A partir disso
interagir com outras pessoas realizando sua parte ao tocar seu instrumento.
tanto uma interação via bluetooth (para a interação entre dois dispositivos) ou
Uma funcionalidade que permita ao participante tocar junto com uma música
realização de algumas atividades musicais por parte de pessoas surdas. A avaliação com
estudante de música mostra que o aplicativo tem potencial para realização de muitas outras
musical com pessoas surdas é de fundamental importância para poder verificar efetivamente
REFERÊNCIAS BIBLIOGRÁFICAS
[1] KANYA, Andrew. Definition. In: Gracyk, T.; Kania, A. (Org.) The Routledge Companion
[2] TURINO, Thomas. Music as Social Life: The Politics of Participation. Chicago: The
[3] BLACKING, John. How musical is man? Seattle and London: University of Washington
Press, 1973.
[5] GUNTHER, E., e O’MODHRAIN, S. Cutaneous Grooves: Composing for the Sense of
[6] MALER, Anabel. Musical Expression among Deaf and Hearing Song Signers. In:
HOWE, B,; JENSEN-MOULTON, S.; LERNER, N.; STRAUS, J. The Oxford Handbook of
Music and Disability Studies. New York: Oxford University Press, 2016.
[7] JONES, Jeannette DiBernardo, Imagined Hearing: Music-Making in Deaf Culture. In:
HOWE, B,; JENSEN-MOULTON, S.; LERNER, N.; STRAUS, J. The Oxford Handbook of
Music and Disability Studies. New York: Oxford University Press, 2016.
[8] DARROW, A. A.; HELLER, G. N. Early Advocates of Music Education for the Hearing
Impaired: William Wolcott Turner and David Ely Bartlett. Journal of Research in Music
[9] Finck, Regina. Ensinando Música ao Aluno Surdo: perspectiva para a ação pedagógica
[10] Lei nº. 11.769, de 18 de agosto de 2008. Altera a Lei nº. 9.394, de 20 de dezembro de
1996, Lei de Diretrizes e Bases da Educação, para dispor sobre a obrigatoriedade do ensino
da música na educação básica. Diário Oficial [República Federativa do Brasil]. Brasília, DF,
em 19 de ago. de 2008.
84
out. de 1989, dispões sobre a Política Nacional para a Integração da Pessoa Portadora de
Deficiência.
[12] REILY, Lúcia. Escola Inclusiva: linguagem e mediação. 4ª ed. Campinas, SP: Papirus,
2012.
[13] PEREIRA, S. A. Ensino Musical para Surdos: um estudo de caso com a utilização de
Doutorado/Unicamp/Campinas, 2008.
[17] Becker, Judith. 2004. Deep Listeners: Music, Emotion and Trancing. Bloomington:
[18] MCGURK, H.; MACDONALD, J. Hearing Lips and Seeing Voices. Nature, vol. 264, p.
746-748, 1976.
[19] CYTOWIC, R. E.; Synaesthesia: a Union of the Senses. New York: Springer-Verlag,
1989.
Object Ceatures in Perirhinal Cortex. National Academy of Sciences, vol. 103, p. 8239-8244,
2006.
[21] SHIBATA, Dean. Brains of Deaf People Hear Music. 2001. Disponível em:
<http://www.washington.edu/news/2001/11/27/brains-of-deaf-people-rewire-to-hear-music/>.
[22] KAISER, C. I. PETKOV, M. AUGATH, and NIKOS K. Integration of Touch and Sound
http://www.musictheory21.com/jae-sung/syllabus/graduate/rameau-studies/2002-
[25] JONES, R. NEVILE, B. Creating Visual Music in Jitter: Approaches and Techniques.
[28] MCLEOD, P.; WYVILL, G. Visualization of musical pitch. In Proc. Proceedings of the
[29] PALMER, R. Feeling Music. Based on the paper presented at the 3rd Nordic Conference
[31] KARAM, M., RUSSO, F. A. e FELS, D. I. Designing the Model Human Cochlea: An
2009.
with and for Deaf Users: A Case Study. In Proceedings of the International Conference on the
<http://tecnologia.uol.com.br/noticias/redacao/2015/06/16/ludwig-app-para-ipad-ajuda-
[34] PUCKETTE, M. S.; APEL, T.; ZICARELLI, D. D. Real-time audio analysis tools for Pd
Melodías Atonales Siguiendo la Metodología Modus Novus de Lars Edlund, UNAM Ciudad
de México, 2007.
87
APÊNDICES
Questionário I
Nome:_________________________________________________________________
Idade :____________
1 - Qual sua relação com música. Você Gosta? Tem contato frequentemente?
Rua Tessália Vieira de Camargo, 126- CEP: 13083-887- Campinas/SP- Email: cep@fcm.unicamp.br
Página 1 de 2
88
9 – Existe algum equipamento ou forma de ação que lhe ajude a curtir música? Quais?
Rua Tessália Vieira de Camargo, 126- CEP: 13083-887- Campinas/SP- Email: cep@fcm.unicamp.br
Página 2 de 2
89
2.1 Oficina 1
50 min
Introdução
relacionando-o à energia necessária para se produzir um som. A fala discute a relação entre a
aplicativo.
Chamar a atenção para gestos e imagens é uma forma criamos significados para o
som que não se baseiam exclusivamente na percepção através dos ouvidos. Após, a atividade
imagens e vibrações. Nesta etapa, também é importante explicar como deve ser feita sua
calibração para ambientes com diferentes níveis de ruído de fundo. Nesse processo, a resposta
do aplicativo para sons com diferentes intensidades é apresentada. A discussão segue para
caracterizar música como uma atividade em que há repetição ou previsibilidade dos eventos
com relação ao tempo. Portanto, fazer música em conjunto requer sincronização entre as
pessoas envolvidas. Com base nisso, é proposta a atividade de produzir eventos que
acontecem uniformemente no tempo, sua relação com música e construção do ritmo musical.
90
Objetivos
Apresentar o aplicativo aos participantes, mostrando as equivalências que ele faz entre
Conteúdos
2:Produção de sons Cada participante usa o aplicativo para produzir dois sons com
com diferentes diferentes níveis de intensidade, de forma que possam interagir com
4: Produção de um Cada participante deve produzir um padrão rítmico (uma nota por
2.2 Oficina 2
50 min
Objetivo
grupo
Conteúdo
Atividades
Para poder observar a interação de cada participante com o dispositivo escolhemos uma
chamamos de clave. Esse padrão se mantém constante durante toda a realização da música. A
escolha da capoeira se deu por ser uma prática cultural brasileira que permite que os
característica é relativamente simples. Isso permite criar uma identificação para o estilo
musical a partir de um ritmo simples e a partir disso verificar como os participantes percebem
1. Percepção de uma Cada participante utiliza o dispositivo para perceber uma célula
uma célula rítmica mãos e segurando o dispositivo com a outra para sentir os efeitos
3. Atividade em
Os participantes produzem a célula rítmica em conjunto. Utilizam o
grupo: Produção
aplicativo para observar o resultado de sua produção.
sonora
Tabela 2: Descrição das atividades planejadas Oficina 2.
2.3 Oficina 3
50min
Objetivo
Apresentar a versão do aplicativo que tem como resposta a frequência das notas.
Conteúdos
instrumentos acústicos
Atividades
identificador de alturas das notas musicais. Utilizamos dois instrumentos para mostrar a
produção das notas, bem como as formas como se produz as notas em cada instrumento. O
aplicativo dá a resposta da nota que está sendo tocada a partir de um teclado de cores.
práticas:
3.Produção sonora Cada participante deve produzir um som. Ao se sentir confortável com
utilizando a voz uma nota, deve tentar emiti-la novamente, mantendo a frequência.
Tabela 3: Descrição das atividades planejadas Oficina 3.
95
2.4 Oficina 4
Duração
50 min
Introdução
Essa versão do aplicativo apresenta uma função de produção de som. Trata-se de uma
bateria virtual que emite informações hápticas e visuais para a produção musical do usuário.
Nessa função pode-se, utilizar a tela touch-screen para tocar o instrumento virtual. Ao tocar
Objetivo
Conteúdo
peças da bateria segura o dispositivo e responde que peça da bateria está sendo
2.5 Oficina 5
Duração
50 min.
Introdução
expondo sua relação com o número de eventos (vibrações) que ocorrem em determinado
espaço de tempo.Na segunda e terceira atividades propomos o contato com melodias a partir
das cores. Os participantes recebem e reproduzam uma melodia. Também executam uma
Objetivo
da vibração.
Sentir uma melodia a partir da vibração. Tocar a melodia em conjunto sob a regência
Conteúdo
frequências notas diferentes. Após, apenas sente a vibração e deve dizer a qual das
conjunto.
Descripción de la evaluación
Introducción:
min). Explicar que la gente va a evaluar la aplicación de acuerdo con sus respuestas hápticas y
visuales.
1. Tocar sonidos con diferentes niveles de intensidad para que los participantes perciban
2. Permitir que los participantes produzcan sonidos con diferentes niveles de intensidad
Tocamos un pequeño fragmento melódico al piano para que el participante observe las
aplicación
El participante toca la batería libremente para conocer cada una de sus partes y
El participante toca libremente para conocer cada una de sus partes y controles
(volumen y metrónomo)
visual/háptico.
Una persona toca el piano y la otra ejecuta con palmas el ritmo del pentagrama
Una persona toca el piano sosteniendo el celular y la otra ejecuta el ritmo con
1. Edad:_____________________
2. Sexo: _____________________
Masculino ☐ Femenino ☐
4. Nivel de estudios:
1. Consideras la representación visual para los tiempos (pulsos o beats) del metrónomo:
2. Consideras la representación háptica para los tiempos (pulsos o beats) del metrónomo:
metrónomo es:
metrónomo es:
5. Consideras que el uso de este metrónomo como herramienta de apoyo para la ejecución de
6. Consideras que el uso de este metrónomo como herramienta de apoyo para la ejecución de
la aplicación es:
de la aplicación es:
104
11. Consideras que la posibilidad de usar Note identifier como transformador de melodías
12. Consideras que la posibilidad de usar Note identifier como transformador de melodías
13. Consideras que la posibilidad de usar Note identifier para percibir notas emitidas de
14. Consideras que la posibilidad de usar Note identifier para interactuar con algún
20. Consideras la diferenciación de las notas del teclado a partir de la representación visual:
21. Consideras la diferenciación de las notas del teclado a partir de la respuesta háptica:
24. Consideras la ejecución de una melodía a partir del uso del teclado:
Preguntas generales:
25. Consideras que el uso del metrónomo visual durante la ejecución de ritmos y melodías en
26. Consideras que desarrollar actividades musicales en grupo utilizando la aplicación es una
posibilidad:
puede ser:
Por favor indica al reverso de la hoja los comentarios y sugerencias que consideres
pertinentes.
107
ANEXO
Turma 1
Uso de
Data de Uso de língua Uso de
Grau de surdez aparelho
Nascimento de sinais vocalização
auditivo
Aparelho
Sim, em
Participante de
01/12/2010 Sem informação. processo de Sim.
1 amplificaç
aquisição.
ão sonora.
Sim, em
Participante
21/07/2009 Sem informação. processo de Sim. Não.
2
aquisição.
Implante
Perda auditiva
coclear
Participante neurossensorial
22/12/2010 Não. Sim. realizado
3 bilateral
em
profunda.
12/2013.
Sim,
Perda auditiva
Sim, em aparelho
Participante neurossensorial
30/04/2009 processo de Sim. de
4 bilateral
aquisição. amplificaç
profunda.
ão sonora.
Turma 2
Uso de Uso de
Data de Uso de
Grau de surdez língua de aparelho
Nascimento vocalização
sinais auditivo
Perda auditiva
neurossensorial Sem
Participante 1 16/11/2001 Fluente. Sim.
bilateral informação.
profunda.
Perda auditiva
neurossensorial Sem
Participante 2 18/11/1998 Fluente. Sim.
moderadamente informação.
severa
Perda auditiva
neurossensorial
bilateral.
Profundo para
Participante 3 18/11/1998 Fluente. Sim, pouco. Não.
baixas e médias
frequências e
Severo nas altas
frequências.
Perda auditiva
neurossensorial Aparelho de
Sem
Participante 4 17/06/2003 bilateral de Fluente. amplificaçã
informação.
severa a o sonora.
profunda.
Perda auditiva
neurossensorial Sim, em Implante
Participante 5 17/05/2002 Sim.
bilateral aquisição coclear.
profunda.
Perda moderada
orelha esquerda.
Perda Sem
Participante 6 19/05/1999 Fluente. Sim.
moderadamente informação.
severa na orelha
direita.
109
Perda auditiva
Sem
Participante 7 16/01/2000 neurossensorial Fluente. Sim.
informação.
bilateral severa.
Perda auditiva
Sem
neurossensorial Sem Sem
Participante 8 07/11/2001 informação
bilateral informação. informação.
.
profunda.
Perda auditiva
neurossensorial
Sem bilateral severa Sem
Sem
Participante 9 informação nas frequências informação Não
informação.
. baixas e médias .
e profunda nas
altas frequências.
Perda auditiva
Sim, se
Participante neurossensorial Sem
20/09/1999 Fluente. comunica
10 bilateral informação
oralmente.
moderada.
Tabela 2: Informações a respeito das participantes das Oficinas de música Turma 2