Apresentacao TCC

Introdução Fundamentação teórica Metodologia e resultados Considerações finais
Aplicação da teoria de processamento digital de

sinais a um problema de classificação do choro de
bebês
Rafael Galvão Leal Andrade 1
Orientador: Prof. Dr. William D’Andrea Fonseca 1
1 Engenharia Acústica - UFSM
13 de Julho de 2017
Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 1 / 54

Sumário
1 Introdução
2 Fundamentação teórica
3 Metodologia e resultados
4 Considerações finais

Introdução
Antes de serem capazes de produzir linguagem, crianças já

são capazes de se comunicar de forma institiva;
Ex: Bebês chorando, crianças surdas/cegas rindo: processos
naturais que são capazes de transmitir informações;

Introdução
Processo de recepção dessas informações, porém, não é

necessariamente institivo;
Capacidade de atribuir significados complexos a sons simples.
Choro como canal de comunicação
Pais podem compreender, à partir da audição, o motivo do

choro de seus bebês;
Importante canal de comunicação entre pais e filhos.

Introdução
Esse canal de comunicação entre pais e filhos pode ser bloqueado

pela surdez;
População surda e tecnologias assistivas
9,5 milhões de brasileiros tem

perda auditiva em algum grau,
sendo 2 milhões surdas;
Falta de acesso às informações
sonoras cotidianas;
Déficit em tecnologias assistivas
que possibilitem esse acesso de
alguma forma;

Objetivos
Iniciar estudos que contribuam para geração de tecnologias

assistivas;
Desenvolvimento de um algoritmo de classificação que indique
a presença do choro de bebês;
Base para desenvolvimento de um protótipo de baixo custo e
acessı́vel.
Etapas do desenvolvimento
Estudo do choro de bebês e suas caracterı́sticas;

Estudo do sistema fonador humano;
Estudo de Processamento Digital de Sinais;
Criação do banco de dados para teste;
Desenvolvimento e teste do algoritmo de classificação.
Processamento de sinais
Alguns aspectos teóricos de processamento de sinais são

fundamentais para a compreensão do trabalho desenvolvido.
Conceitos abordados
Relação sinal-ruı́do (SNR);

Amostragem;
Análises de Fourier;
Janelas;
Convolução;
Processamento em blocos;
Short-time Energy (STE);
Cepstrum;
Mel-frequency Cepstrum Coefficients.
Conceitos importantes
Relação sinal-ruı́do (SNR): Relação entre potência do sinal de

interesse para análise e potência do ruı́do;
Amostragem: processo ocorre para todo sinal digital.
Representação discreta de sinal contı́nuo;
Aliasing: ocorre ao submeter sinais amostrados às análises de
Fourier. Consiste em cópias deslocadas do espectro em torno
da frequência de amostragem;
Transformada Discreta de Fourier: expansão da teoria de
Fourier para sinais finitos e discreto. Transformação de
domı́nio, do tempo para frequência;
Convolução: Imposição da resposta de um sistema a um sinal
de entrada. Usualmente calculado à partir da multiplicação da
resposta em frequência de um sistema com o espectro do sinal
de entrada.
Processamento em blocos
Quando o fenômeno de interesse no sinal apresenta variações

temporais muito rápidas, é comum a utilização de
processamento em blocos;
Consiste em dividir o sinal completo em blocos pequenos que
se sobrepõe;
A sobreposição, ou overlapping, evita a perda de informações
devido à aplicação de janelas no inı́cio e no final de cada
bloco;

Janelamento
Janelas são filtros temporais que rejeitam porções do sinal

anteriores ao seu inı́cio e posteriores ao seu fim;
O janelamento visa obter uma sequência finita de amostras
para análise;
A duração da janela depende da análise que se deseja fazer;
Diferentes janelas possuem diferentes efeitos nos domı́nios de
tempo e frequência;
Janela utilizada: Hann;

Janelamento
A escolha de funções para janelamento visa diminuir os efeitos

de bordas causados por janelas retangulares (trucamento do
sinal);
Truncamento gera efeito de leakage, resultante da criação de
descontinuidade no sinal temporal;
Descontinuidade gerada por número não inteiro de perı́odos
do sinal;

Janela Hann
Definida pela função

πt
2 A 2πt
w (t) = Acos = 1 + cos (1)
T 2 T
(a) Função da janela Hann. (b) Espectro da janela Hann.

Janelamento e processamento em blocos
Aplicação de janelas no processamento em blocos equivale a

uma convolução entre o sinal e a função de janelamento;
Qn = T (x[n]) ∗ w [n]. (2)

Análises genéricas T () são dependentes do tamanho da janela;
Janelas muito longas apresentam comportamento de um filtro
passa-baixas, podendo comprometer a análise das frequências
de interesse;
Também podem não representar fenômenos com variação
temporal rápida;
Janelas muito curtas podem sofrer com falta de informação
suficiente para realizar médias que representem bem o
fenômeno analisado.
Parâmetros de processamento em blocos
Além do tamanho da janela, que para o presente trabalho é de 25

ms, outros parâmetros são importantes para o processamento em
blocos:
Tamanho do bloco (N): número de amostras por bloco,
dependente do tamanho da janela escolhida e da frequência
de amostragem;
Frame shift (R): intervalo entre o inı́cio de cada bloco. Para
um overlapping de 50%, R = N/2;
Frame rate (fr ): número de blocos por segundo de sinal,
definido por
1
fr = . (3)
RT

Ilustração dos parâmetros
Tamanho do bloco:
N = tframe fs (4)
Frame shift:
R = (1 − overlap).N (5)

Short-time Energy (STE)
STE é uma das análises realizadas através do processamento

em blocos;
Para cada bloco é calculada a energia do sinal;
Definido por
X∞
En = x[m]2 w ; (6)
m=−∞
Valores altos para trechos vozeados do sinal.

Cepstrum
Transformada inversa de Fourier aplicada sobre o logaritmo do

espectro de um sinal;
Aplicado na identificação de ecos, determinação de pitch e
filtragem homomórfica;
Novos termos: cepstrum, quefrency, liftering

Mel-frequency Cepstrum Coefficients (MFCC)
Análise em escala Mel dos coeficientes de cepstrum obtidos

para cada bloco de sinal;
Escala Mel é a relação entre o conceito psicoacústico de pitch
e frequência, se aproximando da resposta do sistema auditivo
humano.

Mel-frequency Cepstrum Coefficients (MFCC)
Banco de filtros Mel, espaçados de acordo com as bandas

crı́ticas, aplicado sobre o espectro de um sinal;
Gera uma sequência de pontos de acordo com o número de
filtros utilizados;
Aplicação do logaritmo e, subsequentemente, transformada
inversa, fornece os coeficientes de MFCC.
Banco de filtros mel
1
0.9
0.8
Amplitude normalizada
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Frequência (Hz)

Caracterı́sticas temporais do choro de bebês
Alternância entre trechos de choro e perı́odos de respiração;

Natureza quasi-periódica;
Representação temporal de um sinal de choro

1,00
0,80
0,60
0,40
0,20
Amplitude
0,00
-0,20
-0,40
-0,60
-0,80
-1,00
5 10 15 20 25
Tempo (s)

Geração do choro
Inı́cio do processo no sistema nervoso, à partir de estı́mulos

externos (desconforto, medo, susto, fome, etc.);
Ar saı́do dos pulmões é empurrado pelos músculos
respiratórios para as pregas vocais fechadas;
Fluxo de ar acelerado devido à passagem por um tubo
constrito, levando a uma queda de pressão;
Provoca abertura e fechamento rápidos das pregas vocais que
vibram na frequência fundamental (f0 ) do sinal de choro.

Caracterı́sticas espectrais do choro
Frequência fundamental varia entre 250 e 600 Hz;

Variação na tensão dos músculos da laringe e dos músculos
respiratórios define a frequência fundamental e influencia na
densidade espectral do sinal de choro;
Trato vocal atua como filtro, atenuando ou amplificando
frequências de acordo com seu formato e configuração.
Espectro de um sinal de choro

4000
3000
2000
1000
Amplitude
-1000
-2000
-3000
-4000
2000 4000 6000 8000 10000 12000 14000 16000 18000 20000 22000 24000
Frequências Hz

Caracterı́sticas espectrais do choro
Frequências fundamentais em uma região mais alta que em

sinais de fala;
Estruturas harmônicas evidentes e padrões
”melódicos”caracterı́sticos;
Caracterı́sticas temporais e loudness relacionados à região
subglótica do trato vocal;
Lábios, bochecha e cavidade oral responsáveis pelas
frequências de ressonância (formantes) e caracterı́sticas
harmônicas do sinal;
Análise comumente até a região dos 3300 Hz,em que se
encontra a segunda formante.

Espectrograma

Geração dos sinais de fala
Processo iniciado no cérebro, com a formação da mensagem a

ser transmitida, num processo linguı́stico;
Produção do sinal sonoro em nı́vel fisiológico por meio do
sistema fonador;
Ar sai dos pulmões, coloca pregas vocais na laringe em
vibração;
Transformação do sinal pela faringe, cavidade bucal, lı́ngua,
dentes e lábios, que articulam as palavras.

Geração dos sinais de fala - sons desvozeados
Incluem a maioria das consoantes;

Ruı́do de banda larga resultante do fluxo turbulento através
da laringe aberta;
Modificado pelo trato vocal;
Cada configuração do trato vocal, combinada com sons
vozeados ou desvozeados, dá origem a um fonema.

Fisiologia
Divisão entre subsistema ları́ngeo e articulatório;

Ları́ngeo funciona como fonte sonora enquanto que
articulatório define as caracterı́sticas harmônicas e fonemas
produzidos.

Modelo de produção de fala - cadeia de sistemas
O sistema fonador pode ser compreendido como uma cadeia

de sistemas;
Sinal produzido na fonte sonora do sistema fonador é
convoluı́do com as respostas dos sistemas subsequentes;
Sinal de choro de bebês pode ser interpretado da mesma
forma.

Caracterı́sticas da fala
Energia distribuı́da, essencialmente, até os 10 kHZ;

Maior densidade espectral em baixas frequências;
Faixa dinâmica em torno de 60 dB;
Sons mais fortes são vocálicos e os mais fracos de consoantes
fricativas.

Conceitos de aprendizado de máquina
Algoritmos empregam técnicas de indução;

Capacidade de tomar decisões e realizar classificação à partir
de um conjunto especı́fico de exemplos;
Aprendizado pode ser supervisionado ou não-supervisionado;
Aprendizado supervisionado faz uso de uma entrada de dados
externa;
São apresentados sinais com seus rótulos de classificação para
servir como treino para o algoritmo de aprendizado
supervisionado.

Conceitos de aprendizado de máquina
Conjunto de dados de entrada: atributos e parâmetros dos

sinais utilizados para comparação com os sinais a serem
classificados;
Conjunto de dados de saı́da: rótulos atribuı́dos para as classes
em que se deseja separar os sinais analisados;
Como os rótulos são valores discretos, o problema é um
problema de classificação;
Caso contrário, o problema é denominado de regressão.

kNN
Método de aprendizado estatı́stico;

Aplicado em reconhecimento de padrões e classificação desde
a década de 1970;
Armazena conjuntos de exemplo e classifica novas entradas
por similaridade;

K Nearest Neighbours (kNN)
Similaridade é determinada pela distância entre os atributos

da nova entrada em relação aos exemplos de treino;
Distância Euclidiana é a mais comumente utilizada, calculada
por
q
D = (x1 − x2 )2 + (y1 − y2 )2 ; (7)
O algoritmo analiza então os K vizinhos mais próximos, sendo
esse determinado pelo analisador, de acordo com a
necessidade;
Decisão é tomada por maioria simples.

Sinais utilizados
Problema de duas classes;

Banco de áudios é composto por targets e outliers, ou seja,
sinais de interesse e outros sinais;
Metade dos sinais será utilizada para treino e metade para
teste.
Banco de sinais
16 sinais de choro de bebês;

13 outliers, contendo:
sirenes, passos, helicopteros e aviões, carros e motos, cavalos
trotanto, aviões, pessoas tossindo e gargalhando, pássaros,
trovões, barulho de trânsito com buzinas, sinal de fala anecoico
e com variações na frequência de amostragem.

Processamento em blocos e Janelamento
Verificados efeitos de janelas sobre os sinais;

Aplicação da janela a cada bloco de sinal;
Duas formas de implementação:
1 Comando buffer do MATLAB: divide o sinal em blocos e salva
cada bloco como um vetor de uma matriz. Janela aplicada a
cada vetor.
2 Convolução: Multiplicação entre resposta em frequência da
janela e espectro do sinal;

Processamento em blocos e Janelamento
Cada forma de divisão do sinal possui vantagens e

desvantages:
Comando buffer : é mais lenta, porém faz a separação de cada
bloco em vetores e permite a visualização de cada bloco
individualmente;
Convolução: é mais rápida, porém não permite a visualização
individual de cada bloco.
Ambas utilizadas em processos diferentes;
Cálculo de STE para comparação entre os métodos.

Comparação do cálculo da STE nos diferentes métodos
Comparação entre STE calculadas

1,20
Processamento bloco a bloco
Convolução sinal-janela
1,00
0,80
Amplitude
0,60
0,40
0,20
0,00
-0,20
50 100 150 200 250 300 350 400 450
Amostra

MFCC
Para cálculo dos MFCC foi utilizado o comando buffer para

divisão do sinal;
Blocos de 25 ms, suficiente para a análise das alterações
rápidas dos sinais de choro;
FFT de cada bloco e obtenção de uma matriz com os
espectros de cada bloco.
Espectro para um frame janelado do sinal (Hanning)
20
18
16
14
12
10
0
500 1000 1500 2000 2500 3000 3500 4000
Frequência (Hz)

Espectro Mel
Criação de um banco de filtros, espaçados de acordo com as

bandas crı́ticas;
Relações entre Hertz e Mels:
M(f ) = 1125ln(1 + f /700), (8)
M −1 (m) = 700(exp(m/1125) − 1); (9)

Frequências mı́nima e máxima de análise (200 Hz e 5512 Hz)
transformadas em Mels (282,72 mels e 2456 mels);
Os 26 filtros aplicados são divididos em espaçamento uniforme
para os valores em Mel, o que gera uma distribuição não
linear quando são transformados para Hertz novamente.

Espectro Mel
Banco de filtros calculado por



 0, se k < f (m − 1)

 k−f (m−1) , se f (m − 1) ≤ k ≤ f (m)


Hm (k) = f (m)−f (m−1) (10)
f (m+1)−k
f (m+1)−f (m) , sef (m) ≤ k ≤ f (m + 1)





0, sek > f (m + 1)

Banco de filtros mel

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Frequência (Hz)

Espectro Mel
Banco de filtros possui maior discretização em baixas

frequências;
Espectro de cada bloco multiplicado pelo banco de filtros.
Filtros Mel aplicados ao espectro S

16
14
12
10
0
5 10 15 20 25
Coeficientes Mel

MFCCs
Para a obtenção dos coeficientes (MFCC), realiza-se:

1 a operação do logaritmo do espectro filtrado;
2 transformada inversa de Fourier (IFFT);
Vetores de MFCCs gerados e armazenados em matriz;
São utilizados como parâmetros para classificação apenas os
12 primeiros coeficientes.

Classificação dos sinais
Metade dos sinais utilizados como teste e a outra metade para

treino;
Os sinais de choro são então os targets e os sinais de não
choro, outliers;
Cada frame de sinal é compreendido como uma amostra a ser
classificada, a partir da comparação de seus 12 parâmetros
(12 coeficientes de MFCC);

Resultados da classificação para os sinais de treino
Porcentagem de erro para sinal ”choro 11”muito discrepante;

Esse sinal apresenta distorções devido a hard clipping ;
Média de erro: 6,705%.

Resultados da classificação para os sinais de treino
Outlier 8 consiste num som de gargalhada e apresentou o

maior erro de classificação;
Média de erro dos outliers: 9,891%.
Nenhum dos sinais na etapa de treino foi classificado de forma
errada, uma vez que a classificação de um sinal é feita a partir
da classificação da maioria simples das amostras desse sinal.

Combinação de sinais
Foram combinados um sinal de choro e um sinal que contém

ruı́do de trânsito e buzinas;
Testes realizados para SNRs variadas;
Primeira classificação errônea aconteceu com SNR de -4 dB.

Classificação de sinais contaminados por ruı́do de banda

larga
Implementada rotina de identificação de sinais que contém

apenas ruı́do, utilizando STE;
Variação da energia de ruı́do de banda larga é muito menor
que sinais de choro ou fala;
Avaliação do desvio padrão da energia do sinal, obtendo
resultados satisfatórios para ruı́dos branco, rosa e azul.
Short-time Energy
1,00
0,80
0,60
0,40
0,20
Amplitude
0,00
-0,20
-0,40
-0,60
-0,80 Sinal
STE
-1,00
0 2 4 6 8 10 12 14
Tempo (s)

Classificação de sinais contaminados por ruı́do de banda

larga
Sinal de teste: fala contaminados por ruı́do de banda larga;

Implementação de Harmonicity Factor ;
Calculado por
k
X
HF = hi modf0 . (11)
i=1
Para sinais harmônicos, HF deveria apresentar valores baixos;

Resultados para Harmonicity Factor
Resultados obtidos não corresponderam às expectativas;

Sinal de fala apresentou menores valores de HF;
Choro, que é um sinal harmônico, obteve valores de HF altos
e portanto, não foi possı́vel utilizar esse parâmetro na
classificação dos sinais;

Resultados para HF
Fator de harmonicidade para ruído branco Fator de harmonicidade para sinal de fala
4 3
3,5
2,5
2
2,5
HF
HF
2 1,5
1,5
1
0,5
0,5
0 0
0 20 40 60 80 100 120 140 160 0 100 200 300 400 500 600 700 800 900 1000
Amostras Amostras
(c) HF para ruı́do branco. (d) HF para fala.

HF do sinal de choro
Fator de harmonicidade para sinal de fala

8000
7000
6000
5000
HF
4000
3000
2000
1000
0
0 50 100 150 200 250 300 350 400 450
Amostras

Considerações finais
Estudo interdisciplinar realizado;

Elementos de processamento de sinais, estudos sobre fala,
fisiologia, aspectos psicoacústicos e psicológicos envolvidos;
Disciplinas cursadas na graduação fornecem bases sólidas para
estudos de temas que ultrapassam os assuntos abordados em
sala de aula;
Dificuldades no decorrer do projeto impediram a realização do
objetivo inicial de criação de protótipo;
Importância de processamento em tempo real torna
interessante a inclusão de uma disciplina opcional voltada
para o assunto;

Considerações finais
Déficit de desenvolvimento de tecnologias assistivas na

Academia;
Algoritmo de classificação como primeiro passo para o
desenvolvimento de um protótipo funcional;
Classificação satisfatória de sinais não contaminados por ruı́do
de banda larga;
Ineficiência na classificação de sinais contaminados por ruı́do;
Problema do ruı́do em aberto para estudos futuros.

Obrigado pela atenção!
“O TCC está aı́. O desafio foi feito. Não havia outro caminho a
ser seguido. Ele foi escrito nas piores condições possı́veis. Se isso
veio no tempo certo ou não, não me cabe julgar. O fato é que eu
pude realizar aquilo que havia sonhado.”

Apresentacao TCC

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Apresentacao TCC

Загружено:

Авторское право:

Доступные форматы

Introdução Fundamentação teórica Metodologia e resultados Considerações finais

Aplicação da teoria de processamento digital de

Rafael Galvão Leal Andrade 1

Orientador: Prof. Dr. William D’Andrea Fonseca 1

1 Engenharia Acústica - UFSM

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 1 / 54

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 2 / 54

Antes de serem capazes de produzir linguagem, crianças já

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 3 / 54

Processo de recepção dessas informações, porém, não é

Choro como canal de comunicação

Pais podem compreender, à partir da audição, o motivo do

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 4 / 54

Esse canal de comunicação entre pais e filhos pode ser bloqueado

População surda e tecnologias assistivas

9,5 milhões de brasileiros tem

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 5 / 54

Iniciar estudos que contribuam para geração de tecnologias

Estudo do choro de bebês e suas caracterı́sticas;

Alguns aspectos teóricos de processamento de sinais são

Relação sinal-ruı́do (SNR);

Relação sinal-ruı́do (SNR): Relação entre potência do sinal de

Quando o fenômeno de interesse no sinal apresenta variações

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 9 / 54

Janelas são filtros temporais que rejeitam porções do sinal

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 10 / 54

A escolha de funções para janelamento visa diminuir os efeitos

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 11 / 54

Definida pela função

(a) Função da janela Hann. (b) Espectro da janela Hann.

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 12 / 54

Janelamento e processamento em blocos

Aplicação de janelas no processamento em blocos equivale a

Qn = T (x[n]) ∗ w [n]. (2)

Parâmetros de processamento em blocos

Além do tamanho da janela, que para o presente trabalho é de 25

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 14 / 54

Ilustração dos parâmetros

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 15 / 54

Short-time Energy (STE)

STE é uma das análises realizadas através do processamento

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 16 / 54

Transformada inversa de Fourier aplicada sobre o logaritmo do

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 17 / 54

Mel-frequency Cepstrum Coefficients (MFCC)

Análise em escala Mel dos coeficientes de cepstrum obtidos

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 18 / 54

Mel-frequency Cepstrum Coefficients (MFCC)

Banco de filtros Mel, espaçados de acordo com as bandas

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 19 / 54

Caracterı́sticas temporais do choro de bebês

Alternância entre trechos de choro e perı́odos de respiração;

Representação temporal de um sinal de choro

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 20 / 54

Inı́cio do processo no sistema nervoso, à partir de estı́mulos

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 21 / 54

Caracterı́sticas espectrais do choro

Frequência fundamental varia entre 250 e 600 Hz;

Espectro de um sinal de choro

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 22 / 54

Caracterı́sticas espectrais do choro

Frequências fundamentais em uma região mais alta que em

Andrade, R. G. L. Trabalho de Conclusão de Curso 13 de Julho de 2017 23 / 54