Uso do Coeficiente de

Correlao Linear de Pearson no

Aprendizado via
Backpropagation
Diego Santiago de Meneses Carvalho
Areolino de Almeida Neto
Orientador

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Roteiro
Objetivo
Motivao
Metodologia
Algoritmo Backpropagation
Melhorias propostas
Coeficiente de Correlao de Pearson
Uso do coeficiente
Investigaes
Cronograma

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

Objetivo
Este
trabalho
pretende
melhorar
a
convergncia
do
algoritmo
Backpropagation atravs do uso da taxa de
aprendizado
varivel
baseada
no
Coeficiente de Correlao de Pearson

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

Motivao
Tempo
de
extenso

treinamento

geralmente

Acurcia nem sempre suficiente

Ausncia de uma
configurao da RNA

metodologia

de

Taxa de aprendizado constante e definida

aleatoriamente
Baixo controle do projetista da rede no
MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica
treinamento
Qualificao Diego Santiago de Meneses Carvalho

Metodologia
Etapas:
Estudo:
Algoritmo Backpropagation
Coeficiente de Correlao de Pearson

Implementao: desenvolvimento de
software na plataforma MATLAB
Testes e Validao:
algumas aplicaes

escolha

de

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

Algoritmo Backpropagation
Objetivo: minimizar o erro quadrtico
mdio da sada da RNA pelo mtodo do
gradiente descendente
Fases:
Forward
Backward
Caracterstica
principal:
retropropagao do erro de sada da rede
para camadas anteriores
MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica
Qualificao Diego Santiago de Meneses Carvalho

Algoritmo Backpropagation
Vantagens:
Simplicidade
Baixa complexidade computacional
Forte paralelismo no processamento
Desvantagens:
Alto tempo de convergncia
Aprisionamento em mnimo local

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

Melhorias Propostas
Kin e Chien:
Mtodo de avaliao dos neurnios da
camada escondida: analisa a sada da
rede sem o neurnio
Congelamento dos pesos irrelevantes
Kin, Liu e Xie:
Funo que relaciona a taxa de
aprendizado com o erro
Varia a taxa de aprendizado baseado na
variao do erro
MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica
Qualificao Diego Santiago de Meneses Carvalho

Melhorias Propostas
Xie et al.:
Multiplicam o termo de momentum pela
funo
sigmoide
ou
tangente
hiperblica para alterar a direo de
ajuste dos pesos
Variam a taxa de aprendizado de acordo
com a variao do erro
Xinbo e Lili:
Erro
aumenta:
cancelamento
da
atualizao dos pesos e reduo da
taxa de
aprendizado
MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica
Erro
diminui:
aumento da taxa 9de
Qualificao
Diego Santiago
de Meneses Carvalho

Melhorias Propostas
Xu e Zhang:
Alterao da funo de ativao
Regulagem da taxa de aprendizado
Definio de novos valores iniciais para os
pesos

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

10

Coeficiente de correlao de
Pearson
Correlao: relao entre duas variveis,
onde os dados podem ser representados
por pares ordenados (x,y)
X:
varivel
independente
(ou
explanatria)
Y: varivel dependente (ou resposta)
Coeficiente de correlao linear:
medida da fora e direo da relao
linear entre duas variveis
MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica
Qualificao Diego Santiago de Meneses Carvalho

11

Coeficiente de correlao de
Pearson
Valores do coeficiente:
Entre -1 e 1, inclusive ambos
-1 correlao linear negativa perfeita
1 correlao linear positiva perfeita

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

12

Uso do coeficiente
Iranmanesh et al.:
Reconhecimento de assinaturas on-line
Relao entre os pontos da assinatura e
a presso exercida pela caneta nesses
pontos
Caractersticas marcantes da assinatura
so
passadas
para
uma
RNA
classificadora

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

13

Uso do coeficiente
Neto et al.:
Artigos:
1 Economia de energia em um sistema
robtico autnomo
2 Descarte de informaes redundantes em
sistema robtico autnomo
3 Estimao de risco de coliso em um
sistema de navegao em tempo real
Em comum:
Relao entre vrios frames adquiridos
atravs de viso computacional
Toma decises baseado na correlao
MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica
Qualificao Diego Santiago de Meneses Carvalho

14

Uso do coeficiente
Outros:
Reduo de rudos
Localizao de dispositivos mveis
Lingustica
Neste trabalho: medir a relevncia de
cada peso durante o treinamento de uma
Rede Neural Artificial (RNA)

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

15

Investigaes
Congelamento ou anulao dos pesos que
apresentarem correlao baixa em mdulo
Variao de uma pequena quantidade de
pesos
Atualizao da correlao a cada 1, 10, 50,
100 ou 1000 iteraes, por exemplo
Variao da taxa de aprendizado baseado
no mdulo da correlao ou no
Variao da taxa de aprendizado baseado
na variao
do erro
MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica
Qualificao Diego Santiago de Meneses Carvalho

16

Cronograma
Atividades

2015

2016
ja
ma ab ma
ag se
no de ja
n fev r r i
junjul o t out v z n fev

Reviso Bibliogrfica
Desenvolvimento da
proposta
Pesquisar sobre eventos e
revistas

X X

X X X X X

X X

Preparar artigo

Escrita da Dissertao

X X

Defesa da Dissertao

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

17

Agradecimento

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica

Qualificao Diego Santiago de Meneses Carvalho

18