91

B Conceitos de Redes Neurais Artificiais

Este apndice tem por objetivo fornecer apoio para uma melhor compreenso da
abordagem sobre RBF apresentada no Captulo 3. Aborda-se a fisiologia neural, a juno
sinptica, funes de ativaes, arquitetura das redes neurais artificiais e perceptrons de
mltiplas camadas

B.1 Fisiologia Neural

A Figura 32 descreve os principais componentes de uma clula nervosa tpica no
sistema nervoso central. A membrana (1) de um neurnio separa o plasma intracelular
do fluido intersticial externo clula. A membrana permevel a certas espcies inicas
e atua para manter uma diferena de potencial entre o fluido intracelular e extracelular.
Ele realiza essa tarefa, principalmente, pela ao de uma bomba de sdio-potssio. Este
mecanismo transporta ons de sdio para fora e ies de potssio para dentro da clula.
Outras espcies inicas presentes so os ons cloreto e ons orgnicos negativos.

Figura 32 Principais componentes de uma clula nervosa.

(3)

(4)
(1)

(2)

(5)

(6)

(7)
.

Fonte: (boundless.com, 2017)

As principais estruturas de uma clula nervosa incluem dendritos (2), o corpo

celular (3) e um nico axnio (4). O axnio de muitos neurnios cercado por uma
membrana chamada bainha de mielina (6). Os nodos de Ranvier (5) interrompem a bainha
Apndice B. Conceitos de Redes Neurais Artificiais 92

de mielina periodicamente ao longo do comprimento do axnio. As sinapses (7) conectam

os axnios de um neurnio a vrias partes de outros neurnios.

B.1.1 Juno Sinptica

A comunicao entre os neurnios ocorre como resultado da liberao pela clula
pr-sinptica de substncias chamadas neurotransmissores e da subsequente absoro
dessas substncias pela clula ps-sinptica. Quando o potencial de ao chega como a
membrana pr-sinptica, mudanas na permeabilidade da membrana causam um influxo de
ons de clcio. Estes ies fazem as vesculas contendo os neurotransmissores se fundam com
a membrana pr-sinptica e libertem os seus neurotransmissores para a fenda sinptica.

Figura 33 Conexo sinptica entre neurnios.

Dendritos
Transferncia
de
informao

Axnio

Impulso nervoso
.

Fonte: (Artificial Intelligence Tutorial, 2017)

Em resumo, embora as atividades relacionadas ao neurnio biolgico possam parecer

simples no incio, seus componentes, ao funcionarem totalmente so responsveis por todo
o processo executado e gerenciado pelo crebro humano. Estima-se que a rede neural
biolgica, com caracterstica muito excntrica, seja composta por cerca de 100 bilhes de
neurnios (SOUZA; SOARES, 2016). Cada um deles est interligado atravs de conexes
sinpticas (tornadas possveis por mais de cinquenta substncias neurotransmissoras)
para uma mdia de 6.000 neurnios, resultando em um total de 600 trilhes de sinapses
(BROWN, 2012).

B.1.2 Unidade Neural

Um neurnio uma unidade de processamento de informao que fundamental
para o funcionamento de uma Rede Neural Artificial (RNA) (HAYKIN et al., 2009). A RNA
Apndice B. Conceitos de Redes Neurais Artificiais 93

composto por conjunto de sinapses (ou elos de conexo), somador e funo de ativao,
mostrada na Figura 34. O conjunto de sinapses, cada um dos quais, caracterizado por
um peso ou fora prpria. Especificamente, um sinal xj na entrada da sinapse j conectada
ao neurnio k multiplicado pelo peso sinptico wkj . Onde o primeiro subscrito em wkj
refere-se ao neurnio em questo, e o segundo subscrito refere-se ao final da entrada da
sinapse a que se refere o peso. E por fim,a funo de ativao vem para limitar a amplitude
da sada do neurnio. A funo de ativao tambm referida como uma funo restritiva,
na medida em que restringe (limita) o intervalo permissvel de amplitude do sinal de sada
a um valor finito.
Figura 34 Modelo no-linear de um neurnio.

Funo
de
ativao

Pesos
sinapses
.

Fonte: (HAYKIN et al., 2009)

Em relao ao modelo RNA da Figura 34, tem-se a incluso de bias aplicado

externamente, representado por bk . O bias bk tem o efeito de aumentar ou diminuir a entrada
lquida da funo de ativao, dependendo se ela positiva ou negativa, respectivamente.
Escrevendo em termos matemticos o neurnio k,
m
X
u= wkj xj (B.1)
j=1
yk = (uk + bk ). (B.2)

Sendo, x1 , x2 , ..., xm os sinais de entrada e wk1 , wk2 , ..., wkm so os respectivos pesos sinp-
ticos do neurnio k; uk a sada do combinador linear devido aos sinais de entrada; bk o
bias; () a funo de ativao; e yk o sinal de sada do neurnio. O uso do bias bk tem
o efeito de aplicar uma transformao afim sada uk do combinador linear no modelo
dado por

k = uk + bk . (B.3)
Apndice B. Conceitos de Redes Neurais Artificiais 94

Os bias bk podem ser positivo ou negativo. A relao do campo induzindo local ou potencial
de ativao, vk do neurnio k e a sada de combinador linear uk dada pola Eq. B.3. O
bias bk um parmetro externo do neurnio artificial k. Considerando a Eq. (B.2) e com
manipulaes algbricas da Eq. (B.1) e Eq. (B.3), pode-se formular a expresso:
m
X
k = wkj xj (B.4)
j=0
yk = (k ) (B.5)

Na Eq. (B.4) tem-se a adio de uma nova sinapse e fazendo a entrada x0 = +1 com peso
wk0 = bk obtm-se um modelo no-linear do neurnio, uma ilustrao desse modelo neural
visto na Figura 35.

Figura 35 Modelo no-linear de um neurnio.

Fonte: (HAYKIN et al., 2009)

B.1.3 Funo de ativao

As funes de ativao podem ser divididas em dois grupos fundamentais, as
parcialmente diferenciveis e totalmente diferenciveis, quando se considera seus domnios
de definio completa (SOUZA; SOARES, 2016). As funes degrau (limiar), sinal e
rampa simtrica so as trs principais funes parcialmente diferenciveis. Para as funes
totalmente diferenciveis tem-se as funes logstica, tangente hiperblica e gaussiana.
Existe uma infinidades de outras funes de ativao, porm para nvel de conhecimento
deste trabalho o ltimo grupo de grande utilidade.
A funo de ativao, ou tambm conhecida como funo de transferncia, mostrada
no bloco, (), da Figura 35 uma funo linear ou no linear, definindo a sada de um
neurnio em termos do campo local induzido k . Uma funo de ativao particular
escolhida para satisfazer a especificao de um problema que o neurnio est tentando
resolver.
Apndice B. Conceitos de Redes Neurais Artificiais 95

Um exemplo de uma funo parcialmente diferenciveis limiar. Esta assumir

valores positivos unitrios quando o potencial de ativao do neurnio for maior ou igual
a zero,caso contrrio, o resultado ser nulo, Figura 36. Desta forma sua representao
definida por:

1, se > 0
() = (B.6)
0, se < 0

em que k o campo local induzido do neurnio representado por:

m
X
k = wkj xj + bk (B.7)
j=1

Figura 36 Funo limiar.

Fonte: Elaborado pelo autor.

J para caso de funes totalmente diferenciveis tem-se, por exemplo, a funo

logstica representado pela Figura 37. Esta sempre assumir valores reais entre zero e um.
A sua representao definida por:
1
() = (B.8)
1 + e(a)
As funes de ativao definidas nas Eq. (B.6) e Eq. (B.8) variam de 0 a 1. Para o caso de
uma funo de ativao impar tem-se variao de 1 a +1. A funo limiar da Eq. (B.8)
agora definido como,

1, se u > 0




() = 0, se u = 0 (B.9)

1, se u < 0

Apndice B. Conceitos de Redes Neurais Artificiais 96

Figura 37 Funo logstica para variar o parmetro de inclinao a.

Aumentando

Fonte: (HAYKIN et al., 2009)

B.1.4 Topologia das Redes Neurais Artificiais - RNAs

A topologia das RNAs est associadas com diferentes formas estruturais possveis
e diferentes nmeros de neurnios nas camadas de entrada, intermediria e de sada da
rede.Quando se trata das arquiteturas RNAs, tem-se a descrio de como os seus neurnios
so dispostos, ou colocados, em relao uns aos outros. A organizao da RNA est, de
certa forma, ligada ao algoritmo de aprendizagem usado para treinamento da rede.
Em geral pode-se identificar trs classes fundamentais de arquitetura das RNAs,
que so as: feedforward de camadas simples, feedforward de camadas mltiplas e redes
recorrentes ou realimentada.
As redes feedforward de camada simples, Figura 38, tem como caracterstica,
na forma simples, uma camada de entrada de ns (unidades sensoriais) que se projeta
diretamente sobre uma camada de sada de neurnios (ns de computao), mas no
o contrrio. No se conta a camada de entrada porque no h computao realizada
(HAYKIN et al., 2009).
As classes de RNAs feedforward de camadas mltiplas, Figura 39, se diferenciam
pela presena de uma ou mais camadas ocultas, cujos ns de computao so correspon-
dentemente chamados neurnios ocultos ou unidades ocultas, parte da rede neural que
no vista diretamente da entrada ou na sada da rede.
E, por fim, tem-se a rede neural recorrente diferenciada de uma rede neural
feedforward por possuir pelo menos uma lao de realimentao. Pode-se ver melhor essa
realimentao na Fig. 40.A realimentao refere-se a da sada do neurnio voltando para
sua prpria entrada.
A dinmica neural consiste em duas partes: do estado de ativao e dos pesos
Apndice B. Conceitos de Redes Neurais Artificiais 97

Figura 38 Rede feedforward de Camada Simples

Fonte: Elaborado pelo autor.

Figura 39 Rede feedforward de Camadas Mltiplas

Fonte: Elaborado pelo autor.

Figura 40 Redes Recorrentes ou realimentada

Fonte: AUTOR
Apndice B. Conceitos de Redes Neurais Artificiais 98

sinpticos. A memria de curto prazo em redes neurais modelada pelo estado de ativao
da rede. A memria de longo prazo corresponde informao do padro codificada nos
pesos sinpticos devido aprendizagem. As leis de aprendizagem so meramente modelos
de implementao da dinmica sinptica. Para a representao do conhecimento tem-se
quatro regras, que so de natureza do senso comum:

1. Entradas semelhantes de classes semelhantes devem produzir representaes seme-

lhantes no interior da rede, sendo classificadas como pertencentes mesma classe.

2. Os itens a serem categorizados como classes separadas devem receber representaes

amplamente diferentes na rede.

3. Se uma caracterstica particular importante, ento deve haver um grande nmero de

neurnios envolvidos na representao desse item na rede. Desta forma o desempenho
de deteco de um tal sistema de radar medido em termos de duas probabilidades:
a de deteco e alarme falso.

4. Informaes prvias e as invarincias devem ser incorporadas na concepo de uma

RNA sempre que estiverem disponveis, de modo a simplificar o projeto da rede por
no ter que aprend-los.

Existem vrios mtodos de aprendizagem. Para fins de conhecimento, os mtodos de

aprendizagem so organizados nesta seo.
O perceptron de Rosenblatt (1962) construdo em torno de um neurnio no
linear do modelo McCulloch e Pitts (1943) de um neurnio. De maneira que a modelagem
neural consiste em um combinador linear limitado por uma funo de ativao, .

Figura 41 Esquema da rede Perceptron

Fonte: Elaborado pelo autor

Apndice B. Conceitos de Redes Neurais Artificiais 99

A simplicidade da rede Perceptron deve-se sua condio de ser constituda por

apenas uma camada neural, possuindo assim um nico neurnio artificial. Onde a rede
composta por m sinais de entrada (unidades sensoriais) e apenas uma sada.
Em relao a Figura 41, os pesos sinpticos do perceptron so w1 , w2 , ..., wm . As
entradas aplicadas ao perceptron so denotadas por x1 , x2 , ..., xm . Tendo os bias, b, aplicada
externamente. A partir do modelo, encontra-se um limitador na entrada, ou campo local
induzido, representado por:
m
X
= wi xi + b (B.10)
i=1

A finalidade do perceptron classificar corretamente o estimulo nas entradas

sensoriais em uma das duas classes, C1 ou C2 . Em que a regra para decidir a classificao
atribuir o ponto representado pelas entradas para a classe C1 se a sada do perceptron y
for +1 e para a classe C2 se for 1. Na forma mais simples do perceptron, existem duas
regies de deciso separadas por um hiperplano, que definido pela Eq. (B.10) sendo igual
a zero.

Mtodo da descida mais ngreme

O mtodo da descida mais ngreme uma lei de aprendizagem que descreve o vetor
de peso para a i-sima unidade de processamento na interao (n + 1), em termos
do vetor de peso no momento (n), dado por

w(n + 1) = w(n) g(n) (B.11)

w(n) = w(n + 1) w(n) (B.12)
= g(n) (B.13)

em que g = E (w), g o vetor gradiente calculado na interao w(n) e a taxa

de aprendizagem, sendo uma constante positiva. De forma que o vetor gradiente
expresso por
" #T
E E E
E (w(n)) = , , ..., (B.14)
w1 w2 wm
em que o operador gradiente.

Mtodo de Newton
O mtodo de Newton tem uma ideia bsica de minimizar a aproximao quadrtica
da funo de custo E , em torno do ponto corrente w(n) expressa por

E (w(n + 1)) < E (w(n)) (B.15)

sendo w(n) o valor antigo do peso e w(n + 1) o valor atual.

E (w(n)) = E (w(n + 1)) E (w(n)) (B.16)

1
= gT (n)w(n) + wT (n)H(n)w(n) (B.17)
2
Apndice B. Conceitos de Redes Neurais Artificiais 100

em que g o vetor gradiente com dimenso m 1 e H(n) sendo a matriz hessiana,

Eq. (B.18), m m calculado no ponto w(n).

H = 2 E (w)
2E 2E 2E



w12 w1 w2 w1 wM


2E 2E 2E


w w
= 2 1 w22 w2 wM
(B.18)
.. .. ..

..

. . . .

2 2 2
E E E


2
wM w1 wM w2 wM
Mtodo de Gauss-Newton
O mtodo de Gauss-Newton baseado na funo de custo expressa por uma soma
dos erros quadrados dada por
n
1X
E (w) = e2 (i) (B.19)
2 i=1
de foma que o erro calculado com base em e(i) = d(i) y(i), com d(i) sendo a
resposta desejada e y(i) a sada da rede. Pode-se verificar a Figura 41 e obter
facilmente a Eq.(B.20) a parte da Eq. (B.10),
m
X
y(i) = (i) = wi xi + b (B.20)
i=1

O sinal de erro uma funo do vetor de peso ajustvel. Para uma equivalncia,
com manipulaes lineares, pode-se escrever na forma modificada (HAYKIN et al.,
2009), expressa por

w(n + 1) = w(n) (JT (n)J(n) + I)1 JT (n)e(n) (B.21)

em que (JT (n)J(n) + I) definida positivamente para todo n.

B.1.5 Perceptrons de Mltiplas Camadas

A Figura 42 mostra um exemplo de perceptrons de mltiplas camadas com uma
estrutura de uma camada de entrada, uma camada intermediaria, ou oculta e uma camada
de sada. Os neurnios na camada de entrada atuam como distribuidores dos sinais de
entrada xi para os neurnios da camada seguinte, neste caso, na camada oculta. Cada
neurnio na camada oculta resume seus sinais de entrada xi depois de ponderar com as
foras das respectivas conexes da camada de entrada e, desta forma, calcula a sada y(i)
como uma funo f de soma dada por
!
X
y(i) = f wji xi (B.22)

em que f uma funo de ativao, do tipo logstica, j descrita na Seo (B.1.3) ou uma
Funo de Base Radial da Seo (3.3.2).
Apndice B. Conceitos de Redes Neurais Artificiais 101

Figura 42 Estrutura perceptrons de mltiplas camadas

Camada
1 camada 1 2 camada de
camada oculta Sada
.

Fonte: Elaborado pelo autor

B.1.6 Algoritmo Backpropagation

O algoritmo backpropagation (BP),com mtodo por descida do gradiente, o algo-
ritmo de treinamento MLP mais comumente utilizado (SOUZA; SOARES, 2016)(HAYKIN
et al., 2009). D a mudana na variao dos pesos wji de uma conexo entre neurnios i
e j expresso por

wji (n) = j (n)yi (n) (B.23)

em que (n) um gradiente local definido por,

E (n)
j (n) = . (B.24)
j (n)
Para todos, exceto os problemas mais triviais, vrias pocas so necessrias para que a
MLP seja devidamente treinado. O que efetivamente permite que a alterao dos pesos
anteriores influenciem a nova mudana do peso atual expresso por

wji (n) = j (n)yi (n) (B.25)

em que wji (n), , j (n) e yi (n) a correo dos pesos, taxa de aprendizado, gradiente
local e sinal de entrada do neurnio j.
O critrio de convergncia sensvel para aprendizado por retropropagao consi-
derar que o algoritmo tenha convergido quando a norma euclidiana do vetor gradiente
alcanar um limiar suficientemente pequeno (KRAMER; SANGIOVANNI-VINCENTELLI,
1989). Outra propriedade utilizada para considerar que o algoritmo de retropropagao
tenha convergido quando a taxa absoluta de variao do erro mdio quadrado por poca
for suficientemente pequena (HAYKIN et al., 2009) (PHAM; LIU, 1995).