Redes Neurais

Prof. Me. Felipe Sanches Gurgel

Universidade Paulista
2016

Universidade Paulista © Prof. Felipe Gurgel

 Índice

1. Introdução
2. Histórico
3. Características Básicas de RNAs
4. Aplicações
5. Classificação e Modelos de RNAs

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Introdução

Redes Neurais - Introdução

• O cérebro humano é fascinante e é composto por mais de 10 bilhões de

neurônios.

• Os neurônios são conectados uns aos outros através de sinapses e

juntos formam uma grande rede, chamada Rede Neural.

• As sinapses transmitem estímulos através de diferentes concentrações de

Na+ (Sódio) e K+ (Potássio).

• Esta grande rede proporciona alta capacidade de processamento e

armazenamento de informações.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Introdução
Introdução
Os principais componentes de um neurônio são:
i. Dendritos – tem por função receber os estímulos transmitidos por
outros neurônios;
ii. Corpo do Neurônio – também chamado de soma, é responsável
por coletar e combinar informações vindas de outros neurônios;
iii. Axônio – constituído de uma fibra celular tubular, que pode
alcançar até alguns metros, responsável por transmitir estímulos
para outras células.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Introdução

Introdução
As Redes Neurais Artificiais (RNAs) consistem num método de solucionar
problemas de iA através de um sistema que tenha:
i. Circuitos que simulem o cérebro humano (inclusive seu
comportamento);
ii. Capacidade de aprendizado (errando e fazendo descobertas).

Trata-se de técnicas computacionais que apresentam:

i. Um modelo inspirado na estrutura neural de organismos
inteligentes;
ii. E que adquirem conhecimento através da experiência.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Introdução
Introdução
• A rede neural artificial é formada por dezenas de pequenos módulos
que simulam o funcionamento de um neurônio.

• O fisiologista Warrem MacCulloch interpretou o funcionamento do

neurônio biológico como sendo um circuito de entradas binárias combinadas
por uma soma ponderada (com pesos) produzindo uma entrada efetiva.

•A função básica de um neurônio é somar as entradas e retornar

uma saída, caso esse valor seja maior que o valor de soma.
© Prof. Felipe Gurgel
 Redes Neurais Histórico

Histórico
• 1943 – MacCulloch e Pitts realizam o primeiro trabalho sobre Redes
Neurais Artificiais, analisando o comportamento do neurônio biológico,
buscando um modelo matemático para ele. Conclusões importantes:

i. Descobriram que a atividade do neurônio é tudo ou nada (uso

de valor limite).
ii. Qualquer sinapse inibitória previne a excitação do neurônio
(conceito de pesos +/- para cada entrada).

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico
• 1949 – Donald O. Hebb, em seu livro The Organization of the Behavior
definiu o conceito de atualização de pesos sinápticos em quatro pontos:
i. Numa rede neural, a informação é armazenada nos pesos;
ii. O coeficiente de aprendizagem é proporcional ao produto dos
valores de ativação do neurônio;
iii. Os pesos são simétricos (o peso da conexão de A para B é igual ao
da de B para A);
iv. Quando ocorre aprendizado, os pesos são alterados.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico

Conceito de Pesos

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico
• 1958 – Frank Rosenblatt desenvolve o primeiro modelo de rede neural,
chamado perceptron.
i. Rede neural simples.
ii. Possui uma camada de entrada e uma
camada de saída.
iii. Cada entrada possui um peso
relacionado.
iv. A saída se dá pela soma dos produtos
de cada entrada pelo seu respectivo
peso.
v. Necessário definir uma função limiar
para ativação ou repouso do neurônio.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico
• 1969 – Marvin Minsky e Seymour Papert
escrevem o livro Perceptrons criticando este modelo
de rede neural.
i. Os autores mostram que uma rede neural
perceptron, com apenas uma camada, não
simula sequer o comportamento de uma
função XOR.
ii. A crítica inicia o período chamado de anos
negros para o estudo das redes neurais.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico
• 1972 – Teuvo Kohonen definiu um novo modelo de RN, chamado
mapa auto-organizável de características.
i. Não era limitado a valores binários.
ii. As entradas, pesos e saídas, poderiam ser contínuos.
iii. Não há apenas um neurônio responsável pela representação do
padrão de entrada.
iv. Um conjunto de neurônios
que interagem entre si, são
responsáveis pela representação do
padrão de entrada.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico
• 1982 – John Hopfield desenvolve o modelo de
Hopfield.
i. Utiliza feedback.
ii. Dificilmente chegam a um estado instável.
iii. Pode ser comparada a um modelo físico:
i. Cada troca de estado, a energia diminui;
ii. O aprendizado chega ao fim quando a
energia está minimizada.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Histórico

Histórico
• 1986 – Rumelhart, Hinton, & Williams provam a validade do
perceptron através do modelo backpropagation.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Características Básicas de RNAs.

RNAs possuem, no mínimo, dois componentes físicos:

i. Conexões;
ii. Elementos de processamento.

Podem possuir ainda, dois componentes não-físicos:

i. Padrões (dados de entrada da rede);
ii. Funções (modelos matemáticos usados para treinamento e
reconhecimento de padrões).

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Conexões e Elementos de Processamento

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Conexões
RNAs são equivalentes a grafos orientados (dígrafos).
i. Possuem arestas (conexões) entre nodos (elementos de
processamento) com um só sentido.
ii. A informação flui numa direção definida.
iii. Cada aresta (conexão) possui um peso.
iv. Os pesos são os responsáveis pela memorização do padrão, pois
são ajustados durante o aprendizado.
v. Conexões definem tanto o fluxo da informação quanto a
modulação da informação que é passada ao nodo seguinte.
vi. Conexões com pesos positivos, são excitatórios.
vii. Conexões com pesos negativos, são inibitórios.
viii. Conexões com peso = 0, são nulas.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Conexões

Dígrafo de uma rede neural artificial.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Elementos de Processamento
Também chamados de neurônios ou neuronodos, realizam todo o
processamento.
i. Recebe apenas um valor do padrão de entrada correspondente.
ii. Possui conexão com os neurônios das camadas seguintes.
iii. Recebe a informação que lhe é enviada e produz um único valor
de saída.
iv. Deve possuir as seguintes qualidades:
i. Necessitam de apenas informações locais.
ii. A saída do elemento de processamento é função dos pesos e
das entradas.
iii. Produzem apenas um valor de saída, propagando este
ao longo da rede.
Universidade Paulista © Prof. Felipe Gurgel
 Redes Neurais Características Básicas

Elementos de Processamento
Matematicamente, temos:

O modo mais comum de função de um elemento de processamento é a

combinação linear.

Com i variando de 1 a n (número de conexões).

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas
Padrões
• As RNAs não podem operar sem dados.
• Dados são padrões apresentados à RNA.
• Podem ser valores numéricos ou caracteres (necessário conversão para
números).
• Uma das principais aplicações de RNA é no reconhecimento de padrões,
por exemplo, reconhecimento da fala. Nesta aplicação:
i. O padrão de entrada pode ser uma matriz que contém o caractere;
ii. A saída apenas um número que indica se o caractere foi
reconhecido ou não.
• Criar o melhor conjunto possível de características como padrão
é o primeiro passo para o sucesso de qualquer aplicação de RNAs.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas
Funções
Das funções usadas em RNAs, pode-se destacar dois tipos:
i. Funções para transferência de sinais entre neurônios;
ii. Funções para aprendizado de padrões.

As funções de transferência (funções de limiar) são aquelas responsáveis por:

i. determinar a forma e a intensidade de alteração dos valores
transmitidos de um neurônio a outro.
São, basicamente, cinco:
i. Função de limiar linear;
ii. Função de limiar hard-limiter ou step;
iii. Função de limiar em rampa;
iv. Função de limiar sigmoid;
v. E função de limiar gaussiana.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas
Função de Limiar Linear
Equação linear da forma:

Onde x é um número real e um escalar positivo (inclinação da reta).

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Função de Limiar Hard-limiter

Pode receber dois valores, uma vez que é utilizada para valores binários:

Onde e δ são os valores que valerão para f(x) caso x ultrapasse ou não o
limiar θ.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Função de Limiar em Rampa

Possui não uma transição direta entre dois valores, mas sim uma fase de
transferência:

Onde γ é o valor de saturação da função, ou seja, durante a transição, o

valor de x irá variar dentro do intervalo (γ, –γ).

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Função de Limiar Sigmoid

Permite a transição gradual e não linear entre dois estados:

Onde é um real positivo.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Características Básicas

Função de Limiar Gaussiana

Função usada na estatística, aqui é usada quando há a definição de um
ponto médio em x e uma variância a este ponto:

Onde v é uma variância pré-definida.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Aplicações

Aplicações
São inúmeras as possibilidades de aplicação de Redes Neurais. As principais
são:
i. Reconhecimento da fala;
ii. Diagnóstico médico;
iii. Análise e processamento de sinais;
iv. Controle de processos;
v. Robótica;
vi. Identificação de sinais de radar;
vii. Mercado financeiro;
viii. Composição musical.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Aplicações

Exemplo: Máquina de Escrever Fonética

Usa o modelo SOM (Self-Organizing Map, de Kohonen) para aprender
fonemas que, posteriormente, serão transformados em palavras através de
regras gramaticais aprendidas automaticamente.

Pode ser adaptada a novos locutores.

Universidade Paulista © Prof. Felipe Gurgel
 Redes Neurais Modelos

Modelos de RNAs
Os modelos mais comuns de RNAs podem ser classificados através do(a):
i. Tipo de entradas;
ii. Forma de conexão;
iii. Tipo de aprendizado.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Modelos

Classificação por Tipos de Entradas

Se considerar-se o tipo de entrada, temos:

i. Entrada binária – modelos que aceitam somente entradas
discretas, ou seja, somente na forma 0 ou 1. Exemplos: os modelos
de Hopfield e ART.
ii. Entrada intervalar – aceitam qualquer valor numérico como
entrada (forma contínua). Exemplos: backpropagation e Kohonen.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Modelos

Classificação por Forma de Conexão

Defini-se a maneira como os elementos da rede estão conectados. Têm-se
três tipos:
i. Alimentação à frente – onde os sinais de entrada são
simplesmente transformados em sinais de saída.
ii. Retro-alimentação – no qual os sinais ficam sendo alterados em
diversas transições de estado, sendo a saída também alimentadora
da entrada.
iii. Competitiva – que realiza a interação lateral dos sinais recebidos
na entrada entre os elementos dentro de uma zona de vizinhança.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Modelos

Classificação por Tipo de Aprendizado

Refere-se à existência ou não de um sinal de saída pré-definido para a rede.

i. Aprendizado supervisionado – há uma definição sobre qual a
saída que se deseja para a rede, o que leva a forçar o ajuste dos
pesos de modo a representar o sinal desejado.
ii. Auto-aprendizado – não é supervisionado e limita-se a fazer uma
representação da distribuição de probabilidade dos padrões de
entrada na rede.

Universidade Paulista © Prof. Felipe Gurgel

 Redes Neurais Modelos

Todas as classificações são complementares.

Universidade Paulista © Prof. Felipe Gurgel