RN Aula 2a Introducao Redes Neurais3

REDES NEURAIS
Marley Maria B.R. Vellasco

ICA: Ncleo de Pesquisa em Inteligncia Computacional Aplicada PUC-Rio PUC-
CONTEDO
Introduo
Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico
Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo
Processamento Neural
Recall e Learning
Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Hopfield, Competitive Learning, RBF, etc.
MOTIVAO
Constatao que o crebro processa informaes de forma diferente dos computadores convencionais CREBRO velocidade 1 milho de vezes mais lenta que qualquer gate digital processamento extremamente rpido no reconhecimento de padres COMPUTADOR processamento extremamente rpido e preciso na execuo de seqncia de instrues muito mais lento no reconhecimento de padres
Problema dos 100 Passos

Neurnio: 2ms Processador: 2ns
Processador 106 mais rpido que o neurnio
Crebro reage a um estmulo entre 0,2 e 1 seg.
Processamento altamente paralelo (1011 neurnios com 104 conexes cada)
O crebro responde em 100 passos
MOTIVAO
Observaes:
O crebro tem 10 bilhes de neurnios. Cada neurnio tem 1.000 a 10.000 conexes 60 trilhes de conexes - 1014 sinapses! sinapses Cada pessoa pode dedicar 100.000 conexes para armazenar cada segundo de experincia
(65 anos 2.000.000.000 de segundos!)
CONTEDO
Introduo
Conceitos Bsicos
Recall e Learning
Durante os 2 primeiros anos de vida, 1.000.000 de sinapses so formadas por segundo!!
OBJETIVO
DEFINIO
Redes Neurais Artificiais so sistemas inspirados nos neurnios biolgicos e na estrutura massivamente paralela do crebro, com capacidade de adquirir, adquirir armazenar e utilizar conhecimento experimental.
Estudar a teoria e a implementao de sistemas massivamente paralelos, que paralelos possam processar informaes com eficincia comparvel ao crebro.
IDIA BSICA
Sistemas compostos de diversas unidades simples (neurnios artificiais) ligadas de maneira apropriada, podem gerar comportamentos interessantes e complexos. complexos. Comportamento determinado pela estrutura das ligaes (topologia) e (topologia) pelos valores das conexes (pesos sinpticos) sinpticos)
Aquisio de Conhecimento: Aprendizado

Treinamento efetuado atravs da apresentao de exemplos Existe uma variedade de algoritmos que estabelecem QUANDO e COMO os parmetros da Rede Neural devem ser atualizados
Algoritmos: Substituem a programao necessria para a execuo das tarefas nos computadores
APLICAES GERAIS
Reconhecimento de Padres Classificao de Padres Correo de Padres Previso de Sries Temporais Aproximao de Funes Suporte Deciso Gerao de Informao Descoberta de Conhecimento
CONTEDO
Introduo
Conceitos Bsicos
Recall e Learning
Caractersticas Bsicas
Devido similaridade com a estrutura do crebro, as Redes Neurais exibem caractersticas similares ao do comportamento humano, tais como:
Procura Paralela e Endereamento pelo Contedo: Contedo: O crebro no possui endereo de memria e no procura a informao sequencialmente
Aprendizado: Aprendizado: A rede aprende por experincia, no experincia necessitando explicitar os algoritmos para executar uma determinada tarefa
Associao: Associao: A rede capaz de fazer associaes entre padres diferentes
Associao: Associao: A rede capaz de fazer associaes entre padres diferentes Ex: Foto Sintomas Leitura de Sensores Pessoa Doena Falha
Generalizao: Generalizao: Redes Neurais so capazes de generalizar o seu conhecimento a partir de exemplos anteriores Habilidade de lidar com rudos e distores, ru distor es respondendo corretamente a padres novos.
Abstrao: Abstrao: Capacidade de abstrair a essncia de um conjunto de entradas, isto , a partir de entradas padres ruidosos, extrair a informao do padro sem rudo.
Robustez e Degradao Gradual: Gradual: A perda de um conjunto de elementos processadores e/ou conexes sinpticas no causa o mal funcionamento da rede neural.
CONTEDO
Introduo
EVOLUO
McCulloch & Pitts (Mathematical Bio-Physics, Vol. 5, 1943), A Logical Calculus of Ideas Immanent in Nervous Activity
Von Neumann Machine Intelligence 1945 Digital Computers 1950 1960 1970 Marvin Minsky Macroscopic Intelligence Frank Rosenblatt Microscopic Intelligence
Conceitos Bsicos
Recall e Learning
Mainframes Vax 780 (Time Sharing) 1980 Workstations, Commercialization Rumelhart, PCs of E.S. Hopfield 1990 Desktop Commercialization Supercomputers of N.N.
Black-Box AI (LISP) Theorem Solver Expert Systems
Perceptron, Adaline
EVOLUO
Modelo de McCulloch-Pitts: McCulloch- Pitts:
Entradas Entradas (valores 0,1) (valores 0,1) x1 x2 xn w1 w2 T wn
wi = + 1 -
EVOLUO
Modelo de McCulloch-Pitts: McCulloch- Pitts:
x1 -1 x2 s x3 -1 T=0 -1 T=0 T=0 1 1 1 T=1
NAND __ NAND __ A B AB A B AB 0 0 1 0 0 1 0 1 1 0 1 1 1 0 1 1 0 1 1 1 0 1 1 0
x1 s x2 x3
1 1 1 T=1 -1 T=0
NOR ___ NOR ___ A B A+B A B A+B 0 0 1 0 0 1 0 1 0 0 1 0 1 0 0 1 0 0 1 1 0 1 1 0
i = 1,2,..., n
n n
k k+1 sk+1 = 1 se wii xiik k 0 se wii xiik

i=1 i=1 i=1 i=1 n n
T <T
entrada excitatria
1 -1
T=1
sk+1 = xk
Clula de Memria Clula de Memria na ausncia de entradas, na ausncia de entradas, a sada armazenada a sada armazenada indefinidamente indefinidamente
entrada inibitria
HISTRICO
McCulloch & Pitts (1943):
modelo computacional para o neurnio artificial. No possua capacidade de aprendizado
CONTEDO
Introduo
Hebb (1949):
modelo de aprendizado (Hebbian Learning Rule). Rule).
Rosenblatt (1957):
modelo Perceptron, com grande sucesso em certas aplicaes e problemas em outras aparentemente similares.
Conceitos Bsicos
Minsky & Papert ( Perceptrons 1969):

prova matemtica de que as redes Perceptron so incapazes de solucionar problemas simples tipo OU-EXCLUSIVO
Recall e Learning
Rumelhart (incio da dcada de 80):

novos modelos que superaram os problemas dos Perceptrons.
CONCEITOS BSICOS
Neurnio Artificial
(Elemento Processador)
Elemento Processador
Elemento Processador inspirado no Neurnio Biolgico
Estruturas de Interconexo
FeedForward de 1 camada FeedForward de Mltiplas Camadas Recorrente (com realimentao)
neti
Squashing Function
f (neti)
Elementos Bsicos
Estado de Ativao sj Conexes entre Processadores
a cada conexo existe um peso sinptico que determina o efeito da entrada sobre o processador wji
Funes de Ativao
a funo que determina o nvel de ativao do Neurnio Artificial: sj = F(netj)
F(netj) F(netj) F(netj)
Funo de Ativao
determina o novo valor do Estado de Ativao do processador sj = F (netj)
netj netj netj
Degrau
Pseudo-Linear Pseudo-
Sigmoid
RN x Sistema Nervoso Real

Feed-Forward totalmente conectada estrutura uniforme poucos tipos de processadores geralmente esttica Recorrente conexes localizadas mdulos funcionais centenas de tipos de neurnios dinmico
Tipos de Processadores
Recebe os dados de entrada
Apresenta os dados de sada As suas entradas e sadas permanecem dentro do sistema
Neurnio Artificial
3 pontos importantes:
bias
Neurnio Artificial
Em funo das equaes de net e F(net):
y y = F(net) = 1 1 + e -(w0 + x1w1 + x2w2)
Thresholding No-Linearidade Saturao

F(netj)
saturao
x1
w1 w2
w0 net
F(net)
x2 net = w0 + w1x1 + w2x2 F(net) = 1 (sigmoid) 1 + e-net
x1
no-linear
netj
threshold
Frmula matemtica representada pelo neurnio artificial
x2
Exemplos
Regresso Linear:
y = a0 + a1x1 + a2x2 + a3x3
Variveis explicativas
Exemplos
Transformada de Fourier:
y = a0 + a1sen(wt + 1) + a2sen(2wt + 2) + a3sen(3wt + 3) + ...
1 a0 a1 a2 a3 3w
Acha a reta com erro mnimo que passe pelos pontos existentes (padres de treinamento)
+1
Representao Neural
x1 x2 x3 a2 a1
Bias = +1 a0
Funo linear
Deslocamento em funo do a0 (bias)
Reta obtida pela regresso
Representao Neural
(bias) w
3 2w
y
Funo Linear
t
(tempo)
a3
Todos com funo de ativao senoidal
CONCEITOS BSICOS
Neurnio Artificial
(Elemento Processador)
Topologias das Redes Neurais

Redes Feed-Forward: Feed- Forward:
redes de uma ou mais camadas de processadores, cujo fluxo de dados sempre em uma nica direo, isto , no direo existe realimentao.
Estruturas de Interconexo
FeedForward de 1 camada FeedForward de Mltiplas Camadas Recorrente (com realimentao)
Redes Recorrentes: Recorrentes:

redes com conexes entre processadores da mesma camada e/ou com processadores das camadas anteriores (realimentao realimentao).
Redes Feed-Forward
Redes de uma camada
PE1 PE2 PE3
Redes Feed-Forward
Rede de Mltiplas Camadas
Camada Intermediria (Escondida) PE1 PE1 PE2 PE2 PE3 PEm Camada de Sada
PEn
PEn
10
Exemplo 1: Reconhecimento de Padres

Atividade Neural
I1

Atividade Neural
w w w
H1
w w w
O1
w
I1
w
H1
w w
w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w w
w w w
w w w
w w w
O2
Novo dado (no apresentado durante o treinamento)
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Pesos Entrada Escondida
Sada

Atividade Neural
I1
Exemplo 2: Previso
Srie temporal janela
w w w
H1
w w w
O1
w
I2
w
H2
w w w
w w w
O2
Entradas da rede
O3
Dados de Treinamento
I3
w w Pesos
H3
w w Pesos
Entrada
Escondida
Sada
11
Exemplo 2: Previso
Srie temporal janela previsto
Redes Recorrentes
Output
R e a l i m e n t a o
Entradas da rede
Dados de Treinamento Dados previstos Dados reais
Sada da rede: Valor previsto
Input
Redes Recorrentes
Output
R e a l i m e n t a o R e a l i m e n t a o
Redes Recorrentes
Output
Input
12
Redes Recorrentes
Output
Redes Recorrentes
Output
Redes Recorrentes
Output
Redes Recorrentes
Output
13
Redes Recorrentes
Output
Redes Recorrentes
Rede Convergiu para um estado estvel Output
Memria Autoassociativa
Exemplo 1:
Rede de 120 processadores
CONTEDO
Introduo
Conceitos Bsicos
Recall e Learning
Padro de entrada 1 ciclo 2 ciclo 3 ciclo - estvel -
14
O processamento de uma Rede Neural pode ser dividido em duas fases:
Processo de atualizao dos pesos sinpticos para a aquisio do conhecimento - Aquisio da Informao Processo de clculo da sada da rede, dado um certo padro de entrada Recuperao da Informao
Aprendizado
Aprendizado
Processo pelo qual os parmetros livres pesos sinpticos - de uma rede neural so adaptados atravs de um processo contnuo de estimulao pelo ambiente. Existem 3 tipos bsicos de aprendizado:
Treinamento Supervisionado (TS); Treinamento No-Supervisionado; Reinforcement Learning.
Treinamento Supervisionado
A rede treinada atravs do fornecimento dos valores de entrada e de seus respectivos valores desejados de sada (training pair). sa
Geralmente efetuado atravs do processo de minimizao do erro calculado na sada.
15
PADRO DE ENTRADA (X)
PESOS PESOS AJUSTVEIS AJUSTVEIS (W) (W)
SADA (s)
e(t,s)
CLCULO CLCULO DO ERRO DO ERRO (e) (e)
VALOR DESEJADO (t)
FUNES OBJETIVO: Genrica Sum of Squared Errors: Errors ESSE = p i (tpi - ypi)2
p = padres i = elemento processador de sada
FUNES OBJETIVO: Classificao Cross Entropy Error (logarithmic error): (logarithmic error) Elog = p i [ tpi ln ypi + (1 - tpi)ln(1 - ypi)]
p = padres i = elemento processador de sada
ypi
interpretada como a probabilidade de o padro p pertencer classe i
16
Treinamento No-Supervisionado
Self-Organization No requer o valor desejado de sada da rede. O sa sistema extrai as caractersticas do conjunto de padres, agrupando-os em classes inerentes aos dados. dados Aplicado a problemas de Clusterizao Clusterizao
PADRO DE ENTRADA (X)
PESOS PESOS AJUSTVEIS AJUSTVEIS (W) (W)
SADA (s)
vetores de entrada vetores de pesos no instante t
vetores de entrada vetores de pesos no instante t vetores de pesos aps aprendizado
Topologia
w1
t
w 1t
Topologia
w1
t+n
w1t+n
w 1t
PE1
w2
t
x1 x2 x3
w 3t
s1 s2 s3
w 2t w 3t
PE1
w2
t+n
PE2 PE3
x1 x2 x3
s1 s2 s3
w 2t
w3t+n w 3t
PE2 PE3
w2t+n
w3t+n
17
Reinforcement Learning
Semelhante ao Treinamento Supervisionado (existe um objetivo); NO existe um target para cada padro; Existe uma realimentao (sinal de reforo) que avalia a resposta como boa ou ruim; O objetivo maximizar a quantidade de reforo positivo Ex. aprendizado de jogos, robs autmatos; .
Reinforcement Learning
Vetor de Estado
Ambiente
Crtico
Sinal de Reforo
Aes
Sistema de Sistema de Aprendizado Aprendizado
O Sistema de Aprendizado aprende a realizar uma certa tarefa somente com base nos resultados de sua experincia com uma interao com o ambiente. ambiente
TS com Distal Teacher

Treinamento intermedirio entre o aprendizado supervisionado e o reinforcement learning

Exemplo 1: controle de uma planta
Sinal de Referncia d
Sinal de erro e
Entrada da Planta u
Sada da Planta y
+ -
Controlador
Planta
18

Exemplo 2: brao mecnico (x,y)
Posio real
3 2 1
Brao Mecnico
Recuperao de Dados
das juntas
(1 2 3) ngulos
Rede Neural
(x,y)
Posio desejada
Recuperao de Dados
Assumindo que um conjunto de padres tenha sido armazenado, a Rede Neural armazenado pode executar as seguintes tarefas:
Auto-associao Hetero-associao Classificao Previso
Recuperao de Dados
Autoassociao: Autoassociao:
A Rede Neural recupera o padro armazenado mais semelhante ao padro de entrada apresentado. Recuperao de padres ruidosos
Padro de entrada distorcido Padro correto recuperado
GENERALIZAO
19
Recuperao de Dados
Autoassociao: Autoassociao:
A Rede Neural recupera o padro armazenado mais semelhante ao padro de entrada apresentado. Recuperao de padres ruidosos
Recuperao de Dados
Heteroassociao: Heteroassociao:
A Rede Neural armazena a associao entre Recuperao de um um par de padres. padro diferente do da entrada.
Padro de entrada com ou sem rudo Padro correto recuperado
Recuperao de Dados
Heteroassociao: Heteroassociao:
A Rede Neural mapeia um certo vetor de entrada em um padro de sada diferente.
Recuperao de Dados
Classificao:
A Rede Neural responde com a informao relativa classe (categoria) a qual o padro de entrada pertence (dentro de um conjunto de classes prdeterminado).
Caso especial de Heteroassociao (tambm chamado Pattern Recognition)
ASCII Code of digit 1
Ex: Padres de entrada divididos em 3 classes distintas.

Padro de entrada com ou sem rudo
Classe 1 Classe 2 Classe 3
Classe 3 - (Quadrados)
20
Recuperao de Dados
Classificao:
A Rede Neural responde com a informao relativa classe (categoria) a qual o padro de entrada pertence (dentro de um conjunto de classes prdeterminado).
1 1 0 0 0 0
Recuperao de Dados
Previso:
O objetivo determinar qual ser o valor de uma determinada quantidade em um instante de tempo t0+k (k>0), utilizando dados medidos at o instante t0 inclusive.
f(x)
t0-n a t0 t > t0
t0-n t0
pontos do conjunto de treinamento pontos previstos (k=1).
0 0
Recuperao de Dados
Previso:
f(x)
Recuperao de Dados
Previso:
f(x)
t0-n a t0 t > t0
t0-n t1

t0-n t1t2
t0-n a t0 t > t0
21
Recuperao de Dados
Previso:
f(x)
Recuperao de Dados
Previso:
f(x)
t0-n a t0 t > t0
t0-n t1t2 t3

t0-n t1t2
t0-n a t0 t > t0
t0+t
Recuperao de Dados
GENERALIZAO
A Rede Neural responde corretamente a um padro de entrada fora do conjunto de Interpola corretamente os novos treinamento
pontos apresentados
f(x)
Generalizao:
A Rede Neural responde corretamente a um padro de entrada fora do conjunto de treinamento .
Interpolao ruim generalizaes Boa interpolao
x1
x2
x3
Xnovo x4
x5
xi pontos do conjunto de treinamento xnovo novo ponto para generalizao
22
Exemplos de Treinamento Supervisionado

Reconhecimento de Caracteres
Reconhecimento de Caracteres
Previso de Sries Temporais
Estrutura da Rede Neural

Atividade Neural
I1
Processo de Aprendizado
Atividade Neural
Alvo
w
I1
w w w
H1
w w w
O1
w
H1
w w
w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w w
w w w
w w
w w w
O2
I3
w w Pesos
H3
w w Pesos
O3
Dados para Treinamento
w
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
23
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
Erro =
w
I1
Atividade Neural
I1
Alvo
w w w
H1
w
H1
w w w
O1
w w w
w w
O1
w w
H2 I2 O2
w
H2
w w
w w w
O2
I2
w w w
w w w

O3
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
Pesos
H3
w w
Pesos
Entrada
Escondida
Sada
Entrada
Escondida
Sada
Atualizao dos pesos em funo do erro
24
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
Erro =
w
I1
Atividade Neural
I1
Alvo
w w w
H1
w
H1
w w w
w w
O1
w w w
O1
w w
H2 I2 O2
w
H2
w w
w w w
O2
I2
w w w
w w w

O3
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
Pesos
H3
w w
Pesos
Entrada
Escondida
Sada
Entrada
Escondida
Sada
25
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
Erro =
w
I1
Atividade Neural
I1
Alvo
w w w
H1
w
H1
w w w
w w
O1
w w w
O1
w w
H2 I2 O2
w
H2
w w
w w w
O2
I2
w w w
w w w

O3
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
Pesos
H3
w w
Pesos
Entrada
Escondida
Sada
Entrada
Escondida
Sada
26
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
w
I1
Atividade Neural
Alvo
w
I1
w
H1
w
H1
Erro =
O1
w w
w w
O1
w w w
w w
w w
H2 I2 O2
w
H2
w w
w w w
O2
I2
w w w
w w w

O3
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
Pesos
H3
w w
Pesos
Entrada
Escondida
Sada
Entrada
Escondida
Sada
27
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
Erro =
w
I1
Atividade Neural
I1
Alvo
w w w
H1
w
H1
w w w
w w
O1
w w w
O1
w w
H2 I2 O2
w
H2
w w
w w w
O2
I2
w w w
w w w

O3
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
Pesos
H3
w w
Pesos
Entrada
Escondida
Sada
Entrada
Escondida
Sada
28
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
Erro =
w
I1
Atividade Neural
I1
Alvo
w w w
H1
w
H1
w w w
w w
O1
w w w
O1
w w
H2 I2 O2
w
H2
w w
w w w
O2
I2
w w w
w w w

O3
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
Pesos
H3
w w
Pesos
Entrada
Escondida
Sada
Entrada
Escondida
Sada
29
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
w
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
30
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w w
w w w
w w
w w w
O2
I3
w w Pesos
H3
w w Pesos
O3
w
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
Atividade Neural
I1
Atividade Neural
I1
Alvo
w w w
H1
Alvo
w w w
H1
w w w
O1
w w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w
w w w
w w w
w w w
O2
w
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Sada
31
Processo de Generalizao
Atividade Neural w
I1
w
H1
Recuperao da Informao Aprendida
w w
w w
O1
w
I2
w
H2
w w w
w w w
O2
Novo dado (no apresentado durante o treinamento)
I3
w w Pesos
H3
w w Pesos
O3
Entrada
Escondida
Sada
Atividade Neural
I1
Atividade Neural w
I1
w w w
H1
w w w
O1
w
H1
w w
w w
O1
w
I2
w
H2
w
O2 I2
w
H2
w w w
w w w
w w w
w w w
O2
I3
w w Pesos
H3
w w Pesos
O3
I3
w w
H3
w w Pesos
O3
Entrada
Escondida
Sada
Resposta correta a um novo padro!
Sada
32
Estrutura da Rede Neural

Srie temporal alvo
Previso de Sries Temporais
janela
Entradas da rede = n valores passados
Sada Desejada = valor da srie k passos frente
Ex: 5 valores passados
Ex: valor um passo frente
Srie temporal alvo janela
Entradas da rede
Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto)
Sada da rede: Valor previsto um passo frente
33
Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente
Srie temporal janela alvo
Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto)
Entradas da rede
Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente
34
Entradas da rede
Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente
Recuperao da Informao Aprendida
35
Srie temporal janela
Entradas da rede
Entradas da rede
Dados de Treinamento Dados previstos
Entradas da rede: inclui o(s) valor(es) previstos pela Rede Sada da rede: Valor previsto
Entradas da rede: inclui o(s) valor(es) previstos pela Rede
36

RN Aula 2a Introducao Redes Neurais3

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

RN Aula 2a Introducao Redes Neurais3

Загружено:

Авторское право:

Доступные форматы

REDES NEURAIS

Marley Maria B.R. Vellasco

Problema dos 100 Passos

Processador 106 mais rpido que o neurnio

Crebro reage a um estmulo entre 0,2 e 1 seg.

Processamento altamente paralelo (1011 neurnios com 104 conexes cada)

O crebro responde em 100 passos

Durante os 2 primeiros anos de vida, 1.000.000 de sinapses so formadas por segundo!!

Aquisio de Conhecimento: Aprendizado

Black-Box AI (LISP) Theorem Solver Expert Systems

k k+1 sk+1 = 1 se wii xiik k 0 se wii xiik

Minsky & Papert ( Perceptrons 1969):

Rumelhart (incio da dcada de 80):

RN x Sistema Nervoso Real

Apresenta os dados de sada As suas entradas e sadas permanecem dentro do sistema

Thresholding No-Linearidade Saturao

x2 net = w0 + w1x1 + w2x2 F(net) = 1 (sigmoid) 1 + e-net

Frmula matemtica representada pelo neurnio artificial

Deslocamento em funo do a0 (bias)

Reta obtida pela regresso

Todos com funo de ativao senoidal

Topologias das Redes Neurais

Redes Recorrentes: Recorrentes:

Exemplo 1: Reconhecimento de Padres

Exemplo 1: Reconhecimento de Padres

Novo dado (no apresentado durante o treinamento)

Pesos Entrada Escondida

Exemplo 1: Reconhecimento de Padres

Dados de Treinamento Dados previstos Dados reais

Sada da rede: Valor previsto

Geralmente efetuado atravs do processo de minimizao do erro calculado na sada.

PESOS PESOS AJUSTVEIS AJUSTVEIS (W) (W)

CLCULO CLCULO DO ERRO DO ERRO (e) (e)

VALOR DESEJADO (t)

interpretada como a probabilidade de o padro p pertencer classe i

PESOS PESOS AJUSTVEIS AJUSTVEIS (W) (W)

Sistema de Sistema de Aprendizado Aprendizado

TS com Distal Teacher

TS com Distal Teacher

TS com Distal Teacher

ASCII Code of digit 1

Ex: Padres de entrada divididos em 3 classes distintas.

pontos do conjunto de treinamento pontos previstos (k=1).

pontos do conjunto de treinamento pontos previstos (k=1).

pontos do conjunto de treinamento pontos previstos (k=1).

pontos do conjunto de treinamento pontos previstos (k=1).

pontos do conjunto de treinamento pontos previstos (k=1).

Interpolao ruim generalizaes Boa interpolao

xi pontos do conjunto de treinamento xnovo novo ponto para generalizao

Exemplos de Treinamento Supervisionado

Previso de Sries Temporais

Estrutura da Rede Neural

Dados para Treinamento

Pesos Entrada Escondida

Dados para Treinamento

Dados para Treinamento

Pesos Entrada Escondida

Dados para Treinamento

Dados para Treinamento

Atualizao dos pesos em funo do erro

Dados para Treinamento

Dados para Treinamento

Pesos Entrada Escondida

Dados para Treinamento