Programa de Ps Graduao em Cincia da

Computao DCC - UFMG

Introduo a
Inteligncia
Artificial
PROFESSOR: RAFAEL MARCIANO P. CRUZ

Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
UNIDADE DIDTICA 3
3.1 Introduo e Histrico
3.2 Crebro e neurnios
3.3 Modelos bsicos de Redes Neurais
3.4 Tipos de Aprendizado em Redes Neurais

Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Introduo
Redes Neurais Artificiais

Mquinas massivamente paralelas com inspirao no
sistema nervoso biolgico, onde a programao
substituda pela aprendizagem a partir de exemplos ou pela
aprendizagem baseada em interao.

So sistemas de processamento de sinais ou de
informaes compostos por um grande nmero de
processadores elementares, chamados neurnios artificiais,
operando de forma paralela e distribuda de modo a resolver
um determinado problema fsico/computacional.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Introduo
Neurnio artificial modelo computacional







Funo de ativao tpica funo sigmide

SADA
yK
E (. )
wK1
wk2
wk3
wkp
x1
x2
x3
xp
uk
SOMADOR
FUNO DE ATIVAO
E
N
T
R
A
D
A
S
PESOS
LIMIAR
( )
( ) 1
x
x e

= +
( )
k k ki i
i
y u x e
| |
= =
|
\ .

Programa de Ps Graduao em Cincia da

Computao DCC - UFMG
Historico
Um histrico resumido sobre Redes Neurais
Artificiais deve comear por trs das mais
importantes publicaes iniciais, desenvolvidas
por: McCulloch e Pitts (1943), Hebb (1949), e
Rosemblatt (1958). Estas publicaes
introduziram o primeiro modelo de redes neurais
simulando mquinas, o modelo bsico de rede
de auto-organizao, e o modelo Perceptron de
aprendizado supervisionado, respectivamente.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Historico
Alguns histricos sobre a rea costumam pular
os anos 60 e 70 e apontar um renicio da rea
com a publicao dos trabalhos de Hopfield
(1982) relatando a utilizao de redes simtricas
para otimizao e de Rumelhart, Hinton e
Williams que introduziram o poderoso mtodo
Backpropagation.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Historico
Entretanto, para se ter um histrico completo,
devem ser citados alguns pesquisadores que
realizaram, nos anos 60 e 70, importantes
trabalhos sobre modelos de redes neurais em
viso, memria, controle e auto-organizao
como: Amari, Anderson, Cooper, Cowan,
Fukushima, Grossberg, Kohonen, von der
Malsburg, Werbos e Widrow.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Cerebro e Neuronio
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Cerebro e Neuronio
Os neurnios se comunicam atravs de sinapses. Sinapse a regio onde dois
neurnios entram em contato e atravs da qual os impulsos nervosos so transmitidos
entre eles. Os impulsos recebidos por um neurnio A, em um determinado momento,
so processados, e atingindo um dado limiar de ao, o neurnio A dispara,
produzindo uma substncia neurotransmissora que flui do corpo celular para o axnio,
que pode estar conectado a um dendrito de um outro neurnio B. O neurotransmissor
pode diminuir ou aumentar a polaridade da membrana ps-sinptica, inibindo ou
excitando a gerao dos pulsos no neurnio B. Este processo depende de vrios
fatores, como a geometria da sinapse e o tipo de neurotransmissor.
Em mdia, cada neurnio forma entre mil e dez mil sinapses. O crebro humano
possui cerca de 10 E11 neurnios, e o nmero de sinapses de mais de 10 E14,
possibilitando a formao de redes muito complexa.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Aprendizagem em Redes Neurais
Contexto da aprendizagem
Em redes neurais artificiais, a aprendizagem est
relacionada com a melhoria do desempenho do sistema.

Algoritmo de aprendizagem
Refere-se ao procedimento atravs do qual as regras de
aprendizagem so usadas para ajustar os pesos sinpticos
de uma rede neural e, possivelmente, sua topologia (nmero
de camadas, nmero de neurnios por camada ou o perfil
das interconexes).

Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Aprendizagem em Redes Neurais
Classificao dos algoritmos de aprendizagem
Supervisionado baseado na correo do erro entre as
sadas apresentadas pela rede e aquelas sadas desejadas.
Ambiente
Agente - Rede
Professor
Resposta desejada
Resposta da rede
erro
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Aprendizagem em Redes Neurais
Classificao dos algoritmos de aprendizagem
Aprendizagem por reforo baseado na interao entre o
agente e seu ambiente.
Ambiente
Agente - Rede
Resposta (ao) da
rede
Percepo (estado) do
ambiente
Recompensa
(punio)
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Aprendizagem em Redes Neurais
Classificao dos algoritmos de aprendizagem


No supervisionado baseado na anlise das correlaes
entre as entradas de forma a agrup-las, codific-las ou
categoriz-las. Entradas similares so classificadas como
pertencentes mesma categoria e devem ativar a mesma
unidade de sada (neurnio), que corresponder a um
prottipo desta categoria. Baseada no princpio da
competio entre os neurnios pela ativao, normalmente
o vencedor-leva-tudo.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Perceptron
No final da dcada de 1950, Rosenblatt na
Universidade de Cornell, criou uma
genuna rede de mltiplos neurnios do
tipo discriminadores lineares e chamou
esta rede de perceptron.

Um perceptron uma rede com os
neurnios dispostos em camadas.

Estes podem ser considerados o primeiro
modelo de redes neurais.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Perceptron aprende conceitos, ele pode
aprender a responder com verdadeiro (1) ou
falso (0) pelas entradas que ns apresentamos
a ele, estudando repetidamente os exemplos
que lhe so apresentados.


O Perceptron uma rede neural cujos os
pesos e inclinaes podem ser treinados para
produzir um vetor alvo que quando
apresentamos tem que corresponder ao vetor
de entrada.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
As redes perceptron tem duas limitaes. Primeiro, os
valores de sada do perceptron podem assumir somente
dois valores (Verdadeiro ou Falso). Segundo,
perceptrons somente podem classificar grupos de
vetores linearmente separados.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Exemplo de uma rede neural
perceptron de vrias camadas
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Usualmente as camadas so classificadas em trs
grupos:

Camada de Entrada: onde os padres so
apresentados rede;

Camadas Intermedirias ou Escondidas: onde
feita a maior parte do processamento, atravs das
conexes ponderadas; podem ser consideradas
como extratoras de caractersticas;

Camada de Sada: onde o resultado final
concludo e apresentado.

Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Aprendizado (ou treinamento)
O aprendizado consiste na modificao dos pesos
das conexes entre os neurnios, os pesos iniciais
(sinapses) so modificados de forma iterativa, por
um algoritmo que segue um dos seguintes
paradigmas:


Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Aprendizado Supervisionado: apresentado um
conjunto de treino, consistindo de entradas e
correspondentes sadas desejadas.

Aprendizado por Reforo: para cada entrada
apresentada, produzida uma indicao (reforo)
sobre a adequao das sadas correspondentes
produzidas pela rede.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Aprendizado No-supervisionado: A rede atualiza
seus pesos sem o uso de pares entrada-sadas
desejadas e sem indicaes sobre a adequao das
sadas produzidas.

Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
REDES ART
ART so as siglas em ingls de Teoria da
Ressonncia Adaptativa (Adaptive
Resonance Theory), desenvolvida
inicialmente por Stephen Grossberg, em
1976, e em publicaes posteriores em
parceria com Gail Carpenter (1986/87).
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
REDES ART
As redes neurais artificiais ART so redes
que no precisam da exposio prvia de
qualquer nmero de elementos do
conjunto de dados para o seu
treinamento. A principal caracterstica
dessa famlia de arquiteturas a sua
capacidade para formar agrupamentos
(clusters), que nos permite identificar
padres desconhecidos.Existem trs
modelos de redes ARTs:
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
REDES ART
ART1: capaz de aprender a categorizar
padres de entrada binrios apresentados
em ordem arbitrria.
ART2: pode aprender a categorizar
padres de entrada analgicos ou
binrios.
ART3 (ARTMAP): pode realizar uma
busca paralela, ou teste de hipteses, em
cdigos com reconhecimento distribudo.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Hardware para Redes Neurais
Implementaes analgicas e digitais
Digital
Mquinas dedicadas neurocomputers so basicamente
sistemas multiprocessados compostos de processadores
comercialmente disponveis ou customizados. As principais
arquiteturas empregadas so baseadas nos paradigmas SIMD
(single-instruction multiple data) e systolic arrays
Circuitos dedicados so usados para resolver problemas com
requisitos especiais de tempo e rea. Podem ser do tipo offline
learning, onde a aprendizagem realizada em uma mquina
convencional e on-chip learning, onde o algoritmo de
aprendizagem e o sistema de aprendizagem so
implementados no hardware.
Sistema de aprendizagem adapta continuamente seus
ganhos sinpticos, em um ambiente dinmico.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Hardware para Redes Neurais
Outra classificao do hardware digital
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Atividades
1- Defina Redes Neurais Artificiais.
2- Explique a estrutura de um neurnio.
3- Conceitue um algoritmo de aprendizagem.
4- Apresente alguns Hardwares para redes neurais.
5- Explique as camadas do Perceptron.
6- Explique os tipos de aprendizado.
Programa de Ps Graduao em Cincia da
Computao DCC - UFMG
Crditos
Material cedido pelo professor Hewerton Santiago.