Redes Neuronales

Artificiales
Juan Mauricio.
jmauriciov@usmp.pe
1

Contenido
1.
2.
3.
4.
5.
6.

Introduccin
Modelos bsicos y reglas de aprendizaje.
Red neural de retropropagacin
Sistemas auto-organizados
Redes neurales recurrentes.
Aplicaciones de RNA en Ingenieria

Introduccin

Modelo
computacional
inspirado
en
los
neuronios biolgicos y en la estructura del
cerebro
con
capacidad
de
ADQUIRIR,
ALMACENAR
y
UTILIZAR
conocimiento
experimental.

Introduccin
CEREBRO
Neuronio Biolgico
Red de neuronios
10 billones neuronios
Aprendizaje
Generalizacin
Asociacin
Reconocimiento de
padrones

REDES NEURONALES
Neuronio Artificial
Estructura en capas
centenas/millares
Aprendizaje
Generalizacin
Asociacin
Reconocimiento de
padrones
4

Introduccin
Red Neuronal Artificial: RNA

Estructura de una RNA

Estructura de una RNA

Los pesos guardan el conocimiento (memoria) de la
red neuronal

Los pesos son ajustados de acuerdo
encontrado

con el error

La red neural es entrenada hasta que el error entre

la salida y el objetivo sea satisfactorio

La red neural es capaz de generalizar y reconocer
padrones
distintos
de
los
usados
en
el
entrenamiento

Estructura de una RNA

Redes neuronales son utilizadas en aplicaciones:
 Reconocimiento
incompletos

de

padrones

 Donde las reglas claras

fcilmente formuladas

no

ruidosos

y/o

pueden

ser

 No se necesita explicacin del resultado

Ejemplo de entrenamiento de una RNA

Objetivo:

Datos de
entrenamiento

Error=
9

Ejemplo de entrenamiento de una RNA

Objetivo:

Datos de
entrenamiento

Error=
10

Uso de la Red Neural

Nuevo dato, que

no fue presentado
durante el
entrenamiento

11

Reglas de Aprendizaje

Perceptron

Delta Rule (Least Mean Square)

Back Propagation

12

Algoritmo de Back Propagation

Para una Red Multi-Layer Perceptron

Red de 3 camadas: 5/5/3/4

13

Algoritmo de Back Propagation

El desafio principal es definir un algoritmo de
aprendizaje para la actualizacin de los pesos de
las camadas intermedias.

Idea Central:
Los errores de los elementos procesadores de la
camada de salida (conocido por el entrenamiento
supervicionado), son retro-propagados para las
camadas intermediarias.

14

Algoritmo de Back Propagation

Modelo del perceptrn:

15

Algoritmo de Back Propagation

Caractersticas Bsicas:
 Regla de Propagacin: netj=
xi.wji+
j
 Funcin de Activacin: Funcin no lineal, diferenciable
en todos los puntos
 Topologa: Mltiples capas
 Algoritmo de aprendizaje: Supervisionado
 Valores de Entrada/Salida: Binarios {-1,1} y/o
continuos

16

Algoritmo de Back Propagation

Topologia

17

Proceso de Aprendizaje

Proceso de minimizacin del error cuadrtico por el
mtodo del gradiente descendiente

Cada peso sinaptico i del elemento procesador j

es actualizado proporcionalmente al negativo de
la derivada parcial del error de este procesador
con relacin al peso.

18

Proceso de Aprendizaje

E = suma de errores cuadrticos

tpj = valor deseado de la salida del padrn p para

el procesador j de la capa de salida

spj= estado de activacin del procesador j de la
capa de salida cuando se presenta el padrn p.

La ventaja de utilizar el error cuadrtico, es que los
errores para diferentes padrones, para diferentes
salidas son independientes.

19

Calculo de

20

Calculo de

21

Calculo de ej

Depende de la capa a la cual el procesador j
pertenece

22

Calculo de ej
jcapa de salida

23

Calculo de ej
jcapa escondida

24

Calculo de ej
jcapa escondida

Por el aprendizaje supervisionado, solo se conoce el
error en la capa de salida (ek)

Error en la salida (ek) es funcin del potencial
interno del procesador (netk)

La netk depende de los estados de activacin de los
procesadores de la capa anterior (sj) y de los pesos
de las conexiones (wkj)

Por lo tanto, sj de una capa escondida afecta, en
mayor o menor grado, el error de todos los
procesadores de la capa subsecuente

25

Calculo de ej
jcapa escondida

26

Calculo de ej
jcapa escondida

27

Proceso de aprendizaje

En resumen, despus del calculo de la derivada, se
tiene:

Donde:
si = valor de entrada recibido por la conexin i
ej = valor cuadrtico del error del procesador j

28

Calculo del Error (ej)

1. Procesador j pertenece a la capa de salida:

29

Calculo del Error (ej)

2. Procesador j pertenece a la capa escondida:

30

Proceso de Aprendizaje

El algoritmo backpropagation tiene dos fase, para
cada padrn presentado:
 Feed-Forward: Las entradas se propagan por la red,
de la camada de entrada hasta la camada de salida.
 Feed-Backward: Los errores se propagan en la
direccin contraria al flujo de datos, desde la camada
de salida hasta la primera camada escondida.

31

Proceso de Aprendizaje

32

Proceso de Aprendizaje

33

Proceso de Aprendizaje

34

Proceso de Aprendizaje

35

Proceso de Aprendizaje

36

Proceso de Aprendizaje

37

Proceso de Aprendizaje

38

Proceso de Aprendizaje

39

Proceso de Aprendizaje

40

Proceso de Aprendizaje

41

Proceso de Aprendizaje

Este proceso de aprendizaje es repetido diversas
veces, hasta que, para todos los procesadores de la
capa de salida y para todos los padrones de
entrenamiento, el error sea menor que el
especificado.

42

Algoritmo de Aprendizaje

Inicializacin


Pesos iniciales con valores aleatorios y pequeos |w|0.1

Entrenamiento:

1.
2.
3.

4.
5.

Loop hasta que el error de cada procesador de salida sea

tolerancia
Se aplica un padrn de entrada Xi con el respectivo
vector de salida Yi deseado.
Se calcula las salidas de los procesadores, comenzando
de la primera capa escondida hasta la capa de salida
Se calcula el error para cada procesador de la capa de
salida. Si error
error
tolerancia
tolerancia, para todos los procesadores,
se regrese al paso 1
Actualizar los pesos de cada procesador, comenzando por
la capa de salida, hasta la primera capa escondida.
Regresar al paso 1.
43

Formas de Aprendizaje

Existen dos mtodos bsicos de aplicacin del

algoritmo de backpropagation


Aprendizaje en Batch
Batch Learning, por ciclo

Aprendizaje Incremental
on-line, por padrn

44

Aprendizaje Batch
Aprendizaje en Batch, por ciclo
Solamente ajusta los pesos despus de la
presentacin de todos los padrones
Cada padrn es evaluado
configuracin de los pesos

con

la

misma

45

Aprendizaje Incremental
Aprendizaje en Batch, por padrn
Actualiza los pesos a cada presentacin de un
nuevo padrn
Los pesos son actualizados usando
gradiente del error de un nico padrn

el

Tiende a aprender mejor el ultimo padrn

presentado

46

Aprendizaje Batch x Incremental

El
modo
Batch
necesita
de
menos
actualizaciones de pesos (es ms rapido)
Batch proporciona una medida ms exacta del
cambio de los pesos
Batch necesita ms memoria
Incremental, tiene menos chance de quedar
preso en un mnimo local debido a la
presentacin aleatoria de los padrones

47

Conclusin

El BackPropagation es el algoritmo de redes

neuronales ms utilizado en aplicaciones practicas
de:
 Previsin
 Clasificacin
 Reconocimiento de Padrones

48