SDBP

Noviembre 2002 ESCOM IPN 1

Caractersticas del SDBP

El mejor avance en RNA Permite entrenar redes multicapa Aproximacin de un algoritmo de Gradiente Descendente SDBP es una generalizacin de LMS SDBP es equivalente LMS para red lineal monocapa SDBP Se utiliza entre 80% a 85%
Noviembre 2002 ESCOM IPN 2

La superficie de error de una red monocapa lineal tiene un solo mnimo y una curvatura constante
La superficie de error en una multicapa puede tener varios mnimos locales y la curvatura puede variar ampliamente en diferentes regiones.
Noviembre 2002 ESCOM IPN 3

Error cuadrtico 1 2 vs. w 1,1 y w 1,1

15 10

w21,1
5

-5 -5

10

15

w11,1
Noviembre 2002 ESCOM IPN 4

Error cuadrtico vs. w11,1 y w21,1

10

0 -5 0 5 10 15 15 10 0 5 -5

w21,1
Noviembre 2002

w11,1
ESCOM IPN 5

Ejemplo de Convergencia
15

b
10

w21,1

a
-5 -5 0 5 10 15

Noviembre 2002

ESCOM IPN

w11,1

Inconvenientes del (SDBP)

Algoritmo de entrenamiento muy lento Tiempo de entrenamiento grande (das e incluso semanas) La razn de aprendizaje es pequea. 0.05 < a < 0.25 (amax=1)
Noviembre 2002 ESCOM IPN 7

Razn de aprendizaje muy grande

15 10

w21,1

-5 -5

10

15

Noviembre 2002

w11,1

ESCOM IPN

Recomendaciones para iniciar los parmetros del SDBP

1.- No ajustar los parmetros iniciales a cero. 2.- no ajustar los parmetros iniciales a valores grandes. 3.- Escoger valores iniciales aleatorios pequeos. 4.- Probar con diferentes valores iniciales hasta alcanzar un mnimo global o un error mnimo.
ESCOM IPN 9

Noviembre 2002

Alternativas para mejorar la convergencia del algoritmo SDBP

Incrementar la velocidad de aprendizaje en superficies planas y disminuirla conforme la pendiente aumente. Suavizar la trayectoria de convergencia (a travs de un filtro)
Noviembre 2002 ESCOM IPN 10

Ejemplos
Mtodo del Gradiente Descendente
Noviembre 2002 ESCOM IPN 11

Ejemplo: 1
Aplique el algoritmo de Gradiente Descendente a la siguiente funcin. 2 2 F ( x) x1 25 x2 Los Valores iniciales son:

a 0.01

A) Realice 5 iteraciones. B) Dibuje la superficie de error en 2D. C) Grafique los punto obtenidos.
Noviembre 2002 ESCOM IPN 12

0.5 x0 0.5

solucin

Noviembre 2002

ESCOM IPN

13

Simulacin en
Matlab / NNT
Noviembre 2002 ESCOM IPN 14

Algoritmo de Retropropagacin
de Gradiente Descendente (SDBP)

traingd
Entrena redes multicapa actualizando W y b con retropropagacin usando el gradiente descendente. Sintaxis [net,tr] = traingd (net, P,T,A,Q,Ts,VV)

Noviembre 2002

ESCOM IPN

15

Donde: net = Define la red neuronal net = netff([0 5 ] [3 1] {tansig purelin} traingd) P patrones de entrada T valores objetivo Ai Condiciones iniciales Q Tamao del lote Ts Tamao del paso VV Matriz vaca o vectores de validacin
Noviembre 2002 ESCOM IPN 16

Valores por omisin

net.trainParam.epochs= net.trainParam.goal= net.trainParam.lr= net.trainParam.max_fail= net.trainParam.mc= net.trainParam.min_grad= net.trainParam.show= net.trainParam.time=
Noviembre 2002 ESCOM IPN

10 0 0.01 5 0.9 1e-10 25 inf

17

Dudas ???

Noviembre 2002

ESCOM IPN

18

Hasta la prxima !!!

Noviembre 2002 ESCOM IPN 19