REDES NEURONALES

Qu son las Redes Neuronales?

Modelos simplificados del sistema nervioso
central
Estn formadas por un elevado nmero de
elementos simples de computacin
interconectados que trabajan en paralelo
Modelo Neurona Artificial
x
1
x
2
x
3
x
4
x
m
w
i1
w
i2
w
i3
w
i4
w
im
y
i
E
Elemento
de Procesamiento
Salida
Entradas
Modelo Simple Neurona Artificial
Modelo matemtico
(1943) Mc Culloch-
Pitts
Operacin:
Suma Ponderada de las
Entradas
Si la suma supera un
umbral, se activa la
salida
En caso contrario, se
inhibe
Modelo matemtico:



Los pesos w
ij

representan la sinapsis
que une la neurona j
(fuente) con la i
(destino)


|
|
.
|

\
|
= +

=
m
j
i j ij i
t x w a t y
1
) ( ) 1 ( u
Breve Historia de las Redes Neuronales
1943 Mc Culloch-Pitts
(Primeros Modelos
matemticos)
1949 D. Hebb. Aprendizaje
neuronal
1956 Rochester. Primeras
simulaciones de redes
neuronales
50-60 Rosenblatt introduce el
Perceptrn
1969 Minsky y Papert publican
un libro estudiando los
problemas del Perceptrn.
COMIENZO DE LA
DCADA OSCURA

1970 Widrow. Primera
aplicacin redes neuronales
(ADALINE y MADALINE)
Regla de Aprendizaje Widrow-
Hoff (Mnimos Cuadrados)
1974 Werbos publica el
algoritmo de Retropropagacin,
aunque no se utiliza hasta 1985
(PDP)
1982 Hopfield analiza el
comportamiento de la red
mediante teora de Lyapunov

Aplicacin de las Redes Neuronales al
Control
La red puede
aproximar cualquier
funcin no lineal
continua
Son unidades de
procesamiento
paralelo y distribuido
Permite generalizar y
adaptarse en tiempo
real
Puede trabajar con
conceptos
cuantitativos y
cualitativos
simultneamente.
Pueden modelar
sistemas
multivariables
Arquitectura de las Redes Neuronales
Neurona
Elemento bsico
Formada por:
Sumador Ponderado
Funcin de Activacin
continua
x
e
n= x+b
F(n)
y
b
E
Funciones continuas
utilizadas:
Funcin Escaln
Funcin Umbral
Funcin Rampa
Funcin Sigmoidal
Arquitectura de Red
En general, las neuronas tienen ms de una entrada...
x
2
e
12
n= x+b
F(n)
y
b
E
x
1
e
11
x
R
e
1R
Entrada Neurona
x
2
n= x+b
F(n)
y
E
x
1
x
R
Entrada
Neurona
b
e
1
Vector x
Dimensin Rx1
1x1
1x1
1x1
1xR
Arquitectura de red
O ms de una salida ...
x
2
n
1
F(n)
y
1
b
1
E
x
1
e
11
x
R
Entrada
n
2
F(n)
y
2
b
2
E
n
3
F(n)
y
3
b
3
E
n
S
F(n)
y
S
b
S
E
e
SR
Arquitectura de Red
O ms de una capa....
x
2
n
1
F(n)
y
1
E
x
1
x
R
Entrada
Neurona
b
1
e
1
1
Vector x
T
Dimensin 1xR
1xS
1
1xS
1
1xS
1
RxS
1
n
2
F(n)
y
2
E
Neurona
b
2
e
2
1
1xS
2
1xS
2
1xS
2
S
1
xS
2
n
3
F(n)
y
3
E
Neurona
b
3
e
3
1
1xS
3
1xS
3
1xS
3
S
2
xS
3
Arquitectura de Red
Capa de Entrada: Capa
sensorial
Capa Oculta:
Procesamiento de
Datos
Capa de Salida:
Respuesta al entorno
Capa
Entrada
Capas
Ocultas
Capa
Salida
ENTORNO
Actuacin sobre el
Entorno
Conocimiento del
Mundo Exterior
Entrenamiento de Redes
Entrenamiento = Ajuste de los pesos

Entrenamiento
supervisado (99% de
las aplicaciones
neuronales)
Entrenamiento no
supervisado (el resto)
Segn el flujo de
datos:
Redes Unidireccionales
(de entrada salida)
Redes Recurrentes
(donde -
realimentacin de la
salida a la entrada)
Funcionamiento de las Redes
Aprendizaje
Ajuste de pesos


Ejecucin
Aplicacin
Entrada
x
1
x
2
:
X
R
Red Neuronal
e
Salida
y
1
y
2
:
y
L
Entrenamiento
Entrada
x
1
x
2
:
X
R
Red Neuronal
e
Salida
y
1
y
2
:
y
L
Ejecucin
Perceptrn
Propuesto por Rosenblatt
(1961)
F(n) es una funcin
umbral (o escaln)
Permite clasificar vectores
dividiendo el espacio de
entrada en dos regiones
Slo puede resolver
problemas de separacin
LINEAL (OR-Exclusivo)
x
2
e
i2
n
i
F(n)
y
i
b
i
E
x
1
e
i1
x
R
e
iR
Entrada
Neurona i
Funcin Umbral
+1
-1
Reglas de Aprendizaje
La seal r
i
es funcin de
(w
i
,x, d
i
)
El incremento de los pesos
ser:
Aw
i
(t) = q r
i
[w
i
(t), x(t), d
i
(t)] x(t)
Luego:
w
i
(t+1) = w
i
(t) + Aw
i
(t)

x
2
e
i2
n
i
F(n)
y
i
b
i
E
x
1
e
i1
x
R
e
iR
Entrada Neurona i
Ae
i
Seal Deseada,
d
i
Aprendizaje
q
r
i
Reglas de Aprendizaje
Regla del Perceptrn:
r
i
= d
i
k
-y
i
k
Regla de Hebb


j i ij
x y w q = A
( ) | |

= = A
0
2
k
j
k
i
k
j
k T
i
k
i
k
ij
x d
x sign d w
q
q x w
Slo puede Clasificar VECTORES DE ENTRADA
LINEALMENTE SEPARABLES
Solucin al Problema Or-Exclusivo
x
1
x
2
[0,0]
[1,0]
[1,1] [1,0]
Utilizar Redes con
dos capas!.
La Capa de Entrada
Dos Perceptrones
Capa de Salida
Perceptron adicional
Problema:
ENTRENAMIENTO
Adaline (Adaptive Linear Neuron)
(1959) Widrow
Funcin de Activacin
LINEAL


Sistema de ec. Lineales
- solucin si los vectores
x son LINEALMENTE
INDEPENDIENTES
Funcin de COSTE:


E(w) minimiza la suma de
los cuadrados de los
errores.
Mtodo de entrenamiento
DESCENSO POR EL
GRADIENTE

k
R
i
k
i
d wix =

=1
( ) ( )

= =
= =
p
k
k T k
p
k
k k
d y d w E
1
2
1
2
2
1
2
1
) ( x w
Regla de Widrow-Hoff
Basada en el DESCENSO
DE GRADIENTE



Si los cambios se hacen
individualmente para cada
patrn de entrada:
q Factor de Aprendizaje
) (w w
w
E V = A q
( )
k
i
p
k
k T k
i
i
x
w
E
w

=
=
c
c
= A
1
2 ) (
x w d
w
q q
( )
k
i
k T k
i
x w x w d = A q
Regla de Aprendizaje Delta
Generalizacin de la regla
de Widrow-Hoff para
funciones de Activacin
Continuas Diferenciables
Funcin de Coste:
Aplicando descenso de
gradiente (BATCH):


En identificacin/control los
pesos se va actualizando al
presentar nuevas entradas, x: ( ) ( )

= = = =
= =
p
k
S
i
k T
i
k
i
p
k
S
i
k
i
k
i
F d y d E
1 1
2
1 1
2
) (
2
1
2
1
) ( x w w
( ) ( )
k
j
k T
i
p
k
k T
i
k
i
x F F d
wij
E
x w x w
w
' ) (
) (
1

=
=
c
c
( )
k
j
k T
i
k T
i
k
i ij
x F F d
wij
E
w ) ( ' ) (
) (
x w x w
w
=
c
c
= A q q
Perceptron Multicapa
Solucin a problemas de clasificacin de vectores
no separables linealmente
Al utilizar funciones de activacin no lineales, es
posible modelar sistemas no lineales
Problema:Entrenamiento
1974 Paul Werbos
1986 Grupo PDP populariza el algoritmo
Algoritmo de Retropropagacin
Red Multicapa.Funcin de Activacin Diferenciable
x
1
x
2
x
3
y
1
y
2
y
3
1
2
3
4
5
6
7
8
y
6
y
7
y
8
y
4
y
5
w
11
w
12
w
13
w
33
w
23
w
13
w
53
w
43
w
41
w
64
w
85
w
74
Algoritmo de Retropropagacin
Error Cuadrtico:


Ajuste de pesos:


Relacin neuronas 4 y 8
w
84
n
8
y
8
E
Aplicando Regla de la
Cadena:


Definiendo error equivalt.:
o
8
(x) = (d
8
-y
8
)F'
8
(n
8
(x))
Ajuste Pesos Capa Salida:
w
84
t+1
= w
84
t
+ qo
8
y

w
74
t+1
= w
74
t
+ qo
7
y
4

w
64
t+1
= w
64
t
+ qo
6
y
4

w
85
t+1
= w
85
t
+ qo
8
y
5

w
75
t+1
= w
75
t
+ qo
7
y
5

w
65
t+1
= w
65
t
+ qo
6
y
5
( ) ( ) ( ) | |
2
8 8
2
7 7
2
6 6
2
1
y d y d y d E + + =
( )
0 ,
1
>
c
c
=
+
q q
ij
t
ij t
ij
t
ij
w
w E
w w
( )
4 8 8 8 8
84
8
8
8
8 84
84
) ( '
) (
y n F y d
w
n
n
y
y
E
w
w E
=
c
c
c
c
c
c
=
c
c
Algoritmo Retropropagacin (2)
Capa Oculta. Conexin
neuronas 1 y 4.






representa la
relacin entre y4 y E.
Calculando el primer
trmino:






Error Equivalente:
o
4
=(o
6
w
64
+o
7
w
74
+o
8
w
84
)F'
4
(n
4
)
w
41
n
4
y
4
n
6
n
7
n
8
E
y
6
y
7
y
8
1 4 4
4 41
4
4
4
4 41
41
) ( '
~ ~
) (
y n F
y
E
w
n
n
y
y
E
w
w E
c
c
=
c
c
c
c
c
c
=
c
c
( )
4
~
y E
84 8 74 7 64 6
84 8 8 8 8 74 7 7 7 7
64 6 6 6 6
4
8
8
8
8
4
7
7
7
7 4
6
6
6
6 4
) ( ' ) ( ) ( ' ) (
) ( ' ) (
~
~ ~ ~
w w w
w n F y d w n F y d
w n F y d
y
n
n
y
y
E
y
n
n
y
y
E
y
n
n
y
y
E
y
E
o o o =

=
c
c
c
c
c
c
+
c
c
c
c
c
c
+
c
c
c
c
c
c
=
c
c
Algoritmo Retropropagacin (3)
Agrupando:


La variacin del peso w
41
vendr dada por:
1 4
41
41
) (
y
w
w E
o =
c
c
w
41
t+1
= w
41
t
+ qo
4
y
1
Algoritmo Retropropagacin (4)
Aspectos a considerar:
Pesos Iniciales. Aleatorios y
pequeos
Constante de Aprendizaje
Funcin Cuadrtica
Nmero de Patrones
Tipo de Patrones
Nmero de Capas
Nmero de Neuronas
Ocultas
Variantes:
Trmino de momento

Otras reglas de
Actualizacin basadas
en el mtodo de
Newton (calculando la
matriz Hessiana)
Aw(t) = -qVE(t)+o Aw(t-1)