Clase 3

Introducci on a las redes neuronales articiales
Cesar Fern andez

cfernandez@inf.uct.cl
Universidad Catolica de Temuco
Escuela de ingeniera inform atica
INF1915 INTRODUCCI ON A LAS REDES NEURONALES
Presentaci on del curso
Introducci on a las redes neuronales
Outline
1
2
1
2
Descripci on del curso
El curso provee los fundamentos b asicos de las redes
neuronales articiales.
El plan de la asignatura. contempla del estudio de los tipos
de redes, sus principales componentes y enfoques de
aprendizaje.
Los algoritmos involucrados en la construcci on, estimaci on
de par ametros y el aprendizaje ser an desarrollados en el
lenguaje Python.
Se promueve un enfoque pr actico, donde los alumnos
aplicar an los conocimientos adquiridos en problemas de
regresi on y pron ostico.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 1 / 15
Objetivos del curso
Estudio de los fundamentos b asicos de las redes
neuronales articiales bajo un enfoque aplicado a la
resoluci on de problemas de regresi on y pron ostico.
Conocer los componentes b asicos y su funci on dentro de
de red neuronal articial.
Estudiar los enfoques de aprendizaje supervisado y no
supervisado.
Dise nar e implementar modelos neuronales aplicados a
problemas de regresi on o pron ostico.
1
2
Feedforward Single-Layer Networks
Una manera para representar las interconexiones de una
red es usar una estructura directed acyclic graph (DAG).
En este tipo de estructura (topologa) la informaci on uye
en una direcci on particular.
En Feedforward Single-Layer Networks la informacion uye
desde los nodos de entrada hacia los nodos de salida.
Figure: Directed acyclic graph (DAG)
Funci on de activaci on
Sea X = (X
1
, . . . ,X
r
)
T
un vector aleatorio de r entradas.
La funci on de activaci on de la l - esima neurona f (U
l
) es
calculada como la combinaci on lineal entre las entradas X
j
y los pesos sin apticos
jl
m as una constante (bias)
0l
.
f (U
l
) = f (
0l
+
r
j =1
jl
X
l
) = f (
0l
+ X
T
l
) (1)
En t erminos matriciales, lo anterior puede escribirse como:
f (U) = f (
0
+X) (2)
donde U = (U
1
, . . . ,U
s
)
T
,
0
= (
01
, . . . ,
0s
) y
B = (
1
, . . . ,
s
) es una matriz de (s r ) pesos sin apticos.
Sea X = (X
1
, . . . ,X
r
)
T
l
) es
j
jl
0l
.
f (U
l
) = f (
0l
+
r
j =1
jl
X
l
) = f (
0l
+ X
T
l
) (1)
f (U) = f (
0
+X) (2)
donde U = (U
1
, . . . ,U
s
)
T
,
0
= (
01
, . . . ,
0s
) y
B = (
1
, . . . ,
s
Sea X = (X
1
, . . . ,X
r
)
T
l
) es
j
jl
0l
.
f (U
l
) = f (
0l
+
r
j =1
jl
X
l
) = f (
0l
+ X
T
l
) (1)
f (U) = f (
0
+X) (2)
donde U = (U
1
, . . . ,U
s
)
T
,
0
= (
01
, . . . ,
0s
) y
B = (
1
, . . . ,
s
Figure: Ejemplo: Rosenblatts single-layer perceptron
La versi on generalizada de una unidad simple de
procesamiento puede escribirse como:
f (
0
+ X
T
), (3)
donde f () es una funci on de activaci on.
Nombre Funci on Valores
Identity x
Hard-limiter sign(x) {1, + 1}
Threshold I[x 0] {0,1}
Logistic (sigmoid) (1 + e
x
)
1
(0,1)
Hyperbolic tangent (sigmoid)
(e
x
e
x
)
(e
x
+e
x
)
(1, + 1)
Table: Funciones de activaci on usuales
Figure: Funci on logstica f (x) =
1
1+e
1
Multilayer Perceptrons (MLP)
MLP es una t ecnica estadstica multivariada nolineal que
mapea las variables de entrada X = (X
1
, . . . ,X
r
)
T
a las
variables de salida Y = (Y
1
, . . . ,Y
s
)
T
.
Entre las capas de entra y salida se encuentran las
variables ocultas dispuestas en una o m as capas.
MLP es una t ecnica estadstica multivariada nolineal que
mapea las variables de entrada X = (X
1
, . . . ,X
r
)
T
a las
variables de salida Y = (Y
1
, . . . ,Y
s
)
T
.
Entre las capas de entra y salida se encuentran las
variables ocultas dispuestas en una o m as capas.
La red MLP puede representarse por:
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
representa las conecciones entre la capa de
entrada y oculta.
La matriz
jk
representa las conecciones entre la capa
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
entrada y oculta.
La matriz
jk
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
entrada y oculta.
La matriz
jk
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
entrada y oculta.
La matriz
jk
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
La estimaci on de la k- esima neurona k {1, . . . ,s} de la capa
de salida se expresa como:
Y
k
=
k
(X) +
K
, (4)
donde la respuesta de la red en la k- esima neurona de salida
corresponde a:
k
(X) = g
k
0k
+
t
j =1
jk
f
i
0j
+
r
m=1
mj
X
m
, (5)
donde f y g son funciones de activaci on.
En la pr actica, se seleccionan las siguientes funciones de
activaci on:
La funci on f es usualmente continua nolineales (logstica,
tanh,etc).
La funci on g es usualmente lineal en contexto de regresi on
y nolineal en clasicaci on.
El error
k
se asume como Gauseano de media cero y
varianza
2
k
.
Si se considera la funci on de activaci on g como lineal y todas
las funciones de activacion son una sigmoidal , entonces, la
red se convierte en un single-layer perceptron donde
Y = (X) +, donde
k
(X) =
0
+
t
j =1
0j
+
r
m=1
mj
X
m
. (6)
Referencias
Neural Networks for Pattern Recognition. Christopher
Bishop. Oxford University Press, 1999.
Pattern Recognition and Machine Learning Information
Science and Statistics.Christopher Bishop. Springer, 2007.
Modern Multivariate Statistical Techniques: Regression,
Classication and Manifold Learning. Alan Julian Izenman.
Springer, 2008.

Clase 3

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Clase 3

Загружено:

Авторское право:

Доступные форматы

Introducci on a las redes neuronales articiales

Cesar Fern andez

Вам также может понравиться