Tcnicas de inteligencia artificial

Asignatura troncal: 4.5cr , 4Curso Ing Inf

Aprendizaje: Perceptrn multi-capa

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 1

Indice Regla delta

Modelo computacional Neuronas e hiperplanos Entrenamiento como ajuste supervisado No-separabilidad lineal

Backpropagation
Perceptrones multi-capa Funciones de activacin derivables Backpropagation: explicacin heurstica Backpropagation: derivacin matemtica Aplicaciones y consideraciones prcticas
2003-2004 F.Escolano, O.Colomina, M.A. Cazorla Perceptrn 2

Indice Regla delta

Modelo computacional Neuronas e hiperplanos Entrenamiento como ajuste supervisado No-separabilidad lineal

Backpropagation
Perceptrones multi-capa Funciones de activacin derivables Backpropagation: explicacin heurstica Backpropagation: derivacin matemtica Aplicaciones y consideraciones prcticas
2003-2004 F.Escolano, O.Colomina, M.A. Cazorla Perceptrn 3

Bibliografa

Escolano et al. Inteligencia Artificial. ThomsonParaninfo 2003. Captulo 4. Mitchell, Machine Learning. McGraw Hill, Computer Science Series. 1997 Reed, Marks, Neural Smithing. MIT Press, CA Mass 1999

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 4

Modelo computacional

1. 2.

Neurona biolgica:
Entradas: dendritas. Integracin: en el soma. Dispositivos todo-o-nada (solo se dispara salida si las entradas superan un nivel (umbral) Salidas: el axn transporta la seal de salida a otras neuronas. Conecta con sus dendritas a travs de sinapsis.

3.

1. 2. 3.

Neurona computacional:
Entradas: Nmeros reales. Integracin: suma ponderada (net) por los pesos sinpticos seguida de una funcin de activacin f(net) Salida: resultado y=f(net)
2003-2004 F.Escolano, O.Colomina, M.A. Cazorla Perceptrn 5

Neuronas e hiperplanos

Funcin de activacin umbral:

Interpretacin geomtrica: Considerando que el umbral es un peso ms con entrada fija de -1, la neurona define un hiperplano de forma que los ejemplos etiquetados con y=1 caen al lado positivo y los etiquetados con y=0 al lado negativo:

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 6

Entrenamiento
Ajuste de hiperplanos: Dados dos conjuntos de ejemplos correspondientes a dos clases, buscaremos su separacin por un hiperplano Regla delta:
Permite ajustar iterativamente el hiperplano. Se asume que el incremento de los pesos es proporcional a la disparidad entre la salida observada y la salida deseada. Dicha proporcionalidad viene modulada por la constante de aprendizaje:

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 7

No-separabilidad lineal
nica neurona:
Existen situaciones en donde un nico hiperplano no puede separar los datos. P.e. cuando la frontera de decisin es curva.

Problemas de paridad:
Suponiendo entradas binarias (secuencias de 0s y 1s), la neurona debera etiquetar con 1 aquellas secuencias con un nmero impar de 1s y con 0 aquellas con un nmero par. Ej: Problema de la XOR. Para resolver estos problemas es preciso incorporar una capa adicional de neuronas.

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 8

Indice Regla delta

Modelo computacional Neuronas e hiperplanos Entrenamiento como ajuste supervisado No-separabilidad lineal

Backpropagation
Perceptrones multi-capa Funciones de activacin derivables Backpropagation: explicacin heurstica Backpropagation: derivacin matemtica Aplicaciones y consideraciones prcticas
2003-2004 F.Escolano, O.Colomina, M.A. Cazorla Perceptrn 9

Perceptrones multi-capa
Estructura y capacidad:
La capa adicional se denomina capa oculta. Se demuestra que un perceptrn con dos capas ocultas puede aproximar cualquier funcin.

Interpretacin geomtrica:
Problemas con regiones de decisin ms complejas exigen distintas estrategias de separacin. Dichas estrategias las proporcionan las capas ocultas. En la poca en que se desarroll esta teora no exista un algoritmo prctico que permitiese encontrar los pesos asociados a todas y cada una de las neuronas.
2003-2004 F.Escolano, O.Colomina, M.A. Cazorla Perceptrn 10

Funciones de activacin derivables

Para aplicar el algoritmo de entrenamiento multicapa es necesario que la funcin de activacin sea derivable Buscamos funciones derivables con forma similar al escaln del perceptrn de una sola capa

Sigmoide

Derivada
Perceptrn 11

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Backpropagation: explicacin heurstica

Supongamos que al clasificar un ejemplo una neurona de la ltima capa tiene una salida yk, siendo la deseada dk Dicha neurona es responsable de un error

La regla de actualizacin de los pesos de la ltima capa ser similar a la regla delta ya vista

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 12

Error (delta) en capas intermedias

Una neurona de una capa intermedia contribuye en los de las de la capa siguiente Por tanto, para calcular su necesitamos estos

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 13

Backpropagation: algoritmo
Se aplica para cada ejemplo del conj. de entrenamiento. Se itera hasta que el error baje de un umbral Fases:
Hacia delante: clculo de la salida de la red (los yk). Clculo de los en la ltima capa Hacia atrs. Clculo de los de la capa en funcin de los de la siguiente Finalmente, actualizacin de los pesos de todas las capas

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 14

Backpropagation: derivacin matemtica

El algoritmo es un descenso por gradiente (de ah que necesitemos una funcin de activacin derivable) Minimizacin del error que se produce al clasificar un ejemplo (encontrar los wi ptimos). Dicho error se puede formular como

Habr que modificar los wi en la direccin opuesta al gradiente, esto es

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 15

Derivacin backpropagation: ltima capa

Para un peso wjk de la ltima capa (aplicando la regla de la cadena, ya que E depende de netk que a su vez depende de wjk)

Escribiendo como , tenemos una frmula equiv. a la regla delta del perceptrn de 1 capa: Para calcular k, aplicamos de nuevo la regla de la cadena (netk yk E)

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 16

Derivacin backpropagation: capas anteriores Para un peso wij de una capa anterior, el razonamiento inicial es el mismo que antes y nos lleva a

Aplicando la regla de la cadena para calcular

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 17

Convergencia de backpropagation
Ajuste de la constante Valores muy pequeos: convergencia lenta Valores grandes: riesgo de overshooting (saltarnos el mnimo)

Momento: en el cambio actual influye una fraccin del anterior. Mejora la convergencia evitando oscilaciones

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla

Perceptrn 18

Ejemplo de convergencia
Problema del XOR

Error cuadrtico medio

Prob. de convergencia

iteraciones

2003-2004 F.Escolano, O.Colomina, M.A. Cazorla Perceptrn 19