El perceptron.

Jos Alberto Gutirrez Prez. 7 de marzo 2011 Consideraciones bsicas. Considrese el perceptrn con una funcin de activacin tipo signo el modelo matemtico est dada por ecuaciones p(v)

Basado en el modelo McCulloc-pitts Una sola neurona no limintante v

-1 ( ) Con v definida como: { }

El objetivo es clasificar y=1 si: ( )

O y= -1 para: ( )

El perceptron.
Jos Alberto Gutirrez Prez. 7 de marzo 2011 Algoritmo de aprendizaje. Para deducir el algoritmo de aprendizaje por correccin de error resulta conveniente trabajar con el perceptron en el cual se considerara al umbral como un peso sinptico conectado a una entrada fija igual a +1. X(k)T=(+1,x1(k),x2(k),.,xp(k)) Donde p es el numero de entrada y x(k)ER(p+1). Asi mismo se define el vector de peso.

Prueba de convergencia. Supngase que wT(k)x(k)<0, x(k)EC1Vk=1,2.,k; es decir que todos los patrones estn mal clasificados.

Podemos tambin deducir algo sobre cun rpidamente diverge. Usando el mismo agrupamiento de trminos, podemos obtener un lmite superior de la suma de los primeros trminos, las sumas parciales.

Medida de desempeo. Los alogoritmos de desempeo no son minimizadores de un criterio de desempeo funvion del error. Un criterio de desempeo puede ser la probabilidad promedio del error de clasificacin la desventaja es que no permite derivar el aprendizaje explicado.

Problema de optimizacin. Considrese una funcin E(w) la cual es una funcin continuamente diferenciable de algn vector de pesos w. la funcin E(w) transforma los elementos de w en nmeros reales. Una clase de algoritmo de optimizacin sin restricciones particularmente adecuado esta basado en la idea de descendencia iterativa. Iniciando con una condicin inicial.

El perceptron.
Jos Alberto Gutirrez Prez. 7 de marzo 2011 Mtodo del gradiente descendiente. Los ajustes sucesivos se aplican al vector de peso w en la direccin del gradiente descendente es decir a l lado contrario del vector de gradiente. Sin embargo el parmetro de aprendizaje tiene una gran repercusin en este comportamiento convergente. o o o Cuando n es pequea la respuesta del algoritmo es sobre amortiguada. Cuando n es grande la respuesta transitoria del algoritmo es subamortiguada. Cuando n excede de un cierto valor el algoritmo se vielve inestable.

Mtodo de Newton.
s un algoritmo eficiente para encontrar aproximaciones de los ceros o races de una funcin real. Tambin puede ser usado para encontrar el mximo o mnimo de una funcin, encontrando los ceros de su primera derivada. El mtodo de Newton-Raphson es un mtodo abierto, en el sentido de que su convergencia global no est garantizada. La nica manera de alcanzar la convergencia es seleccionar un valor inicial lo suficientemente cercano a la raz buscada. As, se ha de comenzar la iteracin con un valor razonablemente cercano al cero (denominado punto de arranque o valor supuesto). La relativa cercana del punto inicial a la raz depende mucho de la naturaleza de la propia funcin; si sta presenta mltiples puntos de inflexin o pendientes grandes en el entorno de la raz, entonces las probabilidades de que el algoritmo diverja aumentan, lo cual exige seleccionar un valor supuesto cercano a la raz. Una vez se ha hecho esto, el mtodo linealiza la funcin por la rectangente en ese valor supuesto. La abscisa en el origen de dicha recta ser, segn el mtodo, una mejor aproximacin de la raz que el valor anterior. Se realizarn sucesivas iteraciones hasta que el mtodo haya convergido lo suficiente. Sea f : [a, b] -> R funcin derivable definida en el intervalo real [a, b]. Empezamos con un valor inicial x0 y definimos para cada nmero natural n

Donde f ' denota la derivada de f.

Mtodo de Gauss-Newton.

El perceptron.
Jos Alberto Gutirrez Prez. 7 de marzo 2011

El algoritmo de Gauss-Newton es un procedimiento iterativo. Esto significa que debemos proporcionar una estimacin inicial del parmetro vector que denominaremos p . Estimaciones posteriores p para el vector parmetro son producidas por la relacin recurrente:
k 0

donde f=(f1,..., fm) yJf(p) denota el Jacobiano de f en p (ntese que no es necesario que Jf sea cuadrada). La matriz inversa, en la prctica, nunca se computa explcitamente. en lugar de ellos se utiliza

y se computa la actualizacin de resolviendo el sistema lineal

una buena implementacin del algoritmo de Gauss-Newton utiliza tambin un algoritmo de bsqueda lineal: en lugar de la frmula anterior para p , se utiliza
k+1

donde el nmero es de algn modo ptimo.