Ejemplos resueltos (Continuacin)

P7.4 Dados los siguientes patrones prototipos

i) Use la regla de Hebb para disear una red

perceptron que reconozca estos tres patrones.
ii) Encuentre la respuesta de la red al patrn P_t que
se muestra arriba. La respuesta es correcta?
i) Podemos convertir los patrones a vectores, como se ha hecho
en problemas anteriores, para obtener

Ahora necesitamos elegir los vectores de salida deseados para

cada vector prototipo de entrada. Como existen tres vectores
prototipos de entrada que necesitamos distinguir, necesitaremos
dos elementos en el vector de salida. Podemos elegir las tres
salidas deseadas como:
(Ntese que esta eleccin fue arbitraria. Cualquier
combinacin de 1 & -1 podra haber sido elegido para
cada vector).
La red resultante se muestra en la figura siguiente:
El siguiente paso es determinar la matriz de pesos
usando la regla de Hebb.

ii) La respuesta de la red al patrn prueba de entrada es

calculado como sigue
As, la respuesta de la red indica que el patrn de prueba
de entrada es
ms cercano a P_1. Esta respuesta es correcta porque la
distancia de
Hamming a P_1 es 1, mientras que la distancia a P_2 y a
P_3 es 3.
P7.5. Supngase que se tiene un autoasociador lineal
que ha sido diseado para Q vectores prototipos
ortogonales de longitud R usando la regla de Hebb. Los
elementos del vector son 1 & -1.
i) Muestre que los Q patrones son eigenvectores de la
matriz de pesos.
ii) Qu son los otros (R-Q) eigenvectores de la matriz de
pesos?

i) Supngase que los vectores prototipos son

Como se trata de un autoasociador, ellos son tanto
los vectores de entrada como los vectores de salida
deseados, por tanto
Si usamos la regla de Hebb para calcular la matriz de
pesos encontramos

Ahora, aplicando un vector prototipo como entrada a la

red obtenemos

Como los patrones son ortogonales, esto se reduce a

Luego, como cada elemento de P_k es -1 1, se tiene
que
Por lo que P_k es un eigenvector de w y R es su
correspondiente eigenvalor. Cada vector prototipo es un
eigenvector con el mismo eigenvalor.

ii) Note que el R eigenvalor repetido tiene un

eigenespacio Q-dimensional asociado: el subespacio
generado por los Q vectores prototipos. Ahora, considere
el espacio que es ortogonal a este eigenespacio. Cada
vector en este subespacio debera ser ortogonal a cada
vector prototipo. La dimensin del subespacio ortogonal
ser R-Q. Sea el siguiente conjunto una base para este
espacio ortogonal

Si aplicamos cualquiera de estos vectores base a la red

Porque cada z_k es ortogonal a cada P_q. Esto implica
que cada z_k es un eigenvector de W con eigenvalor 0.

Para resumir, la matriz de pesos tiene dos eigenvalores,

R y 0. Esto significa que cualquier vector en el espacio
generado por los vectores prototipos ser amplificado por
R, mientras que cualquier vector que es ortogonal a los
vectores prototipos se convertirn en Cero.
P7.6 Las redes que hemos usado hasta ahora en este
captulo no incluyen un vector bias. Considere el
problema de disear una red perceptron para reconocer
los siguientes patrones.
i) Porqu se requiere un bias para resolver este
problema?
ii) Use la regla de la pseudoinversa para disear una red
con bias para resolver este problema.
i) Recordemos que la frontera de decisin para la red
perceptron es la lnea definida por Wp + b = 0. Si no
hay bias, i.e. b = 0, la frontera est definida por Wp = 0;
el cual es una lnea que debe pasar por el origen. Ahora
consideremos los dos vectores, P_1 & P_2, dados en este
problema.
Es claro que ninguna frontera de decisin que pase a
travs del origen podra separar estos dos vectores. Por
lo tanto se requiere de un bias para resolver este
problema.
ii) Para usar la regla de la pseudoinversa (o la regla de
Hebb) cuando existe un trmino bias, podramos tratar al
bias como otro peso, como una entrada de 1 (como se
muestra en todas las figuras de redes). Entonces
aumentamos los vectores de entrada con un 1 como el
ltimo elemento.

Elegimos las salidas deseadas como ;

as que
Ahora formamos la matriz pseudoinversa

Entonces se calcula la matriz de pesos aumentada

Podemos entonces separar la matriz de pesos estndar y

el bias
Por lo tanto la frontera de decisin es
P7.7 En todos nuestros ejemplos de reconocimiento de
patrones hasta ahora, hemos representado los patrones como
vectores usando 1 & -1, para representar pixeles oscuros y
claros (elementos de la figura) respectivamente. Qu ocurre
si se usa 1 y 0? Cmo debera cambiar la regla de Hebb?

Primero introduzcamos alguna notacin para distinguir las dos

diferentes representaciones (usualmente referidos como la
representacin bipolar {1,-1} y la representacin binaria
{0,1}). La representacin bipolar de los vectores prototipos
de entrada/salida ser denotado por

y la representacin binaria por

La relacin entre las dos representaciones est dado por

Donde 1 es un vector de unos.

Luego, determinemos la forma de la red asociativa binaria. Usaremos
la siguiente red

Esta difiere
de la red del
perceptron.
El siguiente paso es determinar la matriz peso y el vector bias
para esta red. Si deseamos que la red anterior tenga la misma
respuesta efectiva como una red bipolar entonces la entrada de
la red n debera ser la misma par ambas redes i.e.
Esto garantiza que siempre que la red bipolar produzca un 1 la
red binaria producir un 1 y -1 cuando la binaria produzca
un 0. Sustituyendo a p como una funcin de p encontramos

As, para obtener los mismos resultados que la red bipolar

deberamos elegir

Donde W es la matriz de pesos bipolar.

THE
END