TRANSFORMACIONES LINEALES PARA REDES NEURALES ARTIFICIALES Objetivo: Determinar caractersticas fundamentales de algunas transformaciones lineales generales.

La multiplicacin de un vector de entrada por una matriz de pesos es un ejemplo de una transformacin lineal.

Transformacin lineal
Una transformacin consiste de tres partes: 1.- Un conjunto de elementos X={Xi} llamado dominio. 2.- Un conjunto de elementos Y={Yi} llamado rango. 3.- Una regla que relaciona cada Xi X a un elemento Yi Y.

Una transformacin A es lineal si: 1.- Para todo X1 ,X2 X , A(X1 + X2) = A(X1) + A(X2) 2.- Para todo X X, a R, A(aX) = aA(X).

Ejemplo: Transformacin obtenida al rotar vectores en R2 por un ngulo .

A(X1+X2) X1+X2 A(X1) X2 X1 A(X2)

A(X)

A(aX)=aA(X) aX X

A(X)

La transformacin de rotacin se muestra en la primera figura. La segunda figura muestra que se satisface la primera propiedad: si se quiere rotar la suma de dos vectores, se puede rotar primero cada vector y despus sumarlos. La tercera figura ilustra la propiedad 2: si se quiere rotar un vector escalado, se puede rotar primero el vector y luego escalarlo. Por lo tanto la rotacin es una transformacin lineal.

Representacin matricial
Cualquier transformacin lineal entre dos espacios vectoriales finito dimensionales, se puede representar por una matriz (cualquier vector general de un espacio vectorial finito dimensional puede representarse por una columna de nmeros).
Sea {v1, v2, ... , vn} una base del espacio vectorial X, y sea {u1, u2, ... , um} una base para el espacio vectorial Y. Entonces para dos vectores cualquiera x X e y Y x = x iv i
i 1 n

e y= yiui i 1

Sea A una T.L. con dominio X y rango Y (A:X Y) Entonces A(x) = y se puede escribir como

A( x jv j ) = yiui j 1 i 1
Como A es un operador lineal, entonces podemos escribir

 xjA(vj) = yiui
j 1

i 1

Como los vectores A(vj) son elementos de Y, se pueden escribir como una combinacin lineal de los vectores de la base de Y: A(vj) = aijui i 1 Luego xj aijui = yiui j 1
i 1 i 1
n

Revirtiendo el orden de la suma

ui aijxj = yiui
i 1
j 1

i 1

reacomodando u ( aijxj - yi) = 0 j 1 i 1 i

Como los ui forman una base, son independientes, por lo tanto los coeficientes que multiplican a ui son cero: n aijxj = yi j 1
Esto lleva a la multiplicacin matricial siguiente:

a11 a12 ... a1n y1 a21 a22 ... a2n

......................................

x1
x2
........ =

y2

am1 am2 ... amn xn ym transformacin lineal entre dos espacios vectoriales finito Para cualquier dimensionales hay una representacin matricial (no es nica, como no lo es la representacin columna de un vector general. Si se cambia el conjunto base del dominio o del rango, la representacin matricial cambiar).
Ejemplo de representacin matricial utilizando la transformacin de rotacin. Se busca una representacin matricial para esa transformacin. Se transforma cada vector base del dominio y se expande en trminos de los vectores base del rango. Trabajando con el dominio y el rango iguales, X=Y=R2 y con las bases estndares u i = v i = si

Usamos A(vj) = aijui.

i 1

Los coeficientes de cada expansin generan una columna de la matriz.

A(s2) -Sen() cos() cos()

A(s1) Sen()

A(s1) = cos() s1 + sen()s2 = ai1si = a11s1 + a21s2 i 1 A(s2) = - sen()s1 + cos()s2 = ai2si = a12s1 + a22s2
i 1 2

La representacin matricial ser cos() A= sen() -sen() cos() Cuando se multiplica un vector por la matriz, el vector rota por un ngulo .

Cambio de Base La representacin matricial cambia cuando cambia la base de la transformacin.

Sea la T.L. A:X-->Y. Sea {v1, v2, ... , vn} una base de X y {u1, u2, ... , um} una base para el espacio vectorial Y. Para dos vectores cualquiera x X e y Y x = x iv i i 1
n

e y = yiui i 1

Entonces si A(x) = y, la representacin de la transformacin ser

a 11 a 12 a 1 n x 1 a 221 a 22 a 2 n x 2 am 1 am 2 am n xn =

y1 y2 ym

Ax = y Supongamos que ahora usamos otros conjuntos bases para X y para Y. sea {t1, t2, ... , tn} la nueva base de X y {w1, w2, ... , wm} la nueva base para Y. Con estas nuevas bases x = xniti i 1
n

e y = yniwi i 1

xn y yn son los vectores de coeficientes en las nuevas expansiones. Esto produce una nueva representacin matricial

A*xn = yn Cul es la relacin entre A y A*? Para encontrarla hay que encontrar la relacin entre los dos conjuntos de bases. Cada ti es un elemento de X, se puede expandir en trminos de la base original para X:

ti = tv j 1 ji j

y wi = wjiuj j 1

por lo tanto los vectores base se pueden escribir como columnas de nmeros
t1i w1 i wmi

Se define una matriz cuyas columnas son los ti Bt = t1 t2 tn Podemos escribir en forma matricial x = Xn1t1 + Xn2t2 + ... + Xnntn = BtXn

Se define una matriz cuyas columnas son los wi

Bw = w1 w2 wm

ti =

t2i tni

wi =

w2 i

y = BwYn

Ahora sustituyendo x e y en Ax =y obtenemos ABtXn = BwYn

Si multiplicamos ambos lados de esta ecuacin por (Bw)-1 [(Bw)-1A Bt]xn = yn que al compararla con A*xn = yn da lugar al cambio de base siguiente: A* = [(Bw)-1A Bt]

Transformacin similar Este resultado, que describe la relacin entre dos representaciones matriciales cualquiera de una transformacin lineal dada, se llama transformacin similar. La escogencia correcta de la base permite obtener una representacin matricial que revela las caractersticas claves de la transformacin lineal.
Autovalores y autovectores Son dos propiedades de las transformaciones lineales (dan informacin de estabilidad redes como la Hopfield). Sea A: X --> X una transformacin lineal (dominio igual al rango). Los vectores z X distintos del cero y esos escalares que satisfacen A(z) = z se llaman autovectores (z) y autovalores ().

El trmino autovector es un poco incmodo, puesto que no se trata realmente de un vector sino de un espacio vectorial, dado que si z satisface la ecuacin anterior, entonces az tambin lo hace. Un autovector de una transformacin representa una direccin, tal que cualquier vector en esa direccin, al ser transformado, continuar apuntando a la misma direccin pero estar escalado por el autovalor. Clculo de los autovectores y de los autovalores: Supongamos una base para el espacio vectorial n-dimensional X. Entonces la representacin matricial de A(z) = z se puede escribir como AZ = Z o [A-I]Z = 0 Las columnas de [A-I] son dependientes (los Z son distintos de cero), y por lo tanto el determinante de esta matriz ser cero: |[A-I]| = 0 Este determinante es un polinomio de orden n, por lo tanto la ecuacin anterior siempre tendr n races, algunas de las cuales complejas y repetidas. Para el caso de la rotacin del vector: Habr cualquier vector que cuando se rote 30 grados contine apuntando en la misma direccin?. NO.

Ese es un caso cuando no hay autovalores reales. La matriz de la transformacin para la base estandar es: cos() A= -sen()

sen()

cos()

por lo que obtenemos el determinante: cos()- -sen() sen() cos() -

=0

o 2 - 2 cos() + ((cos() )2 + (sen()2) = 2 - 2 cos() + 1 = 0 las races de esta ecuacin son: 1 = cos() + j sen() 2 = cos() - j sen()

Esta transformacin no tiene autovalores reales (si sen() # 0).

Esto significa que cuando cualquier vector real es transformado, ste apuntar en una nueva direccin. Otro ejemplo: -1 1 -1- 0 1 -2-

A=

0 2

=0

2 + 3 + 2 = ( +1)( + 2) = 0 y los autovalores son 1 = -1 2 = -2

para encontrar los autovectores

-1- 1 0 Z = -2-

Resolviendo con 1 = -1 se obtiene Z11 = cualquiera, Z21 = 0, por lo tanto es el primer autovector ser [1 0] cualquier escalar mltiplo.

Resolviendo con 2 = -2 Z22 = -Z21 , Z21 = 1, Z22 = -1 es el segundo autovector o cualquier escalar mltiplo. Diagonalizacin matricial Cuando hay n autovalores distintos se puede garantizar encontrar n autovectores independientes. Por lo tanto los autovectores constituyen una base para el espacio vectorial de la transformacin. Busquemos la matriz de la transformacin precedente usando los autovectores como una base. De A* = [(Bw)-1A Bt] 1 1 -1 1 A* = [B-1A B] = 1 1 = -1 0

0 -1 0 -2 0 -1 0 -2 Esta es una matriz diagonal, con los autovalores en la diagonal. Cuando se tiene autovalores distintos se puede diagonalizar la representacin matricial usando los autovectores como base.

El proceso es como sigue: Sea B = [z1 z2 ... zn] donde { z1 , z2 , ... , zn } son los autovectores de una matriz A. Entonces 1 0....0 0 2 0.0 0..........0 0.....0n

[B-1AB] =

donde { 1 , 2 , ... , n } son los autovalores de la matriz A.

Aprendizaje del Rendimiento