8.1.

Introduccin o
at ic a1
.c om

El condicionamiento del problema de m nimos cuadrados es un tema importante porque tiene implicaciones no triviales en el estudio de la estabilidad de los algoritmos para este problema. Como es habitual analizaremos en detalle el condicionamiento del problema y estudiaremos la estabilidad de los algoritmos mediante ejemplos signicativos. Recordemos que el problema de m nimos cuadrados consiste en lo siguiente (nos restringiremos al caso en el que la matriz del sistema tiene rango completo):
ww w.

at

em

Dada A Fmn de rango completo y m n, y dado b Fm , calcular x Fn para que }Ax b}2 sea m nima. Ya sabemos que la solucin a este problema es unica y que viene dada por o x  AX b

(8.1)

donde AX Fnn es la pseudoinversa o inversa generalizada de Moore-Penrose de A (ver 3.6). Adems, si y  Ax es el vector en Im A ms prximo a b entonces a a o y

 P b,

siendo P la proyeccin ortogonal sobre Im A. o Nuestro objetivo es estudiar el condicionamiento del Problema (8.1) respecto a perturbacione en A y en b. Es decir, los datos del problema son la matriz A y el vector b. La solucin es el vector de coecientes x o el correspondiente vector y  Ax. o As pues Datos: A, b. Soluciones: x, y.

En esta seccin daremos un resultado fundamental sobre el condicionamiento del o problema de m nimos cuadrados. Para entender el enunciado y como apoyo a la demostracin necesitamos introducir algunos conceptos y un par de resultados auo xiliares. En primer lugar debemos recordar que para una matriz A Fmn de rango completo n el nmero de condicin es u o 1 . 2 pAq  }A}2 }AX }2  n En segundo lugar, necesitamos el conceto de ngulo entre dos vectores de Fm . Lo a denimos, como es habitual, a partir de la desigualdad de Cauchy-Schwartz: si x, y Fm entonces |xy| }x}2}y}2,

ww

w.

8.2.

Condicionamiento del problema de m nimos cuadrados

at em at

ic a

Tenemos as en realidad, cuatro posibles cuestiones de condicionamiento: Error , relativo en x o y respecto a pequeas perturbaciones en los datos b o A. n

1 .c

om

b Im A

r=Axb y=Ax=Pb

Figura 8.1: El problema de m nimos cuadrados. de modo que x y }x}2}y}2

Se dene, entonces el angulo, , de x, y como

ic a
cos
2

1 .c

1.
.
2

at em at M
w. ww

x  arc cos }x} }yy}

2

Equivalentemente

cos

x  }x} }yy}

om

En nuestro caso, para calcular el ngulo de b e y debemos hacer el producto escalar a y  b P b. Teniendo en cuenta que P es una proyeccin (P 2  P ) ortogonal b o pP  P ) resulta que b y As pues

 bP b  bP P b  bP P b  }P b}2  }y}2. 2 2 }  }y} 2 . }b

2

Para el seno usamos la identidad sen

 1 cos2 : }y}2  }b}2 }y}2 . 2 2 2 sen2  1 }b}2 }b}2 2 2

Ahora bien, b  y b y siendo y y b y ortogonales (y Im A y b y  b P b  pIm P qb pIm Aqu ). Por consiguiente, usando el Teorema de Pitgoras, a 2 2 2 }b}2  }y}2 }b y}2 y }b y }2 sen  }b}2 Todas estos resultados generalizan los habituales en R2 (Figura 8.1) En tercer lugar, para cualquier norma inducida }Ax} }A} }x}. Necesitaremos una medidad de lo lejos o cerca que est }y }  }Ax} de su mximo valor posible: a a

}2  }A}y}}x}2  }A}2 }}x}2 . }Ax

2 2

Estos parmetros tienen el siguiente rango de variacin: a o 1 pAq V 0

{2

1
om

pAq

de modo que

1 }A}2}AAx}2}Ax}2  2pAq. } }
2

Lema 8.1 Para A Fmn de rango completo n se tiene:

ww

w.

El resultado previo que necesitamos es el siguiente

}pAAq1A}2  1 .
n

at em at

ic a

Todas estas acotaciones son claras excepto, quiz, la ultima que viene de la siguiente a observacin: o }x}2  }A1Ax}2 }A1}2}Ax}2,

1 .c

(8.2) (8.3)

siendo 1

n los valores singulares de A.

}pAAq1}2  12

Demostracin.- La propiedad (8.3) es una consecuencia inmediata de que los valoo res singulares de A son las ra cuadradas positivas de los valores propios de A A, ces 2 y de que 1{n es el mayor valor singular de pA Aq1 (ver Porposiciones 3.12 y 3.16).

Para probar la propiedad (8.2) se usa el Teorema SVD para ver que los valores singulares de pA Aq1 A y los de AX coinciden. Podemos ahora plantear y demostrar el resultado principal Teorema 8.2 Sean b Fm y A Fmn con b $ 0 y rang A  n m. Para el problema de mnimos cuadrados (8.1) se cumplen las siguientes propiedades, todo respecto de la norma 2 : (i) El nmero de condicin del problema de calcular y u o 1 . cos (ii) El nmero de condicin del problema de calcular x Fn respecto de b es u o 2 pAq . cos
om

 Ax Fn respecto de b es
(8.4)

at em at

(iii) Sea x la solucin del problema de mnimos cuadrados relativo a minimizar o }pA Aqx b}2. Si y  pA Aqx y  }}A}}2 n entonces A 2 1

ic a

(iv) En las mismas condiciones del apartado anterior

ww

w.

}y y}2 }y }2

1 .c

(8.5)

2 pAq cos

Op 2q.


(8.6)

}x x}2 }x}2

2 pAq

2 pAq2 tan

Op 2q.

(8.7)

(v) Sea x es la solucin del problema de mnimos cuadrados relativo a minimizar o }pA Aqx pb bq}2. Si sen $ 1 y

 mx a
siendo 1

n los valores singulares de A, entonces }x x}2 4 pAq 1 1 2pAq2 tan B Op 2q. 2 }x}2 cos

}A}2 , }b}2 B n }A}2 }b}2 1

(8.8)

En el caso especial en que m  n, el problema de m nimos cuadrados se reduce al de la resolucin de un sistema de ecuaciones lineales. En tal caso  0 y las cotas o de (8.5) y (8.7) se reducen a 2 pAq{ y 2 pAq recuperando los resultados vistos en la Leccin 4. o Demostracin.- Demostraremos las propiedades (i) y (v). La propiedad (ii) se o demuestra de manera muy similar a la propirdad (i), la propiedad (iv) es una caso particular de la (v) y la propiedad (iii) requiere una demostracin independiente o pero parecida a la (iv). (i) La relacin entre b e y es o y

 Pb

Como P es una proyeccin ortogonal P % QQ para alguna matriz Q Fnm con o   r columnas ortonormales. Sea U  Q Q una matriz unitaria. Entonces
ww

siendo P la proyecccin ortogonal sobre Im A. Vimos en la Seccin 4.3 del Cap o o tulo 4 que el nmero de condicin del problema de multiplicar Ax para A dada y x u o variable: f : Fn Fm x ; b  Ax es }f Ipxq}  }A} }x} , (8.9)  }f pxq}{}x} }Ax} En nuestro caso se trata del nmero de condicin del problema y  P b respecto de u o b para P dado. Entonces }P }2}b}2 pbq  }y}2
w.

at em at
&

ic a

1 .c

om


U P U

 % Q I 0 r QQ Q Q  n r 0 0 Q

&

Por lo tanto, los valores singulares de P son todos iguales a 1 y en particular

}P }2  1pP q  1 }y}2 . En conclusin: Finalmente, recordemos que cos  o }b}2 }P }2}b}2  1 , pbq  }y }2 cos

tal y como se deseaba demostrar.

sigue entonces que el sistema

 1 A y f  1 b. Por hiptesis, }}A}}2 n o A 2 1 y como }A}2  1 , tenemos que }A}2 n . Por el Teorema 3.18 resulta que rangpA Aq  n y consecuentemente rangpA tE q  n para todo t r0, s. Se
(v) En primer lugar denimos E

pA tE qpA tE qxptq  pA tE qpb tf q (8.10) tiene una unica solucin para cada t r0, s. Invertir una matriz es una funcin o o
diferenciable en los elementos de la matriz. Por lo tanto x es una funcin diferenciable o de t en r0, s. Por la denicin de diferencial o xp

mero derivamos

E pA tE qxptqpA tE q ExptqpA tE q pA tE qxI ptq  E ppb tf qpA tE q f, E Ax A Ex A AxI p0q  A f

w.

y sustitu mos t  0 recordando que xp0q  x:

at em at

q  xp0q xIp0q Op 2q. Como xp q  x, xp0q  x, b $ 0 y sen $ 1, tenemos que x $ 0 y }x x}2  }xIp0q}2 Op 2q. (8.11) }x}2 }x}2 Necesitamos una estimacin de }xI p0q}2 . Para ello calculamos xI p0q en (8.10). Prio

ic a

1 .c
2

om

E b.

As

xI p0q  pA Aq1 A pf

ww

Exq pAAq1E pb Axq.

Tomando normas:

}xIp0q}2 }pAAq1A}2p}f }2 }E }2}x}2q }pAAq1}2}E }2}b Ax}2. }A}2  }A}2, as que }xIp0q}2 }pAAq1A}2p}A}2x}2 }b}2q }pAAq1}2}A}2}b Ax}2 }  Aq1 A }2 }A}2 }b}2 }x}2 }pA Aq1 }2 }A}2 }b Ax}2 . }pA 2 }A} }A}
2

Por una parte, }E }2

 1 }A}2 }A}2. Y de la misma forma }f }2 }b}2. Tambin e

Por otra parte, por el Lema 8.1, 2 pAq2 . Entonces

}pAAq1A}2}A}2  2pAq y }pAAq1}2}A}2  2

}xIp0q}2 pAq }b}2{}Ax}2 1 pAq2 }b Ax}2{}Ax}2 . 2 2 }x}2 }A}2}x}2{}Ax}2 }A}2}x}2{}Ax}2 }2}x  }AAx} }2 , cos  }Ax}2 } }b}
2 2

Ahora bien,

y tan

}xIp0q}2 pAq 1 1 pAq2 tan 2 2 }x}2 cos

4

 }b} Ax}2 . En consecuencia Ax}

2

sustituyendo en (8.11)

}x x}2 }x}2

2 pAq

1 cos

2 pAq2 tan
om

Op 2q,

ww

w.

at em at

ic a

1 .c

tal y como se quer demostrar. a