El problema de mínimos cuadrados: lineal

Métodos numéricos – Ing. Eléctrica – 2019-B

—————————————————————————————————————————–
Considere el sistema de m ecuaciones y n incógnitas con m > n:
Ax = b (1)
donde 2 3 2 3 2 3
a1;1 ¢ ¢ ¢ a1;n x1 b1
A = 4 ... .. 7 ; x = 6 .. 7 y b = 6 .. 7
6 ..
. . 5 4 . 5 4 . 5 (2)
am;1 ¢ ¢ ¢ am ;n xn bm
Por tratarse de un sistema sobredeterminado éste generalmente es incompatible (no tiene solu-
ción).
Queremos encontrar x¤ 2 Rn tal que Ax¤ esté lo más próximo posible a b, esto lo conseguimos
resolviendo el siguiente problema denominado Problema de Mínimos Cuadrados:
2
Minimizar 12 kAx - bk
Sujeto a: (3)
x 2 Rn
donde k¢k es la norma euclídea.
Note que, si ai representa la i-…la de A, entonces
°0 1°2
° a1 x - b1 °
° °
°B a2 x - b2 C°
2 1 °B C°
1
2 kAx - bk = 2 ° B .. C° = 12 (a1 x - b1 )2 + 12 (a2 x - b2 )2 + ::: + 12 (am x - bm )2
°@ . A°
° °
° am x - bm °
2
Es decir, al minimizar 12 kAx - bk estamos minimizando la suma de las desviaciones al cuadrado:
(ai x - bi )2 . De ahí el nombre.
Las siguientes propiedades, propias del cálculo en varias variables, serán de gran utilidad. Sea
la función f : Rn 7! R de…nida por la regla f (x) = 12 kAx - bk2 , donde A 2 Rm £n , b 2 Rm y
m > n, entonces
1. El gradiente de f en x es rf(x) = AT (Ax - b)
2. La hessiana de f en x es r2 f(x) = AT A
3. Si A tiene rango completo, entonces AT A es inversible
4. AT A es simétrica y semide…nida positiva
5. f es una función convexa
6. Todo punto crítico de f es un minimizador global.
Las propiedades dicen que, un minimizador global de f lo encontramos resolviendo:
rf(x) = 0 () AT (Ax - b) = 0 () AT Ax = AT b (4)
Es decir, para resolver el sistema de ecuaciones lineales sobredeterminado Ax = b, en el sentido
de mínimos cuadrados, debemos resolver el sistema de ecuaciones lineales de n £ n dado por
AT Ax = AT b.

1
1. Aplicación al ajuste de curvas
Dados m puntos conocidos (x1 ; y1 ) ; :::; (xm ; ym ), generalmente obtenidos de un experimento.

Sean también las funciones conocidas g1 ; :::; gn : R 7! R, las que fueron elegidas a priori con un
criterio adecuado. Éstas no necesariamente deben ser lineales, por ejemplo g1 (x) = x2 , g2 = ex ,
g3 (x) = cos x,...

Asumiremos que el número de experimentos, m, es mayor que el número de funciones elegidas,

n.

Nuestro objetivo ahora es encontrar los valores de ®1 ; :::; ®n 2 R de modo que

y (x) = ®1 g1 (x) + ::: + ®n gn (x) (5)

represente, de la mejor manera posible, a los puntos (x1 ; y1 ) ; :::; (xm ; ym ). Es decir, el grá…co de
y pase lo más cerca posible a los puntos (x1 ; y1 ) ; :::; (xm ; ym ). Note que en (5) la función y es
una combinación lineal de las funciones g1 ; :::; gn .

Forzando a que el grá…co de y pase por cada uno de los m puntos, tenemos:

y (x1 ) = ®1 g1 (x1 ) + ::: + ®n gn (x1 ) = y1

y (x2 ) = ®1 g1 (x2 ) + ::: + ®n gn (x2 ) = y2
..
. (6)
y (xm ) = ®1 g1 (xm ) + ::: + ®n gn (xm ) = ym

de donde se forma un sistema de ecuaciones lineales sobredeterminado de m £ n:

g1 (x1 )®1 + g2 (x1 )®2 + ¢¢¢ + gn (x1 )®n = y1

g1 (x2 )®1 + g2 (x2 )®2 + ¢¢¢ + gn (x2 )®n = y2
.. .. .. .. . . .. .. .. ..
. . . . . . . . .
g1 (xm )®1 + g2 (xm )®2 + ¢¢¢ + gn (xm )®n = ym

matricialmente,
A® = b
donde 2 3 2 3 2
3
g1 (x1 ) ¢ ¢ ¢ gn (x1 ) ®1 y1
6
A=4 .. .. .. 7
® = 4 ... 5
6 7
y b = 4 ... 5
6 7
. . . 5;
g1 (xm ) ¢ ¢ ¢ gn (xm ) ®n ym
Para resolverlo, en el sentido de mínimos cuadrados, debemos resolver

AT A® = AT b

Esto nos provee los valores de ®1 ; ®2 ; :::; ®n de modo que y(x) = ®1 g1 (x)+®2 g2 (x)+:::+®n gn (x),
de…nido en (5), representa de la mejor manera posible, a los puntos (x1 ; y1 ) ; :::; (xm ; ym ).

2
Ejemplo 1 Suponga que tiene los siguientes datos resultado de un experimento:

xi -2 -1:5 -0:5 0 1 1:2 2:5 2:65 2:8 3:1

(7)
yi 3 1 -1 -1:5 2 4 6 7 10 12

Gra…camente,
y 12
10

-2 -1 1 2 3
-2 x

Por simple observación, elegimos

g1 (x) = x2 ; g2 (x) = x y g3 (x) = 1

Queremos ahora que

y(x) = ®1 g1 (x) + ®2 g2 (x) + ®3 g3 (x)

= ®1 x2 + ®2 x + ®3

represente de la mejor manera a los 10 puntos. Para hallar ®1 , ®2 y ®3 , exigimos

2
y (-2) = ®1 (-2) + ®2 (-2) + ®3 = 3
2
y (-1:5) = ®1 (-1:5) + ®2 (-1:5) + ®3 = 1
y (-0:5) = ®1 (-0:5)2 + ®2 (-0:5) + ®3 = -1
2
y (0) = ®1 (0) + ®2 (0) + ®3 = -1:5
2
y (1) = ®1 (1) + ®2 (1) + ®3 = 2
y (1:2) = ®1 (1:2)2 + ®2 (1:2) + ®3 = 4
y (2:5) = ®1 (2:5)2 + ®2 (2:5) + ®3 = 6
y (2:65) = ®1 (2:65)2 + ®2 (2:65) + ®3 = 7
y (2:8) = ®1 (2:8)2 + ®2 (2:8) + ®3 = 10
2
y (3:1) = ®1 (3:1) + ®2 (3:1) + ®3 = 12

y obtenemos el sistema de ecuaciones lineales

A® = b

3
donde 2 3 2 3
4:0000 -2 1 3:0000
6 2:2500 -1:5 1 7 6 1:0000 7
6 7 6 7
6 0:2500 -0:5 1 7 6 -1:0000 7
6 7 6 7
6 0:000 0 1 7 6 -1:5000 7 2 3
6 7 6 7 ®1
6 1:0000 1 1 7 6 2:0000 7
A=6
6
7; b=6 7 y ® = 4 ®2 5
6 1:4400 1:2 1 7
7
6
6 4:0000 7
7
6 ®3
6 6:2500 2:5 1 7
7
6
6 6:0000 7
7
6 7:0225 2:65 1 7 6 7:0000 7
6 7 6 7
4 7:8400 2:8 1 5 4 10:0000 5
9:6100 3:1 1 12:0000
Resolviendo el problema de mínimos cuadrados dado en (3), es decir, resolviendo:
2 32 3 2 3
266:39 77:206 39:663 ®1 302:14
AT A® = AT b () 4 77:206 39:663 9:25 5 4 ®2 5 = 4 98:55 5
39:663 9:25 10 ®3 42:50

obtenemos 2 3 2 3
®1 1:00200
4 ®2 5 = 4 0:59914 5
®3 -0:27857
Por lo tanto, la función cuadrática de la forma y(x) = ®1 x2 + ®2 x + ®3 que representa a los
puntos dados en (7) de la mejor manera posible es

y(x) = 1:002x2 + 0:59914x - 0:27857

y 12
10

-2 -1 1 2 3
-2 x

Ejemplo 2 Considere el siguiente conjunto de datos:

xi 1:0 1:2 1:4 1:6 1:8 2:0

(8)
yi 0:1 0:5 0:8 2:0 3:2 4:5

Queremos representar estos puntos mediante una función y : R 7! R de la forma

y(x) = ®1 e® 2 x ; ®1 > 0 (9)

Observe que y no es de la forma de…nida en (5). Sin embargo, como

ln y(x) = ln(®1 e® 2 x ) = ln ®1 + ln(e® 2 x ) = ln ®1 + ®2 x

4
 ¯ 1 = ln ®1 .
de…nimos ȳ(x) = ln(y(x)) y ®

Ahora el nuevo problema consiste en ajustar la función

¯ 1 + ®2 x
ȳ(x) = ®

al nuevo conjunto de datos

xi 1:0 1:2 1:4 1:6 1:8 2:0

ȳi = ln yi ln(0:1) ln(0:5) ln(0:8) ln(2:0) ln(3:2) ln(4:5)

o sino,
xi 1:0 1:2 1:4 1:6 1:8 2:0
ȳi -2:3026 -0:69315 -0:22314 0:69315 1:1632 1:5041
De esta manera, forzando a que ȳ pase por los 6 puntos, tenemos

ȳ(1:0) = ¯ 1 + ®2 (1:0)
® = -2:3026
ȳ(1:2) = ¯ 1 + ®2 (1:2)
® = -0:69315
ȳ(1:4) = ¯ 1 + ®2 (1:4)
® = -0:22314
ȳ(1:6) = ¯ 1 + ®2 (1:6)
® = 0:69315
ȳ(1:8) = ¯ 1 + ®2 (1:8)
® = 1:1632
ȳ(2:0) = ¯ 1 + ®2 (2:0)
® = 1:5041

y se formó el sistema de ecuaciones lineales sobredeterminado

®=b
A¯

donde 2 3 2 3
1 1:0 -2:3026
6 1 1:2 7 6 -0:69315 7
6 7 · ¸ 6 7
6 1 1:4 7 ¯1
® 6 -0:22314 7
A=6
6
7,
7 ¯=
® y b=6
6
7
7
6 1 1:6 7 ®2 6 0:69315 7
4 1 1:8 5 4 1:1632 5
1 2:0 1:5041
Resolviendo A¯
® = b en el sentido de mínimos cuadrados, es decir, resolviendo AT A¯
® = AT b,
tenemos · ¸· ¸ · ¸
6 9:0 ¯1
® 0:141 56
AT A¯
® = AT b () =
9:0 14:2 ®2 2:764 2
Desde aquí, · ¸ · ¸
¯1
® -5:4447
=
®2 3:6455
Es decir,
¯ 1 = -5:4447
® y ®2 = 3:6455
¯ 1 = ln ®1 , entonces
Como ®

®1 = e®¯ 1 = e-5:4447 ¼ 0:0043191

5
Por lo tanto, según (9), la función de la forma y(x) = ®1 e® 2 x que representa lo mejor posible a
los puntos dados en (8) es
y(x) = 0:0043191e3:6455x
Gra…camente,
y8

0
1.0 1.2 1.4 1.6 1.8 2.0
x

2. Otras aplicaciones
Podemos aplicar mínimos cuadrados en cualquier problema donde surja un sistema de ecuaciones
lineales sobredeterminado por resolver.

Ejemplo 3 Consideremos los siguientes puntos de la forma (x; y; z), ordenados en la siguiente
tabla:
x y z
0:0 0:0 11:00
0:5 1:0 27:85
1:0 2:0 52:60
1:5 3:0 92:00
2:0 4:0 140:00
2:5 5:0 205:23
3:0 6:0 270:05
3:5 7:0 366:66
4:0 8:0 450:00
4:5 9:0 561:50
5:0 10:0 690:00
2:0 1:0 41:35
1:0 1:6 50:00
Queremos expresar z en función de (x; y). Supongamos que z : R2 7! R es de la forma

z(x; y) = ax2 + by2 + cx + dy + e

6
Entonces, al forzar que el grá…co de z pase por esos 13 puntos, tenemos
z(0:0; 0:0) = a(0:0)2 + b(0:0)2 + c(0:0) + d(0:0) + e = 11:00
z(0:5; 1:0) = a(0:5)2 + b(1:0)2 + c(0:5) + d(1:0) + e = 27:85
..
.
z(1:0; 1:6) = a(1:0)2 + b(1:6)2 + c(1:0) + d(1:6) + e = 50:00
Matricialmente esto último es de la forma A® = ¯, donde
2 3 2 3
(0:0)2 (0:0)2 0:0 0:0 1 11:00
6 (0:5)2 (1:0)2 0:5 1:0 1 7 6 27:85 7
6 7 6 7
6 (1:0)2 (2:0)2 1:0 2:0 1 7 6 52:60 7
6 7 6 7
6 (1:5)2 (3:0)2 1:5 3:0 1 7 6 92:00 7
6 7 2 3 6 7
6 (2:0)2 (4:0)2 2:0 4:0 1 7 a 6 140:00 7
6 7 6 7
6 (2:5)2 (5:0)2 2:5 5:0 1 7 6 b 7 6 205:23 7
6 7 6 7 6 7
A=6 2
6 (3:0)2 (6:0)2
2
3:0 6:0 1 7 6
7; ® = 6 c
7
7 y ¯=6
6 270:05 7
7
6 (3:5) (7:0) 3:5 7:0 1 7 4 d 5 6 366:66 7
6 7 6 7
6 (4:0)2 (8:0)2 4:0 8:0 1 7 e 6 450:00 7
6 7 6 7
6 (4:5)2 (9:0)2 4:5 9:0 1 7 6 561:50 7
6 7 6 7
6 (5:0)2 (10:0)2 5:0 10:0 1 7 6 690:00 7
6 7 6 7
4 (2:0)2 (1:0)2 2:0 1:0 1 5 4 41:35 5
(1:0)2 (1:6)2 1:0 1:6 1 50:00
Resolviendo este sistema en el sentido de mínimos cuadrados, tenemos
2 3 2 3
a -50:0922
6 b 7 6 18:4133 7
6 7 ¡ T ¢-1 T 6 7
®=6 6 c 7= A A
7 A ¯ = 6 134:9078 7
6 7
4 d 5 4 -59:0725 5
e 12:5625
Por lo tanto, la mejor función de la forma z(x; y) = ax2 + by2 + cx + dy + e que representa los
13 puntos, en el sentido de mínimos cuadrados, es
z(x; y) = -50:0922x2 + 18:4133y2 + 134:9078x - 59:0725y + 12:5625
Ejemplo 4 Sean las siguientes coordenadas (en metros) de puntos en el plano cartesiano:
(0; 0:06); (0:5; 0:23); (1; 0:35); (1:5; 0:44); (2; 0:56); (2:5; 0:47);
(3; 0:36); (3:5; 0:27); (4; 0:08)
Si gra…camos esos 9 puntos tenemos:

1.0
x2

0.5

-0.5 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5
x1
-0.5

7
Queremos hallar una cirfunferencia determinada por la ecuación
x2 + y2 + ax + by + c = 0
que represente, de la mejor manera posible, a estos 9 puntos.

Forzando a que cada punto esté sobre la circunferencia buscada, tenemos:

(0)2 + (0:06)2 + a(0) + b(0:06) + c = 0
(0:5)2 + (0:23)2 + a (0:5) + b (0:23) + c = 0
(1)2 + (0:35)2 + a (1) + b (0:35) + c = 0
2 2
(1:5) + (0:44) + a (1:5) + b (0:44) + c = 0
2 2
(2) + (0:56) + a (2) + b (0:56) + c = 0
2 2
(2:5) + (0:47) + a (2:5) + b (0:47) + c = 0
(3)2 + (0:36)2 + a (3) + b (0:36) + c = 0
(3:5)2 + (0:27)2 + a (3:5) + b (0:27) + c = 0
(4)2 + (0:08)2 + a (4) + b (0:08) + c = 0
Esto se resume a resolver el siguiente sistema lineal sobredeterminado donde a; b; c son las in-
cógnitas:
0:06b + c = -0:0036
0:5a + 0:23b + c = -0:3029
a + 0:35b + c = -1:1225
1:5a + 0:44b + c = -2:4436
2a + 0:56b + c = -4:3136
2:5a + 0:47b + c = -6:4709
3a + 0:36b + c = -9:1296
3:5a + 0:27b + c = -12:3230
4a + 0:08b + c = -16:0060
Matricialmente, el anterior sistema está dado por:
A® = ¯
donde 2 3 2 3
0 0:06 1 -0:0036
6 0:5 0:23 1 7 6 -0:3029 7
6 7 6 7
6 1 0:35 1 7 6 -1:1225 7
6 7 6 7 2 3
6 1:5 0:44 1 7 6 -2:4436 7 a
6 7 6 7
A=6
6 2 0:56 1 7;
7 ¯=6
6 -4:3136 7
7 y ®=4 b 5
6 2:5 0:47 1 7 6 -6:4709 7 c
6 7 6 7
6 3 0:36 1 7 6 -9:1296 7
6 7 6 7
4 3:5 0:27 1 5 4 -12:3230 5
4 0:08 1 -16:0060
Como A® = ¯ no tiene solución, lo resolveremos en el sentido de mínimos cuadrados:
2 32 3 2 3
51 5:765 18 a -164:29
AT A® = AT ¯ () 4 5:765 1:116 2:82 5 4 b 5 = 4 -14:889 5
18 2:82 9 c -52:116
() (a = -4:0738) ^ (b = 8:3903) ^ (c = -0:27205)

8
Así, la circunferencia buscada está dada por

x2 + y2 - 4:0738x + 8:3903y - 0:27205 = 0

Gra…cando tenemos la mejor circunferencia, en el sentido de mínimos cuadrados, que representa

a los 9 puntos iniciales:

1.0
y
0.5

-0.5 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5
x
-0.5

Ejercicio 1 Considere los datos en la tabla siguiente,

xi 0 0:5 1:0 2:5 3:0

yi 2:0 2:6 3:7 13:2 21:0

Aproxime una función del tipo y (x) = 1 + aebx a los datos mediante la estrategia de mínimos
cuadrados. En otras palabras, halle los valores de a y b de modo que y se ajuste lo mejor posible
a los datos de la tabla. Haga ver todos los pasos realizados.

Ejercicio 2 Considere los siguientes puntos

(-2; 3) ; (-1:5; 1) ; (-0:5; -1) ; (0; -1:5) ; (1; 2) ; (1:2; 4) ; (2:5; 6) ;

(2:65; 7) ; (2:8; 10) ; (3:1; 12)

Halle la mejor parábola con ecuación ax2 + bx + cy + d = 0, en el sentido de mínimos cuadrados,

que se ajuste a los 10 puntos dados. Ilustre grá…camente.

Ejercicio 3 Considere los siguientes datos correspondientes a la venta de un producto durante

los cinco primeros años:
Año (xi ) Cantidad (qi )
1 220
2 245
3 250
4 258
5 254

1. Utilice un modelo lineal de la forma q(x) = ax + b y calcule los parámetros a y b en

el sentido de mínimos cuadrados. ¿Cuánto se espera vender en el sexto año según este
modelo?
2. Ahora use un modelo cuadrático de la forma q(x) = ax2 + bx + c y calcule los parámetros
a, b y c en el sentido de mínimos cuadrados. ¿Cuánto se espera vender en el sexto año
según este nuevo modelo?
3. ¿Qué modelo representa mejor el comportamiento de la venta del producto?

9
Ejercicio 4 Los siguientes datos representan la cotización del dólar en Venezuela. Note que ci
es la cotización del dólar respecto a su moneda local en el tiempo ti (en domingos).

i Fecha ti ci
1 domingo 2 de abril de 2017 1 3790:81
2 domingo 9 de abril de 2017 2 4407:51
3 domingo 16 de abril de 2017 3 4412:01
4 domingo 23 de abril de 2017 4 4711:73
5 domingo 30 de abril de 2017 5 4283:17
6 domingo 7 de mayo de 2017 6 5105:71
7 domingo 14 de mayo de 2017 7 5383:11
8 domingo 21 de mayo de 2017 8 5807:58
9 domingo 28 de mayo de 2017 9 6079:87
10 domingo 4 de junio de 2017 10 6205:98

Utilice un modelo cúbico, de la forma c(t) = at3 + bt2 + ct + d, y ajuste esta curva a los datos
experimentales en el sentido de mínimos cuadrados.

1. Haga un pronóstico para la cotización de dólar el domingo 11 de junio de 2017.

2. Haga un pronóstico para la cotización de dólar el domingo 26 de marzo de 2017.

—o—

10