Resumen de Matrices, Funciones y Optimizacin

Bernardita Vial
Segundo semestre de 2015

1 Matrices y concavidad de funciones

1.1 Menores principales y matriz negativa denida
4r ; menores principales de orden r de matriz An n:

4r son los determinantes de las sub-matrices de A obtenidas al borrar n r las y columnas de

A de igual ndice (submatrices de orden r r porque se borran todas menos r).
ejemplo, si n = 3 y r = 1, un menor principal resulta de borrar las primeras dos las y columnas;
otro de borrar las dos ltimas las y columnas, y otro de borrar las primeras y terceras.

Dr ; menores principales lderes de orden r de An n:

Dr son los determinantes de las sub-matrices obtenidas al borrar las ltimas n r las y columnas
de A de igual ndice (submatrices de orden r r porque se borran todas menos las r primeras
las y columnas).
en ejemplo, el menor principal lder es el que resulta de borrar las dos ltimas las y columnas.
r r
La matriz A es negativa semidenida si ( 1) 4r 0 y negativa denida si ( 1) Dr > 0
La matriz A es positiva semidenida si 4r (x) 0, y positiva denida si Dr (x) > 0

1.2 Funciones
Una funcin es una relacin de X a Y en que cada elemento de X se relaciona con un nico elemento
de Y:

Si f : X ! Y , escribimos y = f (x):
Veremos funciones reales f : S ! R.

f se dice cncava si:

f ( x + (1 ) x0 ) f (x) + (1 ) f (x0 )
para todo x; x0 2 S y 2 [0; 1] (estricta si > estricto para todo 2 (0; 1) con x 6= x0 ).
f se dice convexa si f es cncava
Si f es (dos veces) diferenciable, concavidad se puede expresar en trminos de la matriz de segundas
derivadas de f (Hesiano, que denotaremos por Hf (x)):

Una funcin f es cncava ssi Hf (x) es negativa semidenida en todo su dominio (cncava estricta
si Hf (x) negativa denida).

1
 Una funcin f es convexa ssi Hf (x) es positiva semidenida en todo su dominio (cncava estricta
si Hf (x) positiva denida).

f se dice cuasi-cncava si:

f ( x + (1 ) x0 ) min ff (x) ; f (x0 )g

para todo x; x0 2 S y 2 [0; 1] (estricta si > estricto para todo 2 (0; 1) con x 6= x0 ).
Similarmente, f se dice cuasi-convexa si:

f ( x + (1 ) x0 ) max ff (x) ; f (x0 )g

para todo x; x0 2 S y 2 [0; 1]

Si f es (dos veces) diferenciable, cuasi-concavidad se puede expresar en trminos de la matriz horlada
de segundas derivadas (que denotaremos por Hf (x)):
2 3
0 f1 (x) : : : fn (x)
6 f1 (x) f11 (x) : : : f1n (x) 7
6 7
H f (x) = 6 .. .. .. .. 7
4 . . . . 5
fn (x) fn1 (x) : : : fnn (x)
r
Condicin necesaria para f cuasicncava: ( 1) Dr (x) 0, donde Dr es el menor principal lder
de orden r de la matriz H f (x)
r
Condicin suciente para f cuasicncava: H f (x) negativa denida, i.e., ( 1) Dr (x) > 0

2 Optimizacin
Revisaremos condiciones necesarias y sucientes para un ptimo al analizar el problema de maximizacin
de una funcin f : Rn ! R, posiblemente sujeta a restricciones expresadas a travs de funciones gj . Supon-
dremos que f es doblemente diferenciable y que cada gj es diferenciable.
Si x resuelve el problema de maximizacin de f dentro de un conjunto A, decimos que x = arg max f (x)
x2A
El valor de la funcin evaluada en el ptimo es f (x ) :

2.1 Optimizacin sin restricciones

Problema general:
max f (x)
x2Rn

(donde x = (x1 ; :::; xn ) ; n es el nmero de variables)

Si x ptimo local, f (x) no puede aumentar dentro del conjunto factible. Entonces, debe ser cierto
que satisface las siguientes condiciones de Primer Orden (CPO):

@f (x )
= 0 para todo k = 1; :::; n
@xk

@f (x )
@xk = 0 8k son condiciones necesarias para el ptimo. Una condicin suciente para que un
x que satisface dichas condiciones sea realmente un ptimo (condicin de Segundo Orden) es que f
sea estrictamente cncava, esto es, Hf (x) negativa denida.

2
2.2 Optimizacin con restricciones de igualdad
Problema general:
max f (x) s.a. m restricciones de la forma gj (x) = bj
x2Rn

(donde x = (x1 ; :::; xn ) ; n es el nmero de variables y m de restricciones)

Si x ptimo local, f (x) no puede aumentar dentro del conjunto factible. Esto implica que 9 2Rm
tal que
@f (x ) @g1 (x ) @gm (x )
= 1 + ::: + m para todo k = 1; :::; n
@xk @xk @xk
Al escribir
m
X
L = f (x) + j [bj gj (x)]
j=1

obtenemos las siguientes condiciones necesarias (CPO, condiciones de Primer Orden) para el ptimo:

@L
= 0 para todo k = 1; :::; n
@xk
@L
= 0 para todo j = 1; :::; m
@ j

@L @f (x ) @g1 (x ) @gm (x ) @L
ya que @xk = @xk 1 @xk + ::: + m @xk y @ j = bj gj (x)

Las siguientes condiciones (de Segundo Orden) son condiciones sucientes para que un x que satis-
r
face dichas CPO sea realmente un ptimo: para todo r 2 fm + 1; :::; ng, se requiere que ( 1) Dr (x ) >
0 ; donde cada Dr (x ) es el menor principal lder de orden r del hesiano orlado denido como:

Og (x)
T
0
H L (x) =
Og (x) HL (x)

(con HL (x ) matriz de segundas derivadas de L respecto de x, y Og (x) gradiente de g, o vector de

primeras derivadas).
Esto es, los ltimos n m menores principales lderes de H L (x ) alternan de signo, empezando con el
m+1
signo de ( 1) :

Teorema de la envolvente: @f@b (x )

j
= j ; es decir, j indica cunto aumentara el valor mximo de la
funcin objetivo si aumentara la constante bj . Note que en el caso de restricciones de igualdad, j
podra ser positivo, negativo o cero.
@f (x ) @L
(ms general: si a es cualquier parmetro del problema, @a = @a x ; ; esto es, basta con derivar
@f (x )
L y evaluar en el ptimo para encontrar @a ).

2.3 Optimizacin con restricciones de desigualdad

Problema general:
max f (x) s.a. m restricciones de la forma gj (x) bj
x2Rn

(donde x = (x1 ; :::; xn ) ; n es el nmero de variables y m de restricciones)

Si x ptimo local, f (x) no puede aumentar dentro del conjunto factible. Esto implica que 9 2Rm
+
tal que
@f (x ) @g1 (x ) @gm (x )
= 1 + ::: + m para todo k = 1; :::; n
@xk @xk @xk

3
Al escribir
m
X
L = f (x) + j [bj gj (x)]
j=1

obtenemos las siguientes condiciones necesarias (condiciones de KKT, condiciones de Karush-Kuhn-

Tucker) para el ptimo:
@L
= 0 para todo k = 1; :::; n
@xk
@L @L
0y j = 0 para todo j = 1; :::; m
@ j @ j
@L @f (x ) @g1 (x ) @gm (x ) @L
ya que @xk = @xk 1 @xk + ::: + m @xk y @ j = bj gj (x) :

Si una restriccin j 0 no es activa en el ptimo, entonces @@L0 > 0 (esto es, bj 0 > gj 0 (x )) pero el
j
teorema de la envolvente indica que j 0 debe ser cero: la restriccin no afecta, por lo que aumentar
bj 0 no tiene ningn efecto sobre f (x ).
Si una restriccin j 00 es activa, entonces @@L00 = 0 (esto es, bj 00 = gj 00 (x )) pero j 00 debe ser
j
no-negativa: si j 00 fuera negativa, entonces al reducir bj 00 aumentara el valor mximo de f ; eso
no es posible, porque todos los x alcanzables con el nuevo bj 00 ya eran factibles antes de reducir
bj 00 (reducir el conjunto factible no puede ser benecioso).

Es necesario analizar 2m casos: distintas combinaciones de j positivos o nulos.

Por ejemplo, con m = 2 los casos posibles son:

1 = 2 = 0 (caso en que ninguna restriccin es activa, equivalente a maximizacin sin
restricciones)
1 = 0 y 2 > 0 (caso en que solo la segunda restriccin es activa, equivalente a maximizacin
con la segunda restriccin de igualdad)
1 > 0 y 2 = 0 (caso en que solo la primera restriccin es activa, equivalente a maximizacin
con la primera restriccin de igualdad)
1 > 0 y 2 > 0 (caso con dos restricciones activas, equivalente a maximizacin con dos
restricciones de igualdad).
Algunos de estos casos podran descartarse al obtener una contradiccin; en los puntos crticos
que se obtienen en los casos restantes se podran vericar las condiciones de segundo orden co-
rrespondientes, o sencillamente comparar el valor de f que se obtiene al evaluarla en cada uno de
los puntos crticos para elegir aquel que entrega f (x ) ms alto.

El caso de las restricciones de no-negatividad xk 0 es un caso particular, en que la restriccin

se puede reescribir como xj 0 para proceder como antes. Se puede mostrar que en un caso como
este las condiciones de KKT son equivalentes a:
@L @L
0y xk para todo k con restriccin xk 0
@xk @xk
@L
= 0 para todo k sin restriccin de no-negatividad
@xk
@L @L
0y j = 0 para todo j = 1; :::; m
@ j @ j

@L
Esto es, si xk tiene restriccin de no-negatividad, entonces en el ptimo puede ocurrir que @xk < 0 si
@L
xk = 0, pero cuando xk > 0 sigue siendo necesario que @x k
= 0 como antes.

Para obtener el valor de x que minimiza f (x) dentro de un conjunto factible A basta con resolver el
problema de maximizacin de f (x) dentro del mismo conjunto A: arg min (f (x)) = arg max ( f (x))
x2A x2A