MATEMATICAS

IV

Notas del curso

David GonzalezSanchez
Licenciatura en Economa
CIDE


Indice
1. Demostraciones en microeconoma
1.1. Topologa de Rn , funciones continuas y correspondencias . . . .
. . . . . . . . . . .
1.2. Conjuntos convexos y Teoremas de Separacion
1.3. Teoremas de Punto Fijo . . . . . . . . . . . . . . . . . . . . . . . .
1.4. Existencia de equilibrios en una economa y en Teora de Juegos
1.5. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

6
6
8
10
12
16

2. Optimizacion
dinamica en tiempo discreto
2.1. Planteamiento de problemas dinamicos en tiempo discreto . . . . . .
2.2. El metodo de los multiplicadores de Lagrange . . . . . . . . . . . . .
dinamica. El Principio de optimalidad y la Ecuacion

2.3. Programacion
de Bellman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4. Problemas con horizonte infinito . . . . . . . . . . . . . . . . . . . . .
2.5. Ecuaciones de Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20
20
21

3. Optimizacion
dinamica en tiempo continuo
del PCO en tiempo continuo .
3.1. Formulacion
de HamiltonJacobiBellman .
3.2. La ecuacion
3.3. Principio del maximo de Pontryagin . . . .
de Euler .
3.4. Calculo de variaciones. Ecuacion
3.5. Algunas extensiones del PMP . . . . . . . .
3.6. Ejercicios . . . . . . . . . . . . . . . . . . . .

39
39
40
43
46
50
55

4. Referencias

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

22
26
29
30

63

Notacion

Para denotar a los conjuntos se usan letras mayusculas

y las minusculas
para
sus elementos. Si el elemento a pertenece al conjunto A se escribe a A,
mientras que, a
/ A significa que a no es un elemento de A.
Se dice que A es un subconjunto de B si cada elemento de A es tambien un
elemento de B (es decir, para cada x A implica que x B), tambien se dice
que A esta contenido en B o que B contiene a A y se escribe
AB

B A.

Dos conjuntos A y B son iguales si se cumplen ambas inclusiones A B y

B A.
R denota a los Numeros

Reales.
Rn+ := { x = ( x1 , . . . , xn ) | xi 0, para i = 1, . . . , n}.
Rn++ := { x = ( x1 , . . . , xn ) | xi > 0, para i = 1, . . . , n}.
N = {1, 2, 3, . . .} es el conjunto de Numeros

Naturales.
Si A y B son conjuntos, se define la union
y la interseccion,
respectivamente,
como
A B = { x | x A o x B}
A B = { x | x A y x B} .
El smbolo se usa para denotar al conjunto vaco. Si A B = se dice que
los conjuntos A y B son disjuntos.
El complemento de B con respecto a A es el conjunto
A \ B = {x A | x
/ B} ,
A B. Si el conjunto A
se lee A menos B y tambien se usa la notacion
se hace referencia al complemento de B y en lugar de
se sobrentiende, solo
c
A \ B se escribe B . En este caso al conjunto A se le llama conjunto universo
o universal.1

ejemplo, si se esta trabajando con los numeros

reales, a los elementos del conjunto Qc se
les conoce como numeros

irracionales.
1 Por

 El producto cartesiano de dos conjuntos se denota por

A B = {( a, b) | a A, b B} .
En general, si A1 , A2 , . . . , An son conjuntos no vacos
n

A1 A2 . . . A n =

Ai = {(a1, a2, . . . , an ) | ai Ai ,

i = 1, 2, . . . , n} ,

i =1

cuando A1 = A2 = . . . = An = A se usa la notacion

An = {( a1 , a2 , . . . , an ) | ai A, i = 1, 2, . . . , n} .
Si A es una matriz, entonces A0 denota la transpuesta de A.
Los vectores son escritos como matrices columna:
x = ( x1 , . . . , x n ) 0 .
Si x, y son vectores, x y significa que
xi yi para todo i.
El producto escalar de vectores x, y es denotado por h x, yi, por x y o x 0 y.
f : Rn R y un vector x = ( x1 , . . . , xn )0 , las derivadas
Dada una funcion
parciales son denotadas por:
Dxi f = Di f = f /xi .
Dx f = D f (vector fila) denota al gradiente de f , y H f a la matriz de segundas
derivadas parciales (la matriz Hessiana), es decir,
D f = ( D1 f , . . . , Dn f ),
H f = ( f ij ).
vectorial, D f = ( f i /x j ) denota a la matriz
Si f : Rn Rk es una funcion
Jacobiana.
derivable, se denota su derivada mediante
Si x : R Rn es una funcion

0
dx1
dxn
x (t) =
( t ), . . . ,
(t) .
dt
dt
Smbolos y abreviaturas

E
operador de esperanza
P
medida de probabilidad

:=
igualdad por definicion

para todo


fin de una demostracion

fin de un ejemplo u observacion

HJB
HamiltonJacobiBellman
i.i.d.
(variables aleatorias) independientes e identicamente distribuidas

PCO problema de control optimo

PCOs problemas de control optimo

dinamica
PD
programacion
PMP Principio del maximo de Pontryagin

1.
1.1.

Demostraciones en microeconoma
Topologa de Rn , funciones continuas y correspondencias
Conjuntos abiertos y cerrados

En el espacio vectorial Rn se define el producto interno canonico,

para v =
( x1 , x2 , . . . , xn ), u = (y1 , y2 , . . . , yn ) como
n

hv, ui :=

xj yj,

j =1

y la norma (canonica)
de un vector mediante
q
kvk := hv, vi.
Teorema 1.1. La norma satisface las siguientes propiedades para todo u, v Rn y R
(a) kvk = 0 si y solo si v = ~0
(b) kvk > 0 si v 6= ~0
(c) kvk = || kvk
(d) | hv, ui | kvk kuk
(e) ku + vk kvk + kuk

(Desigualdad de CauchySchwarz).
(Desigualdad del triangulo).

de norma. La deDemostracion. Los incisos a), b) y c) se siguen de la definicion

sigualdad en d) es obvia si v = ~0, supongase

que v 6= ~0 y defnase
w := u

hv, ui
v,
k v k2

la Desigualdad de CauchySchwarz se tiene al desarrollar kwk 0. Finalmente,

de norma y la Desigualdad de CauchySchwarz se obtiene la
usando la definicion
Desigualdad del Triangulo.
Definicion
1.2. Sean x0 Rn y > 0. Se define la bola con centro en x0 y radio
como
B ( x0 ) := { x Rn | k x x0 k < }.
Definicion
1.3. El conjunto A Rn es abierto en Rn si para todo a A existe > 0
tal que
B ( a) A.
Definicion
1.4. Un conjunto C Rn es cerrado en Rn si su complemento es abierto.
6

En el Ejercicio 1.2 se pide demostrar las siguientes propiedades de los conjuntos

abiertos y cerrados en Rn .
Proposicion
1.5. Los conjuntos considerados a continuacion son subconjuntos de Rn .
(a) La union, finita o infinita, de conjuntos abiertos es un conjunto abierto.
(b) La interseccion de un numero

finito de conjuntos abiertos es un conjunto abierto.

(c) La interseccion, finita o infinita, de conjuntos cerrados es un conjunto cerrado.
(d) La union de un numero

finito de conjuntos cerrados es un conjunto cerrado.

Muchas propiedades topologicas

de conjuntos en Rn pueden expresarse en
terminos de sucesiones.
Definicion
1.6. Una sucesion
en Rn es una funcion cuyo dominio es el conjunto de
numeros

naturales N y cuya imagen es un subconjunto de Rn .

se acostumbra escribir xk en lugar de X (k) y se
Si X : N Rn es una sucesion,
Si los terminos se escriben de acuerdo
le llama termino ke simo de la sucesion.

puede identificarse mediante el

al orden de los numeros
naturales, una sucesion
conjunto formado por los terminos:

{ x k | k N} = { x1 , x2 , x3 , . . . } ,
como { xk }
alternativamente puede denotarse a una sucesion
k =1 o, por simplicidad,
como { xk }.
Definicion
1.7. Una sucesion { xk } en Rn converge al vector x, si para todo > 0 existe
K N tal que
k xk x k < para todo k K.
En tal caso se dice que la sucesion es convergente o que x es el lmite de la sucesion y se
escribe xk x, o
lm xk = x.
k

Teorema 1.8. Un conjunto C Rn es cerrado si y solo si para cualquier sucesion convergente { xk } C se tiene que lmk xk C.

Demostracion. Ambas implicaciones se siguen por contradiccion.

Definicion
1.9. Un conjunto A Rn es acotado si existe M R tal que k x k M
para todo x A. Un conjunto C Rn es compacto si es cerrado y acotado.
Funciones continuas
7

Definicion
1.10. Una funcion f : A Rm , donde A Rn , es continua en el punto
x0 A si para cualquier sucesion { xk } A tal que xk x0 , se tiene que
f ( x k ) f ( x0 ).
Si f es continua en cada punto de A, se dice que f es continua en A.
Teorema 1.11 (Weierstrass). Si f : A R es una funcion continua y A Rn es un
conjunto compacto, entonces f alcanza su valor maximo y su valor mnimo en A, es decir,
existen x, x A tales que
f (x) f (x) f (x)

para todo x A.

Demostracion. Ver Munkres (2002), Teorema 27.4, p. 198, o Sydster et al. (2008),
Teorema 13.3.6, p. 477.
Correspondencias
Definicion
1.12. Sean X Rn , Y Rm . Una correspondencia es una funcion que
asocia a cada elemento x X, un subconjunto ( x ) Y y se denota como : X  Y.
Se define, tambien, la grafica de la correspondencia como el conjunto
gr() := {( x, y) X Y | y ( x )} .

Generalmente se usan letras griegas mayusculas

para denotar a las correspondencias, con el fin de diferenciarlas de las funciones.
Definicion
1.13. Sea : X  Y una correspondencia tal que ( x ) 6= para todo
x X. Se dice que es hemicontinua superior (hcs) si su grafica es cerrada y si para
cada A X acotado, su imagen
x A}
( A) := {y Y | y ( x ) para algun
es un conjunto acotado.

1.2.

Conjuntos convexos y Teoremas de Separacion

Convexidad

Definicion
1.14. Un subconjunto C Rn es convexo si para cada x, y C y para todo
[0, 1] se verifica que
x + (1 )y C.
de conjuntos convexos
En el Ejercicio 1.13 se pide demostrar que la interseccion

es un conjunto convexo. Luego, tiene sentido la siguiente definicion.

8

Definicion
1.15. Dado S Rn , definimos la envoltura convexa de S como
co(S) :=

{C Rn | S C, C es convexo } .

Una lnea recta en R2 o un plano en R3 son conjuntos convexos, es facil probar

son convexos y generalizan la idea
que los conjuntos de la siguiente definicion
geometrica de recta y plano.
Definicion
1.16. Sean c Rn \ {0} y R. Se llama hiperplano de Rn al conjunto
H = { x Rn | hc, x i = }.
Dado un hiperplano H, se le asocian los semiespacios cerrados (ya que, en
efecto, son conjuntos cerrados)
H := { x Rn | hc, x i }.

H + := { x Rn | hc, x i },
Estos conjuntos tambien son convexos.

Teoremas de separacion

Definicion
1.17. Sean A, B Rn . Se dice que el hiperplano H Rn separa a los
conjuntos A y B si A H + y B H , o viceversa. La separacion es estricta cuando H
no contiene puntos de A ni de B.
Teorema 1.18. Sea C Rn un conjunto convexo, cerrado y no vaco. Si v
/ C, entonces
(a) Existe un punto c0 C tal que 0 < kv c0 k kv ck para todo c C, mas aun,

c0 es unico.

(b) Existe un hiperplano, H = { x Rn | h p, x i = }, que separa a C de v, es decir,

h p, ci c C y

h p, vi < .

Demostracion. El apartado (a) se sigue del Teorema de Weierstrass. Para demostrar

(b) defnanse
p := c0 v, := h p, c0 i .

Notese
que p 6= 0 y

h p, vi = k pk2 < .
Para verificar la otra desigualdad, sean c C, (0, 1], y defnase
c := (1 )c0 + c C.

Entonces

k c0 v k2
=
=
=

k v c k2
k(1 )c0 + c vk2
k(1 )(c0 v) + (c v)k2
(1 )2 kc0 vk2 + 2 kc vk2 + 2(1 ) hc0 v, c vi ,

al reordenar los terminos de la desigualdad anterior

0 [(1 )2 1] kc0 vk2 + 2(1 ) hc0 v, c vi + 2 kc vk2
( 2) kc0 vk2 + 2(1 ) hc0 v, c vi + kc vk2 .
hay que hacer 0.
Ahora solo
El conjunto H del Teorema 1.18 se conoce como hiperplano soporte del conjunto C. Se puede demostrar que existe un hiperplano, digamos H1 = { x Rn |
h p, x i = }, que separa estrictamente a C y v, i. e.,

h p, vi < < h p, ci c C,
para esto se escoge := h p, (c0 + v)/2i.
Teorema 1.19 (del hiperplano separador). Sean A, B Rn convexos, disjuntos y no
vacos. Entonces existe un hiperplano que separa a A y B.
Demostracion. Ver Lomel y Rumbos (2003), Teorema F.2.4, p. 524, o Sydster et al.
(2008), Teorema 13.6.3, p. 494.

1.3.

Teoremas de Punto Fijo

Definicion
1.20. Se dice que una funcion f : X X tiene un punto fijo en X si existe

x X tal que f ( x ) = x . Si : X  X es una correspondencia, se dice que x X es

un punto fijo de en X cuando x ( x ).
Definicion
1.21. Una distancia o metrica sobre un conjunto X es una funcion d :
X X R, tal que para cualesquiera x, y, z X:
(a) d( x, y) = d(y, x ),
(b) d( x, y) 0 con igualdad si y solo si x = y,
(c) d( x, y) d( x, z) + d(z, y) (Desigualdad del triangulo).
En tal caso, se dice que la pareja ( X, d) es un espacio metrico. Si ademas se cumple la
siguiente propiedad,

10

(d) para cualquier sucesion { xn } X, tal que d( xn , xm ) 0 cuando n, m , existe

x X tal que
lm d( xn , x ) = 0,
n

se dice que ( X, d) es un espacio metrico completo.

Teorema 1.22 (Banach). Sea X un espacio metrico completo. Si f : X X es una
contracion,
i.e.,
d( f ( x ), f (y)) d( x, y),
(1.1)
donde 0 < 1, entonces f tiene un unico

punto fijo en X.
de
Demostracion. La unicidad se sigue de la propiedad (1.1) y de la definicion
punto fijo.

Para probar la existencia del punto fijo, escojase

un punto cualquiera x0 X y
{ xn } mediante
defnase la sucesion
x n +1 : = f ( x n )

para n = 0, 1, 2, . . . ,

(1.2)

es convergente y su lmite sera el punto fijo buscado.

esta sucesion
(1.2), se cumple
Si m > n, por la construccion
d ( x n , x m ) ( n + n +1 + . . . + m ) d ( x 0 , x 1 ),
La completez de
al hacer n se demuestra la convergencia de la sucesion.
digamos x . Ahora, por la deX garantiza la existencia del lmite de la sucesion,
sigualdad del triangulo,
d( x , f ( x )) d( x , xn+1 ) + d( xn+1 , f ( x )),
luego, al usar (1.1), (1.2) y hacer n se tiene que d( x , f ( x )) = 0.
Teorema 1.23 (Brouwer). Sea C Rn un conjunto convexo, compacto y no vaco. Si
f : C C es una funcion continua, entonces f tiene un punto fijo en C.
Demostracion. Tres pruebas distintas pueden encontrarse en Franklin (1980) [pp.
ver Munkres (2002) [Teorema 55.6, p. 398].
232271]. Para una cuarta demostracion
Teorema 1.24 (Kakutani). Sean X Rn un conjunto convexo, compacto, no vaco y
: X  X una correspondencia hcs. Si ( x ) es convexo, cerrado y no vaco para todo
x X, entonces tiene un punto fijo en X.
Demostracion. Ver Franklin (1980) [pp. 283287], o Aliprantis y Border (2006) [p.
583].
11

1.4.

Existencia de equilibrios en una economa y en Teora de Juegos

Equilibrio general

Definicion
1.25. Una economa de intercambio puro E consta de
(a) un conjunto L con L bienes de consumo,
(b) un conjunto N de N consumidores,
(c) una funcion de utilidad y una dotacion inicial, para cada consumidor.
En forma abreviada,


L
L
E = L, N , { u n : R+
R}nN , {wn R+
}nN .
Cada consumidor n, con el vector de precios p, tiene el siguiente problema
L
max{un ( x ) | h p, x i h p, wn i , x R+
}.

(1.3)

un es continua, por el Teorema de Weierstrass, el problema (3.1)

Si la funcion
Para cada vector de precios se tiene una solucion
distinta xn ( p)
tiene solucion.

y se conoce como funcion

de demanda, siempre que el optimo
sea unico;
de lo
contrario se habla de una correspondencia de demanda.


L R}
L
Definicion
1.26. Sea E = L, N , {un : R+
nN , { wn R+ }nN una economa
de intercambio puro. Un equilibrio walrasiano2 es una pareja ( p , { xn }nN ) de precios
y asignaciones, tales que
(a) con los precios p , xn es solucion de (1.3) para cada n N ,
(b) los mercados estan en equilibrio, es decir, xn wn .
nN

nN

Ademas de las funciones de demanda (bruta) xn ( p), se distinguen tambien las

demandas netas o funciones de exceso de demanda
z n ( p ) : = xn ( p ) wn ,

para cada n N ,

(1.4)

y la funcion
de exceso de demanda agregada
z( p) :=

z n ( p ).

(1.5)

nN

Teorema 1.27 (Ley de Walras). En una economa de intercambio puro, el valor del exceso
de demanda agregada no es positivo, i.e., h p, z( p)i 0.
2 Tambi
en

conocido como equilibrio general o equilibrio competitivo.

12

Demostracion. Se sigue de las ecuaciones (1.4) y (1.5).

1.26, se verifica que si ( p , { xn }nN ) es un
Observacion
1.28. De la Definicion
equilibrio walrasiano, entonces (p , { xn }nN ) tambien lo es, para cualquier
R++ . Esto permite trabajar con precios relativos y omitir el dinero, ya que el vector
L puede ser reemplazado por
de precios p = ( p1 , p2 , . . . , p L ) R+
!
p1
p2
pL
p :=
S L 1 .
,
,..., L
lL=1 pl lL=1 pl
l =1 p l

L
L R}
Teorema 1.29. Sea E = (L, N , {un : R+
nN , { wn R+ }nN ) una economa de
intercambio puro. Si las funciones de demanda son continuas, entonces existe un equilibrio
walrasiano.

Demostracion. Sea xnl ( p) la demanda para el consumidor n del bien l, denotese

por
xl ( p) :=

xnl ( p),

wnl

wl :=

nL

nL

agregada del bien l, respectivaa la demanda agregada del bien l y a la dotacion

mente. Defnase l : S L1 [0, 1], como
l ( p) =

pl + max{0, x l ( p) wl }
Lj=1 [ p j + max{0, x j ( p) w j }]

para l = 1, 2, . . . , L,

: S L1 S L1 , mediante
con estas funciones se construye otra funcion
( p) := (1 ( p), 2 ( p), . . . , L ( p)).

(1.6)

Por el Teorema de Brouwer, existe p S L1 tal que ( p ) = p , luego de la

igualdad (1.6) se tiene que
pl =

pl + max{0, x l ( p ) wl }
1 + Lj=1 max{0, x j ( p ) w j }

de donde
pl

para l = 1, 2, . . . , L,

max{0, x j ( p ) w j } = max{0, xl ( p ) wl }.

(1.7)

j =1

(1.7) por zl ( p ) := x l ( p ) wl y sumar sobre l resulta

Al multiplicar la ecuacion
!
L

max{0, x j ( p ) w j }

j =1

pl zl ( p ) =

l =1

zl ( p ) max{0, zl ( p )},

l =1

13

por la Ley de Walras, el lado izquierdo de esta igualdad es 0, entonces

L

0=

zl ( p ) max{0, zl ( p )}.

l =1

Puesto que cada sumando es no negativo y la suma es cero, necesariamente

[ x l ( p ) wl ] max{0, x l ( p ) wl } = 0,

para l = 1, 2, . . . , L,

por lo que
x l ( p ) wl 0,

para l = 1, 2, . . . , L,

es decir, cada mercado esta en equilibrio.

Juegos no cooperativos
Definicion
1.30. Un juego en forma estrategica es una tripleta


= N , { An }nN , {un }nN ,
donde
(a) N es el conjunto de jugadores,
(b) An es el conjunto de acciones del jugador n, y
(c) un : A R es la funcion de pagos del jugador n, con A = An .
nN

Si el conjunto de jugadores y los de acciones son finitos, se dice que el juego es finito.


Definicion
1.31. Sea = N , { An }nN , {un }nN un juego en forma estrategica.
Una combinacion de acciones a A es un equilibrio de Nash si
un ( a) un ( a0n , an )
para todo a0n An y para cada n N .


Teorema 1.32. Sea = N , { An }nN , {un }nN un juego en forma estrategica tal que
el conjunto de jugadores es finito, N = {1, 2, . . . , N }, y para cada jugador
(a) el conjunto de acciones An es no vaco, compacto y convexo en algun
espacio Rkn ,
(b) un es continua en A y cuasiconcava en la variable an , cuando las variables an estan
fijas.
Entonces existe al menos un equilibrio de Nash para .

14

Demostracion. Defnase, para cada jugador n N , la correspondencia de mejor

respuesta Rn , que asigna a cada perfil de estrategias puras a = ( an , an ) el conjunto
Rn ( a) := arg max{un (bn , an ) | bn An }.
Con las correspondencias de cada jugador, defnase la correspondencia R : A 
A, mediante
R( a) := R1 ( a) R2 ( a) Rn ( a).

La correspondencia R cumplen las hipotesis

del teorema de Kakutani:
(a) El conjunto A es no vaco, convexo y compacto.
(b) La correspondencia R es hcs. Para verificar esta propiedad, considerese la
{sk , tk }kN gr(R) tal que
sucesion
lm (sk , tk ) = (s, t),

por la continuidad de las funciones de pagos se tiene que (s, t) gr(R).

(c) Por el Teorema de Weierstrass, el producto R1 ( a) Rn ( a) es no vaco,
para cualquier a A.
(d) La cuasiconcavidad de las funciones de pagos implica que cada correspondencia Rn (n N ) toma valores convexos, consecuentemente, R tambien toma
valores convexos.
Luego, existe a A tal que a R( a ). Es inmediato verificar que a es un
equilibrio de Nash para el juego .


Definicion
1.33. Sea = N , { An }nN , {un }nN un juego finito en forma estrategica. Se define la extension
mixta de como la tripleta
= {N , {An }nN , {Un }nN } ,
donde
(a) N es el conjunto de jugadores,
(b) An es el conjunto de estrategias mixtas del jugador n, dado por




An := n : An [0, 1]  n ( an ) = 1 ,
an An

(c) si A := An , la funcion de pagos del jugador n, Un : A R, esta dada por

nN

Un () =

a A mN

15

m ( a m ) u n ( a ).



Teorema 1.34 (Nash). Sea = N , { An }nN , {un }nN un juego finito en forma
estrategica. Entonces existe al menos un equilibrio de Nash en estrategias mixtas.

Demostracion. Es una consecuencia del Teorema 1.33 si se considera la extension

mixta .

1.5.

Ejercicios

1.1 Represente graficamente los siguientes conjuntos

(a) { x R2 | k x k = 2},
(b) { x R2 | k x k 2},
1.2 Demuestre que el conjunto A = {( x1 , x2 ) R2 | x1 < 0} es abierto.
1.5. Para los incisos b) y c) construya ejemplos
1.3 (Lab) Demuestre la Proposicion
puede fallar si la interseccion/uni

no
donde se muestre que la conclusion
on
es finita.
1.4 Si u, v son vectores en Rn , demuestre que

ku + vk2 + ku vk2 = 2(kuk2 + kvk2 ).

1.5 (Lab) Si x = ( x1 , x2 , . . . , x n ) Rn , demuestre la siguiente desigualdad

|x j | kxk

| xi |

para j = 1, 2, . . . , n.

i =1

en Rn es convergente si y solo
si cada una de las
Concluya que una sucesion
sucesiones componentes lo es.
1.6 (Lab) Pruebe que un conjunto finito de puntos en Rn es compacto.
1.7 Demuestre que el conjunto B = {( x, y) R2 | y x + 1} es cerrado pero no
es compacto.
continua. Demuestre que si B Rm es cerrado,
1.8 Sea f : Rn Rm una funcion
entonces el conjunto
f 1 ( B ) : = { x Rn | f ( x ) B }
es cerrado. Que ocurre si B es abierto?
Sugerencia: Observe que [ f 1 ( A)]c = f 1 ( Ac ).

16

1.9 (Clase) Pruebe que el conjunto A = { x R | e x x3 x2 0} es cerrado.

1.10 Demuestre que el smplex de dimension
n 1,



n 
S n 1 : = x = ( x 1 , . . . , x n ) R+ 

xi = 1


,

i =1

es compacto.
1.11 Sea : [0, )  [0, ) la correspondencia dada por
( x ) = [0, x ].
Demuestre que es hcs.
1.12 Construya un ejemplo de una correspondencia que no sea hcs.
1.13 Sean A, B Rn conjuntos convexos. Si , R, se define el conjunto
A + B := {a + b | a A, b B}.
Demuestre que A + B es convexo.
1.14 Sea el conjunto presupuestario
P = { x Rn+ | h p, x i I },
donde p Rn++ es un vector de precios e I es el ingreso disponible. Demuestre
que P es un conjunto convexo.
1.15 (Lab) Pruebe que B ( x0 ) y Sn1 son convexos.
espacio
1.16 (Lab) Sea Si un subconjunto no vaco, compacto y convexo de algun
n
k
i
R , para i = 1, 2, . . . , n. Demuestre que el conjunto S = i=1 Si es no vaco,
compacto y convexo.
f : A R. Se dice que f es
1.17 Sean A Rn un conjunto convexo y una funcion
cuasiconcava

en A si el conjunto

{ x A | f ( x) k}

si
es convexo, para todo k R. Demuestre que f es cuasiconcava
si y solo
f (x + (1 )y) mn { f ( x ), f (y)} ,
para cualesquiera x, y A y para todo [0, 1].

17

1.18 Demuestre que si S Rn , entonces


 k

co(S) = j s j  j 0, s j S, j = 1, . . . , k,
j =1

j = 1,

kN .

j =1

1.19 Considere las funciones de utilidad

u A ( x1A , x2A ) = ( x1A ) a ( x2A )1a ,

u B ( x1B , x2B ) = ( x1B )b ( x2B )1b

para los agentes A y B, respectivamente. Si tienen las dotaciones iniciales

w A = (1, 0), w B = (0, 1),
encuentre el equilibrio.
1.20 Encuentre el(los) equilibrio(s), si las funciones de utilidad son
1
u A ( x1A , x2A ) = x1A ( x2A )8 ,
8

1
u B ( x1B , x2B ) = ( x1B )8 + x2B
8

y las dotaciones iniciales

w A = (2, r ), w B = (r, 2),
donde r = 28/9 21/9 .
1.21 Encuentre el(los) equilibrio(s), si ahora las funciones de utilidad son
"
#1/2
 3
12
u A ( x1A , x2A ) = ( x1A )2 +
( x2A )2
,
37
u B ( x1B , x2B ) =

"

12
37

3

#1/2

( x1B )2 + ( x2B )2

y las dotaciones iniciales

w A = (1, 0), w B = (0, 1).
1.22 Considere un comite de tres personas C1, C2 y C3, encargado de seleccionar
al gerente de una empresa. Hay tres candidatos A, B y C. Las reglas son las
siguientes:
por un candidato y no puede abstenerCada integrante del comite vota solo
se.
Gana el candidato que obtenga mas votos, en caso de empate decide el voto
del presidente del comite, C1.
Se sabe que las preferencias de los miembros del comite estan ordenadas de la
siguiente forma
18

Votante C1: A  B  C
Votante C2: B  C  A
Votante C3: C  A  B
como un juego en forma estrategica, encuentre los equiPlantee esta situacion
librios de Nash en estrategias puras e interprete las estrategias de equilibrio.


1.23 Sea = N , { An }nN , {un }nN un juego finito en forma estrategica, supongamos que (1 , , N ) es un equilibrio en estrategias mixtas. Si a, a0 An son
jugadas con probabilidad positiva en n , demuestre que los pagos correspondientes a a, a0 son iguales cuando los otros jugadores juegan n .
1.24 Demuestre que en un juego finito en forma estrategica, los pagos (esperados)
en estrategias mixtas estan acotados por arriba por el maximo pago en estrategias puras y por abajo por el mnimo pago en trategias puras.
1.25 Encuentre todos los equilibrios de Nash (en estrategias puras y mixtas) de los
siguientes juegos.
J2

HH
H

1,6
1,3
2,3

6,0
2,7
5,8

1,1
4,4
3,1

5,5
2,7
1,0
2,2

5,0
2,8
1,3
1,3

7,0
8,7
6,9
1,3

3,1
0,5
1,3
4,4

0,3
4,7
1,10
13,2

H
HH
H

J1

x
y
z
J2

H
HH

J1

H
HH
H

w
x
y
z

19

2.

Optimizacion
dinamica en tiempo discreto

2.1.

Planteamiento de problemas dinamicos en tiempo discreto

Las componentes de un problema de control optimo

(PCO) en tiempo discreto y

con horizonte finito se especifican a continuacion.

(a) Un sistema dinamico, con espacio de estados X Rn y controles admisibles
U Rm , que satisface el sistema de ecuaciones en diferencias
xt+1 = f (t, xt , ut ) para t = 0, 1, . . . , T 1,

(2.1)

con estado inicial x0 .

(b) Una funcion
objetivo, que depende de la estrategia := {u0 , u1 , . . . , ut1 } y
del estado inicial x0 = x (mismos que determinan la trayectoria de estados de
acuerdo con (2.1)),
T 1

v(, x ) :=

R(t, xt , ut ) + S(xT ),

(2.2)

t =0

donde las funciones R y S toman valores reales. Cada termino R(t, xt , ut ) puede
o recompensa (si el
interpretarse como el costo (en el caso de minimizacion)
por etapa. La catidad S( x T ) es conocida como
problema es de maximizacion)
valor de salvamento.
es optimizar (ya sea maximizar o minimizar) la funcion

El problema en cuestion
inicial x0 = x, mas
objetivo (2.2) sujeto al sistema dinamico (2.1) y la condicion
especficamente:


T 1
opt
v(, x ) = R(t, xt , ut ) + S( x T )
{ut }tT=01

t =0

s. a : xt+1 = f (t, xt , ut )
u0 , . . . , u T 1 U,
x0 dado.

t = 0, 1, . . . , T 1,

Si el PCO tiene horizonte infinito, el sistema dinamico adopta la forma

xt+1 = f (t, xt , ut ) para todo t = 0, 1, 2, . . . ,
objetivo es
y la funcion

R(t, xt , ut ).

t =0

20

(2.3)

 de salvamento. El proEn este caso, a diferencia de (2.2), no se tiene una funcion

blema puede sintetizarse como



opt
v(, x ) = R(t, xt , ut )
{ut }
t =0

t =0

S. a : xt+1 = f (t, xt , ut )
ut U
x0 dado.

t = 0, 1, 2, . . . ,
t = 0, 1, 2, . . . ,

En las Secciones 2.2 y 2.3 se estudian problemas con horizonte finito, mientras
2.3 esta dedicada a aquellos con horizonte infinito.
que la Seccion

2.2.

El metodo de los multiplicadores de Lagrange

(si el problema
Considerese el PCO (2.3) en el caso especfico de maximizacion
el Teorema 2.1 sigue siendo valido con los cambios adecuaes de minimizacion,
dos). Para usar el metodo de los multiplicadores de Lagrange conviene escribir
explictamente cada una de las T restricciones

max

{ut }tT=01

s. a :

T 1

v(, x0 ) = R(t, xt , ut ) + S( x T )

t =0

f (0, x0 , u0 ) x1 = 0
f (1, x1 , u1 ) x2 = 0
..
.

(2.4)

f ( T 1, x T 1 , u T 1 ) x T = 0.
Ahora defnase el Lagrangiano o funcion
Lagragiana
L (, x , ) :=

T 1

T 1

R(t, xt , ut ) + S( x T ) +

t =0

t [ f (t, xt , ut ) xt+1 ]

t =0

donde, = {u0 , u1 , . . . , u T 1 }, x = { x1 , x2 , . . . , x T }, = {0 , 1 , . . . , T 1 } y x0
dado. Suponiendo que las funciones R, S y f son continuamente diferenciables y
los conjuntos X, U son abiertos, las condiciones (necesarias) de Lagrange para una

estrategia optima
son
L
ut
L
0=
xt
L
0=
x T
L
0=
t
0=

R
f
+ t
ut
ut
R
f
=
t 1 + t
xt
xt
dS
=
T 1
dx T

= f (t, xt , ut ) xt+1
21

para t = 0, 1, . . . , T 1

(2.5)

para t = 1, 2, . . . , T 1

(2.6)
(2.7)

para t = 0, 1, . . . , T 1,

(2.8)

la existencia de los multiplicadores en el sistema de ecuaciones esta garantizada por

el Teorema de Lagrange, bajo la hipotesis

adicional de que la matriz jacobiana de
las restricciones sea de rango completo.
Teorema 2.1 (Principio del maximo de Pontryagin). Supongase que se cumplen las
hipotesis del Teorema de Lagrange para el problema (2.3) y sea {u0 , u1 , . . . , uT 1 } un
control o ptimo junto con { x0 , x1 , . . . , x T } la trayectoria de estados correspondiente con
estado inicial x0 = x0 . Entonces existen vectores adjuntos {0 , 1 , . . . , T 1 }, tales
que el Hamiltoniano
H (t, x, u, ) := R(t, x, u) + f (t, x, u),
satisface la ecuacion
adjunta
t1 =

H
(t, xt , ut , t )
x

para t = 1, 2, . . . , T 1,

(2.9)

con la condicion
terminal

dS
( x ),
dx T
ademas, la condicion de maximizacion
del Hamiltoniano
T 1 =

H
(t, xt , ut , t ) = 0
u

para t = 0, 1, . . . , T 1,

(2.10)

(2.11)

y
xt+1 = f (t, xt , ut )

para t = 0, 1, . . . , T 1

(2.12)

con el estado inicial x0 dado.

del HamilDemostracion. Las condiciones (2.9) y (2.10) se siguen de la definicion
toniano y de las condiciones de Lagrange (2.6) y (2.7). Asimismo, las ecuaciones
(2.11) y (2.12) son equivalentes a (2.5) y (2.8).
estatica
Observacion
2.2 (Condiciones suficientes). De los resultados de optimizacion
se sigue que si (, x , ) satisfacen las condiciones (2.9)(2.12) y el Hamiltoniano
concava

es una funcion
con respecto a ( x, u), entonces (, x , ) es optimo
para
el problema (2.4).

2.3.

Programacion
dinamica. El Principio de optimalidad y la Ecuacion
de Bellman

se presenta otra tecnica para resolver un PCO se conoce como

En esta seccion
programacion
dinamica y esta basada en el Principio de optimalidad de Bellman.

22

 2.2, solo
se estudia el problema de maximizacion
(el otro
Al igual que en la Seccion
caso es totalmente analogo)


T 1
max
v(, x0 ) = R(t, xt , ut ) + S( x T )
{ut }tT=01

t =0

s. a : xt+1 = f (t, xt , ut )
u0 , . . . , u T 1 U,
x0 dado.

t = 0, 1, . . . , T 1,

(2.13)

Proposicion
2.3 (Principio de optimalidad de Bellman). Sea = {u0 , u1 , . . . , uT 1 }
una estrategia o ptima para el problema (2.13) y { x0 , x1 , . . . , x T } la trayectoria de estados
correspondiente, en particular, x0 = x0 . Entonces, para cualquier tiempo s {0, 1, . . . , T
1}, la estrategia truncada
s = {us , . . . , uT 1 }
es o ptima para el subproblema

max

{ut }tT=s1

v(, xs )

T 1

= R(t, xt , ut ) + S( x T )

t=s

s. a : xt+1 = f (t, xt , ut )
us , . . . , u T 1 U,
xs dado.

t = s, . . . , T 1,

(2.14)

Demostracion. Supongamos que la estrategia s no es optima

para el problema
(2.14), entonces existen otros controles, digamos
a = { as , . . . , aT 1 },
que resuelven (2.14), es decir,
v(s , xs ) < v( a , xs ).
Construimos ahora la estrategia
0 = {u0 , . . . , us1 , as , . . . , aT 1 }
y notemos que {u0 , . . . , us1 } lleva el sistema del estado inicial x0 al estado xs , por

lo que 0 es un control optimo

de (2.13), i.e.
v( , x ) < v( 0 , x )

lo cual es una contradiccion.

Las ecuaciones (2.15) y (2.16), del siguiente teorema, se conocen como algorit de salvamento S solo
se
mo de programacion
dinamica; si no hay una funcion
tiene (2.16), que tambien es llamada ecuacion
de Bellman.
23

Teorema 2.4. Sean JT , JT 1 , . . . , J0 las funciones sobre X, definidas como

JT ( x T ) = S ( x T )

(2.15)

Js ( xs ) = max { R(s, xs , us ) + Js+1 [ f (s, xs , us )]}.

(2.16)

y para s = T 1, T 2, . . . , 0,
us

Si para cada s = 0, 1, . . . , T 1, existe una funcion us : X U que alcanza el maximo

en el lado derecho de (2.26) para todo x X, entonces la estrategia
= {u0 , u1 , . . . , uT 1 }
es o ptima y la funcion
de valor
(
V ( x, s) := max {v(, xs ) | xs = x } = max

{ut }tT=s1

T 1

t=s



R(t, xt , ut ) + S( x T )  xs = x

coincide con Js , i.e.

V ( x, s) = Js ( x )

0 s T, x X.

consta de tres pasos.

Demostracion. La demostracion
enPaso 1. Si cada uno de los problemas en la siguiente igualdad tiene solucion,
tonces
max

y A, z B

{ g(y) + h(y, z)} = max { g(y) + max {h(y, z)}}.

z B

y A

En efecto, notemos que

max

y A, z B

{ g(y) + h(y, z)} g(y) + h(y, z) y A, z B

en particular,
max

y A, z B

{ g(y) + h(y, z)} g(y) + max {h(y, z)} y A

z B

de donde
max

y A, z B

{ g(y) + h(y, z)} max { g(y) + max {h(y, z)}}.

z B

y A

(2.17)

Por otro lado

g(y) + h(y, z) g(y) + max {h(y, z)}

y A, z B

z B

max { g(y) + max {h(y, z)}} y A, z B,

z B

y A

luego,
max

y A, z B

{ g(y) + h(y, z)} max { g(y) + max {h(y, z)}}.

y A

z B

La igualdad requerida se sigue de las desigualdades (2.17) y (2.18).

24

(2.18)

Paso 2. Para cualesquiera j, r {0, 1, . . . , T 1} con j < r, se verifica que xr de

pende unicamente
del estado x j y de los controles ut para j t r 1.
(2.1)
Este hecho se sigue de la ecuacion
xr =
=:
=
=:
..
.

f (r 1, xr1 , ur1 )
g1 ( x r 1 , u r 1 )
g1 [ f (r 2, xr2 , ur2 ), ur1 ]
g2 ( x r 2 , u r 2 , u r 1 )

= : gr j ( x j , u j , . . . , u r 2 , u r 1 ) .
de valor V ( x, 0) se puede escribir como
Paso 3. Usando los Pasos 1 y 2, la funcion


T 1
V ( x, 0) = max
R(t, xt , ut ) + S( x T )
{ut }tT=01

t =0

n
= max R(0, x0 , u0 ) + max R(1, x1 , u1 ) + . . . +
u1

u0

max{ R( T 1, x T 1 , u T 1 ) + S( x T )}
u T 1

)
,

sujeto a la dinamica
xt+1 = f (t, xt , ut ) para todo t = 0, 1, . . . , T 1,
y estado inicial x0 .
Definimos
JT ( x T ) = S ( x T ) ,
JT 1 ( x T 1 ) = max { R( T 1, x T 1 , u T 1 ) + JT ( x T )}
u T 1

x T = f ( T 1x T 1 , u T 1 ), y as sucesivamente, hasta
con la condicion
J1 ( x1 ) = max { R(1, x1 , u1 ) + J2 ( x2 )}
u1

donde x2 = f (1, x1 , u1 ), finalmente,

J0 ( x0 ) = max { R(0, x0 , u0 ) + J1 ( x1 )}
u0

con x1 = f (0, x0 , u0 ).
Las igualdades
V ( x, s) = Js ( x )

0 s T, x X,

son consecuencia del Principio de optimalidad de Bellman.

25

Observacion
2.5. Al resolver un PCO usando el Principio del maximo de Pontryagin (Teorema 2.1) se obtienen estrategias de lazo abierto (openloop), es decir, los

controles dependen unicamente

del parametro temporal
u t = ( t ),
dinamica (Teorema 2.4) se encuentran estratemientras que al usar programacion
gias de retroalimentacion
(feedback), tambien llamadas estrategias de lazo cerrado (closed loop) o estrategias markovianas y son de la forma
ut = (t, xt ),
no depende del tiempo t (unicamente

si ademas la funcion
del estado), se dice
que la estrategia es estacionaria.

2.4.

Problemas con horizonte infinito

se considera una clase particular de problemas con horizonte inEn esta seccion
de refinito, llamados problemas estacionarios con descuento ya que la funcion
compensa por etapa es de la forma
R(t, x, u) = t r ( x, u),
de recompensa r (, ) solo

donde 0 < < 1 es el factor de descuento. La funcion

depende del estado x y del control u y es la misma en cada etapa, ademas la
de transicion
f del sistema dinamico tampoco depende del tiempo t, por
funcion
lo cual se dice que el PCO es estacionario. El problema que se quiere estudiar es
de la forma



max
v(, x0 ) = r ( xt , ut )
{ut }
t =0

t =0

s. a : xt+1 = f ( xt , ut )
ut ( xt ) U
x0 dado.

t = 0, 1, 2, . . . ,
t = 0, 1, 2, . . . ,

(2.19)

Programacion
dinamica
Con ligeras modificaciones, se puede extender el Principio de optimalidad de
2.2) al caso con horizonte infinito. Luego, por argumentos
Bellman (Proposicion

26

 del Teorema 2.3, se tiene que la funcion

similares a los usados en la demostracion

de valor, V : X R, satisface
V ( x ) := max{v(, x ) | x0 = x }

(
)



t
= max r ( xt , ut )  x0 = x
{ u t } t =0

t =0

= max r ( x, u0 ) + max
u0

t r ( xt , ut )

{ u t } t =1 t =1

= max {r ( x, u0 ) + V ( x1 )}
u0

= max {r ( x, u0 ) + V ( f ( x, u0 ))} .
u0

de valor satisface la siguiente ecuacion

Es decir, la funcion
de Bellman (comparese
con (2.16))
(2.20)
V ( x ) = max {r ( x, u) + V ( f ( x, u))}.
u( x )

(2.20) es una ecuacion

de valor es
La ecuacion
funcional, es decir, la funcion

la incognita.
Antes de encontrar una estrategia (estacionaria) optima
es necesario
V. Una alternativa es construir una sucesion
de funciones
conocer dicha funcion
es la base para lograr este objetivo.
que converja a V. La siguiente proposicion
Proposicion
2.6. Sean C ( X ) := { g : X R | g es continua y acotada en X } y el
operador T : C ( X ) C ( X ) dado por
Tg( x ) := max {r ( x, u) + g[ f ( x, u)]}.
u( x )

(2.21)

Entonces, bajo ciertas hipotesis,

(a) existe una poltica estacionaria o ptima para el problema (2.19),
(b) el unico

punto fijo del operador T es la funcion de valor V.

Demostracion. Ver Sundaram (1996) [Teorema 12.19, p. 298], o Stokey y Lucas (1989)
[cap. 4].
2.5 (b) se prueba primero que (C ( X ), d) es un
Para demostrar la Proposicion
la conespacio metrico completo y tambien que el operador T es una contraccion,
se sigue del Teorema de Banach (Teorema 1.22). Es importante recordar
clusion
del Teorema de Banach es constructiva y el punto fijo puede
que la demostracion
Especficamente, sea V0 ( x ) 0 y
encontrarse al calcular el lmite de una sucesion.
{Vn } mediante
defnase la sucesion
Vn+1 := TVn

para n = 0, 1, 2, . . . ,
27

(2.22)

 de valor V = lmn Vn . Se puede demostrar, bajo sude este modo, la funcion

pestos adecuados (ver Stokey y Lucas (1989), Teorema 5.9, p. 82), que las funciones
de poltica
n ( x ) := arg max{r ( x, u) + Vn ( f ( x, u))}

n = 0, 1, 2, . . . ,

(2.23)

u( x )

convergen a la estrategia estacionaria optima

().
Formula

de BenvenisteScheinkman

Supongase
que la poltica () es optima
para el problema (2.19), entonces la
de Bellman (2.20) puede escribirse como
ecuacion
V ( x ) = r ( x, ( x )) + V ( f ( x, ( x ))).

(2.24)

de la
Si las funciones r, f , V son diferenciables, se cumple la siguiente version
formula

de BenvenisteScheinkman (ver Stokey and Lucas (1989) [Teoremas 4.10

y 4.11, pp. 8485], o Benveniste y Scheinkman (1979))
DV ( x ) = D1 r ( x, ( x )) + DV ( f ( x, ( x ))) D1 f ( x, ( x )).

(2.25)

Principio del maximo de Pontryagin

de Bellman (2.20) son diferenciables, la condicion

Si las funciones en la ecuacion

necesaria para el optimo

en el lado derecho es
D2 r ( x, ( x )) + DV ( f ( x, ( x ))) D2 f ( x, ( x )) = 0.

(2.26)

Al sustituir x = xt , ( x ) = ( xt ) = ut en las ecuaciones (2.25) y (2.26) se tienen las

ecuaciones
(2.27)
D1 r ( xt , ut ) + DV ( xt+1 ) D1 f ( xt , ut ) = DV ( xt )
D2 r ( xt , ut ) + DV ( xt+1 ) D2 f ( xt , ut ) = 0.

(2.28)

Defnase el Hamiltoniano
H ( x t , u t , q t +1 ) : = q t +1 f ( x t , u t ) + r ( x t , u t )
y los multiplicadores
qt := DV ( xt ).

(2.29)

la ecuacion
(2.27) se convierte en la ecuacion
Con esta notacion,
adjunta
D1 r ( xt , ut ) + qt+1 D1 f ( xt , ut ) = 1 qt

(2.30)

mientras que (2.28) es la condicion

de maximizacion
del Hamiltoniano
D2 H ( xt , ut , qt+1 ) = qt+1 D2 f ( xt , ut ) + D2 r ( xt , ut ) = 0.

(2.31)

Las ecuaciones (2.30), (2.31) y la dinamica del sistema

xt+1 = f ( xt , ut ) t = 0, 1, 2, . . . ,
se conocen como el Principio del maximo de Pontryagin para problemas estacionarios con horizonte infinito.
28

2.5.

Ecuaciones de Euler

{ xt }tT=1 que maximize una

En algunos modelos hay que encontrar una sucesion
objetivo de la forma
funcion
T 1

F (t, xt , xt+1 ),

x0 dado.

(2.32)

t =0

Observacion
2.7. En el problema anterior no aparece explcitamente la variable
de control, sin embargo, e ste se puede replantear de manera equivalente usando la
(2.13).
formulacion

F es diferenciable y los valores { xt }tT=0 son optimos

Si la funcion
e interiores,
entonces deben satisfacer las ecuaciones de Euler
Dxt F (t 1, xt1 , xt ) + Dxt F (t, xt , xt+1 ) = 0,
DxT F ( T 1, x T 1 , x T ) = 0.

t = 1, . . . , T 1,

(2.33)

Cuando el horizonte del problema es infinito las ecuaciones de Euler se reducen a

Dxt F (t 1, xt1 , xt ) + Dxt F (t, xt , xt+1 ) = 0,

t = 1, 2, . . . .

(2.34)

Teorema 2.8. Considerese el problema

(

max

{ x t +1 }
t =0 X

t =0

)


t F ( xt , xt+1 ) x0 = x dado ,

(2.35)

donde
(a) el espacio de estados X es un subconjunto abierto de Rn++ ,
(b) para cada y, la funcion F (, y) es creciente en cada una de sus primeras n variables,
(c) F (, ) es concava.

Si { xt }
t=0 (en particular, x0 = x) satisface las ecuaciones de Euler

Dxt F ( xt1 , xt ) + Dxt F ( xt , xt+1 ) = 0,

t = 1, 2, . . . ,

(2.36)

y la condicion
de tranversalidad
lm t Dxt F ( xt , xt+1 ) xt = 0,

entonces { xt+1 }
ptimo para el problema (2.35).
t=0 es o

29

(2.37)

 en X, con x0 = x. Puesto que F es

Demostracion. Sea { xt+1 }
t=0 cualquier sucesion

concava
F ( xt , xt+1 ) F ( xt , xt+1 ) Dxt F ( xt , xt+1 ) ( xt xt ) + Dxt+1 F ( xt , xt+1 ) ( xt+1 xt+1 ).
Defnase T := tT=01 t [ F ( xt , xt+1 ) F ( xt , xt+1 )], entonces
T

T 1

t [ Dxt F ( xt , xt+1 ) ( xt xt ) + Dxt+1 F ( xt , xt+1 ) ( xt+1 xt+1 )]

t1 [ Dxt F ( xt1 , xt ) + Dxt F ( xt , xt+1 )] ( xt xt )

t =0
T 1

t =1

+ T 1 DxT F ( x T 1 , x T ) ( x T x T )
= 0 + T 1 [ DxT F ( x T , x T +1 )] ( x T x T )
=

DxT F ( x T , x T +1 ) x T
T DxT F ( x T , x T +1 ) x T
T

por (2.36)

DxT F ( x T , x T +1 ) x T
por (a) y (b).

de transversalidad lmT T 0, es decir,

Por la condicion

t F ( xt , xt+1 )

t =0

2.6.

t F ( x t , x t +1 ).

t =0

Ejercicios

2.1 (Clase) Sea xt la riqueza de un individuo en el tiempo t. En cada etapa t, el

ut de xt para consumir, dejando la proporcion

individuo decide la proporcion

restante 1 ut para ahorrar. Suponga que la riqueza gana intereses a una tasa
1 > 0 y que la riqueza inicial x0 esta dada.

(a) Explique economicamente

la relacion
x t +1 = (1 u t ) x t ,

t = 0, 1, . . . , T 1.

(b) Suponga que el individuo desea maximizar su utilidad total dada por
tT=0 U (t, ut xt ). Escriba el correspondiente problema dinamico, con las restricciones adecuadas, e identifique las variables de estado y de control.
2.2 (Clase) Suponga que se tiene una cantidad C de un recurso que se debe repartir
(totalmente) entre N actividades. Si a la actividad k se le asigna una cantidad
del
uk , se obtiene un beneficio b(k, uk ). Si se quiere determinar la distribucion
como
recurso que maximiza los beneficios agregados, exprese esta situacion
un PCO.
30


2.3 Se dispone de una cantidad x0 de un bien. En cada uno de los T proximos

perodos (iniciando en t = 0 hasta t = T 1) se puede anadir

la cantidad
que se desee del bien, que se va acumulando. Transcurridos los T perodos, se
vendera la cantidad total del bien a un precio unitario p. Si en el perodo t se

anade
la cantidad ut , se incurre en un costo de cu2t . Suponiendo que hay un
mediante un
factor de descuento temporal 0 < < 1, describa esta situacion
PCO.
2.4 (Lab) Resuelva el problema del Ejercicio 2.2, usando el Principio del maximo

de Pontryagin, si b(k, u) = u (el beneficio no depende de la actividad, solo

de la cantidad asignada).

de
2.5 (Lab) El gestor de una mina debe determinar el plan optimo
de extraccion
mineral ut , para t = 0, 1, 2, 3, 4, 5, 6. La mina debe abandonarse en t = 7. Se
supone que todo el mineral que se extrae se vende al precio p = 1. El coste de
es
extraccion
u2
c(ut , xt ) = t ,
(2.38)
xt

donde xt representa la cantidad de mineral al comienzo del perodo

t.
(a) Calcule las derivadas parciales del coste en (2.35) e interprete los signos de
las mismas.

(b) Suponga que la tasa de interes es de 0.04. Explique por que la funcion
objetivo es de la forma


6
u2t
t
0.96 ut xt .
t =0
(c) Escriba el sistema dinamico asociado y resuelva el problema, usando el
principio del maximo de Pontryagin, si x0 = 1250.
Respuesta: (u0 , u1 , u2 , u3 , u4 , u5 , u6 , u7 ) = (262.5, 227.1, 190.1, 154, 129, 109.2, 89.1).

2.6 Sea xt el valor de los activos de un inversionista en el tiempo t, y sea ut el

consumo en el mismo perodo. Suponga que los activos en el tiempo t + 1 son
proporcionales al ahorro xt ut hecho en t,
x t +1 = a t ( x t u t ),

at > 0,

t = 0, 1, . . . , T 1.

Asuma que los activos iniciales x0 > 0 y los parametros at estan dados. Suponga que la recompensa por etapa es
R(t, x, u) = t u1 ,
donde , (0, 1). Si al final del horizonte temporal el inversionista tiene una
1
utilidad S( x T ) = T Ax T
31

(a) formule el correspondiente PCO,

dinamica.
(b) resuelvalo usando programacion
dinamica
2.7 Resuelva el siguiente problema usando programacion
(
)

3

max (1 + xt u2t )  xt+1 = xt + ut , x0 = 0 .
t =0

Encuentre ademas las funciones Js (s = 4, 3, 2, 1, 0) dadas por (2.15)(2.16).

Sugerencia: Considere S( x4 ) = 0.
Respuesta: (u0 , u1 , u2 , u3 ) = ( 32 , 1, 12 , 0).

2.8 Resuelva el problema anterior usando el principio del maximo de Pontryagin.

2.9 (Lab) Encuentre las estrategias markovianas y las de lazo abierto que resuelven
el siguiente problema
(
)


T 1 

2
max ut xt + ln( x T )  xt+1 = xt (1 + ut xt ), x0 > 0, ut 0 .
3
t =0
Sugerencia: Observe que JT k ( x ) = ln x + kC, k = 0, 1, . . . , T, donde C es una constante.
Respuesta: ut ( xt ) =

1
2xt ,

ut = (2x0 )1 ( 32 )t .

de recompensa por etapa

2.10 En el Ejercicio 2.1 considere la funcion

U (t, ut xt ) = (1 + r )t ut xt ,

r > 0.

Calcule us ( x ) para s = T, T 1, T 2.
objetivo del Ejercicio 2.1 por tT=0 (1 + r )t ut xt .
2.11 Sustituya la funcion
(a) Calcule uT ( x ), uT 1 ( x ).
(b) Muestre que existen constantes Ps (que dependen de , r) tales que Js ( x ) =

Ps x para s = 0, 1, . . . , T. Encuentre J0 ( x ) y los valores optimos

de uo , . . . , u T
Sugerencia: Considere dos casos < 1 y 1.

dinamica
2.12 Resuelva el siguiente problema usando programacion
(
)

T

max (3 ut ) xt2  xt+1 = xt ut , x0 dado .
u [0,1]
t

t =0

32

2.13 (Lab) Considere el problema

(
T 1

max
u t R

(e

ut

) e

x T

t =0

)


 xt+1 = 2xt ut , x0 dado .


(a) Calcule JT ( x ), JT 1 ( x ), JT 2 ( x ).
en diferencias para
(b) Muestre que Jt ( x ) = t ex y encuentre una ecuacion
t .
2.14 Resuelva el Ejercicio 2.10 cuando r = 0.

2.15 (Clase) Considere el siguiente problema de crecimieto economico

(
)



max t ln ct  k t+1 = kt ct , k0 dado ,
t =0

donde , (0, 1) y ct [0, kt ] para t = 0, 1, 2, . . ..

(a) Interprete economicamente

este problema.
y encuentrela.
(b) Suponga que existe una solucion
{k t } es convergente.
(c) Pruebe que la sucesion
(d) Encuentre el punto de equilibrio del capital y determine si es estable.
y encuentrela usando la
2.16 (Lab) Suponga que el siguiente PCO tiene solucion
de Bellman (2.20)
ecuacion
)
(



t (ut xt )1  xt+1 = a(1 ut ) xt , x0 dado ,
max

u (0,1)
t

t =0

donde a es un parametro positivo, , (0, 1) y a1 < 1.

Sugerencia: Suponga que V ( x ) = kx1 , para alguna constante k.

2.17 Resuelva el siguiente problema asumiendo que tiene solucion

(
)

 


1
max t eut e xt  xt+1 = 2xt ut , x0 dado ,
2
u t R t =0
donde (0, 1).
Sugerencia: Suponga que V ( x ) = e x , para alguna constante positiva .

33

2.18 (Lab) (CruzSuarez y MontesdeOca (2008)) Considere el problema de maxi

mizacion
max{ f ( x, ) | x A( )},
donde A :  Rm es una correspondencia con valores convexos, Rn y
f : H R, con
H := {( x, ) | x A( ), }.

Suponga que se cumplen las siguientes hipotesis

(S1) f C 2 (int( H )), ademas, Dxx f (, ) es definida negativa para cada ,
h : Rm tal que h( ) int( A( )), y
(S2) hay una funcion

V ( ) := max{ f ( x, ) | x A( )} = f (h( ), )

(2.39)

Para cada int(), demuestre lo siguiente:

(a) Dx f (h( ), ) = 0,
(b) la matriz Dxx f (, ) es invertible,
h es diferenciable y Dh( ) = Dx f (h( ), )[ Dxx f (h( ), )]1 ,
(c) la funcion
V es diferenciable y V 0 ( ) = Dx f (h( ), ) Dh( ) + D f (h( ), ),
(d) la funcion
(e) de hecho, V 0 ( ) = D f (h( ), ).
para V 00 .
Concluya que V C 2 (int()) y encuentre una expresion
Sugerencia: En el inciso (c) use el Teorema de la funcion implcita.
V 00 ( ) = Dx f (h( ), ) Dh( ) + D f (h( ), ).

2.19 (CruzSuarez y MontesdeOca (2008)) Sean {Vn } las funciones definidas por

(2.22), correspondientes al problema de crecimiento economico

del Ejercicio
2.15.
(a) Use el problema anterior para demostrar que
Vn0 (k ) =

n 1
()t

k t =0

n = 1, 2, . . . .

(b) Del inciso (a) concluya que

Vn (k ) = An ln k + Mn ,

n (k ) =

k
,
A n +1

n = 1, 2, . . . ,

donde An = nt=01 ()t y Mn es una constante de integracion.

34

(c) Use (2.22) para probar que


Mn Mn1 = ln An + An1 ln

An 1
An


,

n = 1, 2, . . . .

{ Mn } es convergente?
(d) Por que la sucesion
(e) Encuentre lmn Mn y lmn An .
de valor V (k ), as como la poltica estacionaria (k ).
(f) Determine la funcion
2.20 Considere el problema
(

max

t =0

)


t U (ct )  xt+1 = ( xt + yt ct ), x0 dado ,

(2.40)

de utilidad estrictamente concava

donde U es una funcion

y de clase C 2 , {yt }
son constantes dadas.

(a) Use las ecuaciones de Euler para deducir la siguiente relacion

U 0 ( c t 1 )
= .
U 0 (ct )
(b) De esta igualdad concluya que el consumo es constante si = 1, creciente
cuando > 1 y decreciente en el caso < 1.

2.21 (Modelo de Ramsey) El problema de crecimiento economico

descrito en el
Ejercicio 2.15 es un caso particular de un modelo estudiado por Ramsey (1928).
Para el problema
(
)



max t U (ct ) k t+1 = f (k t ) ct , k0 dado ,
t =0

de utilidad que satisface U 0 (c) > 0, U 00 (c) < 0 y

donde U es una funcion
de produccion
f satisface f 0 (k ) > 0 y
lmc0+ = ; mientras que la funcion

f 00 (k ) < 0. Demuestre que se cumple la relacion

U 0 ( c t +1 ) 0
f (k t+1 ) = 1.
U 0 (ct )

dinamica estocastica) El objetivo de este ejercicio es generalizar

2.22 (Programacion
el Teorema 2.4 al caso estocastico. Suponga que el estado del sistema evoluciona de acuerdo con
xt+1 = f (t, xt , ut , t ),
35

t = 0, 1, . . . , T 1,

(2.41)

 de variables aleatorias independientes y cada t

donde { t } es una sucesion
de probabilidad
tiene una distribucion
Pt ( | xt , ut )
objeque no depende de las perturbaciones anteriores t1 , . . . , 0 . La funcion
tivo, que depende de la poltica (markoviana) := {u0 ( x0 ), . . . , ut1 ( xt1 )} y
del estado inicial x0 = x, es de la forma
"
#
v(, x ) := E

T 1

R(t, xt , ut , t ) + S(xT )

(2.42)

t =0

El problema es encontrar una poltica que maximice (2.38) sujeto a (2.39) y

inicial x0 . Bosqueje la demostracion
del siguiente resultado:
la condicion
Teorema 2.9. Sean JT , JT 1 , . . . , J0 funciones definidas mediante
JT ( x T ) = S ( x T )

(2.43)

Js ( xs ) = max E{ R(s, xs , us , s ) + Js+1 [ f (s, xs , us , s )]},

(2.44)

y para s = T 1, T 2, . . . , 0,
us

donde la esperanza se calcula con respecto a la distribucion de probabilidad de s ,

que puede depender de xs y us . Si para cada s = 0, 1, . . . , T 1, existe una funcion
us : X U que alcanza el maximo en el lado derecho de (2.41), entonces la estrategia
= {u0 , u1 , . . . , uT 1 }
es o ptima.
objetivo
Observacion
2.10. Si el problema es de horizonte infinito, con funcion

v(, x0 ) = E t r ( xt , ut ),
t =0

y ley de movimiento xt+1 = f ( xt , ut , t ), bajo ciertas hipotesis

(ver Stokey y
de Bellman
Lucas (1989) o HernandezLerma y Lasserre (1996)), la ecuacion
adopta la forma (compare con (2.20))
V ( x ) = max{r ( x, u) + EV ( f ( x, u))}.
u

(2.45)

V es igual al lmn Vn , donde {Vn } esta dada por V0 0 y para

La funcion
n = 1, 2, . . . ,
Vn ( x ) = max{r ( x, u) + EVn1 [ f ( x, u)]}.
(2.46)
u

36

2.23 (Problemas LQ) Un problema LQ consiste de un sistema lineal con una recompensa por etapa cuadratica, tambien se conoce como problema del regulador

lineal. Suponga que el sistema dinamico evoluciona de acuerdo con la ecuacion

xt+1 = xt + ut + t ,

t = 0, 1, . . . ,

de costo esta dada por

con , R, la funcion
"
E

T 1

(qxt2 + ru2t ) + qT XT2

#
,

(2.47)

t =0

donde q, q N 0 y r > 0 son constantes dadas. Las perturbaciones { t } son

variables aleatorias i.i.d., no dependen del estado ni de la variable de control,
con media cero y varianza finita, i.e.,
E( 0 ) = 0, y 2 := E( 02 ) < .
Si se quiere minimizar el costo (2.47), demuestre que las funciones de poltica

optima
estan dadas por
s ( x ) = Gs x, con Gs := (r + Ks+1 2 )1 Ks+1
donde las constantes Ks estan dadas recursivamente por KT = q T y para s =
T 1, . . . , 0,
Ks = [1 (r + Ks+1 2 )1 Ks+1 2 ]Ks+1 2 + q.

Cual es la forma de las funciones Js ? En particular, cual es el costo optimo?

2.24 Resuelva el Ejercicio 2.6 pero suponiendo que los activos cambian de acuerdo

con la siguiente ecuacion

x t +1 = t ( x t u t ),

at > 0,

t = 0, 1, . . . , T 1,

donde { t } son variables aleatorias i.i.d. con valores positivos. Suponga que
1
existen constantes at tales que at
= E[ t1 ], compare con los resultados del
Ejercicio 2.6.
2.25 (Lab) En el siguiente PCO estocastico, los controles ut toman valores en R y
, son constantes positivas

  T 1
ut
x T
max E (e
) e
t =0




 xt+1 = 2xt ut + t , x0 dado .


Las variables aleatorias { t } son i.i.d. y existe una constante k = E[e t ].

(a) Muestre que las funciones Jt son de la forma Jt ( x ) = t ex ,
37

 en diferencias para t ,
(b) encuentre una ecuacion
de frontera T .
(c) determine la condicion

2.26 Resuelva el siguiente PCO estocastico. El objetivo es maximizar la funcion

"
#
E

T 1

+ ax T
2u1/2
t

t =0

con a > 0 y ut 0. El estado del sistema xt+1 toma sus valores en el con inicial x0 > 0
junto {0, xt ut } cada uno con probabilidad 1/2. La condicion
esta dada

38

3.
3.1.

Optimizacion
dinamica en tiempo continuo
Formulacion
del PCO en tiempo continuo

Supongase
que el estado de un sistema en el instante t puede ser descrito por un
sistema de ecuaciones diferenciales de la forma
x (t) = f (t, x (t), u(t)),

para t [0, T ],

x (0) = x0 dado,

(3.1)

donde x (t) X y u(t) U (t, x (t)) representan a las variables de estado y con 2.1, se asume que X Rn y
trol, respectivamente (al igual que en la Seccion
U (t, x (t)) Rm ). Se supone tambien que f (, , ) C 1 .

El numero
real T > 0 representa el horizonte o tiempo terminal; si el horizonte
temporal es infinito, el intervalo [0, T ] es reemplazado por [0, ).
Adicionalmente, el sistema puede tener alguna restriccion
terminal, por ejemplo, x ( T ) = x T o lmt x (t) 0.
Definicion
3.1. Un par de funciones ( x (), u()) : [0, T ] Rn Rm es un par admisible si
(a) u(t) U (t, x (t)) para todo t [0, T ], u() es continua a trozos,
(b) x () es continua, diferenciable a trozos y con derivada continua (siempre que exista),
(c) x (), u() satisfacen la ecuacion diferencial (3.1) para los valores de t en los cuales u()
es continua y x () es diferenciable, y
(d) se satisface la restriccion terminal (si la hay).
La funcion x () se conoce como trayectoria de estado, mientras que u() es la trayectoria
de control o control admisible.
En estas notas, un PCO en tiempo continuo consiste en encontrar un control
admisible u() que optimice un funcional de la forma
Z T
0

g(t, x (t), u(t)) dt + S( T, x ( T )),

(3.2)

integrable tal que sus dervadas

donde g(, , ) : R Rn Rm R es una funcion
parciales con respecto a x y u son continuas, S(, ) es de clase C 1 y representa un
valor de salvamento.

39

3.2.

La ecuacion
de HamiltonJacobiBellman

se deriva (de manera heurstica) la ecuacion

de Hamilton
En esta seccion

JacobiBellman (HJB) para problemas en tiempo continuo y es analoga a la ecuacion

discde Bellman en tiempo discreto. La idea principal es hacer una aproximacion
dinamica desarrollada en la
reta del problema y usar la tecnica de programacion
2.3.
Seccion
Por simplicidad, primero se considera el caso autonomo, es decir, cuando las
funciones f y g no dependen explcitamente de t. En este caso el sistema dinamico
(3.1) se reduce a
x (t) = f ( x (t), u(t)),

para t [0, T ],

x (0) = x0 dado,

(3.3)

mientras que el funcional objetivo adquiere la forma

Z T
0

g( x (t), u(t)) dt + S( x ( T )).

(3.4)

Si se divide el horizonte temporal [0, T ] en N subintervalos de longitud igual a

T
,
N

:=
se tienen las variables discretas
xk := x (k),

k = 0, 1, . . . , N,

uk := u(k),

k = 0, 1, . . . , N.

del sistema dinamico

Con estas variables se tiene la siguiente aproximacion
x k +1 = x k + f ( x k , u k ),

k = 0, 1, . . . , N 1,

objetivo
y la funcion
N 1

g( xk , uk ) + S( x N ).

k =0

Defnanse
T





J (, x ) := max
g( x (t), u(t)) dt + S( x ( T ))  x ( ) = x ,
u()


 N 1


J (s, x ) := max g( xk , uk ) + S( x N )  xs = x .
Z

uk

k=s

Usando el algoritmo de PD se tiene, para s = N

J ( N, x ) = S( x ),
40

y para s = N 1, N 2, . . . , 0
J (s, x ) = max{ g( x, u) + J ((s + 1), x + f ( x, u))}.
u

Suponiendo que = s, la igualdad anterior se puede reescribir como

J (, x ) = max{ g( x, u) + J ( + , x + f ( x, u))}.
u

(3.5)

de Taylor3 (de primer orden) para J alrededor del punto

Considerese la expansion
(, x )
J ( + , x + f ( x, u)) = J (, x ) + D J (, x ) + Dx J (, x ) f ( x, u) + o (),
donde o () es tal que lm0
se obtiene

o ()

en (3.5)
= 0, sustituyendo esta ultima
expresion

0 = max{ g( x, u) + D Jd (, x ) + Dx Jd (, x ) f ( x, u) + o ()/}.
u

Tomando el lmite cuando 0 y suponiendo que lm0 J (, x ) = J (, x ), se

deduce la ecuacion
de HamiltonJacobiBellman
0 = max{ g( x, u) + D J (, x ) + Dx J (, x ) f ( x, u)},
u

de frontera
con la condicion
J ( T, x ) = S( x ).
Teorema 3.2. Supongase que V : [0, T ] X R satisface la ecuacion de HJB
0 = max{ g( x, u) + D V (, x ) + Dx V (, x ) f ( x, u)},
u

(3.6)

y la condicion de frontera
V ( T, x ) = S( x ).

(3.7)

Supongase tambien que u = (, x ) maximiza el lado derecho de (3.6), sea x la correspondiente trayectoria de estado, i.e.,
x (t) = f ( x (t), (t, x (t))),

t [0, T ],

x (0) = x0 .

Entonces u maximiza (3.4), sujeto a (3.3), mas aun

V (, x ) = J (, x )
3 Ver

Sundaram (1996), Teorema 1.75, p. 64.

41

, x.

(3.8)

Demostracion. Sea ( x (), u()) cualquier par admisible, entonces

0 g( x ( ), u( )) + D V (, x ( )) + Dx V (, x ( )) f ( x ( ), u( ))
d
= g( x ( ), u( )) + V (, x ( ))
d

por (3.6)
por (3.3).

Integrando ambos lados de la desigualdad anterior y usando el Teorema fundamental del calculo
0

Z T
0

g( x ( ), u( )) d + V ( T, x ( T )) V (0, x (0)).

de frontera (3.7)
Luego, por la condicion
V (0, x (0))

Z T
0

g( x ( ), u( )) d + S( x ( T )).

(3.9)

Si ahora se hace el mismo analisis para el par admisible ( x , u ) la desigualdad

anterior se convierte en la igualdad
V (0, x (0)) =

Z T
0

g( x ( ), u ( )) d + S( x ( T )).

(3.10)

De las ecuaciones (3.9) y (3.10) se concluye que u es optimo

y, ademas,
V (0, x (0)) = J (0, x (0)).
La igualdad (3.8) se demuestra repitiendo los pasos anteriores para un tiempo
inicial [0, T ] y un estado x X cualesquiera.
Corolario 3.3. Supongase que V : [0, T ] X R satisface la ecuacion de HJB
0 = max{ g(, x, u) + D V (, x ) + Dx V (, x ) f (, x, u)},
u

(3.11)

y la condicion de frontera
V ( T, x ) = S( T, x ).

(3.12)

Supongase tambien que u = (, x ) maximiza el lado derecho de (3.11), sea x la

correspondiente trayectoria de estado, i.e.,
x (t) = f (t, x (t), (t, x (t))),

t [0, T ],

x (0) = x0 .

Entonces u maximiza (3.2), sujeto a (3.1), mas aun

V (, x ) = J (, x )
Demostracion. Ejercicio 3.1.
42

, x.

(3.13)

3.3.

Principio del maximo de Pontryagin

se estudia una tecnica muy usada para resolver un PCO: el

En esta seccion
Principio del Maximo de Pontryagin4 (PMP). Considerese el PCO descrito en la
3.1
Seccion
Z T

max
g(t, x (t), u(t)) dt + S( T, x ( T ))
u

(3.14)
s. a

x (t) = f (t, x (t), u(t)),

x (0) = x0

se define el Hamiltoniano, H : R Rn Rm Rn R, mediante

H(t, x, u, ) := g(t, x, u) + h, f (t, x, u)i .

(3.15)

se asume que es un vector fila, a

Por razones de consistencia en la notacion,
diferencia del resto de vectores y funciones.
Teorema 3.4 (Principio del maximo de Pontryagin). Sea ( x (), u ()) una solucion
del PCO (3.14). Entonces existe una funcion : [0, T ] Rn continua, diferenciable a
trozos y con derivada continua que satisface la ecuacion
adjunta

(t) = Dx H(t, x (t), u (t), (t))

(3.16)

junto con la condicion

de frontera
( T ) = D x S ( x ( T ), T ),

(3.17)

y la maximizacion
del Hamiltoniano

H(t, x (t), u (t), (t)) =

max

uU (t,x (t))

{H(t, x (t), u, (t))}.

(3.18)

Las ecuaciones (3.16) y (3.18) se satisfacen para casi todo t [0, T ].

del PMP se supone que la funcion

Observacion
3.5. En la siguiente demostracion
de valor

Z T



V (, x ) := max
g(t, x (t), u(t)) dt + S( T, x ( T ))  x ( ) = x
(3.19)
u()

de HJB
es de clase C 2 . Se asume, ademas, que en el lado derecho de la ecuacion
teorema de la envolvente (ver Ejercicio 2.18). Estos supuestos
se puede usar algun
no siempre se cumplen, por ejemplo, en el Ejercicio 3.4 se pide demostrar que
de valor no es diferenciable. Una demostracion
mas general del PMP
la funcion
puede encontrarse en Fleming y Rishel (1975) [Cap. 2] o Gamkrelidze (1978).

4 El

(3.18)
nombre viene de la ecuacion

43

 de HJB
Demostracion. Por el Corolario 3.3, la ecuacion

Dt V (t, x ) = max{ g(t, x, u) + Dx V (t, x ) f (t, x, u)}

u

(3.20)

de frontera V ( T, x ) = S( T, x ) se satisfacen para el par optimo

y la condicion

( x (), u ()). Defnase

(t) := Dx V (t, x (t)),
(3.21)
de frontera (3.17) y la maximizacion
del Hamiltoentonces se cumple la condicion
niano (3.18). Derivando ambos lados de (3.20) con respecto a x y usando el Ejercicio
2.18 se obtiene que

Dt [ Dx V (t, x )] = Dx [ g(t, x, u ()) + Dx V (t, x ) f (t, x, u ())],

en particular, para x = x (t) esta igualdad se reduce a

(t) = Dx H(t, x (t), u (t), (t)).

Condiciones suficientes para la optimalidad

El PMP da condiciones necesarias para la optimalidad, sin embargo, bajo hi
potesis
de concavidad y convexidad el PMP es suficiente para encontrar controles

optimos.
Teorema 3.6 (Mangasarian). Sean ( x (), u ()), () un par admisible y una funcion
que satisfacen el PMP. Supongase que U ( x, t) es convexo para todo ( x, t), H es una funcion
concava en ( x, u) y S es concava en x. Entonces ( x (), u ()) es o ptimo para el problema
(3.14).

Demostracion. Sea ( x (), u()) cualquier par admisible, para simplificar la notacion
defnanse
:=

Z T
0

g(t, x (t), u (t)) dt + S( T, x ( T ))

H := H(t, x , u , ),
S := S( T, x ( T )),

Z T
0

g(t, x (t), u(t)) dt + S( T, x ( T )),

H := H(t, x, u, ),
S := S( T, x ( T )).

Por la concavidad de H y S

H H D x H ( x x ) + Du H ( u u )
Dx H ( x x )
= ( x x )
44

por (3.18)
por (3.16),

(3.22)

ademas,
S S Dx S ( x ( T ) x ( T )).

(3.23)

Luego,
=

Z T

(H H) +

Z T
0

Z T

Z T
0

( x x ) +

Z T
0

( x x ) + S S
( x x ) + S S

por (3.22)

D [( x x )] + Dx S ( x ( T ) x ( T ))

por (3.23)

( T )( x ( T ) x ( T )) 0 + ( T )( x ( T ) x ( T ))

por (3.17)

= 0
Definicion
3.7. Para el PCO (3.14) se define el Hamiltoniano maximizado, H : R
Rn Rn R, mediante
t, x, ) := max {H(t, x, u, )}.
H(
uU (t,x )

introducida en la demostracion
del Teorema 3.6 y suponiendo
Con la notacion
que se satisfacen las condiciones necesarias del PMP, se cumple que
t, x , ) = H(t, x , u , ) = H .
H(
concava

Si el Hamiltoniano maximizado H es una funcion

en x y se supone que
t, x, ) = Dx [H(t, x, u ( x ), )],
Dx H(

(3.24)

entonces la desigualdad (3.22) puede demostrarse de forma alternativa

t, x , ) H(
t, x, )
H H H(
t, x , ) ( x x )
Dx H(

= Dx [H(t, x , u , )] ( x x )
= ( x x )

por (3.25)
por (3.17).

Con esta ultima

desigualdad y bajo la hipotesis
hecha en (3.24) se demuestra el
siguiente teorema.
Teorema 3.8 (Arrow). Sean ( x (), u ()), () un par admisible y una funcion que satisfacen el PMP. Supongase que H y S son funciones concavas en x. Entonces ( x (), u ())
es o ptimo para el problema (3.14).
del Teorema 3.8 esta basado en (3.24), donde se
El bosquejo de la demostracion

alternativa, pero que

asume implcitamente que u es interior. Una demostracion

asume que x es interior, se puede encontrar en Grass et al. (2008) [Teorema 3.30,
p.121].
45

3.4.

Calculo de variaciones. Ecuacion

de Euler

El problema mas sencillo del calculo de variaciones es de la forma


Z t


1

max
F (t, x (t), x (t)) dt  x (t0 ) = x0 , x (t1 ) = x1 .
x ()

t0

(3.25)

donde x () : [t0 , t1 ] Rn , F : [t0 , t1 ] Rn Rn R. Por simplicidad se asume

que x, F son de clase C 2 .

Lema 3.9 (Formula

de Leibniz). Sea f : [ a, b] [c, d] R una funcion de clase C 2 .
Entonces
Z
Z b
d b
f
(t, ) dt.
f (t, ) dt =
d a
a
Demostracion. Ver Rudin (1976) [Teorema 9.42, pp. 236237].
Teorema 3.10. Si x () es solucion del problema (3.25), entonces satisface la ecuacion
de
Euler
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) = 0.
(3.26)
x
dt x
de clase C 2 tal que h(t0 ) =
Demostracion. Sea h : [t0 , t1 ] Rn cualquier funcion
h(t1 ) = 0. Defnase
x (t) := x (t) + h(t), R,
satisface que x (t0 ) = x0 y x (t1 ) = x1 , es decir, x () es admisible para
esta funcion
el problema (3.25). Defnase tambien J : R R, mediante
J () :=

Z t1
t0

F (t, x (t) + h(t), x (t) + h (t)) dt.

Dado que x () es optimo,

se verifica la desigualdad J () J (0), es decir, la funcion
J tiene un maximo (interior) en = 0 por lo que su derivada se anula en este punto.

Por la Formula
de Leibniz
dJ
() =
d

Z t1
F
t0

(t, x (t) + h(t), x (t) + h (t)) dt,

luego
dJ
(0) =
d

Z t1 
F
t0

(t, x

(t), x (t)) h(t) +


F

(t, x (t), x (t)) h (t) dt = 0.

x

Si se integra por partes el segundo termino del integrando


Z t1
Z t1 
F
d F

(t, x (t), x (t)) h (t) dt =

(t, x (t), x (t)) h(t) dt,
dt x
t0 x
t0
46

(3.27)

 h(t0 ) = h(t1 ) = 0. Volviendo a (3.27)

donde se ha usado la condicion

Z t1 
F
d
F

(t, x (t), x (t))

(t, x (t), x (t)) h(t)dt = 0,
x
dt x
t0
h es arbitraria, por el Ejercicio 3.13, se cumple que
puesto que la funcion
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) 0.
x
dt x
Teorema 3.11. Si x () satisface la ecuacion
de Euler y F es concava en ( x, x ), entonces

x () es una solucion para el problema (3.25).

Demostracion. Ejercicio 3.14.
Otras condiciones terminales
Teorema 3.12. Si x () es solucion del problema

Z t


1
max
F (t, x (t), x (t)) dt  x (t0 ) = x0 , x (t1 ) libre ,
x ()

t0

(3.28)

entonces satisface la ecuacion

de Euler
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) = 0

x
dt x
y la condicion
de transversalidad
F
(t1 , x (t1 ), x (t1 )) = 0.
x

(3.29)

Demostracion. Defnase x1 := x (t1 ), de este modo el problema (3.28) es de la forma

de
(3.25) y se puede usar el Teorema 3.10 por lo que se debe satisfacer la ecuacion
Euler.
de transversalidad (3.29) se demuestra de una forma similar a la
La condicion
del Teorema 3.10. Considerense funciones de la forma
demostracion
x (t) := x (t) + h(t),

R,

donde h es de clase C 2 y h(t0 ) = 0; de este modo x (t0 ) = x0 y x (t1 ) no esta re

stringido. Como x () es un maximo se cumple (3.27), sin embargo, la integracion
por partes da como resultado
Z t1
F
t0

F
(t, x (t), x (t)) h (t) dt =
(t1 , x (t1 ), x (t1 ))h(t1 )
x
x

Z t1 
d F

(t, x (t), x (t)) h(t) dt.

dt x
t0
47

 de Euler, se llega a
Sustituyendo en (3.27) y usando la ecuacion
F
(t1 , x (t1 ), x (t1 ))h(t1 ) = 0,
x
por ser h arbitraria se puede escoger de tal forma que h(t1 ) 6= 0 y por lo tanto
F
(t1 , x (t1 ), x (t1 )) = 0.
x

Observacion
3.13. El problema (3.28) es una caso particular de un PCO (3.14) y,
de Euler a partir del PMP (siempre que
por lo tanto, es posible deducir la ecuacion

u sea interior).
hay que hacer T = t1 , x (t) = u(t), g(t, x (t), u(t)) = F (t, x (t), x (t))
En efecto, solo
(3.16) se convierte en
y S( T, x ( T )) 0. Usando el PMP, la ecuacion

F
,
x

(3.30)

del Hamiltoniano satisface la condicion

necesaria
mientras que la maximizacion
F
+ = 0.
u

(3.31)

Al tomar la derivada con respecto a t en (3.31) y combinando con (3.30) se tiene la

de Euler.
ecuacion
en el caso escalar (cuando n = 1 en el problema (3.25)) supongase

Mas aun,
de segundo orden Duu H 0. Entonces F satisface otra
que H cumple la condicion
necesaria
condicion
Dx x F (t, x (t), x (t)) 0,
llamada condicion
de Legendre, ver Cerda Tena (2001) [Teorema 2.2, pp. 4142] o
6, pp. 4145].
Kamien y Schwartz (1991) [Seccion

Teorema 3.14. Si x () es solucion del problema


Z t


1

max
F (t, x (t), x (t)) dt  x (t0 ) = x0 , x (t1 ) a ,
x ()

t0

(3.32)

entonces satisface la ecuacion

de Euler
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) = 0
x
dt x
y la condicion
de transversalidad
F
(t1 , x (t1 ), x (t1 )) 0, con igualdad si x (t1 ) > a.
x
48

(3.33)

Demostracion. Defnase x1 := x (t1 ) a, as el problema (3.32) es de la forma

de Euler se sigue del Teorema 3.10.
(3.25); la ecuacion
(3.33), considerense funciones x (t) := x (t) + h(t),
Para verificar la condicion
tales que
x (t1 ) + h(t1 ) a
(3.34)
donde h es de clase C 2 y h(t0 ) = 0; de este modo x (t0 ) = x0 y x (t1 ) a. Con la
que se uso en la demostracion
del Teorema 3.12 se tiene que
misma notacion
dJ
F
(0) =
(t1 , x (t1 ), x (t1 ))h(t1 ).
d
x

(3.35)

Puesto que x (t1 ) a, se distinguen dos casos: x (t1 ) > a y x (t1 ) = a.

de factibilidad (3.34) se cumple

Caso 1. Supongase
que x (t1 ) > a. La condicion
para cualquier valor no negativo de h(t1 ), mientras que si h(t1 ) es negati La optimalidad
vo, entonces se debe escoger || suficientemente pequeno.

de x (t1 ) implica la desigualdad J (0) J () en alguna vecindad del 0, es

decir, J tiene un maximo local en = 0, por lo que la derivada de J debe
anularse en = 0, i. e.,
F
(t1 , x (t1 ), x (t1 ))h(t1 ) = 0.
x
h puede tomar valores positivos o negativos en t1 , luego
La funcion
F
(t1 , x (t1 ), x (t1 )) = 0.
x
de factibilidad (3.34) se cumple siempre
Caso 2. Cuando x (t1 ) = a, la condicion
h es tal que h(t1 ) > 0, entonces J () J (0)
que h(t1 ) 0. Si la funcion
para todo > 0; luego
dJ
F
(0) =
(t1 , x (t1 ), x (t1 ))h(t1 ) 0,
d
x
de donde
F
(t1 , x (t1 ), x (t1 )) 0.
x
En contraparte, si h(t1 ) < 0, entonces tiene lugar la desigualdad J ()
J (0) para todo < 0; luego
dJ
F
(0) =
(t1 , x (t1 ), x (t1 ))h(t1 ) 0,
d
x
por lo que
F
(t1 , x (t1 ), x (t1 )) 0.
x
49

 de ambos casos se tiene que

Como conclusion
F
(t1 , x (t1 ), x (t1 )) 0,
x
y, ademas, la igualdad se satisface cuando x (t1 ) > a (Caso 1).
Funcional objetivo con valor de salvamento
Teorema 3.15. Si x () es solucion del problema
Z t
1
max
F (t, x (t), x (t)) dt + S(t1 , x (t1 ))
x ()

t0




 x ( t0 ) = x0 , x ( t1 ) a ,


(3.36)

entonces satisface la ecuacion

de Euler
F
d F
(t, x (t), x (t))
(t, x (t), x (t)) = 0
x
dt x
y la condicion
de transversalidad
S
F
(t1 , x (t1 ), x (t1 )) + (t1 , x (t1 )) 0, con igualdad si x (t1 ) > a.
x
x

(3.37)

del teorema se sigue de la igualdad

Demostracion. La conclusion
S(t1 , x (t1 )) +

Z t1
t0

F = S(t0 , x (t0 )) +

Z t1 h
t0

F+

S
S i
+ x
t
x

y del Teorema 3.14.

3.5.

Algunas extensiones del PMP

Restricciones terminales multiples

Observacion
3.16. En el PCO estandar (3.14) el estado terminal x ( T ) esta libre, una
pregunta natural es que sucede con el PMP cuando x ( T ) = x1 ? Para responder
esta pregunta observese que las funciones

Z T


V (, x ) := max
g( x (t), u(t)) dt + S( x ( T ))  x ( ) = x ,
u()


Z T




V (, x ) := max
g( x (t), u(t)) dt + S( x ( T ))  x ( ) = x, x ( T ) = x T ,
u()

(ambos problemas sujetos a la dinamica (3.1)) son distintas, de hecho, V (, x )

V (, x ).
50

 del PMP la funcion

fue definida mediante
En la demostracion
(t) = Dx V (t, x (t)),

de donde se tiene la condicion

( T ) = D x S ( x ( T ), T ),
de HJB y la condicion
de frontera (3.7).
a partir de la ecuacion

(3.17) del PMP no tiene que ser

Puesto que V (, x ) 6= V (, x ), la condicion
cierta.

Observacion
3.17. Si el problema (3.36) se escribe como un PCO con x = u, en de primer orden en (3.18) se convierte en
tonces la condicion
0 = Du H(t, x (t), u (t), (t)) = Dx F (t, x (t), x (t)) + (t),

t [0, T ].

de
En particular, ( T ) = Dx F ( T, x ( T ), x ( T )), sustituyendo en la condicion
transversalidad (3.37)

( T ) +

S
( T, x ( T )) 0, con igualdad si x ( T ) > a.
x

de transversalidad se dedujo para un PCO particular, es

Aunque esta condicion
valida para problemas mas generales.

En el siguiente teorema se generaliza el PMP (Teorema 3.4), permitiendo dis (3.16) o en la Observacion

tintas condiciones terminales como en la Observacion

de los
(3.17). Supongase
que los conjuntos I, J, K son disjuntos a pares y la union
tres es igual a {1, 2, . . . , n}. Considerese el siguiente PCO
Z T

max
g(t, x (t), u(t)) dt + S( T, x ( T ))
u()

s. a

x (t) = f (t, x (t), u(t)),

xi ( T ) libre,

i I,

x j ( T ) = x jT ,

j J,

xk ( T ) ak ,

k K.

x (0) = x0 ,
(3.38)

Teorema 3.18. Sea ( x (), u ()) una solucion del PCO (3.38). Entonces existen una
constante 0 0 y una funcion : [0, T ] Rn continua, diferenciable a trozos y con
derivada continua, que satisfacen la ecuacion
adjunta

(t) = Dx H(t, x (t), u (t), 0 , (t)),

(3.39)

las condiciones de frontera

i ( T ) = 0

S
( x ( T ), T ),
xi
51

i I,

(3.40)

las condiciones terminales

x j ( T ) = x jT ,

j J,

(3.41)

las condiciones de transversalidad

0

S
( T, x ( T )) k ( T ) 0, con igualdad si xk ( T ) > ak ,
xk

kK

(3.42)

y la maximizacion
del Hamiltoniano

H(t, x (t), u (t), 0 , (t)) =

max

uU (t,x (t))

{H(t, x (t), u, 0 , (t))},

(3.43)

donde

H(t, x, u, 0 , ) := 0 g(t, x, u) + f (t, x, u).

(3.44)

Las ecuaciones (3.39) y (3.43) se satisfacen para casi todo t [0, T ], mientras que

(0 , (t)) 6= 0 t [0, T ].

(3.45)

Observacion
3.19. En el Teorema 3.18 el Hamiltoniano esta dado por (3.44), e ste
es distinto al usado en el Teorema 3.4 ya que aparece el escalar 0 . En general, el
escalar 0 es positivo por lo que el Hamiltoniano (3.44) puede dividirse por 0 y
considerar /0 en lugar de .

Aunque en una gran mayora de libros sobre control optimo

asumen que 0 =
correcta del PMP con restricciones terminales debe incluir este
1, la formulacion
escalar con la posibilidad que 0 sea igual a cero (ver Ejercicio 3.24). Sin embargo,
para el problema (3.14) se tiene
tal como se demuestra en la siguiente proposicion,
que 0 6= 0, luego, el PMP es un caso particular del Teorema 3.18, con 0 = 1.
Proposicion
3.20. Para el PCO (3.14) el escalar 0 , del Teorema 3.18, es distinto de cero.

Demostracion. Supongase
que 0 = 0, por las condiciones de frontera (3.40) se tiene
que ( T ) = 0. Luego, (0 , ( T )) = (0, 0) lo que cotradice a (3.45).
Hamiltoniano de valor corriente

En algunas aplicaciones economicas

los beneficios se consideran en valor pre trabajar con problemas de la forma
sente, por lo que es comun
Z T

rt
rT
max
e g(t, x (t), u(t)) dt + e
S( T, x ( T ))
u()

s. a

x (t) = f (t, x (t), u(t)),

x ( T ) libre.

52

x (0) = x0 ,

(3.46)

Para este tipo de problemas es conveniente definir el Hamiltoniano de valor corriente

t, x, u, p0 , p) := g(t, x, u) + p f (t, x, u),
H(
(3.47)
donde
p(t) := ert (t).

(3.48)

El nombre para H viene de la igualdad H = ert H. A partir del Teorema 3.4 se

puede demostrar el siguiente resultado.
Teorema 3.21 (PMP con Hamiltoniano de valor corriente). Sea ( x (), u ()) una
solucion del PCO (3.46). Entonces existe una funcion : [0, T ] Rn continua, diferenciable a trozos y con derivada continua que satisface la ecuacion
adjunta
t, x (t), u (t), (t))
p (t) + rp(t) = Dx H(

(3.49)

junto con la condicion

de frontera
( T ) = D x S ( x ( T ), T ),

(3.50)

y la maximizacion
del Hamiltoniano
t, x (t), u (t), (t)) =
H(

max

uU (t,x (t))

t, x (t), u, (t))}.
{H(

(3.51)

Las ecuaciones (3.49) y (3.51) se satisfacen para casi todo t [0, T ].

Demostracion. Ejercicio 3.23.

Si en el problema (3.46) se agregan restricciones terminales multiples,

es decir,
se consideran problemas de la forma
Z T

rt
rT
max
e g(t, x (t), u(t)) dt + e
S( T, x ( T ))
u()

s. a

x (t) = f (t, x (t), u(t)),

xi ( T ) libre,

i I,

x j ( T ) = x jT ,

j J,

xk ( T ) ak ,

k K,

x (0) = x0 ,
(3.52)

entonces el Teorema 3.18 puede reescribirse de la siguiente forma.

Teorema 3.22. Sea ( x (), u ()) una solucion del PCO (3.52). Entonces existen una
constante p0 0 y una funcion p : [0, T ] Rn continua, diferenciable a trozos y con
derivada continua, que satisfacen la ecuacion
adjunta
t, x (t), u (t), p0 , p(t)),
p (t) + rp(t) = Dx H(
53

(3.53)

las condiciones de frontera

p i ( T ) = p0

S
( x ( T ), T ),
xi

i I,

(3.54)

las condiciones terminales

j J,

x j ( T ) = x jT ,

(3.55)

las condiciones de transversalidad

p0

S
( T, x ( T )) pk ( T ) 0, con igualdad si xk ( T ) > ak ,
xk

kK

(3.56)

y la maximizacion
del Hamiltoniano
t, x (t), u (t), p0 , p(t)) =
H(

max

uU (t,x (t))

t, x (t), u, p0 , p(t))},
{H(

(3.57)

donde
t, x, u, p0 , p) := p0 g(t, x, u) + p f (t, x, u).
H(

(3.58)

Las ecuaciones (3.53) y (3.57) se satisfacen para casi todo t [0, T ], mientras que

( p0 , p(t)) 6= 0 t [0, T ].

(3.59)

Horizonte temporal infinito

En el siguiente PCO se asume que la integral (impropia) converge para cualquier
par admisible ( x (), u())
Z

max
g(t, x (t), u(t)) dt
u()

s. a

x (t) = f (t, x (t), u(t)),

x (0) = x0 ,

lm xi ( T ) libre,

i I,

lm x j ( T ) = x jT ,

j J,

lm xk ( T ) ak ,

k K.

T
T

(3.60)

Teorema 3.23. Sean ( x (), u ()), () un par admisible y una funcion que satisfacen
satisfacen la ecuacion
adjunta

(t) = Dx H(t, x (t), u (t), 0 , (t)),

(3.61)

y la maximizacion
del Hamiltoniano

H(t, x (t), u (t), 0 , (t)) =

max

uU (t,x (t))

54

{H(t, x (t), u, 0 , (t))},

(3.62)

donde

H(t, x, u, 0 , ) := 0 g(t, x, u) + f (t, x, u).

(3.63)

Supongase que 0 = 1, U ( x, t) es convexo para todo ( x, t), H es una funcion concava en

( x, u) y para cualquier trayectoria de estado x ()
lm ( T ) [ x ( T ) x ( T )] 0.

(3.64)

Entonces ( x (), u ()) es o ptimo para el problema (3.60).

Demostracion. Por argumentos similares a los del Teorema 3.6 se tiene la desigualdad
Z T
0

g(t, x (t), u (t)) dt

Z T
0

g(t, x (t), u(t)) dt ( T ) [ x ( T ) x ( T )],

del teorema se sigue al hacer T y usar (3.64).

la conclusion
Observacion
3.24. En el Teorema 3.23 se supone que para cualquier par admisible
( x (), u()), existe el
lm

Z T

T 0

g(t, x (t), u(t)) dt,

sin embargo, en algunas aplicaciones la integral no siempre es convergente, cuando

e ste es el caso se consideran algunos otros criterios de optimalidad. Por ejemplo,

se dice que ( x (), u ()) es optimo

bajo el criterio de optimalidad rebasante (over
taking optimal) si para cualquier par admisible ( x (), u()) existe un numero
real
Tu tal que
Z T
0

g(t, x (t), u (t))

Z T
0

g(t, x (t), u(t)) 0

para todo T Tu .

Otros criterios son catching up optimal o sporadically catching up optimal, entre

completa sobre PCOs con horizonte infinito puede verse en
otros. Una discusion
Carlson et al. (1991).

3.6.

Ejercicios

lineal y
3.1 (Problemas LQ) Resuelva el siguiente problema con ley de transicion
costo cuadratico

Z T


2
2
2
max
[q( x (t)) + r (u(t)) ]dt + Q( x (t))  x (t) = ax (t) + bu(t), x (0) = x0 ,
u()

donde r > 0, q, Q 0, a, b R.
Sugerencia: Considere la funcion de valor V (t, x ) = k (t) x2 .

55

on de la ecuacion diferencial de Riccati

Respuesta: (t, x ) = k(t) bx
r , donde k es la soluci
2
k + 2ak = b k2 q con k( T ) = Q.
r

3.2 (Lab) Encuentre la estrategia markoviana optima

del siguiente problema

Z T


1
2
2 
max
(u(t)) dt + 2( x (t))  x (t) = x (t) + u(t), x (0) = x0 .
2
u()
0

Determine tambien el control optimo

de lazo abierto y la correspondiente
trayectoria de estado.
Respuesta: x (t) =

2x0 T 2t
e
2e T 1

t
x0
e2,
2e T 1
t

T 2 .
0
u (t) = 2e2x
T 1 e

3.3 Demuestre el Corolario 3.3.

de valor V (, x ), dada por (3.19), para el siguiente
3.4 (Lab) Encuentre la funcion
PCO

Z T


max
x (t)u(t) dt  x (0) = x0 , u(t) [1, 1] .
u()

no es diferenciable en x = 0 para < T.

Asimismo, demuestre que esta funcion
Respuesta: V (, x ) = ( T )2 /2 + ( T )| x |

3.5 Considere un mercado para un bien durable que consiste de varios consumidores por el lado de la demanda y una sola empresa por el lado de la oferta.
Sea el mercado potencial (total de posibles compradores) constante e igual a
M y denote por x (t) el porcentaje del mercado que ha comprado el producto
denote la intensidad de la publidel monopolista en el inatante t. Mas aun,
cidad hecha por la empresa al tiempo t por u(t) y asuma que los costos de
cuadratica u2 (t)/2.
publicidad estan dados por la funcion
(a) Interprete la siguiente dinamica para el estado
x (t) = u(t) M [1 x (t)].

(b) El objetivo es maximizar el numero

total de consumidores hasta el tiempo
T menos los costos totales en los que se incurre, i. e., el funcional objetivo
es
Z T
u2 ( t )
F (u()) :=
dt + x ( T ).
2
0
Muestre que u (t) = u para todo t [0, T ].
56


uMT
Respuesta: El control o ptimo u es tal que ue
= M.

3.3, se dice que esta en la

3.6 El PCO estandar (3.14), considerado en la Seccion
forma de Bolza. Considere la misma ley de movimiento pero ahora con un
funcional objetivo de la forma
S( x ( T )),
se dice que este funcional esta en la forma de Mayer. Una tercera forma para
el funcional objetivo es la de Lagrange
Z T
0

g(t, x (t), u(t)) dt.

Demuestre que las tres formulaciones son equivalentes, es decir, cada forma
del funcional objetivo puede expresarse en cualquiera de las otras dos.
Sugerencia: Ver Cerda Tena (2001) [Seccion 4.2, pp. 115118].

3.7 Resuelva el siguiente PCO, usando el PMP


Z 1


2

max
[ x (t) + u(t)]dt  x (t) = 1 u (t), x (0) = 1 .
u()

dinamica
3.8 Considere el siguiente problema de optimizacion

Z T




max
[q f (K (t)) c( I (t))]dt  K (t) = I (t) K (t), K (0) = K0 .
I ()

economica

(a) Formule una explicacion

para este PCO.
(b) Escriba las condiciones necesarias del PMP.
(c) Suponga que f (K ) = K 0.03K2 , q = 1, c( I ) = I 2 , = 0.1, K0 = 10 y

T = 10. Explique como

resolver el problema.
(d) Se verfican las condiciones suficientes de Mangasarian o Arrow?
3.9 Resuelva el siguiente PCO, usando el PMP

Z 1



max
[ x (t)]dt  x (t) = u(t), x (0) = 1 .
u(t)[1,1]

3.10 (Lab) Encuentre el control optimo

y la correspondiente trayectoria de estado
del siguiente PCO

Z 1

x2 (t) 
max

dt  x (t) = u(t), x (0) = 1 .

2
u(t)[1,1]
0
57


() del siguiente
3.11 Usando el PMP, encuentre el control optimo
y la funcion
PCO


Z 2

2

max
(2x (t) 3u(t) u (t))dt  x (t) = u(t) + x (t), x (0) = 5 .
u(t)[0,2]

3.12 Considere el PCO estandar en el caso autonomo,

i. e., se quiere maximizar (3.4)
sujeto a (3.3). Suponga que el cada conjunto U ( x (t)) es abierto. Demuestre que

conel Hamiltoniano, evaluado en las trayectorias optimas,

es una funcion
stante.
Sugerencia: Ver Kamien y Schwartz (1991) [Ejercicio II.2.8, p. 132].

continua, tal que

3.13 (Lab) Sea f : [t0 , t1 ] Rn una funcion
Z t1
t0

h f (t), g(t)i dt = 0

g : [t0 , t1 ] Rn de clase C 2 con g(t0 ) = g(t1 ) = 0.

para cualquier funcion
Demuestre que f (t) 0 en todo su dominio.
Sugerencia: El caso escalar puede verse en Sydster et al. (2008) [Teorema 8.3.2, p. 296].

3.14 (Lab) Demuestre el Teorema 3.11.

de Euler, la condicion
de transversali3.15 Suponga que x () satisface la ecuacion

dad (3.29) y F es concava.

Demuestre que estas tres condiciones son suficientes

para que x () resuelva el problema (3.28).

del modelo de Ramsey
3.16 Considere la siguiente version

Z T



rt
max
U ( f (K (t)) K (t))e dt  K (0) = K0 , K ( T ) = KT .
K ()

de utilidad y la de produccion
satisfacen las siguientes
Suponga que la funcion
condiciones
f 0 > 0, f 00 0, U 0 > 0, U 00 < 0
(3.65)

(a) Interprete economicamente

las hipotesis
dadas por (3.65).

(b) Demuestre que las trayectorias optimas

cumplen la siguiente relacion
C
r f 0 (K )
=
,
C

donde := CU 00 (C )/U 0 (C ) es la elasticidad de la utilidad marginal.

58

(c) Empricamente se ha estimado 0.6, demuestre que

C
f 0 (K ) > r
C

e interprete economicamente
la ultima
expresion.

3.17 Determine la trayectoria optima

del capital para el problema anterior si f (K ) =
1

bK y U (C ) = C
/(1 ), donde b, > 0, 6= 1 y b 6= b r.
3.18 Un monopolista enfrenta el siguiente PCO
Z T
max
[ pD ( p, p ) b( D ( p, p ))]
p()




 p (0) = p0 , p ( T ) = p T .


(a) Si p(t) representa el precio del bien producido en el tiempo t, interprete

economicamente
las funciones D (, ) y b().
de Euler asociada a este problema.
(b) Encuentre la ecuacion
de Euler si b(q) = q2 + q + y D ( p, p ) = Ap +
(c) Resuelva la ecuacion
B p + C, suponga que todos los parametros son positivos.
3.19 Una empresa tiene que entregar B unidades de un bien en la fecha T. Sea x (t)
el nivel de inventario de dicho bien en el tiempo t. Suponga que el costo por
almacenar x (t) unidades es ax (t) por unidad de tiempo. Ademas la empresa
u(t) = x (t), e stos son iguales
incurre en costos por la velocidad de produccion
2

a b(u(t)) . Las constantes a, b son numeros

positivos. El PCO de la empresa es

Z T


2
mn
[ ax (t) + bu (t)]dt  x (t) = u(t), x (0) = 0, x ( T ) = B, u(t) 0 .
u()

(a) Suponga que 0 = 1. Escriba las condiciones necesarias del PMP.

(b) Encuentre el control optimo

para el problema.
del control optimo

(c) Explique la intuicion

cuando B < aT 2 /4b.
Sugerencia: Considere dos casos (i) B aT 2 /4b, y (ii) B < aT 2 /4b.
Respuesta: (i) u (t) = a(2t T )/4b + B/T, para todo t [0, T ],

(ii) u (t) = 0 en [0, t ], u (t) = a(t t )/2b en (t , T ], donde t = T 2 bB/a.

3.20 Considere la siguiente variante del modelo de Ramsey


Z T


max
U (c(t))dt  f (k (t)) = c(t) + k (t) + k(t), k (0) = k0 , k ( T ) = k T .
c()

de utilidad y la de produccion
satisfacen las siguientes
Suponga que la funcion
condiciones
f 0 > 0, f 00 0, f (0) = 0, f 0 (0) > , U 0 > 0, U 00 < 0.
59

 de Euler.
(a) Escriba la correspondiente ecuacion
(b) En particular, si U (c) = c1 /(1 ), con positivo y distinto de 1, de
muestre que las trayectorias optimas
para el consumo y el capital estan
dadas por el sistema de ecuaciones diferenciales
k = f (k) k c
c 0
c =
( f ( k ) ).

(c) Bosqueje un diagrama de fase alrededor del punto de equilibrio5 (k , c ),

donde f 0 (k ) = y c = f (k ) k . Explique por que este equilibrio
corresponde a un punto silla.
Sugerencia: Ver Lomel y Rumbos (2003) [Seccion 11.3, pp. 327334].

de beneficios
3.21 Una fabrica de microchips desea maximizar la siguiente funcion
Z 5
0

[K (t) K2 (t) I 2 (t)/2]dt,

bruta. Dada la naturaleza de esta

donde K es el capital e I es la inversion
empresa, el capital se deprecia a una tasa muy alta del 50 % por lo que su
de evolucion
es
ecuacion
K (t) = I (t) 0.5K (t).
Inicialmente K (0) = 0 y se desea que K (5) = 10.

(a) Encuentre las trayectorias optimas

para el capital y la inversion.
(b) Resolver el problema si K (5) esta libre.
(c) Probar que el punto de equilibrio es un punto silla.
de noviazgo, Miguel y Rosita se unen en feliz matrimonio.
3.22 Despues de anos
Deciden llevar una vida poco ortodoxa en la cual planean nunca tener hijos y
vivir hasta sus bodas de oro (cuando cumplan 50 anos
de matrimonio). La
solo

de utilidad de este matrimonio esta dada por U (c) = 2 c, donde c

funcion
representa el consumo.
Asimismo, poseen una tasa de descuento temporal dada por . Sus ingresos
reales provienen de dos fuentes: el ingreso laboral w y ra(t) que corresponde a
los rendimientos reales de una cantidad a(t) de activos con una tasa de interes
r; tanto w como r se suponen constantes. Sus egresos reales son el consumo c

de activos a.
y la acumulacion
de Miguel y Rosita si a(0) = 0 y
Resolver el problema de maximizacion
a(50) = 0.
5 El

par (k , c ) no es el unico
punto de equilibrio, sin embargo, es el de mayor interes.

60

3.23 Demuestre el Teorema 3.21.

3.24 Aplique el Teorema 3.18 en el siguiente problema y demuestre que 0 = 0

Z 1


2
max
u(t) dt  x (t) = u (t), x (0) = 0, x (1) = 0, u R .
u()

3.25 Considere un consumidor que espera vivir T anos.

Sea c(t) su gasto en con para el ingreso.
sumo en el instante t y y(t) su prediccion
(a) Si r (t) denota la tasa instantanea de interes en el tiempo t, interprete

diferencial
economicamente
la siguiente ecuacion
w (t) = r (t)w(t) + y(t) c(t),

w ( 0 ) = w0 ,

(3.66)

donde w(t) representa la riqueza en el tiempo t.

(b) Suponga que este consumidor tiene un factor de descuento > 0 y una
utilidad U (c(t)) que depende del consumo en el instante t, escriba el PCO
correspondiente. Asuma que U 0 (c) > 0 y U 00 (c) < 0 para todo c. Imponga
terminal w( T ) 0, que interpretacion
economica

la restriccion
puede dar

para esta restriccion?

(c) Use el Teorema 3.18, con 0 = 1, para demostrar que la variable adjunta,
(t), es igual al valor presente de la utilidad marginal.
(d) Suponga que r (t) = r, es decir, la tasa de interes es constante y ademas
Pruebe
= r. Demuestre que el consumo es constante, digamos c (t) = c.
tambien que


Z t
c

rt
rs
rt
w ( t ) = e w0 +
e y(s) ds (1 e ) .
(3.67)
r
0
de transversalidad para probar que w ( T ) = 0.
(e) Use la condicion

(f) Con el inciso anterior y (3.67) determine c.

3.26 Para el PCO planteado en el Ejercicio 3.25 (b), suponga que
(
( c c )1
si 6= 1
(1 )
U (c) =
ln(c c) si = 1.
El escalar c puede interpretarse como un nivel mnimo de consumo para la
supervivencia.
(a) Para > 0, demuestre que la elasticidad de la utilidad marginal (ver Ejercicio 3.16 (b)) es igual a .
61

(b) Use el Teorema 3.18, con 0 = 1, para demostrar que

c (t) = c + [e t (t)]1/ .
para w (t) y verifique
(c) Suponga que r (t) = r y encuentre una expresion
que w ( T ) = 0.
(d) Determine la monotona de la trayectoria de consumo cuando > r y

< r. Interprete economicamente.

3.27 Use el Teorema 3.18, con 0 = 1, para resolver el siguiente PCO

Z 1


2

max
[2x (t) x (t)] dt  x (t) = u(t), x (0) = 0, x (1) = 0, u [1, 1] .
u()

3.28 Para el PCO del inciso anterior, demuestre que 0 > 0.

3.29 Resuelva el siguiente PCO con dos variables de estado y una de control

Z T


2

max
[ x + y u /2]  x (t) = y(t), y (t) = u(t), x (0) = y(0) = 0 .
u()

62

4.

Referencias

Aliprantis, C. D., Border, K. C. (2006). Infinite Dimensional Analysis. 3a ed. SpringerVerlag.

Arkin, V. I., Evstigneev, I.V. (1987). Stochastic Models of Control and Economic Dynamics. Academic Press.
Benveniste, L., Scheinkman, J. (1979). On the Differentiability of the Value Function in Dynamic Models of Economics. Econometrica 47, pp. 727732.
Bertsekas, D. P. (2000). Dynamic Programming and Optimal Control, V. I. 2nd ed.
Athena Scientific.
Carlson, D. A., Haurie, A., Leizarowitz, A. (1991). Infinite horizon optimal control:
deterministic and stochastic systems. 2nd ed. SpringerVerlag.
Cerda Tena, E. (2001). Optimizacion Dinamica. Prentice Hall.
Cerda, E., Jimeno, J. L., Perez, J.(2004) Teora de Juegos. Prentice Hall.
Chow, G. C. (1993). Optimal control without solving the Bellman equation. J. Econ.
Dyn. Control. 17, pp. 621630.
Chow, G. C. (1997). Dynamic Economics: Optimization by the Lagrange Method. Oxford University Press.
Cruz-Suarez, H., Montes-de-Oca, R. (2008). An envelope theorem and some applications to discounted Markov decision processes. Math. Meth. Oper. Res.
67, pp. 299321.
Debreu, G. (1973). Teora del valor: un analisis axiomatico del equilibrio economico.
Antoni Bosch.
Dockner, E.J., Jorgensen, S., Long, N.V., Sorger, G. (2000). Differential Games in
Economics and Management Science. Cambridge University Press.
Fleming, W. H., Rishel, R. W. (1975). Deterministic and Stochastic Optimal Control.
SpringerVerlag.
Franklin, J. (1980). Methods of Mathematical Economics. SpringerVerlag.
Fudenberg, D., Tirole, J. (1991). Game Theory, MIT Press.
Gamkrelidze, R. V. (1978). Principles of optimal control theory. Plenum.

63

Grass, D., Caulkins, J. P., Feichtinger, G., Tragler, G., Behrens, D. A. (2008). Optimal
Control of Nonlinear Processes. With Applications in Drugs, Corruption and Terror.
SpringerVerlag.
HernandezLerma, O., Lasserre, J. B. (1996). DiscreteTime Markov Control Processes: Basic Optimality Criteria. SpringerVerlag.
Ichiishi, T. (1983). Game theory for economic analysis. Academic Press.
Kamien, M. I., Schwartz, N. L. (1991). Dynamic optimization: the calculus of variations
and optimal control in economics and management. 2nd ed. NorthHolland.
Kreps, D. M. (1995). Curso de teora microeconomica. McGrawHill.
Lomel, H., Rumbos, B. (2003). Metodos dinamicos en economa. Otra busqueda

del
tiempo perdido. International Thomson Editores.
Ljungqvist, L., Sargent, T. J. (2004). Recursive Macroeconomic Theory. 2nd ed. MIT
Press.
Mas-Colell, A., Whinston, M. D., Green, J. R. (1995). Microeconomic Theory. Oxford
University Press.
McCarty, N., Meirowitz, A. (2007). Political Game Theory. Cambridge University
Press.

Munkres, J. R. (2002). Topologa. 2a ed. Pearson Educacion.

Ok, E. A. (2007). Real Analysis and Economic Applications. Princeton University
Press.
Ramsey, F.P. (1928). A mathematical Theory of Saving. The Economic Journal 38,
pp. 543559.

Rasmusen, E. (1996). Juegos e Informacion, Fondo de Cultura Economica.

Rudin, W. (1976). Principles of Mathematical Analysis. 3a ed. McGraw-Hill.
Sargent, T. J. (1987). Dynamic Macroeconomic Theory. Harvard University Press.
Seierstad, A., Sydster, K. (1987). Optimal Control Theory with Economic Applications. NorthHolland.
Sethi, S. P., Thompson, G. L. (2000). Optimal Control Theory: Applications to Management Science and Economics, 2nd Edition. Kluwer, Boston.
Stokey, N. L., Lucas, R. E. Jr., with Prescott, E. C. (1989). Recursive methods in
economic dynamics. Harvard University Press.
64

Sundaram, R. K. (1996). A First Course in Optimization Theory. Cambridge University Press.

Sydster, K., Hammond, P. J., Seierstad, A., Strm, A. (2008). Further mathematics
for economic analysis. 2nd ed. Prantice-Hall.
Varian, H. R. (1992). Analisis microeconomico. 3a ed. Antoni Bosch.
Yeung, D. W. K., Petrosyan, L. A. (2006) Cooperative Stochastic Differential Games.
Springer-Verlag.

65