Вы находитесь на странице: 1из 6

Universidad Nacional Mayor de San Marcos Facultad de Ciencias EconÛmicas

Taller de Macrodin·mica

ProgramaciÛn Din·mica

Miguel Ataurima Arellano

mataurimaa@economia.unmsm.pe

miguel.ataurima@pucp.edu.pe

mataurimaa@uni.pe

Febrero 2011

En este artÌculo se presentan ideas y mÈtodos b·sicos de la programaciÛn din·mica. Se establecen los elementos b·sicos de un problema de optimizaciÛn recursivo, se describe el funcionamiento la ecuaciÛn (la ecuaciÛn de Bellman), se presenta tres mÈtodos para resolver la eecuaciÛn de Bellman, y se da la fÛrmula de Benveniste-Scheinkman de la derivada de la funciÛn de valor Ûptima.

1 El Problema Secuencial

Sea 2 [0 ; 1] un factor de descuento. Se desea escoger una secuencia inÖnita de controles

1

fu t g =0 = fu 0 ;u 1 ;:::g

t

para maximizar

 

1

X

 

t

=0

sujeto a

t r ( x t ;u t )

x t +1 = g ( x t ;u t )

(1)

con x 0 dado. Asumimos que r ( x t ;u t ) es una funciÛn cÛncava y que el conjunto

( x t +1 ;x t ) : x t +1 g ( x t ;u t ) ; u t 2 R k

es convexo y compacto. La programaciÛn din·mica busca encontrar una funciÛn de polÌtica h invariante en el tiempo que mapee el estado x t en el control u t , de tal manera que la secuencia fu s g =0 generada mediante la iteraciÛn de las siguientes dos funciones

1

s

u t = h ( x t )

x t +1 = g ( x t ;u t )

(2)

iniciando desde la condiciÛn inicial x 0 en t = 0 , resuelva el problema general Una soluciÛn de la forma de las ecuaciones (2) se dice que es recursiva . Para encontrar la funciÛn de polÌtica h necesitamos conocer una funciÛn V ( x ) que exprese el valor Ûptimo del problema original, iniciando desde una condiciÛn arbitraria x 2 X . Esta es la llamada funciÛn valor . En particular, deÖnimos

V ( x 0 ) = max

f u s g

1

s =0

1

1

X

t =0

t r ( x t ;u t )

(3)

Taller de Macrodin·mica

ProgramaciÛn Din·mica

donde una vez mas, la maximizaciÛn est· sujeta a

x t +1 = g ( x t ;u t )

con x 0 dado. Como es de esperarse, no podemos conocer V ( x 0 ) hasta despuÈs de haber resuelto el problema, sin embargo, vamos a proceder con fÈ. Si conociÈcemos V ( x 0 ) , entonces la funciÛn de polÌtica h puede ser calculada resolvendo para cada x 2 X el problema

(4)

max fr ( x; u ) + V ( xe) g

u

sujeto a

v = g ( x; u )

con x dado, y xe denota el estado del periodo siguiente. AsÌ, hemos intercambiado el problema original de encontrar una inÖnita secuencia de controles que maximizan la expresiÛn (1) por el problema de encontrar la funciÛn valÛr Ûptima V ( x ) y una funciÛn h que resuelva la continuidad de los problemas de maximizaciÛn (4) - un problema de maximizaciÛn para cada valor de x . Este intercambio no parece un progreso, pero veremos que a menudo si lo es. Nuestro trabajo se convertido a resolver en forma conjunta para V ( x ) , h ( x ) , que est·n asociados por la ecuaciÛn de Bellman

(5)

El maximizador del lado derecho de la ecuaciÛn (5) es la funciÛn de polÌtica h ( x ) que satisface

(6)

La ecuaciÛn (5) o (6) es una ecuaciÛn funcional a ser resuelta para el par de funciones desconocidas

V ( x ) ;h ( x ) .

V ( x ) = max fr ( x; u ) + V ( g ( x; u )) g

u

V ( x ) = r ( x; h ( x )) + V ( g ( x; h ( x )))

Los mÈtodos de soluciÛn de la ecuaciÛn de Bellman est·n basados en estructuras matem·ticas que varÌan en sus detalles dependiendo de la naturaleza de la precisiÛn de las funciones r y g:

Todas estas estructuras contienen versiones de las siguientes cuatro. Bajo varios supuestos particu-

lares acerca de r y g , resulta que:

1. La ecuaciÛn funcional (5) es una ˙nica soluciÛn estrÌctamente cÛncava.

2. Esta soluciÛn es aproximada en el lÌmite cuando j ! 1 mediante iteraciones en

sujeto a

V j +1 ( x ) = max fr ( x; u ) + V j ( xe) g

u

xe = g ( x; u )

con x dado, iniciando desde cualquier valor inicial V 0 acotado y contÌnuo.

3. Existe una ˙nica polÌtica Ûptima e invariante en el tiempo de la forma u t = h ( x t ) , donde h es elegido para maximizar el lado derecho de (5)

4. Fuera de las esquinas, la funciÛn de valor lÌmite V dada por la ecuaciÛn (6) es diferenciable respecto

a x

V 0 ( x ) =

V 0 ( x ) =

@x @ r ( x; h ( x ))

@x @ r ( x; h ( x ))

@

+ @x V ( g ( x; h ( x )))

+

@

V 0 ( g ( x; h ( x ))) @x g ( x; h ( x ))

(7)

Esta es una versiÛn de una fÛrmula de Benveniste y Scheinkman (1979).

A menudo nos encontraremos estableciendo en cual la ley de transiciÛn puede ser formulada de tal

@g

manera que el estado x no aparezca en ella, o sea que @x = 0 , de tal manera que la ecuaciÛn (7) se convierta en

V

@

0 ( x ) = @x r ( x; h ( x ))

y por lo tanto

V

@

0 ( xe) = @xe r ( x;e h ( xe))

(8)

Taller de Macrodin·mica

ProgramaciÛn Din·mica

1.1 La EcuaciÛn de Euler

En diversos problemas, no hay una forma ˙nica de deÖnir los estados y controles, y varias diversas deÖniciones alternativas que conducen a la misma soluciÛn del problema. A veces los estados y los

controles pueden ser deÖnidos de tal manera que x no aparece en la ecuaciÛn de transiciÛn, de modo que

@g

@x

= 0 . En este caso, la condiciÛn de primer orden (CPO) para el problema en el lado derecho de la ecuaciÛn

de Bellman

V ( x ) = max fr ( x; u ) + V ( g ( x; u )) g

u

en relaciÛn con la FÛrmula de Benveniste-Scheinkman implica que

@

@u fr ( x; u ) + V ( g ( x; u )) g = 0

o sea

@

@

@u r ( x; u ) + V 0 ( g ( x; u )) @u g ( x; u ) = 0

como xe = g ( x; u ) entonces

V 0 ( g ( x; u )) = V 0 ( xe)

y

@

por el Teorema de la Envolvente V 0 ( xe) = @xe r ( x;e h ( xe)) , entonces

V

V

0 ( g ( x; u ))

=

0 ( g ( x; u )) =

@

@xe r ( x;e h ( xe)) @

@xe r ( x;e ue)

(9)

(10)

reemplazando (10) en (9) obtenemos la EcuaciÛn de Euler

@

@

@

@u r ( x; u ) + @xe r ( x;e ue) @u g ( x; u ) = 0 ;

xe = g ( x; u )

Bajo circunstancias en las que la segunda ecuaciÛn puede ser invertida para obtener u como una funciÛn de xe, usando la segunda ecuaciÛn para eliminar u desde la primera ecuaciÛn produce una ecuaciÛn en diferencia de segundo orden, a partir de la eliminaciÛn de ue se determina x:e e

2 Los Problemas de Control Estoc·stico

Consideraremos ahora una modiÖcaciÛn al problema (1) para permitir incertidumbre . Esencialmente, aÒadiremos algunos choques (bien ubicados) a los problemas anteriores no estoc·sticos. En tanto que los choques son de forma independiente e idÈnticamente distribuidas o de Markov, las sencillas modiÖcaciones al mÈtodo para el manejo del problema no estoc·stico funcionar·. AsÌ, modiÖcamos la ecuaciÛn de transiciÛn y consideramos el problema de maximizaciÛn

E

0

1

X

t =0

t r ( x t ;u t ) ;

0 < < 1

(11)

sujeto a

(12)

con x 0 conocido y dado en t = 0 , donde t es una secuancia de variables aleatorias distribuidas indepen- diente e identicamente distribuidas con una distribuciÛn de probabilidad acumulada

x t +1 = g ( x t ;u t ; t +1 )

Pr [ t e ] = F ( e )

para todo t ; E t ( y ) denota la expectativa matem·tica de una variable aleatoria y , dada la informaciÛn conocida en t . En el instante t , x t se asume conocido pero x t +j ; j 1 no es conocida en t . Esto es, t +1 es realizado en ( t + 1) , despues u t ha sido elegido en t . En el problema (11) - (12) la incertidumbre es inyectada asumiendo que x t sige una ecuaciÛn en diferencia aleatoria. El problema (11) - (12) contin˙a teniendo una estructura recursiva, derivados en forma conjunta a partir de la separabilidad del a funciÛn objetivo (11) en pares ( x t ;u t ) y desde la caracterizaciÛn en la

Taller de Macrodin·mica

ProgramaciÛn Din·mica

ecuaciÛn en diferencia de la ley de transiciÛn (12) . En particular, los controles de fecha t afectan los resultados r ( x s ;u s ) para s t pero no tempranamente. Esta caracterÌstica implica que los mÈtodos de programaciÛn din·mica siguen siendo apropiados. El problema es maximizar la expresiÛn (11) sujeto a la ecuaciÛn (12) mediante la elecciÛn de una polÌtica o plan de contingencia u t = h ( x t ) . La EcuaciÛn de Bellman se convierte en

V ( x ) = max fr ( x; u ) + E [ V ( g ( x; u; )) j x ] g

u

(13)

donde E [ V ( g ( x; u )) j x ] = R V ( g ( x; u )) dF ( ) y donde V ( x ) es el valor Ûptimo del problema a partir de x en t = 0 . La soluciÛn V ( x ) de la ecuaciÛn (13) puede ser calculada mediante iteraciones con

V j +1 ( x ) = max fr ( x; u ) + E [ V j ( g ( x; u; )) j x ] g

u

iniciando desde cualquier valor inicial V 0 acotado y continuo. Bajo varias condiciones particulares de regularidad, se obtienen versiones de las mismas cuatro propiedades listadas anteriormente.

2.1 La EcuaciÛn Estoc·stica de Euler

La CondiciÛn necesaria de Primer Orden (CPO) para el problema del lado derecho de la ecuaciÛn (13) es

@u @ fr ( x; u )

+ E [ V j ( g ( x; u; )) j x ] g = 0

@u r ( x; u ) + E V 0 ( g ( x; u; )) @u g ( x; u; ) x = 0

@

@

Èsta es obtenida simplemente diferenciando el lado derecho de la ecuaciÛn (13) , pasando la operaciÛn de diferenciaiciÛn bajo el operador E (una integraciÛn). Fuera de las esquinas, la funciÛn objetivo satisface

V 0 ( x ) = @x r ( x; h ( x )) + E V 0 ( g ( x; h ( x ) ; )) @x g ( x; h ( x ) ; )

@

@

x

@g

En el caso especial en el que @x = 0 , la fÛrmula para V 0 ( x ) se convierte en

V

V

0 ( x ) =

0 ( xe) =

@x @ r ( x; h ( x ))

@xe @ r ( x;e h ( xe))

Sustituyendo esta fÛrmula en la CPO para el problema, se obtiene la EcuaciÛn Estoc·stica de Euler

@

@u r ( x; u ) + E

@x r ( x;e ue) @u g ( x; u; ) x = 0

@

@

donde las tildes sobre x y u denotan los valores del siguiente periodo.

Taller de Macrodin·mica

ProgramaciÛn Din·mica

3 Problemas

En cada uno de los siguiente problemas, identiÖque:

1. Las variables de estado y de control

2. La EcuaciÛn de Bellman

3. Las Condiciones de Optimalidad

(a)

Teorema de la Envolvente (Benveniste y Scheinkman)

(b)

CondiciÛn de Primer Orden

4. La EcuaciÛn de Euler

Problema 1

sujeto a

con a 0 dado.

Problema 2

sujeto a

con k 0 dado.

Problema 3

sujeto a

con y 0 y b 0 dados.

Problema 4

sujeto a

con k 0 dado.

f

max

c t ;a t +1 g

1

t =0

1

X

t =0

t u ( c t )

Ra t a t +1 + c t

f

max

c t ;k t +1 g

1

t =0

1

X

t =0

t u ( c t )

c t + k t +1 = f ( k t )

max

f c t ;b t +1 g

1

t =0

1

X

t =0

t u ( c t )

c t + b t +1

b t +1 + y t

b t +1 b

max

f k t +1 ;c t g

1

t =0

1

X

t =0

t ln ( c t )

k t +1 + c t = Ak

t

Taller de Macrodin·mica

ProgramaciÛn Din·mica

Problema 5

sujeto a

con a 0 dado.

max

f c t ;a t +1 g

1

t =0 E 0 "

1

X

t

=0

t u ( c t ) #

a t +1 + c t

y t +1

= f ( y t ; t +1 )

Ra t + y t

t +1 iid 0; 2

Problema 6

max

f c t ;s t +1 g

1

t =0 E 0 "

1

X

t

=0

t u ( c t ) #

sujeto a

c t + p t slt + 1 = ( d t + p t ) s t

donde d son los dividendos, p es el precio de una acciÛn, s es la participaciÛn en un activo. En equilibrio

de mercado s = 1 o c t = d t , p t = p d t donde d t sigue un proceso markoviano d t = fd l ;d h g sabiendo

que

Pr [ d t +1 = d l jd t = d l ] = Pr [ d t +1 = d h jd t = d h ] = p

siendo 0 < d l <d h y 0: 5 <p< 1.

+

4 BilbiografÌa

Sargent, Thomas. Dynamic Macroeconomic Theory, Harvard University Press, Chapter 1. 1987.

Sargent, Thomas. Recursive Macroeconomic Theory, Second edition, MIT 2000, Chapter 3: Dy- namic Programming

Stokey, N. and Lucas, R., with Prescott, E. Recursive Methods in Economic Dynamics, Harvard University Press, 1989.