Elementos de Programacin Dinmica

GP-202

1











FACULTAD DE INGENIERA INDUSTRIAL Y DE SISTEMAS



MICROECONOMA
Profesor:
MIRANDA TORRES, Cesar
Alumno:
TASAYCO MARTINEZ, Miguel Angel 20114056J


UNIVERSIDAD NACIONAL DE INGENIERA

Lima - Per
ELEMENTOS DE PROGRAMACIN
DINMICA
Elementos de Programacin Dinmica
GP-202

2


ELEMENTOS DE PROGRAMACIN
DINMICA
INTRODUCCIN
Las dificultades que presentaba la resolucin de determinados problemas de
gestin de stocks determinaron el nacimiento, a comienzos de la dcada de los
cincuenta, de la programacin dinmica. R. Bellman descubri el principio de
optimizacin de esta gama de problemas, a los que denomin programas
dinmicos. Los problemas de Programacin dinmica son problemas de decisin
por etapas o de carcter secuencial; problemas en los que la variable tiempo es
relevante, y en los que las decisiones tomadas en un estado o fase del
sistema condicionan las decisiones a tomar en los siguientes.
Si consideramos al tiempo como variable discreta, o sea t toma valores en el
conjunto {0, 1,. . ., n,. . .}, la estructura recursiva del principio de optimalidad
resulta sumamente til. La idea es resolver para el ltimo periodo, despus para
los dos ltimos periodos, luego para los tres ltimos y as sucesivamente. Cuando
el nmero de periodos es grande, este mecanismo resulta extremadamente
complejo, pero hoy en da una gran cantidad de problemas pueden resolverse
mediante el uso de computadoras.
ESTRUCTURA DEL PROBLEMA
Para simplificar la exposicin, consideremos nicamente un estado x y un
control u.
Sean:
F = {f
t
: D R | D R
2
, t = 0, ..., T},
G = {g
t
: E R | E R
2
, t = 0, ..., T},
Dos familias de funciones de clase C2, y sean:
x : {0, ..., T + 1} R,
u : {0, ..., T} R,
Dos funciones.
Denotemos por x
(t)
= x
t
y u
(t)
= u
t
y, como antes, decimos que x es la variable
de estado y u la de control. Finalmente sea V
T+1
una funcin con dominio e
Elementos de Programacin Dinmica
GP-202

3


imagen en R, de clase C2. La estructura general del problema de programacin
dinmica es escoger u y x que resuelvan:

sujeto a x
k+1
= g
k
(x
k
, u
k
), k = 0, ..., T,
x
0
y x
T+1
dados.
El equivalente de la funcin valor es ahora:

que representa, igual que antes, el mximo a partir del periodo t {0, ..., T}. El
principio de optimalidad de Bellman se expresa con lo que usualmente se conoce
como ecuacin de Bellman, que es:
V
t
(x
t
) = max{f
t
(x
t
, u
t
) + V
t+1
(x
t+1
)}

PROBLEMAS CON DESCUENTO TEMPORAL
Sea la tasa de descuento temporal. El problema general, con el estado final
libre, se puede plantear ahora como

sujeto a x
k+1
= gk(x
k
, u
k
),
x
0
dado, x
T+1
libre.
De manera que la ecuacin de Bellman es:
V
t
(x
t
) = max{
t
f
t
(x
t
, u
t
) + V
t+1
(x
t+1
)},
x
t+1
= g
t
(x
t
, u
t
), x
t
dado.
en donde la funcin valor V
t
(x
t
) se mide en unidades al tiempo t = 0 y
1
1
|

+

es el factor de descuento temporal. Si expresamos a la funcin valor en unidades
del periodo t, esta ecuacin queda como:
V
t
(x
t
) = max{f
t
(x
t
, u
t
) + V
t+1
(x
t+1
)},
Elementos de Programacin Dinmica
GP-202

4


La funcin V
t
es la funcin valor en tiempo corriente t y se relaciona con la
funcin valor en tiempo presente V
t
(donde V
t
se mide en unidades del tiempo
inicial t = 0) mediante V
t

t
= V
t
. Siempre que exista el factor de descuento
consideraremos la funcin valor y la ecuacin de Bellman en tiempo corriente.
Abusando de la notacin, al igual que en el caso de los hamiltonianos en tiempo
corriente y en tiempo presente, la denotaremos simplemente por V
t
.
Las condiciones de primer orden se reescriben ahora como:

De esta forma se introduce el descuento temporal de manera trivial.
Normalmente tendremos que es la tasa subjetiva de descuento o bien la tasa
real r. En economa, es comn que las funciones f
k
y g
k
no dependan
explcitamente del tiempo, de manera que el problema es casi autnomo pues
el tiempo slo aparece como potencia en el factor de descuento. Al igual que en
el caso continuo, la funcin valor en tiempo corriente transforma al problema en
uno autnomo. Por esta razn, de aqu en adelante omitiremos el subndice t en
la funcin valor en tiempo corriente.

PROBLEMAS CON HORIZONTE INFINITO
Al igual que en el caso de tiempo continuo, cuando el horizonte es infinito se
debe poder garantizar la convergencia de la serie . Si existe un
factor de descuento (0, 1), la convergencia se da si ft es acotada (misma
cota para toda t) o creciente, siempre y cuando converja. Dado
que en economa casi siempre aparece el factor de descuento, suponemos que el
problema general est dado por

Sujeto a x
t+1
= g
t
(x
t
, u
t
), x
0
dado.
Elementos de Programacin Dinmica
GP-202

5


No tiene sentido empezar con el ltimo periodo y proceder recursivamente hacia
t = 0 dado que no hay un periodo terminal. No obstante, la funcin valor se
define, igual que antes, como el mximo a partir del periodo t, es decir:

La ecuacin de Bellman es, una vez ms. Como sta slo involucra dos periodos
de tiempo, las condiciones de primer orden son las mismas que en el teorema
anterior. De las dos primeras condiciones se puede eliminar V
t
para obtener una
expresin anloga a la ecuacin de Euler utilizada en clculo en variaciones.

MODELO RAMSEY DISCRETO
El modelo neoclsico de crecimiento o modelo de Ramsey no es nada ms que
una generalizacin del modelo de eleccin inter-temporal con la nica diferencia
de que se considera un nmero infinito de periodos. Por lo tanto, el problema de
eleccin del individuo se formula de forma similar, incrementando el nmero de
periodos de T a y tenemos que:

Sujeto a la restriccin presupuestal:
f(kt1) = ct + kt + kt1, k0 > 0 dado
El lagrangiano es ahora:

y por lo tanto las condiciones de primer orden son las mismas que para el
modelo con T periodos.
La diferencia ms importante al considerar un nmero infinito de periodos es
que la condicin de transversalidad no puede imponer que el capital sea cero en
un periodo concreto. Por esta razn la condicin de transversalidad incluida en el
problema de maximizacin con infinitos periodos establece que el valor presente
del capital a medida que nos alejamos del momento inicial tienda a cero. Dicho
en otras palabras, en un problema de optimizacin con restricciones el
multiplicador
t
representa el valor de aumentar en una unidad el stock de
Elementos de Programacin Dinmica
GP-202

6


capital en el ptimo, y por lo tanto el valor de K
t+1
en el momento t = 0 es
1
0
( )
t
t
K

+
. Este valor debe tender a cero a medida que t crece.
PROGRAMACIN DINMICA ESTOCSTICA
Al igual que en el caso de ecuaciones en diferencias, la introduccin de ciertos
tipos de incertidumbre es relativamente sencilla en el caso discreto. Si tomamos
al tiempo como una variable continua, necesitamos tcnicas de clculo
estocstico para poder incorporar incertidumbre en los modelos; sin embargo,
en tiempo discreto el problema se simplifica enormemente. sta es la razn
fundamental del uso de programacin dinmica en economa.
El problema que se considerar aqu es el siguiente:

sujeto a x
t+1
= g(x
t
, u
t
,
t
), x
0
dado,
en donde {
t
} es una sucesin de variables aleatorias independientes,
idnticamente distribuidas (IID) y, E
t
(.) denota la esperanza matemtica dada la
informacin en el periodo t. Es decir, si I
t
es el conjunto de informacin
disponible al principio del periodo t, entonces:
E
t
(X) = E(X | I
t
).
La incertidumbre entra en el problema anterior mediante la ecuacin estocstica
en diferencias, x
t+1
= g(x
t
, u
t
,
t
). Se debe notar la inusual especificacin de que I
t

se refiere a la informacin disponible al principio del periodo. Debe tenerse
cuidado cuando suceden varios eventos en un mismo periodo ya que, si y
t
es una
variable que se realiza despus del inicio del periodo, entonces E
t
(y
t
) y
t
. Este
tipo de problemas nunca surgen cuando el tiempo es una variable continua ya
que en ese caso no tiene sentido hablar de la duracin o longitud de un periodo
de tiempo. Se sugiere que, en problemas donde el tiempo es discreto, se tenga
clara la sucesin de los eventos y el conjunto de informacin disponible.
La versin estocstica de la ecuacin de Bellman es simplemente:
V (x
t
) = max{f(x
t
, u
t
) + E
t
[V (x
t+1
)]},

con lo cual las condiciones de primer orden quedan dadas por
Elementos de Programacin Dinmica
GP-202

7




EJEMPLOS Y APLICACIONES
Citaremos un ejemplo del libro:
EJEMPLO 1.-
Una compaa minera desea maximizar el valor presente de sus ganancias
netas a lo largo del periodo de tiempo t = 0, ..., T + 1. El precio de mercado del
mineral extrado est dado por p. Denotemos por y
t
la produccin (extraccin) y
x
t
las reservas restantes en el periodo t. El costo de extraccin est dado por
2
2
t
t
t
y
c
x
=
Y las reservas iniciales son x
0
= 600 toneladas. El problema de maximizacin de la
empresa, suponiendo que no hay descuento temporal, es
2
0
2
max ( )
T
t
t
t
t
y
py
x
=

Sujeto a:
xt+1 = xt yt,
x0 = 600.
La variable de control es y y x la de estado. La ecuacin de Bellman est dada
por:



Elementos de Programacin Dinmica
GP-202

8





Elementos de Programacin Dinmica
GP-202

9





Veremos que estos temas pueden ser aplicados a diferentes campos como por
ejemplo:
El consumo como martingala
Consumo de bienes duraderos
Ciclos econmicos
Rendimientos de activos

Elementos de Programacin Dinmica
GP-202

10


CONCLUSIONES
- La programacin dinmica es una herramienta que nos ayuda a plantear
los problemas de manera matemtica, que cuenta con ciertos principios
como el de optimizacin, que nos dice: dada una secuencia ptima de
decisiones, toda sub-secuencia de ella es, a su vez, ptima
- Lo que nos lleva a un problema un poco ms complejo cuando se
trabajando con muchos datos (el tiempo como variable continua), por
ello se busca simplificar el clculo tomando al tiempo como discreto.

BIBLIOGRAFA
- MTODOS DINMICOS EN ECONOMA Lomeli Rumbos
- http://www.economia48.com/spa/d/programacion-dinamica/programacion-
dinamica.htm
- http://cms.dm.uba.ar/materias/1ercuat2009/optimizacion/Maurette_Ojea.pdf
- http://www.buenastareas.com/ensayos/Programacion-Dinamica/612171.html
- http://es.scribd.com/doc/63274090/133/%C2%A714-5-Modelo-de-Ramsey-
discreto