Optimización Dinámica

Teoría
Programación Dinámica

¨Programas¨ de acción secuenciales

 Etapas sucesivas
 Múltiples decisiones

Solución de problemas complejos combinando
soluciones de problemas sencillos

Principio del óptimo de Bellman (1950s)

Kaufmann(1960)
 Una política óptima contiene únicamente subpolíticas
óptimas
Filosofía general

PROBLEMA DE ASIGNACIÓN DE RECURSOS

 Seleccionar proyectos hidráulicos A, B y C
 Cada uno con diferentes alternativas (Costos /Beneficios)
OBJETIVO: Maximizar Beneficios
RESTRICIONES: Presupuesto fijo

Métodos de Solución
 Enumeración exhaustiva

Impráctica si número de combinaciones es alto

No se puede verificar el curso óptimo sino hasta examinar todas las
combinaciones posibles

Combinaciones no factibles no se pueden eliminar de antemano
 Programación Dinámica

Cada alternativa se considera individualmente sin ignorar la
interdependencia a través del presupuesto total.
Conceptos

Descomposición
 Se selecciona la alternativa óptima para cada sub-
problema en forma secuencial. No es necesario
enumerar todas las combinaciones de antemano

Optimización para cada sub-problema
 Combinaciones no óptimas se eliminan
automáticamente

Enlace de sub-problemas factibles
 Nunca se optimiza sobre combinaciones no factibles
Elementos de Programación dinámica
N Mi
OBJETIVO Max ∑∑ ri , j xi , j
i =1 j =1

N=Número de proyectos
Mi=Numero de alternativas
ri,j= Beneficios generados por proyecto i alternativa j
xi,j= Variable de decisión (0 No, 1 Si)
Elementos de Programación dinámica
Mi
Restricciones:
N

∑∑ c
i =1 j =1
x ≤F
i, j i, j

Mi

∑x
j =1
i, j ≤ 1 para i = 1, 2,3...N

F=Fondos disponibles
Mi=Numero de alternativas
ci,j= Costos del proyecto i alternativa j
No todos los proyectos tienen que construirse
Solamente una alternativa por proyecto ( mutuamente excluyentes)
Elementos

Etapas (n): donde se toman las decisiones. N
sub-problemas (proyecto)

Variables de decisión (d)- (alternativa)

Variables de estado (S)

Retorno de la etapa (r)

Función de transformación de la etapa (t)
Decisión Secuencial

Retorno de etapa i (ri )

Variable de estado Si
ti
Variable de estado Si+1

Variable de decisión di
Etapas

r1 r2 r3 rN

S1 S2 S3 SN
1 2 3 N

d1 d3 dN
d2
Ejemplo 4.1.1: Hydrosystems Distribución de fondos
para proyectos de desarrollo de Recursos hidráulicos

Todos los proyectos A,B y C deben implementarse. Determinar la combinación

óptima de las alternativas que maximizan los beneficios
Elementos

Etapas (n):
 proyectos A,B,C

Variables de estado (S)
 Conjunto de alternativas consideradas

Variables de decisión (d)
 Alternativa seleccionada para próxima etapa

Retorno de la etapa (r)
 Beneficio generado por la alternativa seleccionada

Función de transformación de la etapa (t)
 Sn=dn para n=C y Sn+1=dn para n=A,B
Ejemplo: solución para atrás
Presupuesto total =7
Ejemplo: solución para atrás
Presupuesto total =7
Representación en forma de red
Ejemplo 4.1.3 Hydrosystems: solución gráfica
Etapa 1 Etapa 2 Etapa 3 Etapa 4
0 0 0 0 0

1 1 1 1 1

2 2 2 2 2

3 3 3 3 3

4 4 4 4 4
Ejemplo 2:
Represa – Máximo Volumen 3U
Máximo desembalse 3U. Volumen inicial 1U
Ejemplo 2:Solución

Etapa: Periodo de tiempo (4 meses)

Variable de Estado: Volumen almacenamiento

Variable de decisión: Desembalse (Q)

Retorno: Beneficios del desembalse

Ecuación de estado:
Vt +1 = Vt − Qt + I t
Ejemplo 2:Formulación matemática
3

Función objetivo
Max ∑  B ( Q ) + B ( Q )
i =1
t t 4 4

Sujeto a: Vt +1 = Vt − Qt + I t

0 ≤ Vt +1 ≤ 3 0 ≤ Qt ≤ 3

V1 = 1
Ecuación de recursividad:
Ft ( St ) = Max  Bt + Ft +1 ( St +1 ) 
Ejemplo 2:Formulación matemática
Periodo 4 Periodo 3 I= 1
V4 Q4 V5 B(V4) B(Q4) F4(S4) V3 Q3 V4 B(Q3) F4(S4) F3(S3)
0 0 0 0 0 1 0 3 3
1 3 3 1 0 1 0 1
2 1 1 2 -1
3 0 0 3 -2
1 0 2 0 1 1
Periodo 2 I= 0 1 1 1 3 4
V2 Q2 V3 B(Q2) F3(S3) F2(S2) 2 0 3 0 3
0 0 0 0 3 3 3 -1
1 -1 2 0 3 0 0 0
2 -2 1 2 1 1 2
3 -3 2 1 3 3 6
1 0 1 0 4 4 3 0 4 0 4
1 0 4 3 7 3 0 4 0
2 -1 1 3 1 0 1
3 -2 2 2 3 1 4
2 0 2 0 6 6 3 1 4 3 7
1 1 4 4 8
2 0 5 3 8 periodo 1 I= 2
3 -1 V1 Q1 V2 B(Q1) F2(S2) F1(S1)
3 0 3 0 7 7 1 0 3 0 10 10
1 2 4 6 10 1 2 3 8 11
2 1 5 4 9 2 1 2 7 9
3 0 6 3 9 3 0 -1 3 2
Ejemplo 3 Uso del agua por tres firmas
Formulación

Max. Utilidades

Variables de decisión: x1 , x2 , x3

Producción Ingresos Costos
1.30
p1 = 0.4 x
0.9
(12 − p1 ) p1 3p1
1
1.20
p2 = 0.5 x2
0.8
(20 − 1.5 p2 ) p2 5p 2
1.15
p3 = 0.6 x3
0.7
(28 − 2.5 p3 ) p3 6p 3

Restricción de asignación del agua

x1 + x2 + x3 ≤ Qdisp = 10
Solución Programación Nolineal Excel

Producción Beneficio Costo Utilidad

x1 1.16 0.46 5.27 1.08 4.19
x2 3.74 1.44 25.62 7.72 17.91
x3 5.10 1.88 43.77 12.39 31.38
10.00 74.66 21.19 53.47
Red de Posibles asignaciones
Red de posibles utilidades
Solución para atrás (backward)
Solución para atrás (backward)

1 4 5
Solución numérica
Solución para adelante