Programación Estocástica

Introducción y CMTD
Procesos Estocásticos
Los procesos estocásticos hacen parte de una teoría
matemática-probabilística que estudia el comportamiento de
los sistemas dinámicos, esto es, que evolucionan en el tiempo,
siguiendo un comportamiento no determinístico, es decir, no se
conoce con total certeza la ruta que sigue el proceso a cada
paso, en otras palabras, su comportamiento es aleatorio.
Procesos Estocásticos
De manera formal, la forma en la cual se analiza un sistema con
estas características es mediante la definición de un conjunto
de variables aleatorias que representan el estado del sistema
en cada uno de sus pasos, es decir, se tiene un conjunto de
variables aleatorias indexadas en el tiempo. Este conjunto de
índices no necesariamente debe representar el tiempo, aunque
es lo más habitual, pero si debe ser un conjunto ordenado

𝑋1 , 𝑋2 , 𝑋3 , … , 𝑋𝑛
𝑋 1 , 𝑋 1.2 , 𝑋 2.345 , 𝑋 3.01 , …
Procesos Estocásticos
Si el conjunto de índices es enumerable, ya sea finito o infinito,
el proceso es un proceso estocástico de tiempo discreto,
mientras que, si el conjunto de índices es no enumerable, el
proceso estocástico se denomina proceso estocástico de
tiempo continuo.

{𝑋𝑛 , 𝑛 ≥ 0} PE discreto 𝑋1

{𝑋 𝑡 , 𝑡 ≥ 0} PE continuo 𝑋(1)
Procesos Estocásticos
El otro factor importante por considerar, además del conjunto
de índices – como el tiempo – es el conjunto de valores que
puede tomar cada una de las variables aleatorias en cada uno
de los instantes de tiempo, a dicho conjunto de valores se le
conoce como espacio de estado del proceso estocástico y se
denota por la letra mayúscula S. Este conjunto de valores, así
como el conjunto de índices, puede ser enumerable o no
enumerable.
Procesos Estocásticos
Tiempo del proceso
Procesos Estocásticos
Discreto Continuo

Proceso estocástico de Proceso estocástico de

tiempo discreto con tiempo continuo con
Discreto
espacio de estados espacio de estados
discreto discreto
Espacio de Estados (S)
Proceso estocástico de Proceso estocástico de
tiempo discreto con tiempo continuo con
Continuo
espacio de estados espacio de estados
continuo continuo
Procesos Estocásticos
Proceso estocástico de tiempo discreto con espacio de estados
discreto:

Considere un local de venta, si se define a 𝑋𝑛 como el número

de caja al final del día 𝑛, en donde 𝑛 = 0 corresponde al primer
día observado, entonces, el proceso 𝑋𝑛 , 𝑛 ≥ 0 sería un
proceso estocástico de tiempo discreto con espacio de estados
𝑆 = {0,1, 2, 3, … , 𝐾}, en donde 𝐾, es el valor máximo de cajas
con las que se cuenta cualquier día del año.
Procesos Estocásticos
Proceso estocástico de tiempo discreto con espacio de estados
continuo:

Considere la temperatura medida en una central

meteorológica, si se define a 𝑋𝑛 como el resultado de dicha
medición a las 6:00 am del día 𝑛, en donde 𝑛 = 0 corresponde
al 1º de enero, entonces, el proceso 𝑋𝑛 , 𝑛 ≥ 0 sería un
proceso estocástico de tiempo discreto con espacio de estados
𝑆 = −10, 50 , note que este espacio de estados implica que la
temperatura no baja nunca de -10ºC ni sube por encime de los
50ºC.
Procesos Estocásticos
Proceso estocástico de tiempo continuo con espacio de estados
discreto:

Considere un cajero automático que funciona las 24 horas, si se

define a 𝑋(𝑡) como el estado del cajero en el instante de tiempo 𝑡,
en donde 𝑡 = 0 corresponde a la media noche del 31 de diciembre,
entonces el proceso 𝑋(𝑡), 𝑡 ≥ 0 sería un proceso estocástico de
tiempo continuo con espacio de estados 𝑆 = {0, 1, 2}, en donde, el
estado 0 indica que el cajero está desocupado y disponible, el estado
1 indica que el cajero está ocupado y el estado 2 indica que el cajero
está fuera de servicio.
Procesos Estocásticos
Proceso estocástico de tiempo continuo con espacio de estados
continuo:

Considere el mercado bursátil, si se define a 𝑋(𝑡) como el precio de

la acción de la compañía XYZ, en el instante de tiempo 𝑡, en donde
𝑡 = 0 corresponde a la media noche del 31 de diciembre, entonces,
el proceso 𝑋(𝑡), 𝑡 ≥ 0 sería un proceso estocástico de tiempo
continuo con espacio de estados 𝑆 = 0, ∞ .
Cadenas de Markov
Un proceso estocástico de tiempo discreto 𝑋𝑛 , 𝑛 ≥ 0 con espacio de
estados 𝑆 es una CMTD si cumple que:

𝑃 𝑋𝑛+1 = 𝑗 𝑋𝑛 = 𝑖, 𝑋𝑛−1 , … , 𝑋0 ) = 𝑃 𝑋𝑛+1 = 𝑗 𝑋𝑛 = 𝑖) ∀ 𝑖, 𝑗 ∈ 𝑆, ∀ 𝑛 ≥ 0

Esta propiedad establece que, el estado de la cadena en el paso 𝑛 + 1

depende exclusivamente del estado de la cadena en el paso 𝑛 y es
independiente del estado de la cadena en los pasos anteriores. Es decir, la
propiedad se cumple sólo si en el sistema a modelar, su estado futuro
depende exclusivamente del estado presente y es independiente del pasado
del sistema.
Cadenas de Markov
Si, además, se cumple que:
𝑃 𝑋𝑛+1 = 𝑗 𝑋𝑛 = 𝑖) = 𝑃 𝑋1 = 𝑗 𝑋0 = 𝑖) ∀ 𝑖, 𝑗 ∈ 𝑆, ∀ 𝑛 ≥ 0
Se dice que la CMTD es homogénea.

Si espacio de estado es finito, 𝑆 = 1, 2, … , 𝑁 y se define a:

𝑝𝑖𝑗 = 𝑃 𝑋1 = 𝑗 𝑋0 = 𝑖) ∀ 𝑖, 𝑗 ∈ 𝑆
Se puede construir a:

𝑝11 𝑝12 𝑝1𝑁

𝑝21 𝑝22 ⋯ 𝑝2𝑁
𝑷= ⋮ ⋱ ⋮
𝑝𝑁1 𝑝𝑁2 ⋯ 𝑝𝑁𝑁
Cadenas de Markov
La matriz 𝑷 es una matriz cuadrada de tamaño 𝑁 × 𝑁 que cumple las
siguientes propiedades:
𝑝𝑖𝑗 ≥ 0 ∀ 𝑖, 𝑗 ∈ 𝑆

෍ 𝑝𝑖𝑗 = 1 ∀𝑖 ∈𝑆
𝑗=1
Cadenas de Markov
Ejemplo
Una compañía tiene una máquina que cada día puede iniciar
funcionando o fallando. Si al inicio de un día la maquina inició
funcionando, al siguiente día iniciará funcionando con una
probabilidad del 98%, sin importar lo que haya pasado en los
días anteriores. Si, por el contrario, al inicio del día, la máquina
inició fallando, al siguiente día iniciará funcionando con una
probabilidad del 95%, sin importar lo que haya pasado en los
días anteriores. Una vez la máquina es reparada, queda como
nueva y el ciclo inicia de nuevo.
 Ejemplo
𝑋𝑛 : Estado de la máquina al inicio del día 𝑛 (1 si inicia funcionando, 0
si inicia fallando)

Con base en la definición anterior, el espacio de estados contiene

sólo dos valores, por lo tanto, 𝑆 = {0, 1}.
0.95

0.05 0 1 0.98

0.05 0.95
𝑷=
0.02 0.02 0.98
GRACIAS