Вы находитесь на странице: 1из 20

Modelos Estoc asticos

Profesor: Alfredo Villavicencio


Departamento de Ingeniera Industrial y de Sistemas
Facultad de Ingeniera
Ponticia Universidad Catolica de Chile
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 1 / 20
Cadenas de Markov en tiempo continuo
(CMTC)
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 2 / 20
Propiedad markoviana y propiedad de estacionariedad
Sea X(t) una v.a. que toma un n umero nito o enumerable de valores (generalmente
los enteros no negativos).
Propiedad markoviana
Se dice que el proceso estoc astico {X(t), t 0} cumple con la propiedad
markoviana si:
P(X(t +s) = j | X(s) = i, X(u) = x(u), 0 u < s) = P(X(t +s) = j | X(s) = i)
para todo x(u), 0 u < s, i, j, y todo t.
La propiedad markoviana puede interpretarse diciendo que la distribuci on
condicional del futuro, X(t +s), dado el presente, X(s), y el pasado, X(u),
0 u < s, depende s olo del presente.
Es decir, sigue siendo v alida la interpretaci on de que el futuro depende del
pasado solo a traves del presente. O que el pasado inuye en el futuro
solo a traves del presente.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 3 / 20
Propiedad de estacionariedad
Se dice que el proceso estoc astico {X(t), t 0} cumple con la propiedad de
estacionariedad si la probabilidad P(X(t +s) = j | X(s) = i) depende solo de i y
de j, y no de s (para todo i, j, y todo s).
Debido a lo anterior, es posible usar la siguiente notaci on:
P
ij
(t) = P(X(t +s) = j | X(s) = i)
Importante
En adelante, sin perdida de generalidad, trabajeremos utilizando a los enteros no
negativos como nuestro conjunto de estados.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 4 / 20
Cadenas de Markov en tiempo continuo (CMTC)
Cadena de Markov en tiempo continuo (CMTC)
El proceso estoc astico {X(t), t 0} es una cadena de Markov en tiempo
continuo si cumple con la propiedad markoviana y con la propiedad de
estacionariedad.
La propiedad markoviana implica que no importa el tiempo que se haya permanecido
en un determinado estado para el c alculo de la probabilidad de continuar en dicho
estado por una cierta cantidad adicional de tiempo.
Es decir, si T
i
es el tiempo de permanencia en el estado i, entonces:
P(T
i
> s +t | T
i
> s) = P(T
i
> t)
, i = 0, 1, 2, ... s, t 0
En consecuencia, la v.a. T
i
no tiene memoria y, por lo tanto, tiene que tener
distribuci on exponencial.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 5 / 20
En base a lo anterior, es posible usar la siguiente denici on de CMTC:
CMTC (denicion alternativa)
Una CMTC es un proceso estoc astico {X(t), t 0} que toma valores denominados
estados, donde X(t) = i signica que el sistema se encuentra en el estado i
en el instante t, y que cumple con lo siguiente:
Cada vez que entra al estado i, el tiempo que permanece en ese estado, antes de
efectuar una transici on a un estado diferente, tiene distribuci on exponencial con
una media
1
v
i
(con v
i
> 0).
Cuando el proceso deja el estado i, a continuaci on entra al estado j con una
probabilidad P
ij
. Las probabilidades P
ij
deben satisfacer:
P
ii
= 0

j=0
P
ij
= 1
, i = 0, 1, 2, ....
El tiempo que el proceso permanece en el estado i, y el pr oximo estado a visitar,
son v.a. independientes (si no, no se cumplira la propiedad markoviana).
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 6 / 20
Es decir, una CMTC es un proceso estoc astico que se mueve de un estado a otro de
acuerdo a una CMTD, pero tal que el tiempo que permanece en cada estado, antes
de moverse al estado siguiente, tiene distribuci on exponencial (y que es independiente
del pr oximo estado a visitar).
La CMTD seg un la que se mueve la CMTC, diremos que corresponde a la
CMTD asociada a la CMTC (una CMTC tiene solo una CMTD asociada).
Las probabilidades P
ij
corresponder an justamente a las componentes de la
matriz de probabilidades de transici on de la CMTD asociada.
Los tiempos de permanencia en un mismo estado en distintas oportunidades son
v.a. iid.
Los tiempos de permanencia en diferentes estados son v.a. independientes.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 7 / 20
Funcion de probabilidad de transicion
Funcion de probabilidad de transicion
En una CMTC, se denomina funci on de probabilidad de transici on a:
P
ij
(t) = P(X(t +s) = j | X(s) = i)
, i, j = 0, 1, 2, ... s, t 0
P
ij
(t) corresponde a la probabilidad de que un proceso que se encuentra en el
estado i este en el estado j en t unidades de tiempo despues.
Estas probabilidades se denominan probabilidades de transici on (para una
CMTC).
Ecuaciones de Chapman-Kolmogorov
Las ecuaciones de Chapman-Kolmogorov proporcionan un metodo para calcular
P
ij
(t). Estas son:
P
ij
(t +s) =

k=0
P
ik
(t) P
kj
(s)
, i, j = 0, 1, 2, ... s, t 0
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 8 / 20
Tasas de transicion instantanea
Tasas de transicion instantanea
En una CMTC, se denomina tasa de transici on instantanea a:
q
ij
= v
i
P
ij , i, j = 0, 1, 2, ...
Como v
i
corresponde a la tasa a la cual el proceso realiza una transici on (a otro
estado) cuando se encuentra en el estado i, y P
ij
corresponde a la probabilidad
de que esta transici on sea al estado j; entonces q
ij
corresponde a la tasa a la
cual el proceso realiza una transici on del estado i al estado j, estando en i.
Los q
ij
determinan los par ametros de una CMTC, as como los P
ij
lo hacan en
una CMTD. Ordenaremos a los q
ij
en una matriz (Q).
v
i
=

j=0
v
i
P
ij
=

j=0
q
ij , i = 0, 1, 2, ...
P
ij
=
q
ij
v
i
=
q
ij

k=0
q
ik
, i, j = 0, 1, 2, ...
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 9 / 20
Distribucion de probabilidades lmite
La probabilidad de que una CMTC este en el estado j despues de un tiempo t, a
menudo converge a un valor lmite, que puede ser independiente del estado inicial del
sistema.
Si suponemos que este lmite existe y que es independiente del estado inicial del
sistema, y lo llamamos P
j
, entonces:
P
j
= lm
t
P
ij
(t)
, i, j = 0, 1, 2, ...
A partir de las ecuaciones de Chapman-Kolmogorov se puede obtener el siguiente
conjunto de ecuaciones:
P

ij
(t) =

kN
0
k=j
q
kj
P
ik
(t) v
j
P
ij
(t)
, i, j = 0, 1, 2, ...
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 10 / 20
Si hacemos tender t a , suponiendo que se puede intercambiar lmite y sumatoria,
entonces:
lm
t
P

ij
(t) = lm
t


kN
0
k=j
q
kj
P
ik
(t) v
j
P
ij
(t)

, i, j = 0, 1, 2, ...
=

kN
0
k=j
q
kj
P
k
v
j
P
j
Como P
ij
(t) es una funci on acotada (por ser una probabilidad estara siempre en el
intervalo [0, 1]), si P

ij
(t) converge, debe converger a 0, pues de otro modo signicara
que P
ij
(t) crecer a o decrecer a indenidamente. Por lo tanto, tenemos:
0 =

kN
0
k=j
q
kj
P
k
v
j
P
j , j = 0, 1, 2, ...
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 11 / 20
O bien, reordenando:
v
j
P
j
=

kN
0
k=j
q
kj
P
k , j = 0, 1, 2, ...
A estas ecuaciones (una para cada estado) se les llama ecuaciones de equilibrio
en el largo plazo.
P
j
(que supusimos que existe) se puede interpretar como la proporci on de
tiempo que el proceso se encuentra en el estado j en el largo plazo.
v
j
es la tasa de salida del estado j cuando el proceso est a en el.
v
j
P
j
es la tasa a la cual el proceso deja el estado j (sale de el).
P
k
(que supusimos que existe) se puede interpretar como la proporci on de
tiempo que el proceso se encuentra en el estado k en el largo plazo.
q
kj
es la tasa de salida del estado k hacia el estado j cuando el proceso est a en k.

kN
0
k=j
P
k
q
kj
es la tasa a la cual el proceso entra al estado j.
Por lo tanto, las ecuaciones de equilibro en el largo plazo reejan la igualdad de
las tasas a las cuales el proceso entra y deja el estado j (en el largo plazo).
Si a estas ecuaciones le agregamos la ecuaci on

j=0
P
j
= 1, entonces tendremos un
sistema de ecuaciones que permite obtener las probabilidades lmites del proceso.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 12 / 20
Ejemplo
A la boletera de un cine llegan personas de acuerdo a un proceso de Poisson con tasa
> 0 (personas/minuto). El cine dispone de tres cajas y la atenci on se realiza por
orden de llegada de la siguiente forma: si al momento de llegar una persona hay al
menos una caja disponible, entonces es atendida de inmediato, si no, entonces se
sit ua al nal de la cola. Si no hay clientes en el sistema (cola+caja), el cine mantiene
abierta una sola caja.
A medida que van llegando espectadores, es posible que se forme cola. As, en el
instante en que la cola alcanza a 10 personas, se abre una segunda caja (si es que s olo
haba una caja abierta) que atiende en paralelo a la primera. Adem as, si la cola sigue
creciendo, cuando llega a tener 20 personas se abre una tercera caja (si es que s olo
haban dos cajas abiertas) que atiende en paralelo a las otras dos. Ahora bien, si
est an las tres cajas abiertas y un cajero observa que al terminar de atender un cliente
el n umero de personas en la cola es menor que 20, dicha caja se cierra hasta que sea
requerida nuevamente y las dos cajas restantes siguen atendiendo en paralelo.
Adicionalmente, si hay dos cajeros atendiendo y cualquiera de ellos observa que al
terminar de atender a un cliente el sistema queda completamente vaco (no hay
clientes en la cola ni en atenci on), dicha caja cierra, quedando s olo una caja abierta.
Suponga que las aperturas y cierres de caja no toman tiempo. Suponga que cada
cajero demora un tiempo aleatorio con distribuci on exponencial con tasa (con
2 > ) en atender a una persona y que todas las atenciones son independientes.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 13 / 20
Ejemplo
Adicionalmente, si al llegar una persona encuentra 18 o m as personas en la cola, con
probabilidad p entra a la boletera y se pone en la cola y con probabilidad 1 p
simplemente se va (0 < p < 1). Esta probabilidad es la misma e independiente para
cada cliente. Finalmente, dado el desagrado que resulta la espera por la atenci on,
cuando hay 25 o m as personas en la cola, cualquier cliente que este en la cola se
puede aburrir de esperar, abandonando el sistema luego de un tiempo aleatorio con
distribuci on exponencial con tasa m , donde m es el n umero de clientes en la cola y
es un par ametro conocido y positivo. Este tiempo es independiente para cada
cliente. (Si hay menos de 25 personas en la cola, nadie la abandona).
Suponga que los tiempos de atenci on, la entrada de clientes y los tiempos de
aburrimiento son todos independientes entre s e independientes del proceso de
llegada. Se desea modelar este sistema como una CMTC y obtener expresiones para
algunas medidas de desempe no en el largo plazo.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 14 / 20
Ejemplo
Dena la variable de estado del proceso y especique los estados posibles.
Especique claramente las transiciones posibles desde cada estado.
Si en un instante x > 0 dado que hay dos cajas atendiendo, calcule la
probabilidad de que el cliente que lleva mayor tiempo de atenci on, termine de
comprar su entrada primero.
Escriba las ecuaciones de equilibrio en el largo plazo para todos los casos
posibles.
Obtenga expresiones en funcion de las probabilidades lmites (suponga que
existen y que las conoce), para cada una de las siguientes medidas de
desempe no:

Proporcion de tiempo en que se pierden clientes por abandono, en el largo plazo.

N umero promedio de personas en la cola en un instante cualquiera, en el largo


plazo.

Tasa promedio de atencion de personas (clientes/unidad de tiempo), en el largo


plazo.

Tasa media de perdida de clientes, en el largo plazo.


Calcule las siguientes probabilidades (suponga que el sistema lleva un largo
tiempo de operaci on):

Probabilidad de que, dado que hay 29 personas en el sistema, un nuevo cliente


entre antes de que haya un abandono o un termino de atencion.

Probabilidad de que un cliente cualquiera encuentre, al llegar, las tres cajas


abiertas.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 15 / 20
Procesos de nacimiento y muerte
Consideremos un sistema de servicio cuyo estado, en cualquier instante representa la
cantidad de clientes en el sistema. Supongamos que cada vez que hay n (con
n = 0, 1, 2, ...) clientes en el sistema, el tiempo hasta la siguiente llegada tiene
distribuci on exponencial con valor esperado
1

n
, siendo independiente del tiempo
hasta una nueva salida, el que tiene distribuci on exponencial con valor esperado
1

n
.
Puede decirse que cuando hay n clientes en el sistema, la tasa de llegada es
n
> 0
(para n = 0, 1, 2, ...) y la tasa de salida es
n
> 0 (para n = 1, 2, 3, ...).
Cuando el sistema esta en el estado n, cual es el tiempo esperado hasta la
proxima transicion?
Un sistema como el recien descrito puede modelarse como un proceso de
nacimiento y muerte. Los par ametros {
n
}

n=0
y {
n
}

n=1
se denominan,
respectivamente, tasas de nacimiento (o llegada) y tasas de muerte (o de salida).
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 16 / 20
Proceso de nacimiento y muerte
Un proceso de nacimiento y muerte es una CMTC con espacio de estados
{0, 1, 2, ...} (enteros no negativos), y para la cual las transiciones posibles desde el
estado 0 son solo al estado 1, y las transiciones posibles desde el estado i son solo al
estado i 1 y al estado i + 1 (para todo i = 1, 2, 3, ...) (existiendo todas ellas).
Sea
i
> 0 la tasa de nacimiento del estado i (para todo i = 0, 1, 2, ...) y sea
i
> 0 la
tasa de muerte del estado i (para todo i = 1, 2, 3, ...). Entonces:
v
0
=
0
v
i
=
i
+
i , i = 1, 2, 3, ...
P
01
= 1
P
i i+1
=

i

i
+
i
, i = 1, 2, 3, ...
P
i i1
=

i

i
+
i
, i = 1, 2, 3, ...
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 17 / 20
Distribucion lmite de un proceso de nacimiento y muerte
Detalle en clases.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 18 / 20
Ejemplo
Considere un sistema de servicio al que los clientes llegan de acuerdo a un proceso de
Poisson con tasa > 0 clientes/minuto. El sistema consta de cuatro cajas que
atienden en paralelo. Si al momento de llegar un cliente hay al menos una caja
disponible, entonces es atendido de inmediato; en caso contrario (es decir, todas las
cajas est an ocupadas), el cliente se sit ua al nal de la cola. El tiempo de atenci on de
un cliente en cualquier caja es aleatorio, con distribuci on exponencial de valor
esperado 1/ minutos (con 4 > ). Los tiempos de atenci on son independientes
entre s.
La atenci on se realiza por orden de llegada. Cuando hay al menos 15 clientes en la
cola, cualquier cliente que este en la cola se puede aburrir de esperar, abandonando el
sistema despues de un tiempo aleatorio con distribuci on exponencial con par ametro

m
> 0 donde m representa el n umero de clientes en la cola. Los tiempos de
aburrimiento son independientes para cada cliente y para cada ocasi on.
Suponga que los tiempos de atenci on y los tiempos de aburrimiento son
independientes entre s e independientes del proceso de llegada. Se desea modelar de
este sistema (cajas y cola) como una CMTC.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 19 / 20
Dena la variable de estado de este proceso y especique claramente el espacio
de estados. Especique tambien las transiciones posibles desde los estados del
sistema, para todos los casos posibles.
Especique las tasas de transici on instant aneas para todos los casos posibles.
(Puede emplear un diagrama que muestre adecuada y claramente esta
informaci on).
Escriba las ecuaciones de equilibrio en el largo plazo para todos los casos
posibles.
Escriba o formule expresiones para las siguientes medidas de desempe no. Puede
expresar sus resultados en funci on de las probabilidades lmites (las que puede
suponer conocidas).

Fraccion de tiempo, en el largo plazo, en que clientes abandonan el sistema por


aburrimiento.

N umero medio de clientes en el sistema en el largo plazo.

Tasa media de perdida de clientes por aburrimiento, en el largo plazo.


Suponga ahora que
15
=
16
=
17
= .... Si al llegar un cliente encuentra 30
clientes en la cola, calcule el valor esperado del tiempo que transcurre desde ese
instante hasta la pr oxima salida de un cliente del sistema, ya sea por termino de
atenci on o por aburrimiento, pero considerando solo las salidas de los clientes
que llegaron antes que el y de el mismo.
Alfredo Alejandro Villavicencio Bolvar () Modelos Estoc asticos 20141 20 / 20

Вам также может понравиться