Cadenas de marko

El anlisis de Markov tuvo su origen en los estudios de A.A.Markov(1906-1907)

sobre la secuencia de los experimentos conectados en cadena y los intentos de
descubrir matemticamente los fenmenos fsicos conocidos como movimiento
browiano. La teora general de los procesos de Markov se desarrollo en las
dcadas de 1930 y 1940 por A.N.Kolmagoron, W.Feller, W.Doeblin, P.Levy,
J.L.Doob y otros.
El anlisis de Markov es una forma de analizar el movimiento actual de alguna
variable, a fin de pronosticar un movimiento futuro de la misma.

Una cadena de Markov, que recibe su nombre del matemtico ruso Andrei Markov, es una
serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento
inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. Recuerdan el
ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia
del evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra de los deudores morosos, para planear las necesidades de personal y para analizar
el reemplazo de equipo.
En matemticas, se define como un proceso estocstico discreto que cumple con la
Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante actual,
su estado presente resume toda la informacin relevante para describir en probabilidad su
estado futuro.
Una cadena de Markov es una secuencia X1, X2, X3, de variables aleatorias. El rango
de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el
tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una
funcin de Xn por s sola, entonces:
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de
Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen
memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las
series de eventos independientes, como tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra de los deudores morosos, para planear las necesidades de personal y para analizar
el reemplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el
mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un
estado en particular en un momento dado. Algo ms importante an, es que permite
encontrar el promedio a la larga o las probabilidades de estado estable para cada estado.
Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo.
La tarea ms difcil es reconocer cundo puede aplicarse. La caracteristica ms importante
que hay que buscar en la memoria de un evento a otro.
Formulacin de las cadenas de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen
memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las
series de eventos independientes, como tirar una moneda al aire o un dado.
En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El generador
de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . . , n, a intervalos
discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para
cada uno de estos eventos depende del estado del generador. Este estado se describe por el
ltimo evento generado. En la figura 4.1.1, el ltimo evento generado fue Ej , de manera
que el generador se encuentra en el estado Mj .
La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional
: P ( Ek / Mj ). Esto se llama probabilidad de transicin del estado Mj al estado Ek. Para
describir completamente una cadena de Markov es necesario saber el estado actual y todas
las probabilidades de transicin.
Probabilidades de transicin.
Una forma de describir una cadena de Markov es con un diagrama de estados, como el que
se muestra en la figura 4.1.2. En sta se ilustra un sistema de Markov con cuatro estados
posibles : M1, M2 , M3 y M4 . La probabilidad condicional o de transicin de moverse de
un estado a otro se indica en el diagrama
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. .
La matriz de transicin para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1
.
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. .
Para n = 0, 1, 2, .
El superndice n no se escribe cuando n = 1.
Procesos estocsticos.
Un proceso estocstico se define sencillamente como una coleccin indexada de variables
aleatorias { X1 }, donde el subndice t toma valores de un conjunto T dado. Con frecuencia
T se toma como el conjunto de enteros no negativos y X, representa una caracterstica de
inters medible en el tiempo t. Por ejemplo, el proceso estocstico, X1 , X2 , X3, .., Puede
representar la coleccin de niveles de inventario semanales (o mensuales) de un producto
dado, o puede representar la coleccin de demandas semanales (o mensuales) de este
producto.
Un estudio del comportamiento de un sistema de operacin durante algn periodo suele
llevar al anlisis de un proceso estocstico con la siguiente estructura. En puntos
especficos del tiempo t , el sistema se encuentra exactamente en una de un nmero finito
de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1, . . , S. Los periodos en
el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del
comportamiento general del sistema en el que se encuentra sumergido el proceso
estocstico. Aunque los estados pueden constituir una caracterizacin tanto cualitativa
como cuantitativa del sistema, no hay prdida de generalidad con las etiquetas numricas 0,
1, . . , M , que se usarn en adelante para denotar los estados posibles del sistema. As la
representacin matemtica del sistema fsico es la de un proceso estocstico {Xi}, en donde
las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria
puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M . Estos enteros son una
caracterizacin de los M + 1 estados del proceso.
Propiedad Markoviana de 1o. orden .
Se dice que un proceso estocstico tiene la propiedad markoviana si
P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda
sucesin i, j , K0 , K1 , . . , Ki-1 .
Se puede demostrar que esta propiedad markoviana es equivalente a establecer una
probabilidad condicional de cualquier evento futuro dados cualquier evento pasado y
el estado actual Xi = i , es independiente del evento pasado y slo depende del estado actual
del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de
transicin. Si para cada i y j,
P Xt+1 = j = pX1 = j , para toda t = 0, 1, .
Entonces se dice que las probabilidades de transicin (de un paso) son estacionarias y por
lo general se denotan por pij . As, tener probabilidades de transicin estacionarias implican
que las probabilidades de transicin no cambian con el tiempo. La existencia de
probabilidades de transicin (de un paso) estacionarias tambin implica que, para cada i, j y
n (n = 0, 1, 2,),
P Xt+n = j = pXn = j ,
Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan por y se
llaman probabilidades de transicin de n pasos. As, es simplemente la probabilidad
condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el
estado j despus de n pasos ( unidades de tiempo ).
Como las son probabilidades condicionales, deben satisfacer las propiedades:
Probabilidad de transicin de un solo paso.
Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede
ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera,
segunda, , semana, respectivamente. Se supone que las Di son variables aleatorias
independientes e idnticamente distribuidas que tienen una distribucin de probabilidad
conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso,
X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras
al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un
pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido
que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica
( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor
que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la
orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone
que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t =
0, 1, .. es un proceso estocstico de la forma que se acaba de describir. Los estados posibles
del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en
inventario al final de la semana.
Observe que {Xi}, en donde Xi es el nmero de cmaras en el almacn al final de la
semana t ( antes de recibir el pedido }), es una cadena de Markov. Se ver ahora cmo
obtener las probabilidades de transicin (de un paso), es decir, los elementos de la matriz de
transicin ( de un paso).
Suponiendo que cada Dt tiene una distribucin Poisson con parmetro .
Para obtener es necesario evaluar . Si , Entonces . Por lo tanto, significa que la demanda
durante la semana fue de tres o ms cmaras. As, , la probabilidad de que una variable
aleatoria Poisson con parmetro tome el valor de 3 o ms; y se puede obtener de una
manera parecida. Si , entonces . Para obtener , la demanda durante la semana debe ser 1 o
ms. Por esto, . Para encontrar , observe que si . En consecuencia, si , entonces la demanda
durante la semana tiene que ser exactamente 1. por ende, . Los elementos restantes se
obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transicin ( de
un paso):
Probabilidad de transicin estacionaria de n pasos.
Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas
probabilidades de transicin de n pasos :
Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el
proceso estar en algn estado k despus de exactamente m ( menor que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya
al estado k despues de m pasos y despus al estado j en n- m pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se
pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva.
Para n=2, estas expresiones se vuelven :
Note que las son los elementos de la matriz P(2) , pero tambin debe de observarse que
estos elementos, se obtienen multiplicando la matriz de transicin de un paso por s misma;
esto es , P(2) = P * P = P2 .
En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n
pasos se puede obtener de la expresin : P(n) = P * P . P = Pn = PPn1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando
la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de
n, la matriz de transicin de n pasos se puede calcular en la forma que se acaba de describir,
pero cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de
redondeo pueden causar inexactitudes.
Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede
ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera,
segunda, , semana, respectivamente. Se supone que las Di son variables aleatorias
independientes e idnticamente distribuidas que tienen una distribucin de probabilidad
conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso,
X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras
al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un
pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido
que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica
( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor
que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la
orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone
que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t =
0, 1, .. es un proceso estocstico de la forma que se acaba de describir. Los estados posibles
del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en
inventario al final de la semana.
As, dado que tiene una cmara al final de una semana, la probabilidad de que no haya
cmaras en inventario dos semanas despus es 0.283; es decir, De igual manera, dado que
se tienen dos cmaras al final de una semana, la probabilidad de que haya tres cmaras en el
almacn dos semanas despus es 0.097; esto es,
La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera :
P(4) = P4 = P(2) * P(2)
As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no
haya cmaras en inventario 4 semanas ms tarde; es decir, De igual manera, dado que
quedan dos cmaras en el almacn final de una semana, se tiene una probabilidad de 0.171
de que haya tres cmaras en el almacn 4 semanas despus; esto es,
Probabilidades de transicin estacionaria de estados estables.
Teorema
Sea P la matriz de transicin de una cadena de M estados . Existe entonces un vector tal que
Se establece que para cualquier estado inicial i , .
El vector a menudo se llama distribucin de estado estable, o tambin distribucin de
equilibrio para la cadena de Markov. Para encontrar la distribucin de probabilidades de
estacionario para una cadena dada cuya matriz de transicin es P, segn el teorema, para n
grande y para toda i , (1)
Como Pij (n + 1) = ( rengln i de Pn )(columna j de P), podemos escribir
(2)
Ejemplo :
Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha
comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1.
Si una persona compr cola 2, hay un 80 % de probabilidades que su prxima compra sea
de cola 2.
Entonces :
Al reemplazar la segunda ecuacin por la condicin ,
obtenemos el sistema
Al despejar resulta que Por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que
una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.
Tiempos de primer paso.
Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades
sobre el nmero de transiciones que hace el proceso al ir de un estado i a un estado j por
primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado j.
cuando J=i, esta tiempo de primer paso es justo el nmero de transiciones hasta que el
proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo
de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede
ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera,
segunda, , semana, respectivamente. Se supone que las Di son variables aleatorias
independientes e idnticamente distribuidas que tienen una distribucin de probabilidad
conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso,
X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras
al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un
pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido
que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica
( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor
que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la
orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone
que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t =
0, 1, .. es un proceso estocstico de la forma que se acaba de describir. Los estados posibles
del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en
inventario al final de la semana.
Donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con ,
Suponga que ocurri lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el
tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de
recurrencia del estado 3 es de 4 semanas.
En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una
distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad
dependen de las probabilidades de transicin del proceso. En particular, denota la
probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede
demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en
n pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso. En el
ejemplo, la distribucin de probabilidad de los tiempos de primer paso del estado 3 al
estado 0 se obtiene como sigue:
Para i y j fijos, las son nmeros no negativos tales que
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se
encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las
pueden considerarse como una distribucin de probabilidad para la variable aleatoria, el
tiempo de primer paso.
Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define
como:
entonces satisface, de manera nica, la ecuacin:
Cuando i=j, se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el
tiempo esperado hasta que ya no se tengan cmaras en el almacn, suponiendo que el
proceso inicia cuando se tienen tres cmaras; es decir, se puede obtener el tiempo esperado
de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce
a las expresiones
La solucin simultnea de este sistema es
De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es de 3.50
semanas.
Caso de Aplicacin.
Aplicacin a la administracin : Planeacin de Personal.
El anlis de transicin puede ser til al planear satisfacer las necesidades de personal.
Muchas firmas emplean trabajadores de diferentes niveles de clasificacin dentro de la
misma categora de trabajo. Esto es comn para personal de confianza, oficinistas, obreros
calificados, no calificados y personal profesional. La firma debe tener el nmero de
empleados en cada nivel de clasificacin para proporcionar la oportunidad de promocin
adecuada, cumplir con las habilidades necesarias para el trabajo y controlar la nmina. Una
planeacin de personal a largo plazo apropiada requiere que se considere el movimiento de
personas tanto hacia arriba en el escalafn de clasificacin como hacia afuera de la
organizacin. El anlisis de Markov puede ayudar en este esfuerzo de planeacin.
El movimiento de personal a otras clasificaciones puede considerarse como una cadena de
Markov. Se supone que hay tres clasificaciones; el grado 1 es la ms baja. Adems, los
descensos se consideran raros y se omiten. El estado salen es absorbente, el cual incluye
renuncias, ceses, despidos y muertes. Por supuesto, todos los empleados finalmente
alcanzan este estado.
Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones.
Como transiciones de probabilidad, estn controladas por la firma, puede establecerse el
nivel que la firma determine que es necesario para cumplir sus objetivos. Como ejemplo,
supngase que la firma tiene en este momento 30 empleados del 3, 90 empleados del grado
2 y 300 empleados del grado 1 y que desea mantener este nivel de empleados durante el
prximo ao. Por experiencia, se espera que salgan el 30 % de los empleados de grado 1 al
ao, el 20 % de los empleados de grado 2 y el 10 % de aquellos que estn en el grado 3. Si
la poltica es contratar slo en los niveles de clasificacin ms bajos, cuntos se deben
contratar y cuntos se deben promover el siguiente ao para mantener estables los niveles ?.
Este problema puede resolverse sin el anlisis de Markov, pero el modelo es til para
ayudar a conceptualizar el problema. Como se trata slo de un ciclo, se usa el anlisis de
transicin. El anlisis comienza con el graado ms alto. No se hacen promociones pero el
10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por promociones del grado 2. En el
nivel de clasificacin, el 20 % sale y se deben promover 3, con una prdida de 21. Esto se
debe compensar por promocin del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben
promoverse, lo cual una prdida total de 111. Por tanto, el siguiente ao se deben contratar
111 empleados del nivel 1.
4.2.- Formulacin de las cadenas de Markov.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. " Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El
generador de Markov produce uno de n eventos posibles, E
j
, donde j = 1, 2, . . . ,
n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las
probabilidades de ocurrencia para cada uno de estos eventos depende del estado
del generador. Este estado se describe por el ltimo evento generado. En la figura
4.1.1, el ltimo evento generado fue E
j
, de manera que el generador se encuentra
en el estado M
j
.

La probabilidad de que E
k
sea el siguiente evento generado es una probabilidad
condicional : P ( E
k
/ M
j
). Esto se llama probabilidad de transicin del estado M
j
al
estado E
k
. Para describir completamente una cadena de Markov es necesario
saber el estado actual y todas las probabilidades de transicin.
Probabilidades de transicin.
Una forma de describir una cadena de Markov es con un diagrama de estados,
como el que se muestra en la figura 4.1.2. En sta se ilustra un sistema de Markov
con cuatro estados posibles : M
1
, M
2
, M
3
y M
4
. La probabilidad condicional o de
transicin de moverse de un estado a otro se indica en el diagrama

Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin. . La matriz de transicin para el ejemplo del diagrama de estados se
muestra en la tabla 4.1.1 .



Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin. .
Para n = 0, 1, 2, ....

El superndice n no se escribe cuando n = 1.

4.3.- Procesos estocsticos.

Un proceso estocstico se define sencillamente como una coleccin indexada de
variables aleatorias { X
1
}, donde el subndice t toma valores de un conjunto T
dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X,
representa una caracterstica de inters medible en el tiempo t. Por ejemplo, el
proceso estocstico, X
1
, X
2
, X
3
, .., Puede representar la coleccin de niveles de
inventario semanales (o mensuales) de un producto dado, o puede representar la
coleccin de demandas semanales (o mensuales) de este producto.
Un estudio del comportamiento de un sistema de operacin durante algn periodo
suele llevar al anlisis de un proceso estocstico con la siguiente estructura. En
puntos especficos del tiempo t , el sistema se encuentra exactamente en una de
un nmero finito de estados mutuamente excluyentes y exhaustivos, etiquetados
0, 1, . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su
esparcimiento puede depender del comportamiento general del sistema en el que
se encuentra sumergido el proceso estocstico. Aunque los estados pueden
constituir una caracterizacin tanto cualitativa como cuantitativa del sistema, no
hay prdida de generalidad con las etiquetas numricas 0, 1, . . , M , que se
usarn en adelante para denotar los estados posibles del sistema. As la
representacin matemtica del sistema fsico es la de un proceso estocstico {X
i
},
en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada
variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. ,
M . Estos enteros son una caracterizacin de los M + 1 estados del proceso.

4.4.- Propiedad Markoviana de 1o. orden .

Se dice que un proceso estocstico tiene la propiedad markoviana si
P { X
t+1
= j | X
0
= K
0
, X
1
= K
1
, . ., X
t-1
= K
t-1
, = K
t-1
, X
t
=1}= P {X
t+1
| X
1
= i }, para
toda t = 0, 1, . . y toda
sucesin i, j , K
0
, K
1
, . . , K
i-1 .

Se puede demostrar que esta propiedad markoviana es equivalente a establecer
una probabilidad condicional de cualquier "evento" futuro dados cualquier "evento
" pasado y el estado actual X
i
= i , es independiente del evento pasado y slo
depende del estado actual del proceso. Las probabilidades
condicionales P{X
t+1
= j | X
t
= i} se llaman probabilidades de transicin. Si para
cada i y j,
P{ X
t+1
= j | | X
t
= i } = p{X
1
= j | X
0
= i }, para toda t = 0, 1, ....
Entonces se dice que las probabilidades de transicin (de un paso) son
estacionarias y por lo general se denotan por p
ij
. As, tener probabilidades de
transicin estacionarias implican que las probabilidades de transicin no cambian
con el tiempo. La existencia de probabilidades de transicin (de un paso)
estacionarias tambin implica que, para cada i, j y n (n = 0, 1, 2,...),
P{ X
t+n
= j | | X
t
= i } = p{X
n
= j | X
0
= i },
Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan
por y se llaman probabilidades de transicin de n pasos. As, es
simplemente la probabilidad condicional de que la variable aleatoria X,
comenzando en el estado i, se encuentre en el estado j despus de n pasos (
unidades de tiempo ).
Como las son probabilidades condicionales, deben satisfacer las propiedades:


4.5.- Probabilidad de transicin de un solo paso.

Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D
1
, D
2
, ... las demandas de esta cmara
durante la primera, segunda, ... , semana, respectivamente. Se supone que las D
i

son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X
0
el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X
1
el nmero de cmaras que se tienen
al final de la semana uno, X
2
el nmero de cmaras al final de la semana dos, etc.
Suponga que X
0
= 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)
1
para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X
1
} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
Observe que {X
i
}, en donde X
i
es el nmero de cmaras en el almacn al final de
la semana t ( antes de recibir el pedido }), es una cadena de Markov. Se ver
ahora cmo obtener las probabilidades de transicin (de un paso), es decir, los
elementos de la matriz de transicin ( de un paso).

Suponiendo que cada D
t
tiene una distribucin Poisson con parmetro .
Para obtener es necesario evaluar . Si , Entonces
. Por lo tanto, significa que la demanda durante la
semana fue de tres o ms cmaras. As, , la
probabilidad de que una variable aleatoria Poisson con parmetro tome el
valor de 3 o ms; y se puede obtener de una manera
parecida. Si , entonces . Para obtener , la
demanda durante la semana debe ser 1 o ms. Por esto,
. Para encontrar ,
observe que si . En consecuencia, si , entonces
la demanda durante la semana tiene que ser exactamente 1. por ende,
. Los elementos restantes se obtienen en forma similar, lo que
lleva a la siguiente a la siguiente matriz de transicin ( de un paso):

4.6.- Probabilidad de transicin estacionaria de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular
estas probabilidades de transicin de n pasos :

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n
pasos, el proceso estar en algn estado k despus de exactamente m ( menor
que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despues de m pasos y despus al estado j en n- m
pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos
se pueden obtener a partir de las probabilidades de transicin de un paso de
manera recursiva. Para n=2, estas expresiones se vuelven :

Note que las son los elementos de la matriz P
(2)
, pero tambin debe de
observarse que estos elementos, se obtienen multiplicando la matriz de
transicin de un paso por s misma; esto es , P
(2)
= P * P = P
2
.
En trminos ms generales, se concluye que la matriz de probabilidades de
transicin de n pasos se puede obtener de la expresin : P
(n)
= P * P .... P = P
n
=
PP
n-1
= P
n-1
P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener
calculando la n-sima potencia de la matriz de transicin de un paso. Para valores
no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la
forma que se acaba de describir, pero cuando n es grande, tales clculos resultan
tediosos y, ms an, los errores de redondeo pueden causar inexactitudes.
Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D
1
, D
2
, ... las demandas de esta cmara
durante la primera, segunda, ... , semana, respectivamente. Se supone que las D
i

son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X
0
el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X
1
el nmero de cmaras que se tienen
al final de la semana uno, X
2
el nmero de cmaras al final de la semana dos, etc.
Suponga que X
0
= 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)
1
para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X
1
} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.

As, dado que tiene una cmara al final de una semana, la probabilidad de que no
haya cmaras en inventario dos semanas despus es 0.283; es decir,
De igual manera, dado que se tienen dos cmaras al final de una
semana, la probabilidad de que haya tres cmaras en el almacn dos semanas
despus es 0.097; esto es,
La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente
manera :
P
(4)
= P
4
= P
(2)
* P
(2)

As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad
de que no haya cmaras en inventario 4 semanas ms tarde; es decir,
De igual manera, dado que quedan dos cmaras en el almacn final
de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en
el almacn 4 semanas despus; esto es,

4.8.- Probabilidades de transicin estacionaria de estados estables.


Teorema
Sea P la matriz de transicin de una cadena de M estados . Existe entonces un
vector tal que

Se establece que para cualquier estado inicial i , .
El vector a menudo se llama distribucin de estado estable, o
tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la
distribucin de probabilidades de estacionario para una cadena dada cuya matriz
de transicin es P, segn el teorema, para n grande y para toda i ,
(1)
Como P
ij
(n + 1) = ( rengln i de P
n
)(columna j de P), podemos escribir
(2)

Ejemplo :
Suponga que toda la industria de refrescos produce dos colas. Cuando una
persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente
compra se de cola 1. Si una persona compr cola 2, hay un 80 % de
probabilidades que su prxima compra sea de cola 2.

Entonces :
Al reemplazar la segunda ecuacin por la condicin ,
obtenemos el sistema
Al despejar resulta que Por lo tanto, despus de largo tiempo, hay
probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de
que una persona compre cola 2.
Tiempos de primer paso.

Con frecuencia es conveniente poder hacer afirmaciones en trminos de
probabilidades sobre el nmero de transiciones que hace el proceso al ir de un
estado i a un estado j por primera vez . este lapso se llama tiempos de primer
paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo
el nmero de transiciones hasta que el proceso regresa al estado inicial i. En este
caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D
1
, D
2
, ... las demandas de esta cmara
durante la primera, segunda, ... , semana, respectivamente. Se supone que las D
i

son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X
0
el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X
1
el nmero de cmaras que se tienen
al final de la semana uno, X
2
el nmero de cmaras al final de la semana dos, etc.
Suponga que X
0
= 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)
1
para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X
1
} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
Donde X
t
es el nmero de cmaras en inventario al final de la semana t y se
comienza con , Suponga que ocurri lo siguiente:

En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2
semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3
semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.
En general, los tiempos de primer paso son variables aleatorias y, por lo tanto,
tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de
probabilidad dependen de las probabilidades de transicin del proceso. En
particular, denota la probabilidad de que el tiempo de primer paso del estado i
al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las
siguientes relaciones recursivas:

Entonces se puede calcular la probabilidad de un tiempo de primer paso del
estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de
transicin de un paso. En el ejemplo, la distribucin de probabilidad de los tiempos
de primer paso del estado 3 al estado 0 se obtiene como sigue:

Para i y j fijos, las son nmeros no negativos tales que

Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar
se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es
igual a 1, las pueden considerarse como una distribucin de
probabilidad para la variable aleatoria, el tiempo de primer paso.
Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea ,
que se define como:


entonces satisface, de manera nica, la ecuacin:

Cuando i=j, se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para
calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn,
suponiendo que el proceso inicia cuando se tienen tres cmaras; es decir, se
puede obtener el tiempo esperado de primer paso . Como todos los estados
son recurrentes, el sistema de ecuaciones conduce a las expresiones

La solucin simultnea de este sistema es

De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es
de 3.50 semanas.


http://sistemas.itlp.edu.mx/tutoriales/investoper2/tema43.htm
http://sistemas.itlp.edu.mx/tutoriales/investoper2/tema48.htm

Introduccin

Las cadenas de Markov se incluyen dentro de los denominados procesos
estocsticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del
tiempo X(t,w). Se definen como una coleccin de variables aleatorias {X(t,w), t e I},
donde X (t,w) puede representar por ejemplo los niveles de inventario al final de la semana
t. El inters de los procesos estocsticos es describir el comportamiento de un sistema e
operacin durante algunos periodos.
Los procesos estocsticos se pueden clasificar atendiendo a dos
aspectos: si el espacio de estados posibles de la variable aleatoria contiene
valores discretos o continuos y de si los valores del tiempo son discretos o
continuos.
Las cadenas de Markov es un proceso estocstico en el que los valores
del tiempo son discretos y los estados posibles de la variable aleatoria
contiene valores discretos, es decir, es una cadena estocstica de tiempo
discreto.
Las cadenas de Markov, se clasifican, adems, dentro de los procesos estocsticos
de Markov, que son aquellos en el que el estado futuro de un proceso es independiente de
los estados pasados y solamente depende del estado presente. Por lo tanto las
probabilidades de transicin entre los estados para los tiempos k-1 y k solamente depende
de los estados que la variable adquiere dichos tiempos.
INDICE

Cadenas de Markov

Las cadenas de Markov estn constituidas por un conjunto de valores {Xn , n
:0,1,2...} que cumplen la probabilidad de alcanzar cualquier estado j de la variable depende
exclusivamente del estado i alcanzado en el instante de tiempo anterior.
P[Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] V i,j
Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos
de n y n+1 una probabilidad condicional denominada probabilidad de transicin pij.
P[X+1=j / Xn=i] = pij
Las probabilidades de transicin de un paso son estacionarias, es decir, que no
cambian con el tiempo.
Si pij no depende del instante n se dice que la cadena de Markov es homognea. Las
probabilidades de transicin estructuradas en forma matricial da lugar a lo que se denomina
matriz de transicin. Dicha matriz relaciona los estados de la variable en dos pasos
consecutivos y n+1 a travs de sus probabilidades de transicin.

Periodo n+1

Estado 1 ... Estado M
Periodo n
Estado 1 p11 p1* p1M
.... P * 1 p** p*M
Estado M pM 1 pM* pMM


Una probabilidad de transicin pij ^(n) de n pasos
entre los estados i y j indica la probabilidad de que partiendo del estado i en pasos se llegue
al estado j.

INDICE



Ecuaciones de Chapman-Kolmogorov

Estas ecuaciones proporcionan un mtodo para determinar las probabilidades de que
un proceso del estado i notada por pij ^(n).
pij ^(n) = k=0..K pik ^(m) pkj ^(-m) ; V i,j,n; 0<ms n

Cada sumando representa la probabilidad de que partiendo del estado i se llegue al
estado k transcurridos m perodos y posteriormente desde el estado k se llegue al estado j en
n-m perodos.
INDICE



Clasificacin de los estados en una cadena de Markov

Las probabilidades de transicin asociadas a los estados juegan un papel importante
en el estudio de las cadenas de Markov. Para describir con mas detalles las propiedades de
una cadena de Markov es necesario presentar algunos conceptos y definiciones que se
refieren a estos estados.
U estado j es accesible desde el estado i si para algn n se tiene que pij ^(n) >0.
Una cadena de Markov se puede dividir en clases. Una clase est formada por todos
los estados que son accesibles entre s .
Considerando las probabilidades fii de que el proceso regrese al estado i comenzando en el
estado i se puede clasificar los estados en recurrente s fii =, transitorio s fii <1y absorbente
s pii =1.
En una cadena de Markov finita e irreducible todos los estados de dicha cadena so
recurrentes.
El perodo de u estado i es el nmero T de perodos para el cual se cumple que pij ^(n) =0,
siendo los valores distintos de T, 2T, 3T,.. y T es el valor ms elevado que cumple esa
propiedad.
Un estado es apriodico si la variable aleatoria puede encontrarse en el mismo estado en
dos perodos consecutivos.
Un estado i es recurrente positivo si comenzando en el estado i el tiempo esperado para que
el proceso regrese al estado i es finito.

Un estado se denomina esgrico si es recurrente positivo y adems aperidico. Una cadena
es ergrica si todos sus estados son esgricos.
INDICE


Tiempos de primera pasada.

Es importante el n de transiciones de que hace el proceso al ir del estado i al j por
primera vez; a esto se llama tiempo de 1 pasada. Tiempo de recurrencia ser una
particularizacin de lo anterior para i=j (n de transiciones hasta volver al estado inicial i).
En general los tiempos de 1 pasada son variables aleatorias, donde las
distribuciones de probabilidad dependen de las probabilidades de transicin del proceso.
stas probabilidades satisfacen lo siguiente:

f
ij
(1)
=p
ij
(1)
=p
ij

f
ij
(1)
= p
ik
f
kj
(1)

k=j
f
ij
(n)
= p
ik
f
kj
(n-1)

k=j


La ltima suma puede resultar menor que 1, lo que significa que un proceso que
comienza en i, puede nunca alcanzar el estado j. Es sencillo calcular el tiempo de primera
pasada de i a j; siendo
ij
esta esperanza:

si f
ij
(n)
<1

ij
= n=1

n f
ij
(n)
=1 si f
ij
(n)
=1
n=1 n=1

ij
satisface de manera nica, la ecuacin:
ij
=1+ p
ik

kj

k=j
que reconoce que la 1 transicin puede ser al estado j o a algn otro estado k.
Para el caso de
ii
(con j=i)es el n esperado de transiciones para que el proceso regrese al
estado i(tiempo esperado de recurrencia).stos se calculan de inmediato de la forma:
1

ii
=----- siendo t
i
las probabilidades de estado estable.
t
i



INDICE




Estados Absorbentes.

Un estado se llama absorbente si p
ik
=1, es decir, si una vez que el
estado llega a k, permanece ah para siempre. Si k es un estado absorbente y
el proceso comienza en i, la probabilidad de llegar a k se llama probabilidad
de absorcin de k (f
ik
). Si se tienen 2 o ms estados absorbentes, el proceso
ser absorbido por uno de stos. Para saber cual, hay que resolver el sistema
de ecuaciones:


M
f
ik
= p
ij
f
jk
para i=0,1,,M
j=0


Esto es importante en las caminatas aleatorias: cadenas de Markov en las que si el
sistema se encuentra en el estado i, entonces, en una sola transicin, o permanece en i, o se
mueve a uno de los 2 estados inmediatamente adyacentes a i.
INDICE

Cadenas de Markov en tiempo continuo

Se etiquetan los estados posibles del sistema 0,1,,M. Se comienza en 0, y t>0. Sea
la v.a.X(t) el estado del sistema en t. Tomar un valor en 0st<t
1
, despus tomar otro
valor en t
1
st<t
2
,
Es interesante conocer el estado del proceso en t=s+t(t unidades en el futuro). Ser
sencillo conocerlo si el proceso tiene la propiedad markoviana:
P{X(s+t)=j/X(s)=i y X(r)=x(r)}= P{X(s+t)=j/X(s)=i} i,j y r>0, s>r y t>0.

P{X(s+t)=j/X(s)=i} es una probabilidad de transicin. Si es independiente de s, se llamar
probabilidad de transicin estacionaria.
Un proceso estocstico de tiempo continuo {X(t); t>0} es una cadena de Markov de
tiempo continuo si tiene la propiedad markoviana.
INDICE

Algunas v. a. importantes:

*La distribucin de probabilidad del tiempo que falta para que el proceso haga una
transicin fuera de un estado dado es siempre la misma(independientemente del tiempo que
el proceso haya pasado en ese estado), es decir:no tiene memoria. La nica distribucin en
TC que cumple esto es la distribucin exponencial:
P{T
i
st}=1-e
-qt
para t>0 (parmetro q, media 1/q).

Por tanto, describiremos la cadena de Markov:
-La v.a. T
i
tiene una distribucin exponencial con media 1/q.
-Al salir de un estado i, se pasa a otro j, con probabilidad p
ij
que cumple que p
ij
=0
para toda i, y la suma de todas las p
ij
es 1.
-El siguiente estado que se visita tras i, es independiente del tiempo transcurrido
en i.
Las intensidades de transicin(probabilidades de transicin, pero en TC) :
d 1 p
ii
(t)
q
i
= p
ii
(0)=lim , para i=0,1,2,,M,
dt t0 t

y
d 1 p
ij
(t)
q
i
= p
ij
(0)=lim = q
i
p
ij
, para toda j=i
dt t0 t


donde p
ij
es la funcin de probabilidad de transicin de TC, q
i
y q
ij
son las tasas de
transicin(q
i
= q
ij
).
i=j


INDICE

Probabilidades de estado estable:

La funcin de probabilidad de transicin de TC satisface las ecuaciones de
Chapman-Kolmogorov, luego para cualequiera estados i,j y nmeros t y s(0ss<t):


M
p
ij
= p
ik
(s)p
kj
(t-s) para i=0,1,,M
k=1

Se dice que un par de estados i,j se comunican si existen tiempos t
1
, t
2
tales que
p
ij
(t
1
)>0 y p
ij
(t
2
)>0. Todos los estados que se comunican forman una clase. Si todos los
estados en una cadena forman una clase, entonces la cadena ser irreducible, por lo que:
p
ij
(t)>0, para todo t>0 y todos los estados i,j , y ms an:
lim p
ij
(t)=t
j
llamadas probabilidades de estado estable(o estacionarias).
t

Las probabilidades estacionarias satisfacen: M
t
j
q
j
= t
i
q
ij
para j=0,1,,M y t
j
=0
i=j j=0

(stas ecuaciones se suelen llamar de balance).