1.

I


UNIVERSIDAD NACIONAL DE ANCASH





FACULTAD DE INGENIERIA DE MINAS GEOLOGIA Y METALURGIA
ESCUELA PROFESIONAL DE INGENIERIA DE MINAS
MODELOS DE CADENAS DE MARKOV
(MONOGRAFIA)
PRESENTADO EN LA ASIGNATURA DE ANALISIS DE SISTEMAS MINEROS I
GAYTN MONTES MIGUEL NGEL
TORRES AGUILAR CARLOS CHEITO

HUARAZ, 15 DE OCTUBRE DE 2012
0




1









CAPITULO I

1 MODELOS DE CADENA DE MARKOV
1.1 ANTESEDENTES
1

Reciben su nombre del matemtico ruso Andrei Andreevitch
Markov (1856-1922), que las introdujo en 1907.
Estos modelos muestran una estructura de dependencia simple, pero muy
til en muchas aplicaciones.





1
http://es.wikipedia.org/wiki/Cadena_de_Markov
2


Andri Mrkov


















FUENTE: http://es.wikipedia.org/wiki/Cadena_de_Markov

Andri Andryevich Mrkov (14 de junio de 1856 - 20 de julio de 1922)
fue un matemtico ruso conocido por sus trabajos en la teora de los
nmeros y la teora de probabilidades.
Mrkov naci en Riazn, Rusia. Antes de los 10 aos su padre, un
funcionario estatal, fue trasladado a San Petersburgo donde Andri entr
a estudiar en un instituto de la ciudad. Desde el principio mostr cierto
talento para las matemticas y cuando se gradu en 1874 ya conoca a
varios matemticos de la Universidad de San Petersburgo, donde ingres
tras su graduacin. En la Universidad fue discpulo de Chebyshov y tras
3

realizar sus tesis de maestra y doctorado, en 1886 accedi como adjunto
a la Academia de Ciencias de San Petersburgo a propuesta del
propio Chebyshov. Diez aos despus Mrkov haba ganado el puesto de
acadmico regular. Desde 1880, tras defender su tesis de maestra,
Mrkov imparti clases en la Universidad y, cuando el propio Chebyshov
dej la Universidad tres aos despus, fue Mrkov quien le sustituy en
los cursos de teora de la probabilidad. En 1905, tras 25 aos de actividad
acadmica, Mrkov se retir definitivamente de la Universidad, aunque
sigui impartiendo algunos cursos sobre teora de la probabilidad.
Mrkov arrastr durante toda su vida problemas relacionados con una
malformacin congnita en la rodilla que le llevara varias veces al
quirfano y que, con el tiempo, fue la causa de su muerte cuando el 20 de
julio del ao 1922 una de las muchas operaciones a las que se someti le
produjo una infeccin generalizada de la que no pudo recuperarse.
Aunque Mrkov influy sobre diversos campos de las matemticas, por
ejemplo en sus trabajos sobre fracciones continuas, la historia le
recordar principalmente por sus resultados relacionados con la teora de
la probabilidad. En 1887 complet la prueba que permita generalizar
el teorema central del lmite y que ya haba avanzado Chebyshov. Pero su
aportacin ms conocida es otra.
Su trabajo terico en el campo de los procesos en los que estn
involucrados componentes aleatorios (procesos estocsticos) daran fruto
en un instrumento matemtico que actualmente se conoce como cadena
4

de Mrkov: secuencias de valores de una variable aleatoria en las que el
valor de la variable en el futuro depende del valor de la variable en el
presente, pero es independiente de la historia de dicha variable.
Las cadenas de Mrkov, hoy da, se consideran una herramienta esencial
en disciplinas como la economa, la ingeniera, la investigacin de
operaciones y muchas otras.
1.2 OBJETIVOS
2

Generales:
Aplicar la teora fundamental de cadenas de markov para determinar el
comportamiento de la materia prima a futuro en cada proceso.
Especficos:
- Mostrar que el proceso es una cadena de Markov.
- Construir la matriz de transicin.
- Mostrar que los estados son accesibles.
- Mostrar que los estados se comunican.
- Mostrar que los estados son recurrentes.
- Mostrar que los estados son aperidicos.
- Determinar el polinomio caracterstico y los valores propios
1.3 CADENA DE MARKOV
1.3.1 Concepto
3

Las cadenas de Markov es una herramienta para analizar el
comportamiento y el gobierno de determinado de procesos estocsticos,

2
http://www.uantof.cl/facultades/csbasicas/Matematicas/academicos/emartinez/magis
ter/markov/markov.pdf
3
HAMDY A. TAHA: Investigacin de operaciones. Editorial PEARSON EDUCACIN,
Mxico S.A. de C.V., 2004 7 Edicin. Cap. 19, pag. 675
5

esto es, procesos que evolucionan de forma no determinstica a lo largo
del tiempo en torno a un conjunto de estados.
Las cadenas de markov son modelos probabilsticos que se usan para
predecir la evolucin y el comportamiento a corto y a largo plazo de
determinados sistemas
4

Una cadena Markov, por tanto, representa un sistema que vara su estado
a lo largo del tiempo, siendo cada cambio una transicin del sistema.
Dichos cambios no estn predeterminados, aunque s lo est la
probabilidad del prximo estado en funcin de los anteriores, probabilidad
que es constante a lo largo del tiempo (sistema homogneo en el tiempo).
A sido extrado de libro de investigacin de operaciones aplicacin y algoritmos
del autor: Wayne L. Winston
Un tipo especial de proceso
discreto en el tiempo se llama
cadena de markov. Para simplificar
la exposicin, se supone que en
cualquier instante, el proceso
estocstico discreto en el tiempo
puede estar en un numero finito de
estados identificados con 1,
2,3,.s.
5


Una transicin, el nuevo estado puede ser el mismo que el anterior y es
posible que exista la posibilidad de influir en las probabilidades de
transicin actuando adecuadamente sobre el sistema (decisin).

4
www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
5
WAYNE L. WINSTON investigacin de operaciones aplicacin y algoritmos. Editorial:
Thomson (2004), 4Edicin. Cap. 17, pg. 924
6

DEFINICION:
6

Esta definicin es recuperada de WAYNE L. WINSTON:
Un prosceso estocstico discrteto en el tiempo es una cadena de
markov,si para t =0,1,2, y los estados
P(X
t+1
=
t+1
X
t
=
t
, X
t=1
=
t
=
1,.,
X
1
=
1
, X
0
=
0
)
= P(X
t+1
=
t+1
X
t
=
t
)..(1)


Basicamente,(1)dice que la distribucion
de probabilidad del estadoi en el tiempo
t+1 depende del estado en el tiempo t(
t
) y
no depende de los estados por los que
pasa la cadena en el camino a
t
en el
istante t,enel estudio de las cadenas de
markov, se hace la suposicion adicional
de que para los estados y j y toda t,
P(X
t+1
= X
t
=) es inde pendiente de t
esta suposicion permite escribir, P(X
t+1
=
X
t
=) =p
ij

7


1.3.2 Propiedad markoviana
8


Un proceso estocstico tiene la propiedad markoviana si las
probabilidades de transicin en un paso slo dependen del estado del
sistema en el perodo anterior (memoria limitada)

6
WAYNE L. WINSTON ..op.cit, pg. 924
7
Ib, pg. 925
8
nicolasinfante.ublog.cl/archivos/3102/cadenas_de_markov_12.ppt
7






P
(n)
es la matriz de transicin en n pasos, de orden (M+1)x(M+1)
8




9


1.3.2.1 Procesos Estocsticos (
9
)
Definicin:
Es un conjunto o sucesin de
variables aleatorias: {X(t)CG }
definidas en un mismo espacio de
probabilidad. Normalmente el ndice
t representa un tiempo y X(t) el
estado del proceso estocstico en el
instante t. El proceso puede ser de
tiempo discreto o continuo si G es
discreto o continuo. Si el proceso es
de tiempo discreto, usamos enteros
para representar el ndice: {X1, X2,
(...)
10

Un proceso estocstico {Xt, t T} es una coleccin de variables
aleatorias. Esto es, para cada t T, Xt es una variable aleatoria.

9
http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV
10
www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
10

ndice de proceso. El conjunto T es llamado el ndice del proceso. El
ndice t es a menudo interpretado como tiempo, pero puede referirse a
cualquier otra cosa,. Por ejemplo, al nmero de un juego.
Denotamos por Xt a una variable que representa el estado del proceso en
el tiempo t.
Espacio de estados = E. Conjunto de todos los posibles valores que la
variable Xt puede tomar.
Ejemplos. Xt puede ser:
- Nmero de clientes en un supermercado
- Estado del tiempo
- Precio de una accin, etc.
Si T es contable se tiene un proceso discreto en el tiempo, y por lo
general se usar la siguiente notacin, reemplazando el subndice t por n:
{Xn, n = 0, 1,...}
Si T es un intervalo, se trata de un proceso continuo en el tiempo.
Notacin: {Xt, t 0} proceso estocstico de tiempo continuo.
En resumen, un proceso estocstico es una familia de variables aleatorias
que describe la evolucin de un proceso (fsico) a travs del tiempo. Para
describirlo, bastara con conocer la distribucin conjunta de dichas
variables aleatorias.
11


11
http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV
11

Realizacin de un proceso: Conjunto particular de valores que toma el
proceso.
1.3.3 Estructura probabilstica del proceso (
12
)

Como ya se mencion, para conocer el comportamiento de un proceso
estocstico, basta con conocer la distribucin conjunta de probabilidad
P(x1,x2,....Xn)
Considere un proceso estocstico de parmetro discreto n = 0, 1, 2,...,.
Considere el conjunto de variables aleatorias X0, X1, ...,Xn. Su
comportamiento puede describirse mediante la funcin de probabilidad
conjunta. Para ello considere la siguiente probabilidad:
P = P(Xn = in, Xn-1 = in-1, , X1 = i1, X0 = i0 )
Usando la frmula de probabilidad condicional P(AB) = P(A/B) P(B), la
probabilidad anterior puede escribirse como:
P = P(Xn=in, Xn-1=in-1, , X1=i1, X0=i0) = P(Xn=in/ Xn-1=in-1, ,
X1=i1, X0=i0) P(Xn-1=in-1, , X1=i1, X0=i0)
Usando de nuevo el condicional, la probabilidad se puede expresar como:
P = P(Xn=in/ Xn-1=in-1, , X1=i1, X0=i0) P(Xn-1=in-1/ Xn-2=in-2 ,
X1=i1, X0=i0) P(Xn-2=in-2 , X1=i1, X0=i0)
De nuevo, usando el condicional en forma iterativa, se llega a la siguiente
expresin para la probabilidad conjunta:

12
UNIVERSIDAD DE BUENOS AIRES Facultad de Ciencias Exactas y Naturales
Departamento de Matemtica Tesis de Licenciatura presentado: 25 de agosto de 2010
por : Pablo Groisman
12

P = P(Xn=in/Xn-1=in-1, , X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 ,
X1=i1, X0=i0)xP(Xn-2=in-2 , X1=i1, X0=i0)
xx P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0)
De lo anterior, se observa que la probabilidad conjunta puede expresarse
en trminos de las probabilidades condicionales, condicionando el
resultado en el tiempo n a los resultados obtenidos en los tiempos n-1, n-
2,...,1 y el estado inicial, luego el resultado en el tiempo n-1 se condiciona
a los resultados obtenidos en los tiempos n-2,...,1 y el estado inicial, y as
sucesivamente hasta condicionar el resultado en el tiempo 1 al estado
inicial.
Usando la expresin anterior, se pueden calcular la probabilidad conjunta
para cualquier caso, pero nuestro inters se centra en dos casos
especiales: el caso independiente y el caso dependiente de Markov.

1.3.4 Caso independiente.

Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in-
1, , X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta est dada por:
P(Xn = in, Xn-1 = in-1, , X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in-
1)P(Xn-2 = in-2)P(X1 = i1) P(X0 = i0)
1.3.5 Caso Markoviano

Suponga que la probabilidad condicional en el tiempo n, dados los
perodos n-1, n-2,...,1 y 0 se puede expresar de la siguiente manera:
13

P(Xn = in/Xn-1 = in-1, Xn-2 = in-2, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 =
in-1)
Es decir, el estado futuro del proceso Xn depende solo del estado
presente Xn-1 y es independiente de los estados pasados (Xn-2, Xn-3,,
X1, X0). En este caso se dice que el proceso tiene la propiedad
Markoviana, o tiene prdida de memoria, es decir, el futuro depende
nicamente del presente y es independiente del pasado. A la probabilidad
condicional P(Xn = in/Xn-1 = in-1) se la denomina probabilidad de
transicin del estado Xn-1 al estado Xn en un perodo.
La probabilidad conjunta se expresa entonces como
P(Xn = in, Xn-1 = in-1, , X1 = i1, X0 = i0) =
P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2)P(X2 = i2/X1 = i1)P(X1
= i1/X0 = i0)P(X0 = i0)
Ejemplos: Problema del jugador, caminata aleatoria.
Considere el proceso estocstico de parmetro discreto {Xn, n = 0, 1,2,...,}
que toma un nmero finito o infinito de valores. Supondremos que E = (0,
1,2,...,M) E = (0, 1,2,...)
Si Xn=i decimos que el proceso se encuentra en el estado i en el tiempo o
etapa n. El tiempo se denomina etapa o paso
Considere la secuencia Xt+1, Xt, Xt-1,...,X1, X0. Se dice que un proceso
cumple la condicin de Markov o tiene la propiedad markoviana si
14

P(Xt+1 = j/Xn = i, Xn-1 = in-1, X1 = i1, X0 = i0) = P(Xt+1 = j/Xn = i) Se
tiene entonces que la probabilidad condicional de cualquier evento futuro
dados el evento presente o actual y los eventos pasados depende
nicamente del presente y es independiente del pasado.
13

Cuadro n1







Fuente: www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
1.4 TIPOS DE ESTADOS Y DE CADENAS DE MARKOV DE PRIMER
ORDEN (
14
)
Para clasificar los estados y las CM tenemos que definir algunos
conceptos:

13
Loc.cit
14
Loc.cit
15

a. Tiempos del primer paso/recurrencia (Corto plazo)
Con lo visto hasta el momento podemos calcular la probabilidad,
dado que el proceso se encuentra en el estado i, de que el proceso
se encuentre en el estado j despus de n periodos P
ij
(n)
.

EJEMPLO: Un vendedor de cmaras fotogrficas lleva acabo la
siguiente poltica de inventario. Mantiene durante la semana de trabajo
hasta un mximo de 3 cmaras en el almacn para su venta. Si al final de
la semana le quedan en el almacn alguna cmara entonces no pide
ninguna al fabricante. De partida en el almacn hay 3 cmaras (x
0
=3).
a) Comenta el contenido de la matriz de transicin P facilitada por el
comercio.
b) Sabiendo que hay dos cmaras al final de la primera semana
(x
1
=2), (x
2
=1), (x
3
=0), (x
4
=3) y (x
5
=1). Obtener el tiempo de primera
pasada para ir del estado 3 al 1, y el tiempo de recurrencia del
estado 3.
16


En general podemos considerar a los tiempos de primera pasada como
variables aleatorias, por tanto con una distribucin de probabilidad
asociada a ellos. Dichas distribuciones de probabilidad dependern de las
probabilidades de transicin del proceso.
f
ij
(1)
=p
ij
(1)
=p
ij

f
ij
(2)
=p
ij
(2)
-f
ij
(1)
p
ij

.............................................
f
ij
(n)
=p
ij
(n)
-f
ij
(1)
p
ij
(n-1)
-f
ij
(2)
p
ij
(n-2)
....-f
ij
(n-1)
p
ij

Como generalmente es bastante engorroso calcular las f
ij
(n)
para todas las
n, se suele optar por obtener el tiempo esperado de primera pasada del
estado i al estado j
17


Podemos considerar f
ij
(n)
para (n=1,2,..) como la funcin de probabilidad
de la variable aleatoria tiempo de primera pasada

18

19


20

1.4.1 Comportamiento a largo plazo de las cadenas de markov (
15
)



15
Loc.cit
21


1.5 CLASIFICACION DE LAS CADENAS DE MARKOV
16

1.5.1 Cadenas Absorbentes
A) (
17
) En una cadena absorbente tenemos una probabilidad positiva
de llegar en algn momento a un estado absorbente, ya que en
otro caso se formara un conjunto ergdico (que no es el total) con
ms de un punto porque hay un nmero finito de estados. En toda
cadena de Markov absorbente, la probabilidad de absorcin (que
empezando en cualquier lugar se llegue a un estado absorbente).

16
Naim Caba Villalobos .Toma de Decisiones a travs de la Investigacin de
Operaciones. Pag.148,150
17
FREDERICK HILLIER, GERALD LIEBERMAN: Investigacin de operaciones.
editorial MCGRAW-HILL / INTERAMERICANA DE MEXICO 7 edicin, Cap. 16, pag. 820
22

Los estados que pueden sucederse a s mismos y, adems, es
posible alcanzar, por lo menos, alguno de los restantes desde ellos
se llaman estados transitorios. Un estado tal que si el proceso
entra en l permanecer indefinidamente en este estado (ya que
las probabilidades de pasar a cualquiera de los otros son cero), se
dice estado absorbente. De una cadena de Markov que consta de
estados transitorios y absorbentes se dice que es una cadena
absorbente de Markov. Si una cadena de Markov contiene algn
estado absorbente, la lnea de la matriz de transicin
correspondiente a las probabilidades de transicin de dicho estado
constar de un 1 en la diagonal principal y ceros en los
dems elementos. Ser por lo tanto una matriz no regular. Para
poder estudiar las cadenas de Markov absorbentes es preciso
reordenar la matriz de transicin de forma que las filas
correspondientes a los estados absorbentes aparezcan en primer
lugar. As ordenada se dir que la matriz de transicin est en la
forma cannica. Podemos dividir la matriz en forma cannica en
cuatro submatrices. La primera es la matriz unidad I, del orden
correspondiente. La segunda, la matriz nula. La tercera contiene
las probabilidades de paso de estados transitorios a estados
absorbentes. La cuarta contiene las probabilidades de estados
transitorios a estados transitorios.

23

B) (
18
) Se seal que el estado k se llama estado absorbente si p
kk
=
1, de manera que una vez que la cadena llega al estado k
permanece ah para siempre. Si k es un estado absorbente y el
proceso comienza en el estado *, la probabilidad de llegar en algn
momento a k se llama probabilidad de absorcin al estado dado
que el sistema comenz en el estado i. Esta probabilidad se denota
por f
IK
. Si se tienen dos o ms estados absorbentes en una cadena
de Markov y es evidente que el proceso ser absorbido en uno de
estos estados, es deseable encontrar estas probabilidades de
absorcin. Dichas probabilidades pueden obtenerse con slo
resolver un sistema de ecuaciones lineales que considera todas las
posibilidades para la primera transicin y despus, dada la primera
transicin, considera la probabilidad condicional de absorcin al
estado k. En particular, si el estado k es un estado absorbente,
entonces el conjunto de probabilidades de absorcin f
IK
. satisface
el sistema de ecuaciones

Sujeta a las condiciones:


18
FREDERICK HILLIER, GERALD LIEBERMANop.cit ,pag. 821
24

Las probabilidades de absorcin son importantes en las caminatas
aleatorias. Una caminata aleatoria es una cadena de Markov con la
propiedad de que, si el sistema se encuentra en el estado i,
entonces en una sola transicin, o bien permanecer en i o se
mover a uno de los dos estados inmediatamente adyacentes a i.
Por ejemplo, la caminata aleatoria con frecuencia se usa como
modelo para situaciones que incluyen juegos de azar.
Para ilustrar, considere un ejemplo sobre juegos de azar, suponga
que dos jugadores (A y B), con $2 cada uno, aceptan seguir jugando
y apostando S1 cada vez hasta que uno de ellos quiebre. La
probabilidad de que A gane una apuesta es 1/3, por lo que la
probabilidad de que gane B es 2/3. El nmero de dlares que tiene
el jugador A antes de cada apuesta (0,1,2, 3 o 4) proporciona los
estados de una cadena de Markov con matriz de transicin

Comenzando en el estado 2, la probabilidad de absorcin al estado 0 (A
pierde todo su dinero) se puede obtener a partir del sistema de
ecuaciones anterior como f
20
= 1/5 y la probabilidad de que A gane $4 (B
quiebre) est dada por f
24
= 4/5.Existen muchas otras situaciones en las
que los estados absorbentes juegan un papel importante. Considere una
25

tienda de departamentos que clasifica esaldo de la cuenta de un cliente
como pagada (estado 0), 1 a 30 das de retraso (estado 1), 31 a 60 das
de retraso (estado 2) o mala deuda (estado 3). Las cuentas se revisan
cada mes y se determina el estado de cada cliente. En general, los
crditos no se extienden y se espera que los clientes paguen sus cuentas
dentro de 30 das. En ocasiones, los clientes pagan slo una parte de su
cuenta. Si esto ocurre cuando el saldo queda dentro de los 30 das de
retraso (estado 1), la tienda considera que este cliente permanece en el
estado 1. Si esto ocurre cuando el saldo est entre 31 y 60 das de re-
traso, la tienda considera que el cliente se mueve al estado 1 (1 a 30 das
de retraso). Los clientes que tienen ms de 60 das de retraso se
clasifican en la categora de una mala deuda (estado 3); y enva las
cuentas a una agencia de cobro. Despus de
examinar los datos de aos anteriores, la tienda ha desarrollado la
siguiente matriz de transicin:
^^^Estado 0: saldo 1: 1 a 30 das 2: 31 a 60 das
Estado pagado de retraso de retraso 3: mala deuda
0: cuenta pagada 1 0 0 0
1: 1 a 30 das de 0.7 0.2 0.1 0
retraso
2: 31 a 60 das de 0.5 0.1 0.2 0.2
retraso
3: mala deuda 0 0 0 1

Los clientes que pagaron su saldo (en el estado 0) y despus se retrasan en el pago de
nuevas compras se consideran clientes "nuevos" que inician en el estado 1.
26

1.5.2 Estados absorbentes (
19
)
Definicin. El estado k es absorbente si pkk = 1
Si el estado k es absorbente, y el proceso empieza en el estado i,
entonces no se habla de probabilidades lmites, tales como fueron
analizadas recientemente, sino que se habla de que el estado i sea
absorbido por el estado k, o probabilidad de absorcin al estado k,
denotada por fik.
1.5.2.1 Probabilidades de absorcin
Si el proceso se encuentra en el estado i (no absorbente), para calcular la
probabilidad de que este estado sea absorbido por el estado k, se puede
condicionar en el resultado de la primera transicin, de la siguiente
manera: El proceso puede hacer una transicin a un estado intermedio j, y
de ah ser absorbido posteriormente por el estado k. Por lo tanto, las
probabilidades de absorcin f
ik
pueden calcularse mediante el siguiente
sistema de ecuaciones:



Ejemplo Caminata aleatoria. Si el proceso se encuentra en el
estado i, en el instante siguiente puede estar slo en i-1, i e i+1.

19
http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV
27

1.5.2.2 Nmero medio de pasos para la absorcin
Si el proceso empieza en el estado i (o se encuentra en el estado i),
donde i es un estado transitorio, el nmero medio de pasos para llegar a
un estado absorbente, se puede calcular condicionando en el resultado de
la primera transicin, mediante el sistema de ecuaciones que se obtiene
de la siguiente ecuacin:

Donde T es el conjunto de estados transitorios.
Tambin se podra escribir de la siguiente manera

Donde la sumatoria se hace para todo estado k contenido en el espacio
muestral, y teniendo en cuenta que
k
= 0 si k es un estado recurrente
(absorbente), es decir, si un proceso llega a un estado absorbente, el
tiempo medio de absorcin a partir de ese estado es cero
1.5.2.3 Probabilidad de absorcin. Calculo matricial
El clculo se basa en la matriz fundamental. Simplemente daremos los
pasos requeridos en el procedimiento, sin analizar detalladamente el por
qu. Supondremos que el proceso tiene m estados transitorios, s estados
absorbentes y k estados recurrentes.
28

A) Se reorganizan las filas y las columnas de la matriz de transicin,
tal que quede expresada (parcial o totalmente) de la siguiente
manera:
GENERALIZANDO: (
20
)
Una cadena de Markov absorbente contiene p estados transitorios y q
estados absorbentes. La matriz cannica del proceso presentar el
aspecto siguiente:


I: matriz identidad de dimensin q
O: matriz nula de dimensin qxp
Q: matriz de dimensin pxq que contiene las probabilidades de paso de
estados transitorios a absorbentes.
M: matriz pxp con las probabilidades de los estados transitorios a estados
transitorios.

Se llama matriz fundamental de la cadena a la matriz resultado de la
operacin:
F=(I-M)
-1

Ejemplo (Paseando por la peatonal). La peatonal de mi pueblo tiene 6
cuadras de largo, que van de norte a sur. Estoy con ganas de deambular
y pasar el tiempo, y como tengo una moneda, se me ocurre tirarla y

20
loc.cit
I O
Q M
| |
|
\ .
29

caminar una cuadra hacia el norte si sale cara o una cuadra hacia el sur si
sale sello. Y contino este juego hasta salir de la peatonal, ya sea hacia el
norte o hacia el sur.
En este caso, podemos pensar que los estados son 0,1, . . . ,5,6, donde 0
es la esquina sur donde empieza la peatonal, 6 la esquina norte, y las
esquinas intermedias se numeran entre 1 y 5.
La matriz de transicin puede escribirse entonces como


En este caso tenemos que pensar que las filas y columnas corresponden
a los estados 0, 1,. . . , 6. Sin embargo, tenemos la novedad de que al
llegar al estado 0 (la esquina sur) o 6 (la esquina norte), el juego se
termina, por lo que ponemos un 1 en la entrada correspondiente
indicando que ya nos quedamos para siempre en esa posicin.
1.5.2.4 Probabilidad de transicin (
21
)
La probabilidad P(Xt+1 = j/Xt = i) se denomina probabilidad de
transicin o probabilidad de pasar del estado i al estado j en
una etapa o transicin.

21
loc.cit
30

1.5.2.5 Probabilidad estacionaria
Si para cada i, j y t se cumple
P(Xt+1=j/Xt=i) = P(X1=j/X0=i)
Se dice que las probabilidades son estacionarias, es decir, no
cambian con el tiempo y se denotan simplemente por pij.
Estas probabilidades de transicin tienen las siguientes
propiedades:

1.5.2.6 Probabilidad de transicin en n pasos
Tambin se tiene
P(Xt+n = j/Xt = i) = P(Xn = j/X0 = i) = pij(n)
Y se denomina probabilidad de transicin en n pasos
Como los pij(n) son probabilidades se tiene que:



1.5.2.7 Matriz de transicin en una etapa P
Es una matriz cuadrada conformada por las probabilidades de
transicin en una etapa P = {pij}
31



La matriz de transicin debe cumplir las siguientes propiedades:

La primera propiedad se debe al hecho de que se trata de una
probabilidad, y la segunda al hecho de que si en el tiempo t el
proceso se encuentra en el estado i, en el tiempo t+1 se debe
encontrar en cualquier estado, incluyendo el estado i.
1.5.2.8 Diagrama de transicin
Una cadena de Markov se puede representar en forma grfica
mediante un diagrama de transicin, en el cual los estados se
representan por figuras geomtricas (crculos, cuadrados, etc), y
mediante flechas orientadas se indican las transiciones posibles
entre los diferentes estados. (ver el problema del jugador).
Ejemplo (Estado del tiempo)
32


Suponga que el estado del tiempo en un da cualquiera depende
nicamente del estado del tiempo del da anterior. Mas
especficamente, suponga que si llueve hoy, la probabilidad de
que llueva maana es (=0.7), y si no llovi hoy la probabilidad
de que llueva maana es (=0.4). Represente este proceso como
una cadena de Markov.
Solucin. Si denotamos por Xn el estado del tiempo el da n, por
las suposiciones dadas se concluye claramente que el proceso Xn
es una cadena de Markov, con el siguiente espacio de estados:
E = (Lluvia, no lluvia) = (0, 1)
La matriz de transicin correspondiente ser:


Ejemplo (Problema del jugador)
Considere un jugador A, que apuesta contra otro jugador B. En
cada jugada A puede ganar un peso con probabilidad p, o puede
perderlo con probabilidad q = 1-p. Sea k el capital inicial del
33

jugador A, y sea M el capital de ambos jugadores. Si denotamos
por Xn el capital del jugador A despus de n jugadas,

a) Es Xn una cadena de Markov?

b) Si lo es, cual sera la matriz de transicin.
Solucin. El capital del jugador A despus de n juegos es igual
al capital que tiene al final del juego n-1 ms el resultado
obtenido al realizar el ltimo juego n, es decir,
Xn = Xn-1 + Yn
donde Yn es el resultado del n-simo juego (1). De la expresin
anterior, se concluye que cumple la condicin de Markov.
Observacin. El capital del jugador A despus de n juegos
puede expresarse en trminos del capital inicial X0 ( = k) y de
los resultados de las n apuestas que haga Y1, Y2,..., Yn-1, Yn.
Xn = X0 + Y1 + Y2 + ... + Yn-1 + Yn
Al examinar la expresin podra pensarse que no se cumple la
condicin de Markov. Mas sin embargo debe tenerse en cuenta
que el capital despus de los n-1 primeros juegos Xn-1 es igual
a:
34

Xn-1 = X0 + Y1 + Y2 + ... + Yn-1
con lo cual se obtiene la expresin dada anteriormente
El espacio de estados est dado por E = (0, 1, 2,..., M)
Las probabilidades de transicin estn dadas por:


ya que si no se tiene capital (jugador arruinado) no se puede
apostar, o si se tiene todo el capital, el oponente no puede
realizar ninguna apuesta.

El problema el jugador se puede representar mediante el
siguiente diagrama de transicin.
35


1.5.2.9 Matriz de transicin en n etapas (
22
)
Probabilidad de transicin en n etapas:
Probabilidad de que un proceso pase del estado i al estado j en n
transiciones o pasos.
P(Xn=j/X0 =i) = P(Xn+m=j/Xm=i) = , n, i, j 0
Se tiene que = Clculo de
Para pasar del estado i al estado j en dos transiciones se debe
pasar por un estado intermedio k en la primera transicin y
luego ir del estado k al estado j en la segunda transicin. Este
estado k puede ser cualquiera de los estados del proceso,
incluyendo los estados i y j. La figura siguiente ilustra el proceso



22
loc.cit
36


Denotemos por la matriz formada por las probabilidades de
transicin en dos etapas, cuyos elementos son las diferentes
probabilidades de transicin en dos etapas . Al analizar la
expresin resultante para observamos este elemento es
igual al producto de la fila i de la matriz de transicin en una
etapa P por la columna j de la misma matriz. Es decir, la matriz
de transicin en dos etapas, es simplemente el producto de la
matriz de transicin de una etapa por s misma. Por lo tanto,



1.5.2.10 Matriz de transicin en 3 etapas Clculo P(3)
Para pasar del estado i al estado j en tres etapas se puede pasar
en el primer paso por un estado intermedio k, y luego hacer la
transicin del estado k al estado j en los restantes dos pasos, es
decir:
37


Si P(3) es la matriz de transicin en 3 pasos, entonces se tiene
que

Tambin se puede pasar al estado intermedio k en los primeros
dos pasos, y luego hacer la restante transicin al estado j en un
paso, es decir

Es decir, P(3) se puede expresar como:

1.6 MATRIZ DE TRANSICIN EN N ETAPAS - P(N) ECUACIN DE
CHAPMAN KOLMOGOROV. (
23
)
Para pasar del estado i al estado j en n etapas se puede pasar en los m
primeros pasos por un estado intermedio k, y luego hacer la transicin del
estado k al estado j en los n-m restantes pasos, es decir:


23
http://www.ulpgc.es/hege/almacen/download/14/14483/bea_cadenas_marko.ppt

38

Si P(n) es la matriz de transicin en n pasos, entonces puede expresarse
como:

Tambin para pasar del estado i al estado j en n etapas se puede pasar al
estado intermedio k en los primeros n-m pasos, y luego hacer la transicin
al estado j en m pasos, es decir

Es decir, se puede expresar como:

El sistema anterior de ecuaciones recibe el nombre de Ecuacin de
Chapman Kolmogorov:
1.7 ECUACIN DE CHAPMAN-KOLGOMOROV
24

Si el resultado anterior se combina con la identidad matricial P
n+m
=
P
n
P
m
, obtenemos:
Una transicin desde i hasta j en n+m pasos puede lograrse
movindose desde i hasta un punto intermedio k en n pasos (con prob
p
(n)
i,k
) y despus, dado que el proceso est en el estado k (la propiedad
de Markov permite que seamos indeferentes a la ruta recorrida), moverse

24
nicolasinfante.ublog.cl/archivos/3102/cadenas_de_markov_12.ppt.

=
+
k
m
kj
n
ik
m n
ij
p p p
) ( ) ( ) (
39

hasta el estado j en m pasos (con prob p
(m)
k,j
). Luego, deben
considerarse todas las opciones posibles para el punto intermedio.
Ejemplo (Estado del tiempo.) Cul es la probabilidad de que
llueva dentro de 4 das si est lloviendo hoy?.
Solucin. Para responder esta pregunta debemos calcular las
probabilidades de transicin en cuatro paso


La probabilidad requerida est dada por = 0.5749
Ejemplo (Sistema de inventarios.) Calcule la probabilidad de
que no haya unidades en el inventario dentro de dentro de
cuatro das si hoy no hay nada.
La matriz de transicin en varias etapas (n =2, 4, 8) se presenta
en la pgina siguiente:
40

La probabilidad requerida est dada por = 0.3993

Qu comportamiento se observa en a medida que n
aumenta?
1.8 Probabilidades de estado
Se denomina probabilidad de estado a la probabilidad
(incondicional) de que despus de n transiciones el proceso se
encuentra en el estado j, la cual denotaremos por = P(Xn=j)
Clculo 1. La probabilidad de estado se puede calcular
condicionando bien sea en el estado inicial o en cualquier otro
estado. Condicionando en el estado inicial se tiene:


41


Si denotamos por ={ , ,..., } un vector fila con
las probabilidades de estado, y analizamos la ecuacin anterior
tenemos que se puede expresar como:
=
Donde es el vector de estado o probabilidad inicial { =
P(X0=j)}
y ={ , , ,..., }
Clculo 2. Tambin se puede calcular condicionando en
cualquier otro estado. Si se condiciona en el penltimo estado
que visite el proceso se tiene:


Analizado la ecuacin anterior tenemos que:
= P
Donde es el vector de probabilidad de estado para la etapa
n-1.
42

1.9 CADENA DE MARKOV IRREDUCIBLE (
25
)
Se dice que una cadena de Markov es irreducible si cada estado Ej. se
puede alcanzar desde cualquier otro estado Ei despus de un numero
finito de transiciones; o sea, para i = j,
P
ij
(n) > o, para 1 n <
En este caso todos los estados de la cadena se comunican.
Estados absorbentes y estados de conjunto cerrado
En una cadena de Markov un conjunto C de estados se denomina cerrado
si el sistema, una vez en uno de los estados de C, permanece en C
indefinidamente. Un ejemplo especial de conjunto cerrado es un estado
particular Ej. que tenga una probabilidad de transicin Pij = 1. En este
caso Ej se denomina estado absorbente. Todos los estados de una
cadena irreducible deben formar un conjunto cerrado y ningn otro
subconjunto puede ser cerrado. El conjunto cerrado C tambin debe
satisfacer todas las condiciones de una cadena de Markov y por ello,
puede estudiarse en forma independiente.
Todos los estados en una cadena de Markov infinita irreducible pueden
pertenecer a una y solo a una, de las siguientes tres clases: estados
transitorios, estados recurrentes nulos o estados recurrentes no nulos. En
cada caso, los estados se comunican y tienen el mismo periodo. En el
caso especial cuando la cadena tenga un nmero finito de estados, la

25
http://es.scribd.com/doc/70798113/CADENA-DE-MARKOV
43

cadena no puede constar solo de estados transitorios, ni tampoco puede
contener algn estado nulo.
Ejemplo
En un juego participan dos jugadores, A y B. En cada turno, se lanza una
moneda al aire. Si sale cara, A le da 1 a B. Si sale cruz, B le da 1 a A.
Al principio, A tiene 3 y B tiene 2 . El juego contina hasta que alguno
de los dos se arruine. Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar el juego Tendremos una
CM con un estado por cada posible estado de cuentas de A: S={1, 2, 3, 4,
5, 0}. Descomponemos Q:



|
|
|
|
|
|
|
|
.
|

\
|
=
1 0 0 0 0 0
0 1 0 0 0 0
0 5 , 0 0 5 , 0 0 0
0 0 5 , 0 0 5 , 0 0
0 0 0 5 , 0 0 5 , 0
5 , 0 0 0 0 5 , 0 0
Q
|
|
|
|
|
.
|

\
|
=
0 5 , 0 0 0
5 , 0 0 5 , 0 0
0 5 , 0 0 5 , 0
0 0 5 , 0 0
' Q
|
|
|
|
|
.
|

\
|
=
0 5 , 0
0 0
0 0
5 , 0 0
R
44

Realizamos los clculos necesarios:






Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el 2 estado
absorbente. Como empezamos en el 3
er
estado transitorio (A empieza con
3 ), debemos consultar la 3 fila, 2 columna de (IQ)
1
R, que nos da
una probabilidad de 0,4 de que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su probabilidad ser 1
0,4=0,6. Tambin podramos haber consultado la 3 fila, 1 columna de (I
Q)
1
R.
Nmero medio de tiradas que tarda en acabar el juego
Sumamos los nmeros medios de etapas que se estar en cualquier
estado transitorio antes de la absorcin, suponiendo que empezamos en
( )
|
|
|
|
|
.
|

\
|
=
|
|
|
|
|
.
|

\
|

6 , 1 2 , 1 8 , 0 4 , 0
2 , 1 4 , 2 6 , 1 8 , 0
8 , 0 6 , 1 4 , 2 2 , 1
4 , 0 8 , 0 2 , 1 6 , 1
1 5 , 0 0 0
5 , 0 1 5 , 0 0
0 5 , 0 1 5 , 0
0 0 5 , 0 1
'
1
1
Q I
( )
|
|
|
|
|
.
|

\
|
=

2 , 0 8 , 0
4 , 0 6 , 0
6 , 0 4 , 0
8 , 0 2 , 0
'
1
R Q I
45

el 3
er
estado transitorio. Dichos nmeros medios son los que forman la 3
fila de la matriz (IQ)
1
. El promedio es: 0,8+1,6+2,4+1,2=6 tirada.
Nota: si observamos la 1 columna de (IQ)
1
R, vemos que los valores
van creciendo. Esto se debe a que, cuanto ms dinero tenga al principio
A, ms probabilidad tiene de ganar el juego.
1.10 CLASIFICACIN SEGN EL NMERO DE CLASES FINALES (
26
)
- Cadena Ergdica: cuando la cadena tiene una nica clase final y
no tiene clases de paso.
- Cadenas (ergdicas) Regulares: Son cadenas en las que el total
forma un conjunto ergdico y existe N e K tal que
) (k
ij
P
> 0 para
cualquier par de estados i, j.
Una cadena de Markov se dice regular si existe alguna potencia positiva
de la matriz de transicin cuyas entradas sean todas estrictamente
mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de
transicin de la cadena se tiene que:
Donde W es una matriz con todos sus renglones iguales
a un mismo vector de probabilidad w, que resulta ser el vector de
probabilidad invariante de la cadena. En el caso de cadenas regulares,
ste vector invariante es nico.

26
loc.cit
46

1.11 Tiempos de primera pasada (
27
)
El tiempo de primera pasada corresponde al nmero de transiciones que
hace el proceso al ir de un estado i a un estado j por primera vez. Cuando
i = j, corresponde al nmero de transiciones para regresar al estado i y se
denomina tiempo de recurrencia. Por ejemplo, en el sistema e inventarios,
el nmero de semanas requerido para pasar de un inventario de cero a
otro inventario de cero, es decir, este tiempo de recurrencia es el tiempo
entre dos pedidos consecutivos
Los tiempos de primera pasada son variables aleatorias y por lo tanto
tiene una funcin de densidad.
1.12 Ecuaciones recursivas.
Sea =Probabilidad de que el tiempo de primera pasada del estado i al
estado j sea n. Para n = 1 se tiene claramente que:

Para n = 2, representa todas las formas en que se puede pasar de i a
j en dos pasos, lo cual incluye pasar en un paso y quedarse en j el paso o
transicin siguiente; por lo tanto estas probabilidades deben restarse de la
probabilidad de transicin en dos pasos


27
lo.cit
47

Para cualquier valor de n, representa todas las formas en que el
proceso puede pasar del estado i al estado j en n pasos, lo cual incluye
pasar a j en un paso y quedarse ah en las n-1 transiciones siguientes, o
pasar a j en dos pasos y quedarse ah en las n-2 transiciones
siguientes,..., o pasar a j en los primeros n-1 pasos y quedarse ah en la
transicin siguiente. Por lo tanto estas probabilidades deben restarse de
la probabilidad de transicin en n pasos


Sea f
ij
la probabilidad (incondicional) de que el proceso pase del estado i
al estado j, la cual est dada por:

Entonces, como ya se haba visto, el estado i es recurrente si fii=1, y es
transitorio si fii<1 (no hay certeza de realizar la transicin)
1.13 Tiempo esperado de primera pasada ij
Corresponde al tiempo esperado para ir del estado i al estado j, y en
teora, se puede calcular usando la definicin de valor esperado, a saber:
48




Los son difciles de calcular. Sin embargo, los ?f
ij
se pueden calcular
ms fcilmente usando el siguiente conjunto de ecuaciones:
Clculo de
ij
.Si los estados i y j son recurrentes, los tiempos de primera
pasada se pueden calcular usando el conjunto de ecuaciones dado por:

Explicacin: Para ir del estado i al estado j por primer vez se requiere:
a) Realizar mnimo un paso. Si llega a j
ij
= 1
b) Si no se llega a j sino a k j, entonces partiendo de k pasa a j en un
nmero esperado de
kj
pasos.
Primero se plantea y resuelve el sistema de ecuaciones para ?ij para i?j, y
luego se calcula la ecuacin correspondiente a jj.
Ejemplo (Sistema de inventarios) Calcular el tiempo medio de
recurrencia del estado 0 00.
49

las ecuaciones a plantear y resolver son las siguientes:


Realizado el clculo de 10, 20 y 30 se calcula 00 como:
00 = 1+ p01 10+ p02 20+ p03 30
Las ecuaciones resultantes son:


De (3) se obtiene 10 = 1/0.777 = 1.287 (4)
(4) en (2): 20 = (1 + 0.335 x 1.287)/(1-.223) = 1.842 (5)
(4)y (5) en (1): 30 =(1 + 0.251 x 1.287)/(1 - .223) = 2.497
00 = 1 + .251 x 1.287 + .335 x 1.842 + .223 x 2.497 = 2.497
Cmo se interpreta 00=2.497? Tiempo entre pedidos
50

1.14 Probabilidades de largo plazo de las Cadenas de Markov
(Probabilidades de estado estable) (
28
)
Al examinar las probabilidades de transicin en n pasos , se observa
que a medida que n aumenta, estas probabilidades tienden hacia una
constante , independiente del valor inicial de i es decir, puede existir una
probabilidad lmite, independiente de su estado inicial. Esta probabilidad
lmite est dada por

Un comportamiento similar se observ para la probabilidad de estado
para dos condiciones iniciales diferentes (grfico de n vs qj(n)). Adems,
los valores lmites eran los mismos. Es decir,

1.14.1 Clculo de probabilidades de estado estable
Recordemos que se puede calcular como:

Usando la expresin de la derecha tenemos que:

28
serdis.dis.ulpgc.es/.../-DIAPOSITIVAS-CADENAS%20DE%20MAR...
51


Como

Teniendo en cuenta lo anterior, se tiene que

Si definimos el vector fila tenemos que la ecuacin anterior
se puede escribir en forma matricial como (se obtiene un sistema
de M+1 ecuaciones y M+1 variables)

Como los forman una distribucin de probabilidad, entonces .
Por lo tanto, las probabilidades de estado estable (o en rgimen
permanente) deben satisfacer el siguiente sistema de ecuaciones:

52

Se observa que existen M+2 ecuaciones y M+1 variables, lo cual quiere
decir que hay una redundante, la cual no puede ser la ltima (por qu?).
1.14.2 Condiciones para la existencia de las probabilidades lmites
a) Si el proceso es irreducible, existen las probabilidades lmites
b) Si el proceso es ergdico, esas probabilidades son
independientes del estado inicial
1.14.3 Tiempos medios de recurrencia
Se puede demostrar que los tiempos medios de recurrencia se pueden
expresar en trminos de las probabilidades lmites como
= 1/







53







2 CONCLUCIONES

I. Como conclusin de las cadenas de Markov nos permite hacer
anlisis sobre el estudio de los comportamientos de ciertos
sistemas en ciertos periodos que pueden ser cortos o largos.
Adems se tiene una relacin con las probabilidades absolutas.
Pero sin embargo lo ms importante es el estudio del
comportamiento sistemas a largo plazo, cuando el nmero de
transiciones tiene al infinito.

II. Los estados en las cadenas de Markov sern tiles para el estudio
del comportamiento de los sistemas a largo plazo.

III. Que todos los estados en una cadena de Markov infinita irreducible
pueden pertenecer a una, y solo una, de las siguientes tres clases:
estados transitorios, estados recurrentes nulos o estados
recurrentes no nulos.
54


IV. Al abordar este tema es para conocer ms o menos las
probabilidades de un experimento, esto a su vez nos permitir
conocer a corto y plazo los estados en que se encontraran en
periodos o tiempos futuros y tomar decisiones que afectarn o
favorecern nuestros intereses, y tomar una decisin de manera
consciente y no se comentan muchos errores.

V. Para la formulacin de Una cadena de Markov es una serie de
eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior. En efecto, las cadenas de
este tipo tienen memoria. Recuerdan el ltimo evento y esto
condiciona las posibilidades de los eventos futuros. Esta
dependencia del evento anterior distingue a las cadenas de Markov
de las series de eventos independientes, como tirar una moneda al
aire o un dado. El proceso para formular una cadena de Markov se
muestra en la siguiente figura:






Fuente: los alumnos
55


VI. El generador de markov produce uno de n eventos posibles, Ej ,
donde j = 1, 2, . n, a intervalos discretos de tiempo (que no tiene
que ser iguales ). Las probabilidades de ocurrencia para cada uno
de estos eventos dependen del estado del generador. Este estado
se describe por el ltimo evento generado. En la figura 1., el ltimo
evento generado fue Ej , de manera que el generador se encuentra
en el estado Mj .

VII. Un proceso estocstico se define sencillamente como una
coleccin indexada de variables aleatorias {X1
}
, donde el subndice
t toma valores de un conjunto T dado. Con frecuencia T se toma
como el conjunto de enteros no negativos y X, representa una
caracterstica de inters medible en el tiempo t. Por ejemplo, el
proceso estocstico, X
1
, X
2
, X
3
, .., Puede representar la coleccin
de niveles de inventario semanales (o mensuales) de un producto
dado, o puede representar la coleccin de demandas semanales (o
mensuales) de este producto.

VIII. Propiedad markoviana de 1o. orden: Se dice que un proceso
estocstico tiene la propiedad markoviana si
P Xt+1 = j = P X t+1, para toda t = 0, 1, y toda
Sucesin i, j , K0 , K1 , . . , Ki-1.
56

Se puede demostrar que esta propiedad markoviana es
equivalente a establecer una probabilidad condicional de cualquier
evento futuro dados cualquier evento pasado y el estado actual
Xi = i, es independiente del evento pasado y slo depende del
estado actual del proceso. Las probabilidades condicionales PXt+1
= j se llaman probabilidades de transicin. Si para cada i y j,

IX. se dice que las probabilidades de transicin (de un paso) son
estacionarias y por lo general se denotan por pij . As, tener
probabilidades de transicin estacionarias implica que las
probabilidades de transicin no cambian con el tiempo. La
existencia de probabilidades de transicin (de un paso)
estacionarias tambin implica que, para cada i, j y n (n = 0, 1, 2,),
P Xt+n = j = pXn = j ,

X. En la teora de los procesos estocsticos y, en particular, en la
teora de las cadenas de Markov, se denomina probabilidad de
transicin, Py, a la probabilidad de que estando el sistema en el
estado E en el momento n pase al estado E en el momento n + 1.
Una forma de describir una cadena de markov es con un diagrama
de estados, como el que se muestra en la figura 4.1.2. En sta se
ilustra un sistema de markov con cuatro estados posibles: M1, M2 ,
M3 y M4 . La probabilidad condicional o de transicin de moverse
de un estado a otro se indica en el diagrama.
57






Fuente: los alumnos
XI. Probabilidades de transicin estacionaria de estados estables
Sea P la matriz de transicin de una cadena de M estados . Existe entonces un
vector tal que




Se establece que para cualquier estado inicial i
El vector a menudo se llama distribucin de estado
estable, o tambin distribucin de equilibrio para la cadena de Markov.
Para encontrar la distribucin de probabilidades de estacionario para una
cadena dada cuya matriz de transicin es P, segn el teorema, para n
grande y para toda i,
(1)

Como P
ij
(n + 1) = ( rengln i de P
n
)(columna j de P), podemos escribir
(2)


58







3 BIBLIOGRAFIA

3.1 CONSULTADA

1. HAMDY A. TAHA: Investigacin de operaciones. Editorial PEARSON
EDUCACIN, Mxico S.A. de C.V., 2004 7 Edicin. Cap. 19, pag. 675
2. FREDERICK HILLIER, GERALD LIEBERMAN: Investigacin de operaciones.
editorial MCGRAW-HILL / INTERAMERICANA DE MEXICO 7 edicin, Cap.
16, pag. 820
3. Naim Caba Villalobos .Toma de Decisiones a travs de la Investigacin de
Operaciones. Pag.148,150
4. WAYNE L. WINSTON investigacin de operaciones aplicacin y algoritmos.
Editorial: Thomson (2004), 4Edicin. Cap. 17, pg. 924
5. nicolasinfante.ublog.cl/archivos/3102/cadenas_de_markov_12.ppt
6. serdis.dis.ulpgc.es/.../-DIAPOSITIVAS-CADENAS%20DE%20MAR...
7. http://www.uantof.cl/facultades/csbasicas/Matematicas/academicos/emartinez/ma
gister/markov/markov.pdf
59

8. www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
9. http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV
10. http://www.ulpgc.es/hege/almacen/download/14/14483/bea_cadenas_marko.ppt
11. http://es.scribd.com/doc/70798113/CADENA-DE-MARKOV
3.2 NO CONSULTADA
1. Kijima, Masaaki (1997). Markov Processes for Stochastic
Modeling (1st edicin). Cambridge: Chapman & Hall. ISBN 0 412
60660 7.
2. Leo Breiman. Probability. Original edition published by Addison-
Wesley, 1968; reprinted by Society for Industrial and Applied
Mathematics, 1992. ISBN 0-89871-296-3. (See Chapter 7.)
3.3 BASICA

1. WAYNE L. WINSTON investigacin de operaciones aplicacin y algoritmos.
Editorial: Thomson (2004), 4Edicin. Cap. 17, pg. 924
2. FREDERICK HILLIER, GERALD LIEBERMAN: Investigacin de operaciones.
editorial MCGRAW-HILL / INTERAMERICANA DE MEXICO 7 edicin, Cap.
16, pag. 820
3.4 CITADA

1. WAYNE L. WINSTON investigacin de operaciones aplicacin y algoritmos.
Editorial: Thomson (2004), 4Edicin. Cap. 17, pg. 924
2. www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
60







SUMARIO
PORTADAI
DEDICATORIAII
SUMARIOIII-V
PROLOGOV-VII
INTRODUCCIONVII-XI
CAPITULO I :MODELOS DE CADENA DE
MARKOV1
1 MODELOS DE CADENA DE MARKOV ........................................................................... 1
1.1 ANTESEDENTES .................................................................................................. 1
1.2 OBJETIVOS .......................................................................................................... 4
1.3 CADENA DE MARKOV .......................................................................................... 4
1.3.1 Concepto ................................................................................................... 4
1.3.2 Propiedad markoviana ............................................................................... 6
1.3.3 Estructura probabilstica del proceso () ................................................... 11
61

1.3.4 Caso independiente. ................................................................................. 12
1.3.5 Caso Markoviano ...................................................................................... 12
1.4 TIPOS DE ESTADOS Y DE CADENAS DE MARKOV DE PRIMER ORDEN () ........... 14
1.4.1 Comportamiento a largo plazo de las cadenas de markov () ................... 20
1.5 CLASIFICACION DE LAS CADENAS DE MARKOV ................................................ 21
1.5.1 Cadenas Absorbentes ............................................................................... 21
1.5.2 Estados absorbentes () .............................................................................. 26
1.6 MATRIZ DE TRANSICIN EN N ETAPAS - P(N) ECUACIN DE CHAPMAN
KOLMOGOROV. () ........................................................................................................ 37
1.7 ECUACIN DE CHAPMAN-KOLGOMOROV ...................................................... 38
1.8 Probabilidades de estado .................................................................... 40
1.9 CADENA DE MARKOV IRREDUCIBLE () ............................................................. 42
1.10 CLASIFICACIN SEGN EL NMERO DE CLASES FINALES () ............................. 45
- Cadena Ergdica: .............................................................................................. 45
- Cadenas (ergdicas) Regulares: ........................................................................ 45
1.11 Tiempos de primera pasada () .......................................................................... 46
1.12 Ecuaciones recursivas. ...................................................................................... 46
1.13 Tiempo esperado de primera pasada ij ........................................................... 47
1.14 Probabilidades de largo plazo de las Cadenas de Markov (Probabilidades de
estado estable) () .......................................................................................................... 50
1.14.1 Clculo de probabilidades de estado estable ....................................... 50
62

1.14.2 Condiciones para la existencia de las probabilidades lmites ............. 52
1.14.3 Tiempos medios de recurrencia ................................................................ 52
2 CONCLUCIONES ......................................................................................................... 53
3 BIBLIOGRAFIA ............................................................................................................ 58
3.1 CONSULTADA .................................................................................................... 58
3.2 NO CONSULTADA .............................................................................................. 59
3.3 BASICA ............................................................................................................... 59
3.4 CITADA .............................................................................................................. 59