CADENAS DE MARKOV

INTRODUCCIN
Un proceso o sucesin de eventos que se desarrolla en el tiempo en el
cual el resultado
en cualquier etapa contiene algn elemento que depende del azar
se denomina proceso aleatorio o proceso estocstico. Por ejemplo, la
sucesin podra ser las condiciones del tiempo en Paran en una
serie de das consecutivos: el tiempo cambia da a da de una
manera que en apariencia es algo aleatoria. O bien, la sucesin
podra consistir en los precios de las acciones que cotizan en la bolsa
en donde otra vez interviene cierto grado
de aleatoriedad.
Un ejemplo simple de un proceso estocstico es una sucesin de
ensayos de Bernoulli, por ejemplo, una sucesin de lanzamientos de
una moneda. En este caso, el resultado en cualquier etapa es
independiente de todos los resultados previos (esta condicin de
independencia es parte de la definicin de los ensayos de Bernoulli).
Sin embargo, en la mayora de los procesos estocsticos, cada
resultado depende de lo que sucedi en etapas anteriores del
proceso. Por ejemplo, el tiempo en un da determinado no es
aleatorio por completo sino que es afectado en cierto grado por
el tiempo de das previos. El precio de una accin al cierre de
cualquier da depende en cierta medida del comportamiento de la
bolsa en das previos.
El caso ms simple de un proceso estocstico en que los resultados
dependen de otros, ocurre cuando el resultado en cada etapa slo
depende del resultado de la etapa anterior
y no de cualquiera de los resultados previos. Tal proceso se
denomina proceso de Markov o cadena de Markov (una cadena de
eventos, cada evento ligado al precedente) Estas cadenas reciben
su nombre del matemtico ruso Andrei Andreevitch Markov
(1856-1922). Como mencionamos antes, estas cadenas tiene
memoria,
recuerdan
el ltimo evento y eso condiciona las
posibilidades de los eventos futuros. Esto justamente
las distingue de una serie de eventos independientes como el hecho
de tirar una moneda.
Este tipo de proceso presenta una forma de dependencia
simple, pero muy til en muchos modelos, entre las variables
aleatorias que forman un proceso estocstico. Se utilizan, por
ejemplo, para analizar patrones de compra de deudores
morosos, para planear necesidades de personal, para analizar el
reemplazo de un equipo, entre otros.

PROCESOS ESTOCSTICOS
En el estudio de las variables aleatorias realizado hasta ahora se han
explorado las caractersticas aleatorias del fenmeno pero se ha
mantenido una premisa por defecto, que esas caractersticas aleatorias
permanecen constantes a travs del tiempo. Al incluir en el estudio la
presencia de la variable determinstica tiempo se est considerando
que, de alguna forma, la variable aleatoria depende del tiempo. En
otras
palabras,
la
variable
aleatoria depender del fenmeno
probabilstico y del tiempo. En consecuencia, cualquier funcin que se
establezca en trminos de la variable aleatoria, como lo son la funcin
de distribucin o la funcin de densidad, sern tambin dependientes del
tiempo.
Uno de los objetivos de este captulo es construir un modelo que nos
permita explicar la estructura y prever la evolucin, al menos a corto
plazo, de una variable que observamos a lo largo del tiempo. La variable
observada puede ser econmica (I.P.C., demanda de un producto,
existencias en un determinado almacn, etc...), fsica (temperatura de un
proceso, velocidad del viento en una central elica, concentracin en la
atmsfera de un contaminante, etc..) o social (nmero de nacimientos,
votos de un determinado partido, etc..). Supondremos a lo largo del tema
que los datos se obtienen en intervalos regulares de tiempo (horas, das,
aos,..)
y el objetivo es utilizar la posible inercia en el
comportamiento de la serie con el fin prever su evolucin futura. As, una
serie temporal ser una sucesin de valores de una variable obtenidos de
manera secuencial durante el tiempo.

Concepto de proceso estocstico.

Definicin: Un proceso estocstico es una coleccin o familia de
variables aleatorias {Xt , con t T }, ordenadas segn el subndice t que
en general se suele identificar con el tiempo.
Por tanto, para cada instante t tendremos una variable aleatoria
distinta representada por Xt , con lo que un proceso estocstico puede
interpretarse como una sucesin de variables aleatorias cuyas
caractersticas pueden variar a lo largo del tiempo.
A los posibles valores que puede tomar la variable aleatoria se le
denominaran estados, por lo
que se puede tener un espacio de

estados discreto y un espacio de estados continuo. Por otro lado, la

variable tiempo puede ser de tipo discreto o de tipo continuo. En el caso
del tiempo discreto se podra tomar como ejemplo que los cambios de
estado ocurran cada da, cada mes, cada ao, etc.. En el caso del tiempo
continuo, los cambios de estado se podran realizar en cualquier
instante. Por tanto, dependiendo de cmo sea el conjunto de subndices
T y el tipo de variable aleatoria dado por Xt se puede establecer la
siguiente clasificacin de los procesos estocsticos:
Si el conjunto T es continuo, por ejemplo R+ , diremos que Xt es
un proceso estocstico
de parmetro continuo.
Si por el contrario T es discreto, por ejemplo N, diremos que nos
encontramos frente a
un proceso estocstico de parmetro discreto.
Si para cada instante t la variable aleatoria Xt es de
tipo continuo, diremos que el proceso estocstico es de
estado continuo.
Si para cada instante t la variable aleatoria Xt es de
tipo discreto, diremos que el proceso estocstico es de
estado discreto.
Una Cadena es un proceso estocstico en el cual el tiempo se mueve en
forma discreta y la variable aleatoria slo toma valores discretos en el
espacio de estados. Un Proceso de Saltos Puros es un proceso
estocstico en el cual los cambios de estados ocurren en forma aislada y
aleatoria pero la variable aleatoria slo toma valores discretos en el
espacio de estados. En un Proceso Continuo los cambios de estado se
producen en cualquier instante y hacia cualquier estado dentro de un
espacio continuo de estados.

CADENAS DE MARKOV
Definicin
Una cadena de Markov es una sucesin de ensayos similares u
observaciones en la cual
cada ensayo tiene el mismo nmero finito de resultados
posibles y en donde la probabilidad de cada resultado para un
ensayo
dado
depende
slo
del
resultado
del ensayo
inmediatamente precedente y no de cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de
variables aleatorias
tales que el

valor de

X1 , X 2 , X 3
,...... ,

X n es el estado del proceso en el tiempo n. Si la distribucin de

probabilidad
X en estados pasados es una
X n por s
condicional de
n+1 funcin de
sola,
entonces:

P(X n 1 x n 1 /X n x n , X n 1 xn 1 ,....X 2 x 2 , X 1 x1 )
P(X n 1 x n 1 /X n x n )

Donde
xi es el estado del proceso en el instante i.
Esta identidad es la denominada propiedad de Markov: El estado en t
+ 1 slo depende
del estado en t y no de la evolucin anterior del sistema

Matriz de transicin
Al trabajar con cadenas de Markov, a menudo es til pensar la
sucesin de ensayos
como experimentos efectuados en cierto sistema fsico, cada
resultado dejando a este sistema en cierto estado.
Por ejemplo, consideremos una sucesin de elecciones polticas en
cierto pas: el sistema podra tomarse como el pas mismo y cada
eleccin lo dejara en cierto estado,
es decir en el control del partido ganador. Si slo hay dos
partidos polticos fuertes, llamados A y B, los que por lo regular
controlan el gobierno, entonces podemos decir que el pas se
encuentra en el estado A o B si el partido A o B ganara la eleccin.
Cada ensayo (o sea cada eleccin), coloca al pas en uno de los
dos estados A o B. Una sucesin de 10 elecciones podra producir
resultados tales como los siguientes:
A, B, A, A, B, B, B, A, B,
B
La primera eleccin en la sucesin deja en el poder al partido A, la
segunda fue ganada por el partido B, y as sucesivamente, hasta que
la dcima eleccin la gane el partido B. Supongamos que las
probabilidades de que el partido A o B ganen la prxima eleccin son
determinadas por completo por el partido que est en el poder
ahora. Por ejemplo podramos tener las probabilidades siguientes:
Si el partido A est en el poder, existe una probabilidad de

que el partido A ganar la prxima eleccin y una

probabilidad de
de que el partido B gane la eleccin
siguiente.
Si el partido B est en el poder, hay una probabilidad de 1/3 de
que el partido A
gane la eleccin siguiente y una probabilidad de 2/3 que el partido B
permanezca en
el poder.
En tal caso, la sucesin de elecciones forman una cadena de
Markov, dado que las probabilidades de los dos resultados de
cada eleccin estn determinadas por el resultado de la eleccin
precedente.
Lo descrito anteriormente puede representarse grficamente usando la
siguiente red:

1/4
A

2/
3

3/
4
1/
3

Los crculos A y B se denominan

nodos y representan los
estados del proceso, las
flechas que van de un nodo
a si mismo o al otro son los
arcos y representan la
probabilidad de cambiar de
un estado al otro

Definicin:
Consideremos un proceso de Markov en que el sistema posee n estados
posibles, dados por los nmeros 1, 2, 3, ., n. Denotemos pij a la probabilidad de que
el sistema pase al estado j despus de cualquier ensayo en donde su estado era i antes
del ensayo. Los nmeros pij se denominan probabilidades de transicin y la matriz nxn
P pij se conoce como matriz de transicin del sistema

Observaciones:
1) La suma pi1 pi 2 ..... pin 1 . Esta suma representa la probabilidad de que el
sistema pase a uno de los estados 1, 2, ., n dado que empieza en el estado i. Ya que
el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe ser
igual a 1. Esto significa que los elementos en cualquier rengln de la matriz
de transicin deben sumar 1.
2) Cada elemento pij 0
Ejemplo: una cadena de Markov como modelo para el ADN.
Es improbable que una secuencia aleatoria de A,C,G y T sea un buen modelo para el
patrn de nucletidos en una secuencia gnica.
Una cadena de Markov con {A, T, G y C} podra ser una mejor aproximacin a la
realidad: las probabilidades para el nucletido en la posicin j+1 dependen del
nucletido en la posicin j. (Sin embargo, en la realidad las dependencias son ms
complejas)

Si el espacio de estados es S = {A, C, G, T}.

La matriz de transicin P es de 4 x 4:
Aqu

SOLUCIN DEL PROBLEMA

1. DESCRIPCIN DE LOS ESTADOS
NUMERO DE ESTADO
1
2
3
4
5

ESTADO
HUMECTACIN
FABRICACIN
DESMOLDEO
APT
SCRAP

2. EL PROCESO COMO CADENA DE MARKOV

HUMETACIN

FABRICACIN

DESMOLDEO

APT

SCRAP

El proceso se define como una cadena de Markov debido a que cumple la propiedad
Markoviana de la siguiente forma:

Si P[Sj(k) / Sa(k-1), Sb(k-2), Sc(k-3).....] = P[Sj(k) / Sa(k-1)] para todo k, j,a, b,

c,..... entonces el sistema es un estado discreto de discretas transiciones de
procesos de Markov.

La materia prima fluye por todo el proceso productivo.

Al pasar de un estado a otro ella se puede convertir en producto terminado o en

scrap.

La cantidad de materia prima que llega a un estado, depende solo de lo que sea
capas de pasar como producto bueno el estado anterior. El proceso se mira

como un proveedor que le entrega a su prximo cliente sin importar que tanto le
entrega el proveedor del nivel anterior al proveedor actual. En otras palabras lo
que llega a APT(almacn de producto terminado)solo depende de lo que le
entregue DESMOLDEO y no depende de lo que entregue HUMECTACIN.

3. Datos para construir la matriz de transicin.

Datos proceso de Humectacin

toneladas
toneladas
toneladas
Da

producidas

perdidas

recibidas

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

178
180
175
178
179
176
176
180
175
179
178
178
178
179
176
176
179
177
177
177
178
179
179
180
179
178
176
176
175
179

0.25
0.13
0.16
0.25
0.25
0.26
0.16
0.25
0.25
0.22
0.24
0.18
0.25
0.22
0.17
0.23
0.14
0.18
0.25
0.22
0.27
0.2
0.17
0.19
0.17
0.24
0.23
0.2
0.22
0.15

177.75
179.87
174.84
177.75
178.75
175.74
175.84
179.75
174.75
178.78
177.76
177.82
177.75
178.78
175.83
175.77
178.86
176.82
176.75
176.78
177.73
178.8
178.83
179.81
178.83
177.76
175.77
175.8
174.78
178.85

Produccin Total=
Produccin Entregada=
Produccin Perdida=

5330
5323.68
6.32

Da
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

Datos proceso de Fabricacin

toneladas
toneladas
toneladas
producidas
perdidas
entregadas
177.75
0.38
177.37
179.87
0.24
179.62
174.84
0.19
174.65
177.75
0.26
177.49
178.75
0.27
178.48
175.74
0.49
175.25
175.84
0.19
175.64
179.75
0.51
179.24
174.75
0.4
174.35
178.78
0.29
178.49
177.76
0.52
177.24
177.82
0.45
177.37
177.75
0.41
177.33
178.78
0.3
178.48
175.83
0.23
175.6
175.77
0.5
175.28
178.86
0.27
178.59
176.82
0.46
176.36
176.75
0.41
176.34
176.78
0.5
176.27
177.73
0.4
177.34
178.8
0.18
178.62
178.83
0.28
178.55
179.81
0.22
179.59
178.83
0.23
178.6
177.76
0.46
177.3
175.77
0.52
175.24
175.8
0.46
175.34
174.78
0.48
174.3
178.85
0.4
178.45

Produccin Total=
Produccin Entregada=
Produccin Perdida=

5323.6785
5312.77
10.9

Datos proceso de Desmoldeo

toneladas
toneladas
toneladas
Da

desmoldeadas

perdidas

entregadas

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

177.37
179.62
174.65
177.49
178.48
175.25
175.64
179.24
174.35
178.49
177.24
177.37
177.33
178.48
175.6
175.28
178.59
176.36
176.34
176.27
177.34
178.62
178.55
179.59
178.6
177.3
175.24
175.34
174.3
178.45

2.4
2.1
2.15
2.04
2.67
2.46
2.39
2.63
2.84
2.84
2.61
2.13
2.42
2.33
2.42
2.13
2.23
2.36
2.71
2.84
2.73
2.28
2.1
2.03
2.43
2.3
2
2.8
2.14
2

174.96
177.52
172.5
175.45
175.81
172.79
173.25
176.61
171.5
175.65
174.63
175.24
174.92
176.15
173.18
173.14
176.37
174.01
173.64
173.44
174.61
176.35
176.45
177.55
176.17
175
173.24
172.54
172.16
176.45

Produccin Total=
Produccin Entregada=
Produccin Perdida=

5312.77
5241.27
71.51

Da
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

Datos proceso APT

toneladas
toneladas
revisadas
perdidas
177.09
0.57
179.27
0.49
174.3
0.48
177.16
0.54
178.29
0.59
174.99
0.44
175.3
0.57
178.97
0.5
174.08
0.5
178.18
0.45
176.98
0.51
177.17
0.47
177.09
0.55
178.23
0.57
175.44
0.5
174.98
0.54
178.3
0.56
176.17
0.52
176.1
0.54
175.92
0.59
177.07
0.45
178.33
0.42
178.37
0.58
179.41
0.41
178.4
0.56
177.01
0.54
175.05
0.41
175.12
0.45
174.16
0.53
178.23
0.52

Produccin Total=
Produccin Entregada=
Produccin Perdida=

5305.1591
5289.79
15.37

toneladas
entregadas
176.52
178.78
173.81
176.61
177.7
174.55
174.73
178.47
173.57
177.73
176.48
176.69
176.54
177.67
174.94
174.44
177.73
175.64
175.56
175.34
176.62
177.91
177.79
179
177.84
176.47
174.64
174.66
173.63
177.72

4. ICNICO DEL PROBLEMA

Humectacin

Fabricacin

Desmoldeo Apt

Scrap

5. CALCULO DE PROBABILIDADES

Proporciones

Proporciones de Humectacin
Produccin Total=

5330

Produccin Entregada=
Produccin Perdida=

5323.68

0.999

6.32

0.001

Proporciones de Fabricacin
Produccin Total=

5323.678548

Produccin Entregada=
Produccin Perdida=

5312.77

0.998

10.90

0.002

Proporciones de Desmoldeo
Produccin Total=

5312.774

Produccin Entregada=
Produccin Perdida=

5241.267

0.987

71.50624043

0.013

Proporciones de Almacn Producto Terminado

Produccin Total=

5305.159114

Produccin Entregada=
Produccin Perdida=

5289.79

0.997

15.37

0.003

Proporciones de Scrap
Produccin Entregada=
Produccin Perdida=

Por norma de calidad

0.010
0.990

6. MATRIZ DE TRANSICIN

Fab

APT

0.000

0.999

0.000

0.000

0.001

Fab

0.000

0.000

0.980

0.000

0.020

0.000

0.000

0.000

0.987

0.013

APT

0.000

0.000

0.000

0.997

0.003

0.010

0.000

0.000

0.000

0.990

Clasificacin de los estados:

Absorbentes si pii =1
Recurrentes nulos uii = inf
Si i=j y n=1 fiin =1
Recurrentes positivos uii < inf
Ergdico: recurrente positivo aperidico
Transitorio o transiente: si hay alguna probabilidad positiva de no volver
Recurrentes:
inf

all, n=1 fiin <1

Estados Efmero: no puede ser alcanzado desde ningn otro estado
J es Accesible, si pijn >0
Comunicados
Si i es accesible desde j
Si j es accesible desde i
Pertenecen a una clase: cadena irreductible
Peridico: tiene periodo
Aperidico: no tiene perido
inf

Utilizando esta tabla mostraremos el comportamiento de la cadena que se esta

analizando.
7. ACCESIBILIDAD DE LOS ESTADOS
J es Accesible, si pijn >0

Veamos la matriz original

H

Fab

APT

0.000

0.999

0.000

0.000

0.001

Fab

0.000

0.000

0.980

0.000

0.020

0.000

0.000

0.000

0.987

0.013

APT

0.000

0.000

0.000

0.997

0.003

0.010

0.000

0.000

0.000

0.990

Ahora multipliquemos la matriz original n veces por ella misma y miremos su

comportamiento para P3072
P3072=

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

Existe un n=3072 donde los valores de p ijn >0. esto indica que todos los estados j son
accesibles.

8. COMUNICACIN ENTRE ESTADOS

Los estados se comunican si:
Si i es accesible desde j
Si j es accesible desde i
La matriz P3072 nos presenta este comportamiento pues todos los estados son
accesibles de i a j o des de j a i por lo tanto todos los estados se comunican.
9. CONCURRENCIA DE LOS ESTADOS
Sea PT la transpuesta de la matriz original, elaborada para calcular las probabilidades
de estado estable
Utilizaremos la notacin R para indicar la variable

PT

0.000

0.000

0.000

0.000

0.010

0.999

0.000

0.000

0.000

0.000

0.000

0.980

0.000

0.000

0.000

0.000

0.000

0.987

0.997

0.000

0.001

0.020

0.013

0.003

0.990

Representacin matricial de:

j = mi=0 (i * Pij) y como j=0 Pijn = 1, entonces mj=0 j =1

para j=0,1,....m

el sistema tiene una ecuacin adicional por causa de mj=0 j =1

R1

R2

R3

R4

R5

R1=

0.000

0.000

0.000

0.000

0.010

R2=

0.999

0.000

0.000

0.000

0.000

R3=

0.000

0.980

0.000

0.000

0.000

R4=

0.000

0.000

0.987

0.997

0.000

R5=

0.001

0.020

0.013

0.003

0.990

1=

Como tenemos un sistema de 6 ecuaciones para 5 variables eliminamos una de ellas

por ser redundante.

R1=

R1

R2

R3

R4

R5

0.000

0.000

0.000

0.000

0.010

R2=

0.999

0.000

0.000

0.000

0.000

R3=

0.000

0.980

0.000

0.000

0.000

R4=

0.000

0.000

0.987

0.997

0.000

1=

1R4

1R5

Al resolver el sistema tenemos las siguientes ecuaciones:

R1=

0.010 R5

R2=

0.999 R1

R3=

0.980 R2

R4=

0.987 R3

0.997 R4

1=

1R1

1R2

1R3

Los valores de , en este caso R son:

R1=

0.002

R2=

0.002

R3=

0.002

R4=

0.758

R5=

0.235

Donde los valores de recurrencia (U) son Ujj = 1/ j

U

Meses

U11

425.1

U22

425.5

U33

434.2

U44

1.3

U55

4.3

Los estados Recurrentes positivos presentan u ii < inf lo cual cumple para los estados
de esta cadena de Markov.
10. Mostrar que los estados son aperidicos.

Veamos la matriz n-1 =3071

P3071

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

Matriz n=3072
P3072=

Para un n+1 donde n=3072 y n+1=3073 se tiene:

P3073

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

Se puede observar en las matrices que los valores de las probabilidades en todas las
filas permanecen iguales entre las matrices pares e impares, a dems el sistema a la
larga se estabilizo, lo que demuestra que la matriz es aperidica.
11. Polinomio caracteristico y valores propios.
H

Fab

APT

0.000

0.999

0.000

0.000

0.001

Fab

0.000

0.000

0.980

0.000

0.020

0.000

0.000

0.000

0.987

0.013

APT

0.000

0.000

0.000

0.997

0.003

0.010

0.000

0.000

0.000

0.990

Calculamos el determinante de [P - ]

0.000 0.999 0.000 0.000 0.001

0.000 0.000 0.980 0.000 0.020

0.000 0.000 0.000 0.997 0.003

0.010 0.000 0.000 0.000 0.990

Y()= 0.000 0.000 0.000 0.987 0.013 -

0
Y()
=

0.999 0.000

0.000

0.001

0.000

0.020

0.987

0.013

0.003

0.980

0.010

Se generan los siguientes cofactores principales con sus respectivos determinantes.

0.999

0.001

0.980 0.000

0.020

0.987

0.013
0.003

=
veamos el desarrollo del segundo cofactor principal:
0.999

0.980 0.000

0.020

0.987

0.013
0.003

0.010

Del determinante anterior se desprenden los siguientes determinantes:

Primer determinante
0.999 0.980

0.987

0.013

0.003

0.010

Solucin del determinante de 3x3 sin los cofactores:

multiplicamos los cofactores

segundo determinante:
0.999 0.020

0.987

0.010

multiplicamos por los cofactores

=(-0.999) (-0.020) (

veamos el desarrollo del tercer cofactor principal:

0.001

0.980

0.000

0.010

0.001

0.987

0.010

0.987

0.010

0.001

0.987

Solucin del determinante de 3x3 sin cofactores

=

multiplico por el cofactor

=0.001(

ahora agrupemos los datos para determinar el polinomio caracterstico.

Tambien se calculo el polinomio caracterstico con el software MadLab para lograr una
mejor precisin:

Ahora procedemos a presentar los valores propios o autovalores del polinomio

caracterstico, los que se calcularon en el software MadLab.
Valores propios:
1
2
3
4
5

1
0.9873
0.0221+0.0418i
0.0221-0.0418i
-0.0444

12. Determinar la regularidad de la matriz.

Ntese que TXc = Xc implica =1 es un autovalor de T y que Xc es un autovector
correspondiente a este autovalor, convenientemente normalizado para que sus
coordenadas sumen 1. De hecho =1 tiene que ser necesariamente el autovalor
dominante de T ya que, si >1, Lim ninfinito X(n) sera infinito para todas las coordenadas
y si <1, Lim ninfinito X(n) seria cero para todas las coordenadas. En ninguno de los dos
ltimos casos Xc es una distribucin de probabilidad. Por otro lado, si se cumple la
segunda parte del resultado, X c

Lim

ninfinito

TX(0)=LX(0); para cualquier distribucin

inicial X(0). Por lo tanto la matriz del estado estacionario L, debe tener todas las
columnas iguales a Xc.
la distribucin estacionaria tambin se puede interpretar como la proporcin de tiempo
a largo plazo que el sistema pasa en cada estado.
En nuestro caso T es la PT. Desarrollemos la operacin TX c = Xc. Recordemos que, si
hay una matriz P, el nmero real o complejo se llama valor caracterstico de P si hay
un vector v distinto de cero En Cn tal que:
Pv=v

PT

Xc

0.000

0.000

0.000

0.000

0.010

0.999

0.000

0.000

0.000

0.000

0.000

0.980

0.000

0.000

0.000

0.000

0.000

0.987

0.997

0.000

0.001

0.020

0.013

0.003

0.990

0.002
0.002
0.002
0.758
0.235

Xc

0.002
0.002
0.002
0.758
0.235

Con esta solucin se encuentra que es el autovalor o valor caracterstico

predominante que multiplicado por vector columna de los i hace que se cumpla TX c =
Xc y asi la cadena es regular por solo haber uny los otros en valor absoluto meros
a uno.

13. Lmites ergdicos

Condicin suficiente: si existe un n>0 tal que P ijn >0, i, j=0,1,2....m. la cadena de
Markov, con esta propiedad, se llama ergdica.
Esta condicin se puede probar con la matriz P 3072 la cual muestra que existe un n en
el cual Pijn >0.
P3072=

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

Con esta condicin queda demostrado que la cadena es ergdica.

Podemos comprobarlo tambin con el siguiente teorema:
Teorema. Para una cadena de Markov ergdica, j =Lim

ninfinito

pertenece {0,..,m}) es la nica solucin no negativa de j. Entonces:

j = k=0 (k * Pkj) y j=0 j =1.
P6142

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

0.002

0.002

0.002

0.758

0.235

Pijn existe y j (j

Al probar el teorema se observa que

j =Lim ninfinito Pijn existe
0.002
0.002
0.002
0.758
0.235
entonces j=0 j =1.
Tambin se puede acudir a:
Supongamos que Lim ninfinito Piin = i >0 para algn i en una clase aperidica recurrente,
entonces j >0 para todo j que est en la clase de i. Si este es el caso diremos que la
clase es positiva recurrente o fuertemente ergdica.
Anteriormente se probo que la cadena tenia estados recurrentes positivos pues existan
los tiempos de recurrencia U ii, y tambin se mostro que la cadena era aperidica pues
no hacia ciclos para valores de n pares e impares y en el paso anterior se mostr que
Lim ninfinito Piin = i >0 se cumpla, por lo que se concluye que es ergdica.
Observe que si Pij es la matriz de transicin asociada a una clase recurrente ergdica
positiva, entonces la ecuacin i = infk=0 Pkj k llevada a su forma matricial:

P00
P01

P10
P11

P20
P21

P02

P12

P22

.
.
.
P0i

.
.
.
P1i

.
.
.
P2i

.
.
.

.
.
.
i

.
.
.
i

.
.

.
.

.
.

.
.

.
.

.
.

Establece claramente que (1 2 3.....t es un autovector (a la derecha) de la matriz P ij

asociado al autovalor 1. Para esto debemos saber que la matriz de Markov tiene un
autovalor igual a 1, ms an, este valor ser el mayor, en valor absoluto, si la matriz es
primitiva, esto es si todas sus entradas son positivas para alguna potencia de la matriz.
En los pasos anteriores se probo que Lim ninfinito Piin = i >0 se cumplia y que (1 2 3.....t
es un autovector (a la derecha) de la matriz P ij asociado al autovalor 1 y ms an, este
valor ser el mayor, en valor absoluto, si la matriz es primitiva, esto es si todas sus
entradas son positivas para alguna potencia de la matriz.
Con esto podemos confirmar que la cadena es regular y ergdica aperidica.

14. Vector propio para el valor propio =1

El vector propio que acompaa a =1, son loa valores que aparecen en cada fila de la
matriz donde se observa la estabilidad del sistema o sea son los valores j.

El vector lo presentaremos de forma transpuesta:

0.002

0.002

0.002

0.758

0.235

15. Probabilidades de estado estable

Esto quiere decir, cuales la probabilidad que el sistema este a la larga en el estado j.
0.002
0.002

0.002
0.758
0.235

16. Tiempo de recurrencia y primera ocurrencia

Tiempos de recurrencia Uii(es el tiempo esperado que gasta el sistema en volver a
estar en i partiendo de i)
U

Meses

U11

425.1

U22

425.5

U33

434.2

U44

1.3

U55

4.3

Matriz original:
0.000

0.999

0.000

0.000

0.001

0.000

0.000

0.980

0.000

0.020

0.000

0.000

0.000

0.987

0.013

0.000

0.000

0.000

0.997

0.003

0.010

0.000

0.000

0.000

0.990

Uij = 1 + k#j Pik Ukj

U14= 1 + P11 U14+ P12 U24 + P13 U34 + P15 U54
U24= 1 + P21 U14+ P22 U24 + P23 U34 + P25 U54
U34= 1 + P31 U14+ P32 U24 + P33 U34 + P35 U54
U54= 1 + P51 U14+ P52 U24 + P53 U34 + P55 U54

U14= 1+0.999 U24+0.001 U54

U24=1+0.980 U34+0.02 U54
U34=1+0.013 U54
U54=1+0.010 U14+0.990 U54

Tiempo de primera ocurrencia.

Es tiempo esperado que se gasta para ir del estado i al j
U14= 6.46 meses
U24= 5.46 meses
U34= 2.38 meses
U54= 106 meses

En resumen podemos decir que:

A la larga el sistema estara en el estado 4(APT) con una probabilidad de 0.758. lo
que expresa este termino es que despues de n transiciones la materia prima estara en
APT con una probabilidad del 75,8%. Y para la materia prima que va a Scrap, a la larga
estara en el estado 5 con una probabilidad de 0.235. lo que indica que la probilidad a
la larga que la materia prima se vuelva Scrap es del 23.5%.
Ahora el tiempo de recurrencia para que el sistema estando en estado 4(APT) vualva a
este estado es U44 = 1.3 meses. En otras palabras, es el tiempo que transcurre para que
vuelva haber producto terminado es 1.3 meses.
En conclusin, se perdera mucha materia prima a la larga.

CONCLUSIONES

1.

Esta primera conclusin es para decir que no se concluir sobre los resultados
numricos del proceso, pues en el desarrollo del mismo se explica claramente las
respuestas obtenidas. Mi deseo es expresar conclusiones alrededor del proceso de
construccin del conocimiento y crear una inquietud a las personas que lean el
documento.

2.

se requiere de ms tiempo para poder elaborar un buen documento que sirva como
apoyo a otras personas que quieran profundizar en el modelado y explicacin de una
cadena de Markov.

3.

No es fcil construir una matriz de transicin.

4.

En este problema en particular se tuvo que modelar el proceso productivo con los
datos disponibles en la empresa. No hay otros ms. Lo que nos ensea que hay que
hacer uvas de manzanas.

5.

Se aprendi a construir la matriz de transicin por medio de proporciones

generadas

por

los

datos

totales

de

produccin

en

cada

uno

de

los

procesos(humectacin, fabricacin, desmoldeo, APT, scrap).

6.

El problema se abordo desde una perspectiva acadmica, pero siempre con el norte
de responderle a un empresario de forma tcnica y cientfica todas las inquietudes
que se generan alrededor de una cadena de Markov.

7.

las cadenas de Markov no deben abordase de una forma simple, ellas tienen una
sustentacin matemtica fuerte y unos requisitos que se deben probar.

8.

Se generan las siguientes inquietudes:

Que papel juegan los valores propios que son diferentes de 1?

Que implican los valores propios que dan complejos?

Los otros vectores caractersticos que nos dicen de la cadena?

Qu nos puede aportar la grfica del polinomio caracterstico para entender el

comportamiento de una cadena de Markov?

Realmente que implica que una cadena sea Ergdica?

Realmente que implica que una cadena sea Regular?

Y las cadenas que no son ninguna de las dos anteriores que implicacin tienen?

Todas estas dudas me llevan a concluir que no es solamente construir una matriz y
calcularle probabilidades de estado estable y tiempos de ocurrencia y recurrencia, las
cadenas de Markov son mucho ms.

Se acudi a la ayuda del software MadLab para hacer la prueba de estabilidad

con la transformada Z,

pero no se pudo aplicar correctamente e

infortunadamente no se prob con este mtodo dicha estabilidad.

RECOMENDACIONES
1.

Estimular la continuidad del trabajo matemtico en la comprensin y explicacin de

las cadenas de Markov.

2.

Resolver las inquietudes propuestas en las conclusiones.

3.

Buscar un software que me pueda presentar la aplicacin de la transformada Z en

las cadenas de markov y muestre la estabilidad de la misma.

BIBLIOGRAFA

FINITE MARKOV CHAINS, Kemeny and Snell, Edit. D.Van Nostrand Company
Inc.

APLICATION OF PETRI NETS IN MANUFACTURING SYSTEMS, Desrochers

and Al-jaar, Edit. IEEE PRESS.

INTRODUCCIN A LA INVESTIGACIN DE OPERACIONES, Hiller and

Lieberman, Edit.Mc Graw Hill.

LGEBRA LINEAL. Grossman, Edit. Iberoamrica.

APUNTES DE CLASE, Ing. Carlos Alberto Ossa. UTP.

ALGUNAS UNIDADES DE INVESTIGACIN DE OPERACIONES, Ing. Csar

Jaramillo. UTP.

Documentos bajados de la internet.

1.

Cadenas de Markov

2.

Lmites ergdicos en las cadenas de Markov

3.

Notas sobre cadenas de Markov

4.

Anlisis de Markov

ANEXOS

Copia de los appendices: FINITE MARKOV CHAINS, Kemeny and Snell, Edit.
D.Van Nostrand Company Inc.

Copia

de

numerales

2.1,

2.2:

APLICATION

OF

PETRI

NETS

MANUFACTURING SYSTEMS, Desrochers and Al-jaar, Edit. IEEE PRESS.

Copia de Documentos bajados de la internet:

1.

Cadenas de Markov

2.

Lmites ergdicos en las cadenas de Markov

3.

Notas sobre cadenas de Markov

4.

Anlisis de Markov

IN