UNIVERSIDAD ESTATAL DE BOLIVAR

Facultad De Ciencias Agropecuarias, Recursos Naturales Y Del

Ambiente
Carrera De Ingeniera Agroindustrial

Ensayo

Cadena De Markov

..

Investigacin Operativa

Docente:

Ing. Ivn Garca

Curso:

5to ciclo de Ingeniera Agroindustrial

Estudiante:

Diana Chaguay Duarte.

Octubre 2017 Marzo 2018

 CADENA DE MARKOV

El principal objetivo es poner nfasis en las caractersticas cambiantes de los datos a lo

largo del tiempo. Cuando se investigan caractersticas tales como el centro y la variacin, es

importante saber si se trata de una poblacin estable o de una que est cambiando con el paso

del tiempo.

Actualmente hay una fuerte tendencia a tratar de mejorar la calidad de los bienes y

servicios, a la vez que un nmero creciente de empresas estn utilizando los mtodos

estadsticos uno de ellos las cadenas de Markov. La evidencia de la creciente importancia de la

calidad se encuentra en la publicidad, as como en el gran nmero de libros y artculos que cada

vez destacan ms el tema. En muchos casos, quienes solicitan empleo (usted?) poseen una

ventaja definitiva cuando son capaces de decir a los empleadores que estudiaron estadstica y

mtodos de control de calidad. (Triola, 2004)

DEFINICIN DE UNA CADENA DE MARKOV

Sea una variable aleatoria que caracteriza el estado del sistema en puntos discretos en

el tiempo t = 5 1, 2 . La familia de variables aleatorias { } forma un proceso estocstico con

una cantidad finita o infinita de estados.

Ejemplo (Mantenimiento de una mquina)

La condicin de una mquina en el momento del mantenimiento preventivo mensual es

mala, regular o buena. Para el mes t, el proceso estocstico en esta situacin se representa como

0,
sigue: = {1, } , = 1,2,
2,

La variable aleatoria es finita porque representa tres estados: malo (0), regular (1) y

bueno (2).
 Proceso de Markov. Un proceso estocstico es un proceso de Markov si un estado

futuro depende slo del estado inmediatamente anterior. Esto significa que dados los tiempos

cronolgicos 0 , 1 , . , a familia de variables aleatorias { } = {1 , 2 , . , } es un

proceso de Markov si

{ = 1 = 1 , 0 = 0 } = { = 1 = 1 }

En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las

probabilidades en un punto especfico del tiempo t = 5 01, 2 se definen como

= { = |1 = |}, = 1,2, , = 1,2, , , = 0,1,2, . ,

Esto se conoce como probabilidad de transicin en un paso al ir del estado i en el

instante 1 al estado j en el instante t. Por definicin, tenemos

= 1, = 1,2, . ,

0, (, ) = 1,2, ,

La notacin utilizada en la matriz es una forma conveniente de resumir las

probabilidades de transicin en un paso:

11 12 13 1
= { 21 22 23 2 }
1 2 3

La matriz P define una cadena de Markov. Tiene la propiedad de que todas sus

probabilidades de transicin son estacionarias e independientes a lo largo del tiempo.

Aunque una cadena de Markov puede incluir un nmero infinito de estados, la presentacin en

este captulo se limita a slo cadenas finitas, ya que es el nico que se necesita en el texto.

(Taha, 2012)
 Ejemplo (Problema del jardinero)

Cada ao, durante la temporada de siembra de marzo a septiembre, un jardinero realiza

una prueba qumica para verificar la condicin de la tierra. Segn el resultado de la prueba, la

productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3)

mala. A lo largo de los aos, el jardinero ha observado que la condicin de la tierra del ao

anterior afecta la productividad del ao actual y que la situacin se describe mediante la

siguiente cadena de Markov:

Las probabilidades de transicin muestran que la condicin de la tierra puede o

deteriorarse o permanecer como est pero nunca mejorar. Por ejemplo, si la condicin de la

tierra es buena en este ao (estado 1) hay 20% de que no cambie el ao siguiente, 50% de

probabilidad de que sea regular (estado 2), y 30% de probabilidad de que se deteriorar a una

condicin mala (estado 3). El jardinero modifica las probabilidades de transicin P utilizando

un fertilizante orgnico. En este caso, la matriz de transicin se vuelve:

1 . 30 . 60 . 10
1 = 2 (. 10 . 60 . 30)
3 . 05 . 40 . 55

El uso de fertilizante puede conducir a mejorar las condiciones del suelo.

Probabilidades De Transicin Absolutas Y De n Pasos

Dada la matriz de transicin P de una cadena de Markov y el vector de probabilidades

(0) ()
iniciales (0) = , = 1,2, , , las probabilidades absolutas = { , = 1,2, , }

despus de ( > 0)transiciones se calculan como sigue:

 (1) = 0
(2) = (1) = (0) = (0)
(3) = (2) = (0) 2 = (0) 3

() = (0)

La matriz se conoce como la matriz de transicin de n pasos. A partir de estos clculos,

podemos ver que

= 1

= , 0 < <

stas se conocen como ecuaciones de Chapman-Kolomogorov.

Ejemplo La siguiente matriz de transicin es aplicable al problema del jardinero con

fertilizante

1 . 30 . 60 . 10
1 = 2 (. 10 . 60 . 30)
3 . 05 . 40 . 55

La condicin inicial de la tierra es buena, es decir (0) = (1,0,0). Determine las probabilidades

absolutas de los tres estados del sistema despus de 1,8 y 16 temporadas de siembra.

. 30 . 60 . 10 8 . 101753 . 525514 . 372733

8
= (. 10 . 60 . 30) = (. 101702 . 525435 . 372863)
. 05 . 40 . 55 . 101669 . 525384 . 372863

. 30 . 60 . 10 16 . 101659 . 52454 . 372881

16
= (. 10 . 60 . 30) = (. 101659 . 52454 . 372881)
. 05 . 40 . 55 . 101659 . 52454 . 372881

Por lo tanto, las probabilidades absolutas requeridas se calculan como

. 30 . 60 . 10
(1)
(1
= 0 0) (. 10 . 60 . 30) = (. 30 .60.1)
. 05 . 40 . 55
 . 101753 . 525514 . 372733
(8) = (1 0 0) (. 101702 . 525435 . 372863) = ((.101753 .525514 .372733)
. 101669 . 525384 . 372863

. 101659 . 52454 . 372881

(16) = (1 0 0) (. 101659 . 52454 . 372881) = (.101659 .52454 .372881)
. 101659 . 52454 . 372881

Las filas de y el vector de probabilidades absolutas () son casi idnticos. El resultado es

ms evidente para .

Ello demuestra que, a medida que la cantidad de transiciones aumenta, las probabilidades

absolutas se vuelven independientes del () inicial. Las probabilidades resultantes se conocen

como probabilidades de estado estable.

Clasificacin De Los Estados En Una Cadena De Markov

Los estados de una cadena de Markov se clasifican con base en la probabilidad de

transicin de P.

1. Un estado j es absorbente si est seguro de regresar a s mismo en una

transicin; es decir, = 1.

2. Un estado j es transitorio si puede llegar a otro estado pero no puede regresar

desde otro estado. Matemticamente, esto suceder si lim () = 0 para toda

las i.

3. Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados

es 1. Esto puede suceder si, y slo si, el estado no es transitorio.

4. Un estado j es peridico con periodo de > 1 si es posible un retorno slo en

, 2, 3, pasos. Esto significa que () = 0 cuando n no es divisible entre t.

Con base en las definiciones dadas, una cadena de Markov finita no puede constar de

todos los estados transitorios porque, por definicin, la propiedad transitoria requiere
 entrar a otro estado de atrapamiento y nunca volver a visitar el estado transitorio. El

estado de atrapamiento no necesita ser un solo estado absorbente. Por ejemplo,

considere la cadena

0 1 0 0
0 0 1 0
=( )
0 0 .3 .7
0 0 .4 .6

Los estados 1 y 2 son transitorios porque no se puede volver a entrar a ellos una vez que

el sistema se queda atrapado en los estados 3 y 4. Un conjunto cerrado lo constituyen

los estados 3 y 4, que en cierta forma desempean el papel de un estado absorbente. Por

definicin, todos los estados de un conjunto cerrado deben comunicarse, lo cual

significa que es posible ir de cualquier estado a cualquier otro estado del conjunto en

una o ms transiciones; es decir, () > 0 para todas las 1. Observe que

cada uno de los estados 3 y 4 puede ser absorbente si 33 = 44 .

Se dice que una cadena de Markov es ergdica si todos los estados son recurrentes y

aperidica (no peridica). En este caso las probabilidades absolutas despus de n

transiciones () = (0) , siempre convergen de forma nica a una distribucin

limitante (estado estable) que es independiente de las probabilidades iniciales (0) .

(Quesada, 2007)

Bibliografa
Quesada, V. &. (2007). Analisis Cuantitativo con WINQSB. Cartagena: Universidad De Cartagena.
Taha, A. H. (2012). investigacion operativa. Mexico: PEARSON.
Triola, M. F. (2004). Estadisitica Novena edicion . Mexico: Pearson Educacion.