LOGO

Cadenas de Márkov
Héctor David Meléndez
Samuel Israel Moncada
Josué Elías Carrizales
 Temario LOGO

● Concepto de Cadenas de Márkov

● Procesos estocásticos
● Cadenas de Márkov
● Propiedad Markoviana
● Clasificación de estados
● Cadenas absorbentes
● Distribución estacionaria
● Ejercicios

Page 2
Concepto LOGO

Se trata de una herramienta creada por el matemático

ruso "Andréi Márkov" en el año 1907 que mezcla
principios algebraicos y estadísticos para analizar
procesos estocásticos con un numero finito de estados
con probabilidades de transición estacionarias.

Page 3
Procesos estocásticos LOGO

Sucesión de eventos qué se desarrolla en el tiempo en

el cual el resultado en cualquier estado contiene algún
elemento que depende de la función.

Ejemplos: Reparto del mercado entre marcas; cambio

de un estado de clima a otro, Serie mensual de ventas
de un producto; evolución de una enfermedad; Nº de
unidades en almacén al finalizar la semana; etc…

Page 4
 Cadenas de Markov LOGO

– Un conjunto finito de “N” estados, exhaustivos y

mutuamente excluyentes (ejemplo: estados de la
enfermedad)
– Ciclo de markov (“paso”) : periodo de tiempo que sirve de
base para examinar las transiciones entre estados
(ejemplo, un mes)
– Probabilidades de transición entre estados, en un ciclo
(matriz P)
– Distribución inicial del sistema entre los “N” estados
posibles

Page 5
Propiedad Markoviana LOGO

La probabilidad condicional P(Xn+1 = j | Xn = i), de que

la cadena estará en el estado j en el tiempo n + 1 si está
en el estado i en el tiempo n se conoce como una
probabilidad de transición. Si para una cadena de
Markov esta probabilidad de transición tiene el mismo
valor para todo los tiempos n (n = 1, 2, 3, ... ) decimos
que la cadena tiene probabilidades de transición
estacionarias.

Page 6
Propiedad Markoviana LOGO

Es decir una cadena de Markov tiene probabilidades de

transición estacionarias si para cualquier estados i y j
existe una probabilidad de transición pij
tal que P(Xn+1 = j | Xn = i) = pij para n =1, 2, 3,...
Probabilidad de transición de un paso del estado i al
estado j .
Probabilidad de transición de n pasos.

Page 7
Clasificación de estados. LOGO

● Alcanzable ● Aperiódico
● Comunicante ● Ergódica.
● Conjunto cerrado
● Absorbente
● Transitorio
● Recurrente
● Periódico

Page 8
Clasificación de estados. LOGO

Dados dos estados “i” y “j”, la trayectoria de “i” a “j” es

la sucesión de transiciones que comienza en “i” y
termina en “j”, de modo que cada transición tenga
probabilidad positiva de presentarse.

Page 9
Estado alcanzable LOGO

Un estado “j” es alcanzable desde el estado “i”, si hay

trayectoria que vaya de “i” a “j”.

Page 10
Estado comunicativo LOGO

Dos estados “i” y “j” se comunican, si el estado “j” es

alcanzable desde el estado “i”, y además el estado “i” es
alcanzable desde el estado “j”.

Page 11
Estado conjunto cerrado LOGO

Un conjunto de estados S en una cadena de Markov es

conjunto cerrado, si ningún estado fuera de S es
alcanzable desde un estado S.

Page 12
Estado absorbente LOGO

Un estado es absorbente cuando una vez que se entra

en él no se puede salir del mismo.
Un estado “i”, es estado absorbente si:

Page 13
Estado transitorio LOGO

Un estado “i” es transitorio si hay un estado “j”

alcanzable desde “i” pero el estado “i” no es alcanzable
desde el estado “j”.

Page 14
Estado recurrente LOGO

Si un estado no es transitorio, se llama estado

recurrente.

Page 15
Estado periódico LOGO

Un estado “i” es periódico k > 1, si k es el menor

número tal que todas las trayectorias que parten del
estado “i” y regresan al estado “i” tienen una longitud
múltiplo de k.

Page 16
Estado aperiódico LOGO

Si un estado recurrente no es periódico, se llama

aperiódico.

Page 17
Estado ergódica LOGO

Si todos los estados de una cadena de Márkov son

recurrentes, aperiódicos y se comunican entre sí, se dice
que la cadena es ergódica.

Page 18
Cadenas Absorbentes LOGO

Una cadena de Markov es absorbente, si tiene por lo

menos un estado absorbente, y es posible ir de cada
estado no absorbente hasta por lo menos un estado
absorbente.

Se calcula :
Número esperado de veces que se estará en un estado
transitorio antes de llegar a un estado absorbente.
Probabilidad de terminar estados absorbentes.

Page 19
Cadenas Absorbentes LOGO

Se requiere de una matriz de transición ordenada:

Page 20
Cadenas Absorbentes LOGO

Page 21
Cadenas Absorbentes LOGO

Se definen 4 matrices (Q, R, O, I)

Page 22
LOGO
 Ejercicios LOGO

I. El departamento de estudios de mercado de una fábrica estima que el 20% de la

gente que compra un producto un mes, no lo comprará el mes siguiente. Además,
el 30% de quienes no lo compren un mes lo adquirirá al mes siguiente. En una
población de 1000 individuos, 100 compraron el producto el primer mes. ¿Cuántos
lo comprarán al mes próximo? ¿Y dentro de dos meses?

Solución: Para resolver este tipo de problemas, lo primero es hacer un esquema. A la

vista del esquema podemos pasar a construir la matriz de probabilidades de transición

Page 24
Ejercicios LOGO

Page 25
Ejercicios LOGO

Page 26
 Ejercicios LOGO

II. Se tienen tres estados del clima: soleado, nublado y lluvioso. Si es soleado hay
una probabilidad de 30% que pase a nublado y 21% de que pase a lluvioso.
Si esta nublado hay una probabilidad de que en 15% pase a lluvioso y un 5%
de que pase a soleado. Si esta lluvioso hay una probabilidad del 90% que pase
a soleado y un 2.5% a nublado.

Calcule lo siguiente:
a) Estado estable
b) Matriz de transición

Page 27
 Ejercicios LOGO

III. En una comunidad hay 3 supermercados (S1,S2.S3), existe la movilidad de un

cliente de uno a otro. El 1 de Septiembre, ¼ de los clientes va al S1, 1/3 va al S2
y 5/12 va al S3 de un total de 10000 personas. Cada mes el S1 retiene el 90%
de sus clientes y pierdes el 10% que va al S2. Se averiguo que el S2 solo retiene
el 55 y que pierde el 85% que va al S1 y el resto va al S1 y el resto va al S3, el
S3 retiene solo el 40% y que pierde el 50% que va al S1 y el 10% que va al S2.

a) Establecer la matriz de transición

b) Establecer el diagrama de transición

Page 28