INVESTIGACION DE OPERACIONES 2

Cadenas de Markov: Estado estable

CADENAS DE MARKOV: ESTADO ESTABLE

PROBABILIDAD DE TRANSICION
EN LA N-ESIMA ETAPA

PROBABILIDAD DE ESTADO ESTABLE

Logro de sesión:
Al finalizar la sesión, el estudiante estará en condiciones de calcular probabilidades de los
sucesos después de alcanzar condiciones de estado estable y de calcular las probabilidades
de alcanzar un estado del cual no hay posibilidad de regresar. Prediciendo eficientemente la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
CADENAS DE MARKOV: ESTADO ESTABLE

PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

TEOREMA DE CHAPMAN – KOLGOMOROV

Puesto que las probabilidades de transición son estables en el tiempo, podemos interesarnos en
conocer las probabilidades de transición después de n períodos.

Pregunta: Si una cadena de Markov está en el estado i en el tiempo m. ¿cuál es la probabilidad de

que n períodos después la cadena esté en el estado j?

𝑃 𝑋𝑚+𝑛 = 𝑗 𝑋𝑚 = 𝑖 = 𝑃 𝑋𝑛 = 𝑗 𝑋0 = 𝑖 = 𝑃𝑖𝑗 (𝑛)

Vemos que PxP = P2 corresponde a las probabilidades de transición en dos pasos, entonces P3, P4, ...,
Pm, ... corresponden a las probabilidades de transición en 3, 4, ..., m pasos respectivamente.

La matriz Pm se conoce como la matriz de transición en m pasos de la cadena de Markov.

CADENAS DE MARKOV: ESTADO ESTABLE

PROBABILIDAD DE TRANSICION
EN LA N-ESIMA ETAPA

PROBABILIDAD DE ESTADO ESTABLE

Logro de sesión:
Al finalizar la sesión, el estudiante estará en condiciones de calcular probabilidades de los
sucesos después de alcanzar condiciones de estado estable y de calcular las probabilidades
de alcanzar un estado del cual no hay posibilidad de salir. Prediciendo eficientemente la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
CADENAS DE MARKOV: ESTADO ESTABLE

PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Analizar la participación en el mercado y lealtad del cliente para supermercados

Tottus y Wong.
Situación inicial Supuesto: los únicos en un determinado distrito de una gran ciudad.
Secuencia de compra: un viaje de compra por semana, ya sea en Tottus o en
Wong, pero no a ambos.
Probabilidad de estado
Estudio de investigación de mercado: Se recopiló datos de 100 compradores a lo
largo de un período de 10 semanas. Las probabilidades se muestran en la tabla
Estado estable adjunta.
Período de compra Siguiente período de compra semanal
(semana actual) Tottus Wong
Tottus 0.9 0.1
Se supone que las probabilidades Wong 0.2 0.8
de transición son las mismas para
cualquier cliente y que no
cambian con el tiempo, es decir Interpretación: Medidas de lealtad Medidas de cambio
son estacionarias.
CADENAS DE MARKOV: ESTADO ESTABLE

PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Situación inicial pij probabilidades de transición

P matriz de probabilidades de transición
𝑝11 𝑝12 0.9 0.1
Probabilidad de estado 𝑃= 𝑝
21 𝑝22 = 0.2 0.8 Diagrama de árbol

Estado estable PROBABILIDAD DE ESTADO

𝜋𝑖 𝑛 = 𝑝𝑟𝑜𝑏. 𝑑𝑒 𝑞𝑢𝑒 𝑒𝑙 𝑠𝑖𝑠𝑡𝑒𝑚𝑎 𝑒𝑠𝑡é 𝑒𝑛 𝑒𝑙 𝑒𝑠𝑡𝑎𝑑𝑜 𝑖 𝑒𝑛 𝑒𝑙 𝑝𝑒𝑟í𝑜𝑑𝑜 𝑛
Condición inicial: el cliente compró la última semana en Tottus
[π1(0) π2(0)] = [1 0]
es un vector que representa las prob. de estado iniciales del sistema.

Notación:
П(n) = [π1(n) π2(n)]
vector de las prob. de estado para el sistema en el periodo n.
П(1) vector que representa las prob. de estado para la 1ra semana
П(2) vector que representa las prob. de estado para la 2da semana …
CADENAS DE MARKOV: ESTADO ESTABLE

PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Diagrama de árbol que describe dos viajes de compras semanales de un cliente que compró la última vez en Tottus

Semana 1 Semana 2 Probabilidad de

(1er viaje) (2do viaje) cada patrón de
compra
Tottus (0.9)(0.9)=0.81
0.9

Tottus
0.9 0.1 (0.9)(0.1)=0.09
Wong
Tottus
0.2 (0.1)(0.2)=0.02
0.1
Wong
0.8
Wong (0.1)(0.8)=0.08

El enfoque del diagrama de árbol desde un punto de vista intuitivo,

se vuelve molesto cuando deseamos extender el análisis a tres períodos o más.
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas pij probabilidades de transición

P matriz de probabilidades de transición
Situación inicial 𝑝11 𝑝12 0.9 0.1
𝑃= 𝑝 = Diagrama de árbol
21 𝑝22 0.2 0.8

Probabilidad de estado
PROBABILIDAD DE ESTADO

Estado estable πi(n) = Prob. de que el sistema esté en el estado i en el período n

Condición inicial: el cliente compró la última semana en Tottus

[π1(0) π2(0)] = [1 0]
es un vector que representa las prob. de estado iniciales del sistema.

Notación:
П(n) = [π1(n) π2(n)]
vector de las prob. de estado para el sistema en el periodo n.
П(1) vector que representa las prob. de estado para la 1ra semana,
П(2) vector que representa las prob. de estado para la 2da semana …
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas Probabilidades de estado para el periodo n+1 =

Probabilidades de estado para el periodo n x matriz de prob. transición
Situación inicial
П(siguiente período)= П(período actual)P
ó П(n+1)= П(n)P
Probabilidad de estado
Comenzando con el sistema en el estado 1(Tottus) en el periodo 0,
tenemos П(0)= [1 0]. Podemos calcular las probabilidades de estado
Estado estable para el periodo 1 como sigue:
П(1) = П(0)𝑃
ó
𝑝11 𝑝12
𝜋1 1 𝜋2 1 = 𝜋1 0 𝜋2 0 𝑝
21 𝑝22
0.9 0.1
= 1 0
0.2 0.8
= 0.9 0.1

Las probabilidades de estado π1(1)=0.9 y π2(1)=0.1 son las

probabilidades de que un cliente que compró en Tottus durante la
semana 0 comprará en Tottus o en Wong durante la semana 1.
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas Calculando las probabilidades de estado para la segunda semana:

П(2) = П(1)𝑃
Situación inicial ó
𝑝11 𝑝12
𝜋1 2 𝜋2 2 = 𝜋1 1 𝜋2 1 𝑝
21 𝑝22
0.9 0.1
Probabilidad de estado = 0.9 0.1
0.2 0.8
= 0.83 0.17

Estado estable Vemos que la probabilidad de comprar en Tottus durante la segunda

semana es 0.83, mientras la probabilidad de comprar en Wong durante la
segunda semana es 0.17. Estos mismos resultados se obtuvieron con
anterioridad usando el diagrama de árbol.
Podemos calcular las probabilidades de estado cualquier periodo futuro:
П(3) = П(2)𝑃
П(4) = П(3)𝑃
П(𝑛 + 1) = П(𝑛)𝑃
Los vectores П(1), П(2), П(3), . . . contienen las probabilidades de que un
cliente que empezó como cliente de Tottus esté en el estado 1 o en el
estado 2 en el 1er periodo, el 2do periodo, el 3er periodo, etc.
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas Ahora iniciar el análisis a partir de un cliente que compró la última vez
en Wong, se usaría:
Situación inicial
П(0) = [π1(0) π2(0)] = [0 1]

Probabilidad de estado Y se continuaría el proceso de forma similar.

Estado estable
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas Cálculo de probabilidades de estado subsiguientes:

n PTT(n) PTW(n) PWT(n) PWW(n)

Situación inicial
1 0.900 0.100 0.200 0.800
2 0.830 0.170 0.340 0.660
Probabilidad de estado 3 0.781 0.219 0.438 0.562
4 0.747 0.253 0.507 0.493
5 0.723 0.277 0.555 0.445
Estado estable 6 0.706 0.294 0.588 0.412
7 0.694 0.306 0.612 0.388
8 0.686 0.314 0.628 0.372
… … … … …
17 0.667 0.333 0.666 0.334
18 0.667 0.333 0.666 0.334
19 0.667 0.333 0.666 0.334
20 0.667 0.333 0.666 0.334
Inicial: 1000 clientes de Tottus
5to periodo: 723 serían clientes de Tottus y 277 de Wong.
8vo periodo: 686 serían clientes de Tottus y 314 de Wong.
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas Después de unos cuantos periodos estas probabilidades no cambian

mucho de un periodo al siguiente. La probabilidad de que el sistema
esté en un estado particular después de una gran cantidad de
Situación inicial
periodos es independiente del estado inicial del sistema.
n PTT(n) PTW(n) PWT(n) PWW(n)
Probabilidad de estado 1 0.900 0.100 0.200 0.800
2 0.830 0.170 0.340 0.660
3 0.781 0.219 0.438 0.562
Estado estable
4 0.747 0.253 0.507 0.493
5 0.723 0.277 0.555 0.445
6 0.706 0.294 0.588 0.412
7 0.694 0.306 0.612 0.388
8 0.686 0.314 0.628 0.372
… … … … …
17 0.667 0.333 0.666 0.334
18 0.667 0.333 0.666 0.334
19 0.667 0.333 0.666 0.334
20 0.667 0.333 0.666 0.334
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas Las probabilidades a las que nos aproximamos después de una gran
cantidad de transiciones se conocen como probabilidades de estado
Situación inicial estable.
π1 : probabilidad de estado estable para el estado 1
π2 : probabilidad de estado estable para el estado 2
Probabilidad de estado
En el caso de estado estable sólo omitimos la designación de
periodo de πi(n) porque ya no es necesario.
Estado estable
Debido a que para n suficientemente grande la diferencia entre
П(n + 1) y П(n) es despreciable, vemos que en el estado estable
π1(n + 1) = π1(n) = π1 y π2(n + 1) = π2(n) = π2. Por tanto, tenemos:

𝑝11 𝑝12
𝜋1 𝑛 + 1 𝜋2 𝑛 + 1 = 𝜋1 𝑛 𝜋2 𝑛 𝑝21 𝑝22
0.9 0.1
𝜋1 𝜋2 = 𝜋1 𝜋2
0.2 0.8

Después de realizar las multiplicaciones, obtenemos

𝜋1 = 0.9𝜋1 + 0.2𝜋2 y
𝜋2 = 0.1𝜋1 + 0.8𝜋2
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas
Sin embargo, también sabemos que las probabilidades de estado
estable deben sumar 1:
Situación inicial 𝜋1 + 𝜋2 = 1
Reemplazando obtenemos:

Probabilidad de estado 𝜋1 = 0.9𝜋1 + 0.2(1 − 𝜋1 )

𝜋1 − 0.7𝜋1 = 0.2
0.3𝜋1 = 0.2
Estado estable 𝜋1 = 2/3
Luego:
𝜋2 = 1/3

Inicial: 1000 clientes en el sistema

Probabilidades de estado estable: π1=2/3 y π2=1/3
Entonces: 2/3(1000) = 667 clientes serán de Tottus
1/3(1000) = 333 clientes serán de Wong

Las probabilidades de estado estable pueden interpretarse como la

participación en el mercado para las dos tiendas.
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas
Ejercicio:
Suponga que Wong está contemplando una campaña publicitaria
Situación inicial para atraer más de los clientes de Tottus a su tienda. Supongamos
además que Wong cree que esta estrategia promocional aumentará
la probabilidad de que un cliente de Tottus se cambie a Wong de
Probabilidad de estado 0.10 a 0.15. Las probabilidades de transición revisadas se dan en la
tabla siguiente:

Estado estable Período de compra Siguiente período de compra semanal

(semana actual) Tottus Wong
Tottus 0.85 0.15
Wong 0.20 0.80

Suponer que el mercado total consiste en 6000 clientes por semana

y la utilidad semanal promedio por cliente es $10. ¿Será
conveniente realizar la campaña si ésta tuviera un costo de $1000
por semana?
 CADENAS DE MARKOV
PROBABILIDADES DE TRANSICION EN LA N-ESIMA ETAPA

Temas
Solución:
Obtenemos:
Situación inicial 𝜋1 = 0.85𝜋1 + 0.20𝜋2
Sustituyendo con:
𝜋1 + 𝜋2 = 1
Probabilidad de estado Reemplazando obtenemos:
𝜋1 = 0.85𝜋1 + 0.20(1 − 𝜋1 )
𝜋1 − 0.65𝜋1 = 0.20
Estado estable 0.35𝜋1 = 0.20
𝜋1 = 0.57
Luego:
𝜋2 = 0.43

La estrategia promocional propuesta aumentará:

• La participación en el mercado de Wong de π2= 0.33 a π2 = 0.43.
• El número de clientes que hacen sus compras semanales en
Wong de 2000 a 2580. (Respecto a 6000 clientes semanales)
• Las ganancias de Wong en $5800 por semana.

Wong debería considerar poner en práctica la estrategia.