Cadenas de Markov

“Cuando, conociendo el pasado y el

presente, el comportamiento
probabilístico del futuro inmediato
sólo depende del estado presente”

Modelos Probabilísticos
Para Ingeniería

Noé Panozo Jiménez

II 2019
NPJ 1
 Contenido

1.- Definición de cadenas de Markov

2.- Tipos de estados y de cadenas de Markov.
Propiedades
3.- Clasificación de estados
5.- Comportamiento a largo plazo de cadenas de Markov.
Aplicaciones
6.- Comportamiento a corto plazo de cadenas de Markov.
Tiempos y probabilidades del primer paso
7.- El caso particular de las cadenas absorbentes.
Aplicaciones
8.- Estudio de casos reales de aplicación. Los procesos de
markov en los análisis costo-efectividad
NPJ 2
 ¿Como se utiliza o entiende la CM?
• Consideremos un cajero que atiende a
las personas que llegan a una sucursal
bancaria.
• Pensemos que en la fila nunca hay más
de tres personas (incluyendo la que se
atiende).
• Supongamos que los clientes no llegan
en grupos.
• Entonces el número de personas en la
fila (incluyendo la que se atiende) puede
tomar los valores 0, 1, 2, 3.

• Pensemos que el cajero tarda al menos un

minuto en atender a un cliente y que en un Minuto 5
minuto dado no puede llegar más de un
cliente al banco.
• Si observamos el número de personas en la Minuto 6
fila cada minuto, esta cantidad puede:
– Aumentar en 1, si llega otro cliente
antes de que atiendan al que está en Minuto 7
servicio.
– Disminuir en 1, si se termina de
atender al cliente y nadie más llega.
NPJ Minuto 8 3
• Esto se repite a lo largo del día.
 Las cadenas de markov son modelos probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas
para decidir política de mantenimiento; evolución de una enfermedad,…

• Proceso estocástico
– Es una función aleatoria que varía en el tiempo
– Sus valores no pueden ser predichos con exactitud, sino con cierta
probabilidad
• Proceso o Cadena de Markov
– Es un tipo importante de proceso estocástico que cumple con la
Propiedad Markoviana
– Dicha propiedad implica que el comportamiento futuro del
proceso, dada la trayectoria que ha seguido en el pasado y hasta el
momento actual, depende únicamente de su situación presente
– Esto implica que un proceso de Markov “no tiene memoria”
– En el ejemplo, el proceso o cadena de Markov, Xn, es el número de
clientes en la fila en el minuto n

NPJ 4
 1. Definición de Cadena de Markov
• Una Cadena de Markov (CM) es:
• Un proceso estocástico
• Con un número finito de estados (S)
• Con probabilidades de transición estacionarias
• Que tiene la propiedad markoviana

Proceso estocástico:

• Es un conjunto o sucesión de variables aleatorias: {X(t)}

(discreto y continuo) definidas en un mismo espacio de
probabilidad.
• Normalmente el índice t representa el tiempo y X(t) el
estado del proceso estocástico en el instante t.
• El proceso puede ser de tiempo discreto o continuo.
• Si el proceso es de tiempo discreto, usamos enteros para
representar el índice: {X1, X2, ...}
NPJ 5
 Ejemplos de procesos estocásticos:
1. Estado de una máquina al final de cada semana (funciona/averiada)
2. Nº de clientes esperando en una cola cada 30 segundos
3. Marca de detergente que compra un consumidor cada vez que hace la compra.
4. Nº de unidades en almacén al finalizar la semana

• Si se observa el valor de la cadena de Markov en una

cantidad contable de momentos: 0, 1, ..., n, ... entonces se
dice que es discreta
• Estados de una cadena de Markov
– Son los valores que puede asumir el proceso
– En el ejemplo visto, los estados son 0, 1, 2 y 3
• Probabilidades de transición
– Son las probabilidades de que la cadena pase al estado j dado que
está en el estado i
– Se representan por pij
– Por ejemplo, si i = 1 y j = 2, entonces
p12  P  X n 1  2 | X n  1  0.25
NPJ 6
ELEMENTOS DE UNA CADENA
DE MARKOV
– Un conjunto finito de S estados, colectivamente exhaustivos y
mutuamente excluyentes (ejemplo: estados de la enfermedad)
– Ciclo de markov (“paso”) : periodo de tiempo que sirve de
base para examinar las transiciones entre estados (ejemplo, un
mes, día, semestre, año)
– Probabilidades de transición entre estados, en un ciclo (matriz
P)
– Distribución inicial del sistema entre los S estados posibles

NPJ 7
 PROPIEDAD MARKOVIANA

Un proceso estocástico tiene la propiedad markoviana si las

probabilidades de transición en un paso sólo dependen del estado
del sistema en el período anterior (memoria limitada)
P (xn+1 = Sn+1 / Xn = Sn ; xn-1 = Sn-1 ;……; x0 = S0)
Futuro Presente Pasado

= P(xn+1 = Sn+1 / xn = Sn)  cadena de Markov

P(Xt+1 =St+1 / Xt = St ; Xt-1 = St-1 ; …. ; X0 = S0)

= p(Xt+1 = St+1 / Xt = St)
Existe un conjunto de probabilidades iniciales:
P(x0 = i) = qi
NPJ 8
En el estudio de las cadenas de Markov, se desarrollo una hipótesis
adicional que para todos los estados i y j dependen del tiempo t.

P(Xt+1 = j / Xt = i) = pij

Se denomina hipótesis de estabilidad donde pij es la probabilidad

de que dado el sistema esta en el estado i en el tiempo t, es
sistema estará en el estado j en el tiempo t+1. A esta probabilidad
también se la denomina la probabilidad de transición de i a j.

También existen probabilidades iniciales en una cadena de Markov

que definiremos por qi que es la probabilidad de que la cadena se
encuentre en el estado i en el tiempo 0

NPJ 9
NPJ 10
Probabilidades de transición de n etapas
Si analizamos una cadena de Markov con matriz de probabilidades de
transición conocida es necesario obtener sus probabilidades de
transición de un estado i a un estado j en la n-ésima etapa, es así que
por ejemplo si una cadena de Markov, esta en el estado i en el tiempo m
¿Cuál es la probabilidad que en n periodos después la cadena de Markov
este en el estado j?
Como se trata de una cadena de Markov estacionaria esta probabilidad
será independiente de m, entonces esta se escribe:
P(Xm+n = j / Xm = i) = P(Xn = j / X0=i) = Pij(n)
= elemento (i,j) de la matriz Pn
donde Pij es la probabilidad en la etapa n de una transición del estado i al
estado j.
Pij (1) = Pij
Calculo de probabilidades de transición en n pasos:
P2 = P*P
NPJ 11
P3 = P*P*P = P2*P
Ecuación de Chapman-Kolgomorov

Si el resultado anterior se combina con la identidad matricial

Pn+m = Pn Pm , obtenemos:

pij( n  m )   pik( n ) p(kjm )

k

Una transición desde i hasta j en n+m pasos puede lograrse

moviendose desde i hasta un punto intermedio k en n pasos
(con probabilidad p(n)i,k ) y después, dado que el proceso está
en el estado k (la propiedad de Markov permite que seamos
indeferentes a la ruta recorrida), moverse hasta el estado j en
m pasos (con probabilidad p(m)k,j ). Luego, deben
considerarse todas las opciones posibles para el punto
intermedio.
NPJ 12
 LAS CADENAS DE MARKOV
SON UN CASO PARTICULAR
DE MODELOS DE MARKOV

Tipos de modelos de Markov:

• Procesos de Markov (Modelos semi-
markovianos): Las probabilidades de transición
entre estados pueden variar a medida que
transcurren más ciclos
– Ejemplo: para modelizar la esperanza de vida, el riesgo
de muerte aumenta con la edad
• Cadenas de Markov: Las probabilidades de
transición se suponen constantes a lo largo del
tiempo

NPJ 13
 PROPIEDAD MARKOVIANA

Ejemplos:
Comportamiento (sube/baja) del precio de las
acciones hoy depende de lo ocurrido ayer

Problema de la ruina de un jugador de casino

Elección de marca: Con qué línea aérea volar a

Madrid?

NPJ 14
Clasificación de los estados de una cadena de Markov

Toda cadena de Markov se clasificara según las características de su

circuito
i) Definición: un estado i con otro estado j tiene trayectorias que es la
sucesión de transiciones que comienzan en i y terminan en j de modo
que cada transición de la secuencia tenga probabilidad positiva de
presentarse Pij>0.
ii) Definición: en un estado j es alcanzable desde un estado i si hay
una trayectoria que vaya de i a j.
iii) Definición: dos estados i y j se comunican si i es alcanzable desde j
y si j es alcanzable desde i. Los estados que se comunican se dice que
pertenecen a una misma clase.
iv) Definición: Un conjunto de estados S es una cadena de Markov se
dice que es un conjunto cerrado sin ningún estado fuera de S es
alcánzale desde un estado S. NPJ 15
v) Definición: Un estado i es un estado transitorio si hay un estado j
que es alcanzable desde i pero el estado i no es alcanzable desde
un estado j.
vi) Definición: si un estado no es transitorio entonces se denomina
recurrente.
vii) Definición: un estado i es periódico con periodo K>1 si k es el
menor número tal que todas las trayectorias que parten del estado i
y regresan al estado i tienen una longitud múltiplo de k. Si un estado
recurrente no es periódico entonces se denomina aperiódico.
viii) Definición: Si todos los estados de una cadena de Markov son
recurrentes, aperiódicos y se comunican entres si se dice que la
cadena de Markov es ergódica.
ix) Definición: Si existe una sola clase todos los estados se
comunican, se dice que la cadena de markov es Irreductible.

NPJ 16
Probabilidades de estado estable

NPJ 17
NPJ 18
Ejercicio 1: Tres agencias de viaje disponen de información respecto de los desplazamientos
en vacaciones de semana santa.

Estado futuro n=1

Estado actual n=0 No viajar V. entre islas V. fuera
No viajar 40 20 40
V. entre islas 50 10 40
V. fuera 10 70 20
a) Supuestos necesarios para considerar esta situación como cadena de Markov de primer
orden
b) Calcular la probabilidad de que los clientes que no han viajado estas vacaciones lo hagan
fuera de las islas dentro de 2 años.

Ejercicio 2: La carrera de diplomado en CCEE tiene 3 cursos. A partir de los datos

facilitados por el decanato del centro se sabe que el 35% y el 26% de los estudiantes de
primero y segundo abandonarán los estudios. El 28% de los estudiantes de primero repiten
curso, siendo este porcentaje del 20% y 30% para los estudiantes de segundo y tercero
respectivamente.
NPJ 19
 EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO

Tres laboratorios farmacéuticos (A,B y C) que compiten en un principio activo

(mismo conjunto homogéneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1

A B C
Matriz de transición en A 0,8 0,1 0,1
un paso (ciclo) B 0,15 0,82 0,03
C 0,13 0,12 0,75
¿Cómo se repartirán el mercado dentro de 1
Ciclo: Mes mes, 6 meses, 1 año?, ¿A largo plazo?
NPJ 20
 EJEMPLO 2: LA EVOLUCIÓN CLÍNICA DE LOS
PACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
BIEN
SECUELAS

3 estados (1 absorbente, 2 transitorios)

MUERTO Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte
(N=10.000): todos bien

NPJ 21
EJEMPLO 2: LA EVOLUCIÓN CLÍNICA DE LOS
PACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
BIEN
SECUELAS

3 estados (1 absorbente, 2 transitorios)

MUERTO Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte
(N=10.000): todos bien

NPJ 22
 EJEMPLO 2: LA EVOLUCIÓN CLÍNICA DE LOS
PACIENTES CON VÁLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

0.6 0.6
CON
BIEN 0.2
SECUELAS

0.2 3 estados (1 absorbente, 2 transitorios)

MUERTO Ciclo=mes
Utilidades = Nivel salud
Distribución inicial de la cohorte
(N=10.000): todos bien

NPJ 23
 EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO

Tres laboratorios farmacéuticos (A,B y C) que compiten en un principio activo

(mismo conjunto homogéneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1

A B C
Matriz de A 0,8 0,1 0,1
transición en un B 0,15 0,82 0,03
ciclo (P) C 0,13 0,12 0,75
¿Cómo se repartirán el mercado dentro de 1
Ciclo: Mes mes, 6 meses, 1 año?, ¿A largo plazo?
NPJ 24
 EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO

• Este es un ejemplo de cadena de Markov irreductible y ergódica.

Todos los estados son recurrentes y están comunicados entre sí,
formando una sola clase.Hay solución de estado estable (reparto del
mercado a largo plazo, independiente de la situación inicial)

Reparto del mercado

después de n ciclos 1 mes.....P1= [0.3350 0.2540 0.4110]
= P0*Pn
2 meses ....p2 =[ 0.3595 0.2911 0.3494]
6 meses ...... p6 =[ 0.4030 0.3543 0.2427]
1 año ....... p12 = [ 0.4150 0.3704 0.2146]
2 años ...... p24 =[ 0.4165 0.3722 0.2113]
Solución de estado estable 3 años ....... p36 =[ 0.4165 0.3722 0.21131]
NPJ 25
 EJEMPLO 3: EL HÁBITO TABÁQUICO
DE LOS JÓVENES

Lo ha probado, Fuma menos de

Nunca lo ha Fuma los fines
pero ahora no una vez por Fuma diariamente Total
probado de semana
fuma semana
Nunca lo ha probado 77.7% 17.2% 3.2% 0.9% 1.0% 100.0%
Lo ha probado, pero ahora
no fuma 0.0% 75.0% 12.2% 4.7% 8.1% 100.0%
Fuma menos de una vez
por semana 0.0% 34.0% 22.0% 12.0% 32.0% 100.0%
Fuma los fines de semana 0.0% 26.5% 17.6% 26.5% 29.4% 100.0%
Fuma diariamente 0.0% 6.3% 8.3% 0.0% 85.4% 100.0%
Total 50.4% 31.8% 6.7% 3.0% 8.1% 100.0%

5 estados (1 transitorio, 4 recurrentes)

Ciclo= un año
Distribución inicial de la cohorte (N=1.340):
NPJ (0.58 0.28 0.05 0.03 0.06) 26
 Tipos de estados y de cadenas de
markov de primer orden

• Para clasificar los estados y las CM tenemos que definir

algunos conceptos:
• Tiempos del primer paso y de recurrencia
• Accesibilidad y comunicación entre estados

NPJ 27
Tiempos del primer paso/recurrencia (Corto plazo)

Con frecuencia es conveniente poder hacer

afirmaciones en términos de probabilidades sobre el
numero de transiciones que hace el proceso al ir de un
estado i a un estado j por primera vez.
Este lapso se llama tiempos de primer paso al ir del
estado i al estado j, cuando j=i, este tiempo de primer
paso es justo el numero de transiciones hasta que el
proceso regresa al estado inicial i. En este caso, el
tiempo de primer paso se llama tiempo de recurrencia
para el estado i.

NPJ 28
 EJEMPLO: Un vendedor de cámaras fotográficas lleva acabo la
siguiente política de inventario. Mantiene durante la semana de
trabajo hasta un máximo de 3 cámaras en el almacén para su venta. Si
al final de la semana le quedan en el almacén alguna cámara entonces
no pide ninguna al fabricante. De partida en el almacén hay 3
cámaras (x0=3).

a) Comenta el contenido de la matriz

de transición P facilitada por el
comercio.
b) Sabiendo que hay dos cámaras al
final de la primera semana (x1=2),
(x2=1), (x3=0), (x4=3) y (x5=1).
Obtener el tiempo de primera
pasada para ir del estado 3 al 1, y
el tiempo de recurrencia del
estado 3. NPJ 29
 Tiempos de primera pasada/recurrencia (Corto plazo)
En general podemos considerar a los tiempos de primera pasada
como variables aleatorias, por tanto con una distribución de
probabilidad asociada a ellos. Dichas distribuciones de
probabilidad dependerán de las probabilidades de transición del
proceso.

fij(1)=pij(1)=pij
fij(2)=pij(2)-fij(1)pij
.............................................
fij(n)=pij(n)-fij(1)pij(n-1)-fij(2)pij(n-2)....-fij(n-1)pij

NPJ 30
Tiempos de primera pasada/recurrencia (Corto plazo)

NPJ 31
 Tipos de estados y Cadenas de Markov
Podemos considerar fij(n) para (n=1,2,..) como la función de
probabilidad de la variable aleatoria tiempo de primera pasada

Una vez que el proceso se

 (n) encuentra en el estado i no lo
abandona

 (n) Una vez que el proceso se

encuentra en el estado i existe
una prob.>0 de no regresar

NPJ 32
 Software y bibliografía
• Usaremos QSB
• Un excelente texto para este tema es el de
Hillier y Lieberman (está referenciado en el
programa)

NPJ 33