UNIVERSIDAD CATÓLICA SAN PABLO

UNIDAD ACADÉMICA REGIONAL COCHABAMBA

DEPARTAMENTO DE ADMINISTRACIÓN, ECONOMÍA Y FINANZAS

Álgebra Lineal

Cadenas de Markov

Docente: Taylor Terrazas Darlong Howard

Estudiantes:
Camacho Nina Fernando Jesús
Sáenz Saavedra Franco Martin
Villazón Canaviri Ramiro Jheferson
Villca Condori Eliana
Paralelo: 4
Cochabamba – Bolivia
3 de Junio 2019
Índice:

1.- Introducción …………………………………………………………………………………3

2.- Marco Teórico …………………………………………………………………………...…..4

2.1 Tipos de Cadenas de Markov ………………………………………………………4

2.2 Aplicaciones …………………………………………………………………………7
2.3 Explicación Matemática ……………………………………………………………8
2.4 Teoremas ……………………………………………………………………………8
2.5 Pasos de Solución …………………………………………………………………..12
3.- Ejercicios Propuestos ……………………………………………………………………... 12
Ejercicio 1 ………………………………………………………………………………12
Ejercicios 2,3,4 y 5 ……………………………………………………………………..13
Ejercicios 6 ……………………………………………………………………………..14
Ejercicio 7 ………………………………………………………………………..…….15
Ejercicio 8 ……………………………………………………………………………...16
Ejercicio 10 …………………………………………………………………….......…..17
Ejercicio 11 ………………………………………………………………………...…..19
Ejercicio 12 ………………………………………………………………………...…..20
Ejercicio 13 y 14…………………………………………………………………...…...21
Ejercicio 15 …………………………………………………………………………,....22
4.- Conclusiones ……………………………………………………………………………......24
5.- Bibliografía …………………………………………………………………………………24
1.- Introducción:
En el presente documento se explicarán las cadenas de Markov, así como también quien las creó,
su importancia y relevancia dentro del mundo actual y las diferentes aplicaciones que ha tenido y
tiene en la historia.

Las cadenas de Markov fueron creadas por el científico ruso llamado Andréi Markov en 1907,
Markov siempre fue reconocido por ser un matemático especializado en la teoría de la
probabilidad y de los números.

Una cadena de Markov o proceso de Markov es aquel en el que la probabilidad de

que el sistema esté en un estado particular en un periodo de observación dado, depende
solamente de su estado en el periodo de observación inmediato anterior.
Supongamos que el sistema tiene n estados posibles.
Para cada i = 1, 2, . . . , n, y cada j = 1, 2, . . . , n,
Sea Tij la probabilidad de que, si el sistema se encuentra en el estado j en cierto periodo de
observación, estará en el estado i en el siguiente; Tij recibe el nombre de probabilidad de
transición. Además, Tij se aplica a cada periodo; es decir, no cambia con el tiempo.
Como tij es una probabilidad, debemos tener que
0 ≤ Tij ≤ 1 (1 ≤ i, j ≤ n).
Asimismo, si el sistema está en el estado j en cierto periodo de observación, entonces
debe estar en alguno de los n estados (ya que también podría permanecer en el estado
j) en el siguiente. Por lo tanto, tenemos:
1) T1j + T2j + · · · + Tnj = 1.
Es conveniente disponer las probabilidades de transición como la matriz T = [tij]
de n × n, llamada matriz de transición de la cadena de Markov. Otros nombres para
una matriz de transición son: matriz de Markov, matriz estocástica y matriz de probabilidades.
Como podemos ver, las entradas en cada columna de T son no negativas
y, de acuerdo con la ecuación (1), suman 1.
Por último, expondremos las diversas aplicaciones que tienen las cadenas de Markov en los
campos de:
- Meteorológicos
- Epidemiológicos
- Internet
- Simulaciones
- Economía y finanzas
2.- Marco Teórico:
- Definición:

En la teoría de la probabilidad, se conoce como cadena de Márkov o modelo de Márkov a un tipo

especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende
solamente del evento inmediatamente anterior. Esta característica de falta de memoria recibe el
nombre de propiedad de Markov.

- Definición Matemática:

En matemática se define como un proceso estocástico discreto que cumple con la propiedad de
Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente
resume toda la información relevante para describir en probabilidad su estado futuro.

Una cadena de Márkov es una secuencia X1, X2, X3... de variables aleatorias. El dominio de estas
variables es llamado espacio estado; el valor de Xn es el estado del proceso en el tiempo n. Si la
distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí
sola, entonces:

2.1.- Tipos de cadenas de Markov:

Cadenas irreducibles:

Una cadena de Márkov se dice irreducible si se cumple cualquiera de las siguientes condiciones
(equivalentes entre sí):

Desde cualquier estado de E se puede acceder a cualquier otro.

Todos los estados se comunican entre sí.

4
C(x)=E para algún x ∈ E.

C(x)=E para todo x ∈ E

El único conjunto cerrado es el total.

Cadenas positivo-recurrentes:

Una cadena de Márkov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si
la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad
invariante y está dado por:

Cadenas regulares:

Una cadena de Márkov se dice regular (también primitiva o ergódica) si existe alguna potencia
positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene

que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que
resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, este
vector invariante es único.

Cadenas absorbentes:

Una cadena de Márkov con espacio de estados finito se dice absorbente si se cumplen las dos
condiciones siguientes:

1.- La cadena tiene al menos un estado absorbente.

2.- De cualquier estado no absorbente se accede a algún estado absorbente.

5
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D,
tenemos los siguientes resultados:

Su matriz de transición siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la

matriz nula y R alguna submatriz.

esto es, no importa en donde se encuentre la cadena, eventualmente

terminará en un estado absorbente.

Cadenas de Márkov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2...,Xi,.. con i indexado en el conjunto {N}
de números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo
continuo del conjunto {R} de números reales, tendremos una cadena en tiempo continuo.

Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente
manera:

Para una cadena de Márkov continua con un número finito de estados puede definirse una matriz
estocástica dada por:

La cadena se denomina homogénea si:

6
Para una cadena de Márkov en tiempo continuo homogénea y con un número finito de estados
puede definirse el llamado generador infinitesimal como:

Y puede demostrarse que la matriz estocástica viene dada por:

2.2.- Aplicaciones de las cadenas de Markov:

1.- Meteorología:

Si consideramos el tiempo atmosférico de una región a través de distintos días, es plausible asumir
que el estado actual sólo depende del último estado y no de toda la historia en sí, de modo que se
pueden usar cadenas de Márkov para formular modelos climatológicos básicos. Por ejemplo, se
han desarrollado modelos de recurrencia de las lluvias basados en cadenas de Márkov.

2.- Modelos epidemiológicos:

Una importante aplicación de las cadenas de Márkov se encuentra en el proceso Galton-Watson.

Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo
de una epidemia.

3.- Internet:

El PageRank de una página web (usado por Google en sus motores de búsqueda) se define a través
de una cadena de Márkov, donde la posición que tendrá una página en el buscador será determinada
por su peso en la distribución estacionaria de la cadena.

4.- Simulación:

7
Las cadenas de Márkov son utilizadas para proveer una solución analítica a ciertos problemas de
simulación, por ejemplo, en teoría de colas el Modelo M/M/14 es de hecho un modelo de cadenas
de Márkov.

5.- Economía y finanzas:

Las cadenas de Márkov se pueden utilizar en modelos simples de valuación de opciones para
determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa
de valores o para determinar la volatilidad de los precios. En los negocios, las cadenas de Márkov
se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las
necesidades de personal y para analizar el reemplazo de equipo.

2.3.- Explicación Matemática:

Supongamos que el sistema tiene n estados posibles. Para cada i = 1, 2, . . . , n, y cada

j = 1, 2, . . . , n, sea tij la probabilidad de que, si el sistema se encuentra en el estado j en cierto
periodo de observación, estará en el estado i en el siguiente; tij recibe el nombre de probabilidad
de transición. Además, tij se aplica a cada periodo; es decir, no cambia con el tiempo. Como tij es
una probabilidad, debemos tener que:

0 ≤ 𝑡𝑖𝑗 ≤ 1 (1 ≤ 𝑖, 𝑗 ≤ 𝑛).

Asimismo, si el sistema está en el estado j en cierto periodo de observación, entonces

debe estar en alguno de los n estados (ya que también podría permanecer en el estado
j) en el siguiente. Por lo tanto, tenemos:

𝑡1𝑗 + 𝑡2𝑗 + · · · +𝑡𝑛𝑗 = 1

Es conveniente disponer las probabilidades de transición como la matriz T = [tij] de n × n,

llamada matriz de transición de la cadena de Márkov. Otros nombres para una matriz de
transición son matriz de Márkov, matriz estocástica y matriz de probabilidades. Como
podemos ver, las entradas en cada columna de T son no negativas y, de acuerdo con la ecuación
(1), suman 1.

2.4.- Teoremas:
Teorema 1.-
Si T es la matriz de transición de un proceso de Márkov, el vector de estado X (K+1) en el

8
(k + 1)-ésimo periodo de observación, puede determinarse a partir del vector de estado X K en el
k-ésimo periodo de observación, como:

𝑿(𝑲+𝟏) = 𝑻𝒙(𝒌)
La ecuación indica que para obtener el vector de estado en el periodo (k+1) se multiplica la
matriz de transición por el vector de estado en el periodo k. De acuerdo con lo anterior:

𝑋 (1) = 𝑇𝑥 (0)

𝑋 (2) = 𝑇𝑥 (1) = 𝑇(𝑇𝑥 (0) ) = 𝑇 2 𝑥 (0)

𝑋 (3) = 𝑇𝑥 (2) = 𝑇(𝑇 2 𝑥 (0) ) = 𝑇 3 𝑥 (0)

y, en general, que:

𝑋 (𝑛) = 𝑇 𝑛 𝑥 (0)

Esto es, la matriz de transición y el vector de estado inicial determinan por completo todos
los demás vectores de estado.

Teorema 2.-

- Si T es la matriz de transición de un proceso de Márkov regular, entonces

(a) A medida que n → ∞, 𝑇 𝑛 tiende a una matriz

𝑢1 𝑢1 … 𝑢1
𝑢2 𝑢2 … 𝑢2
𝐴=[ ⋮ ⋮ … ⋮ ]
𝑢𝑛 𝑢𝑛 … 𝑢𝑛

tal que todas sus columnas son idénticas.

(b) Toda columna

𝑢1
𝑢2
𝑢= [ ⋮]
𝑢𝑛

9
de A es un vector de probabilidad tal que todos sus componentes son positivos. Es
decir, 𝒖𝒊 > 0 (1 ≤ i ≤ n) y:

𝒖𝟏 + 𝒖𝟐 + ⋯ ⋯ + 𝒖𝒏 = 𝟏

Teorema 3.-

- Si T es una matriz de transición regular y A y u son como en el teorema 2, entonces:

- (a) Para cualquier vector de probabilidad x, 𝑻𝒏 x→u conforme n→∞, de modo que u
es un vector de estado estacionario.
- (b) El vector de estado estacionario u es el único vector de probabilidad que satisface
la ecuación matricial Tu = u.

Demostración
a)

𝑥1
𝑥2
𝑥= [⋮]
𝑥𝑛

un vector de probabilidad. Como 𝑻𝒏 → A a medida que n → ∞, tenemos:

𝑇 𝑛 𝐱 → 𝐴𝐱
Ahora:
𝑢1 𝑢1 … 𝑢1 𝑥1 𝑢1 𝑥1 + 𝑢1 𝑥2 + … +𝑢1
𝑢2 𝑢 2 … 𝑢2 𝑥2 𝑢 𝑥 + 𝑢2 𝑥 2 + … +𝑢2
𝑨𝒙 = [ ⋮ ⋮ … ⋮ ] [ ⋮ ]= [ 2 ⋮1 … ⋮ ]
⋮
𝑢𝑛 𝑢 𝑛 … 𝑢𝑛 𝑥𝑛 𝑢𝑛 𝑥1 + 𝑢𝑛 𝑥2 + … +𝑢𝑛

𝑢1 (𝑥1 +𝑥2 + … +𝑥𝑛 ) 𝑢1

𝑢 (𝑥 + 𝑥2 + … +𝑥𝑛 ) 𝑢2
= [ 2 1 … ⋮ ]=[ ⋮ ]
⋮ ⋮
𝑢𝑛 (𝑥1 + 𝑥2 + … +𝑥𝑛 ) 𝑢𝑛

pues

10
 𝒙𝟏 + 𝒙𝟐 + ⋯ ⋯ + 𝒙𝒏 = 𝟏

Por lo tanto, 𝑻𝒏 x → u.
Demostración b)

Como 𝑻𝒏 → A, también tenemos que 𝑻𝒏+𝟏 → A. Sin embargo,

𝑻𝒏+𝟏 = 𝑻𝑻𝒏

de modo que 𝐓 𝐧+𝟏 → TA. En consecuencia, TA = A. Al igualar las columnas correspondientes de

esta ecuación, tenemos que Tu = u. Para demostrar que, u es único, sea v otro vector de
probabilidad tal que Tv = v. De acuerdo con (a), 𝑻𝒏 v → u, y como Tv = v, tenemos que
𝑻𝒏 v = v para todo n. Por lo tanto, v = u.

Otra forma de calcular el vector de estado estacionario de una matriz de transición regular es el
siguiente. Según (b) del teorema 3, podemos escribir:
𝑇𝑢 = 𝑢
Como:
𝑇𝑢 = 𝑙𝑛 𝑢
O
(𝐼𝑛 − 𝑇)𝑢 = 0

Hemos demostrado que el sistema homogéneo (3) tiene una única solución u que es un vector de
probabilidad, de modo que:

𝒖𝟏 + 𝒖𝟐 + ⋯ ⋯ + 𝒖𝒏 = 𝟏

11
2.5.- Pasos de Solución

El primer procedimiento para calcular el vector de estado estacionario u de una

matriz
de transición regular T es el siguiente.

Paso 1. Calculamos las potencias 𝑻𝒏 x, donde x es cualquier vector de probabilidad.

Paso 2. u es el límite de las potencias 𝑻𝒏 x.

El segundo procedimiento para calcular el vector de estado estacionario u de una

matriz de transición regular T es el siguiente.

Paso 1. Resolvemos el sistema homogéneo

(𝑰𝒏 – 𝑻)𝒖 = 𝟎

Paso 2. De la infinidad de soluciones obtenidas en el paso 1, determinamos una única

solución u, al exigir que sus componentes satisfagan la ecuación (4).

3.- Ejercicios propuestos:

1. ¿Cuáles de las siguientes pueden ser matrices de transición

de un proceso de Markov?
0.3 0.7
a) [ ]
0.4 0.6

0.2 0.3 0.1

b) [0.8 0.5 0.7]
0 0.2 0.2

0.55 0.33
c) [ ]
0.45 0.67

0.3 0.4 0.2

d) [0.2 0 0.8]
0.1 0.3 0.6

Respuesta: b y c porque son las únicas que suman 1

12
2.-¿ cuáles de los siguiente son vectores de probabilidad?
1 1
1 4 5
2 1 2
1 0 6 5
a) 3 b) [1] c) 1 d) 1
2 3 10
0 1 2
3
[ ] 4 10
[ ] [ ]
R.-El inciso a es un vector de probabilidad

En los ejercicios 3 y 4 determine un valor para cada entrada faltante, denotada por

De modo que la matriz sea la matriz de transición en una cadena de Markov. En algunos casos puede
haber más de una respuesta correcta.
− 0,4 0,3 0,2 0,1 0,3
3.- [0,3 − 0,5] 4.- [ 0,3 − 0,5 ]
− 0,2 − − − −

5.- Considere la matriz de transición

0,7 0,4
𝑇= [ ]
0,3 0,6

1
a) x (0) [ ], calcule x1 , x 2 , x 3 con tres cifras
0
b) Demuestre que T es regular encontrar el vector de estado estacionario.
R.-
𝑥 (0+1) = 𝑇. 𝑥 (0)
0,700 0,4 1 0,7
[ ] [ ]= [ ]
0,300 0,6 0 0,3
0,7
𝑥 (1) = [ ]
0,3
0,7 0,4 0,7
(2)
𝑥 = [ ]= [ ]
0,3 0,6 0,3

13
 0,6
(2)
𝑥 = [ ]
0,4

0,7 0,4 0,6

𝑥 (3) = [ ][ ]
0,3 0,6 0,4
0,6
𝑥 (3) = [ ] 0,6= 60% 0,4= 40%
0,4

6. Considere la matriz de transición

0 0,2 0
𝑇 = (0 0,3 0,3)
1 0,5 0,7
a)
0
para: 𝑥 (0)
= (1)
0

0 0,2 0 0 0,2
(1) (0)
𝑥 = 𝑇𝑥 = (0 0,3 0,3) (1) = (0,3)
1 0,5 0,7 0 0,5
0 0,2 0 0,2 0,06
𝑥 (2) = 𝑇𝑥 (1) = (0 0,3 0,3) (0,3) = (0,24)
1 0,5 0,7 0,5 0,70
0 0,2 0 0,06 0,048
𝑥 (3) = 𝑇𝑥 (2) = (0 0,3 0,3) (0,24) = (0,282 )
1 0,5 0,7 0,70 0,670
b) Demuestre que T es regular y encuentre su vector de estado estacionario.
0 0,2 0 0 0,2 0 0 0,06 0,06
𝑇 2 = (0 0,3 0,3) (0 0,3 0,3) = (0,3 0,24 0,30)
1 0,5 0,7 1 0,5 0,7 0,7 0,70 0,64
∴ la matriz de representación es regular.
1 0 0 0 0,2 0 𝑢1 0
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(0 1 0) − (0 0,3 0,3)] (𝑢2 ) = (0)
0 0 1 1 0,5 0,7 𝑢3 0

14
 1 −0,2 0 𝑢1 0
⇒ (0 0,7 𝑢
−0,3) ( 2 ) = (0)
−1 −0,5 0,3 𝑢3 0
1 −0,2 0 0 1 0 −0,0857 0 𝑢1 = 0,0857𝑟
(0 0,7 −0,3|0) rref⇒ (0 1 −0,4286|0) {𝑢2 = 0,4286𝑟 ∀ 𝑟𝜖ℝ
−1 −0,5 0,3 0 0 0 0 0 𝑢3 = 𝑟

𝑢1 + 𝑢2 + 𝑢3 = 1 ⇒ (0,0857 + 0,4286 + 1)𝑟 = 1 ⇒ 𝑟 = 0,6604

0,0566
∴ 𝑢 = (0,2830 )
0,6604

7. ¿Cuáles de las siguientes matrices de transición son regulares?

a)
0 0,5
𝑇=( )
1 0,5
0 0,5 0 0,5 0,5 0,25
𝑇2 = ( )( )=( )
1 0,5 1 0,5 0,5 0,75
∴ la matriz de representación es regular.

b)
0,5 0 0
𝑇 = ( 0 1 0,5)
0,5 0 0,5
0,5 0 0 0,5 0 0 0,25 0 0
2
𝑇 = ( 0 1 0,5) ( 0 1 0,5) = (0,25 1 0,75)
0,5 0 0,5 0,5 0 0,5 0,5 0 0,25
∴ la matriz de representación es regular.
c)
1 0,3333 0
𝑇 = (0 0,3333 1)
0 0,3333 0
1 0,3333 0 1 0,3333 0 1 0,4444 0,3333
2
𝑇 = (0 0,3333 1) (0 0,3333 1 ) = (0 0,4444 0,3333)
0 0,3333 0 0 0,3333 0 0 0,1111 0,3333

∴ la matriz de representación es regular.

d)
0,25 0,6 0,5
𝑇 = (0,50 0 0)
0,25 0,4 0,5

15
 0,25 0,6 0,5 0,25 0,6 0,5 0,4875 0,35 0,375
𝑇 2 = (0,50 0 0 ) (0,50 0 0 ) = (0,1250 0,30 0,250)
0,25 0,4 0,5 0,25 0,4 0,5 0,3875 0,35 0,375
∴ la matriz de representación es regular.
8. Demuestre que cada una de las siguientes matrices de transición
alcanza un estado de equilibrio.
a)
0,5 1
𝑇=( )
0,5 0
0,5 1 𝑢1
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(1 0) − ( 0
)] (𝑢 ) = ( )
0 1 0,5 0 2 0
0,5 −1 𝑢1 0
⇒ ( ) (𝑢 ) = ( )
−0,5 1 2 0
0,5 −1 0 1 −2 0 𝑢1 = 2𝑟
( | ) rref⇒ ( | ){ ∀ 𝑟𝜖ℝ
−0,5 1 0 0 0 0 𝑢2 = 𝑟
𝑢1 + 𝑢2 = 1 ⇒ (2 + 1)𝑟 = 1 ⇒ 𝑟 = 0,3333
0,6667
∴𝑢=( )
0,3333
b)
0,4 0,2
𝑇=( )
0,6 0,8
0,4 0,2 𝑢1
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(1 0) − ( 0
)] ( ) = ( )
0 1 0,6 0,8 𝑢2 0
0,6 −0,2 𝑢1 0
⇒ ( ) (𝑢 ) = ( )
−0,6 0,2 2 0
0,6 −0,2 0 1 −0,3333 0 𝑢1 = 0,3333𝑟
( | ) rref⇒ ( | ) { ∀ 𝑟𝜖ℝ
−0,6 0,2 0 0 0 0 𝑢2 = 𝑟
𝑢1 + 𝑢2 = 1 ⇒ (0,3333 + 1)𝑟 = 1 ⇒ 𝑟 = 0,75
0,25
∴𝑢=( )
0,75
c)
0,3333 1 0,5
𝑇 = (0,3333 0 0,25)
0,3333 0 0,25
1 0 0 0,3333 1 0,50 𝑢1 0
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(0 1 0) − (0,3333 0 0,25)] (𝑢2 ) = (0)
0 0 1 0,3333 0 0,25 𝑢3 0

16
 0,6667 −1 −0,50 𝑢1 0
⇒ (−0,3333 1 −0,25) (𝑢2 ) = (0)
−0,3333 0 0,75 𝑢3 0
0,6667 −1 −0,50 0 1 0 −2,25 0 𝑢1 = 2,25𝑟
(−0,3333 1 −0,25|0) rref⇒ (0 1 −1 |0) { 𝑢2 = 𝑟 ∀ 𝑟𝜖ℝ
−0,3333 0 0,75 0 0 0 0 0 𝑢3 = 𝑟

𝑢1 + 𝑢2 + 𝑢3 = 1 ⇒ (2,25 + 1 + 1)𝑟 = 1 ⇒ 𝑟 = 0,2353

0,5294
∴ 𝑢 = (0,2353 )
0,2353
d)
0,3 0,1 0,4
𝑇 = (0,2 0,4 0 )
0,5 0,5 0,6
1 0 0 0,3 0,1 0,4 𝑢1 0
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(0 1 0) − (0,2 0,4 0 )] (𝑢2 ) = (0)
0 0 1 0,5 0,5 0,6 𝑢3 0
0,7 −0,1 −0,4 𝑢1 0
⇒ (−0,2 0,6 0 ) (𝑢2 ) = (0)
−0,5 −0,5 0,4 𝑢3 0
0,6667 −1 −0,50 0 1 0 −0,6 0 𝑢1 = 0,6𝑟
(−0,3333 1 −0,25|0) rref⇒ (0 1 −0,2|0) {𝑢2 = 0,2𝑟 ∀ 𝑟𝜖ℝ
−0,3333 0 0,75 0 0 0 0 0 𝑢3 = 𝑟

𝑢1 + 𝑢2 + 𝑢3 = 1 ⇒ (0,6 + 0,2 + 1)𝑟 = 1 ⇒ 𝑟 = 0,5556

0,3333
∴ 𝑢 = (0,1111 )
0,5556
10. Determine el vector de estado estacionario para cada una
de las siguientes matrices regulares.
a)
0,3333 0,5
𝑇=( )
0,6667 0,5
0,3333 0,5 𝑢1
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(1 0) − ( 0
)] (𝑢 ) = ( )
0 1 0,6667 0,5 2 0
0,6667 −0,5 𝑢1 0
⇒ ( ) (𝑢 ) = ( )
−0,6667 0,5 2 0
0,6667 −0,5 0 0 𝑢 = 0,75𝑟
( | ) rref⇒ (1 −0,75| ) { 1 ∀ 𝑟𝜖ℝ
−0,6667 0,5 0 0 0 0 𝑢2 = 𝑟
𝑢1 + 𝑢2 = 1 ⇒ (0,75 + 1)𝑟 = 1 ⇒ 𝑟 = 0,5714

17
 0,4286
∴𝑢=( )
0,5714
b)
0,3 0,1
𝑇=( )
0,7 0,9
0,3 0,1 𝑢1
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(1 0) − ( 0
)] (𝑢 ) = ( )
0 1 0,7 0,9 2 0
0,7 −0,1 𝑢1 0
⇒ ( ) (𝑢 ) = ( )
−0,7 0,1 2 0
0,7 −0,1 0 1 −0,1429 0 𝑢1 = 0,1429𝑟
( | ) rref⇒ ( | ) { ∀ 𝑟𝜖ℝ
−0,7 0,1 0 0 0 0 𝑢2 = 𝑟
𝑢1 + 𝑢2 = 1 ⇒ (0,1429 + 1)𝑟 = 1 ⇒ 𝑟 = 0,8750
0,1250
∴𝑢=( )
0,8750
c)
0,25 0,5 0,3333
𝑇=( 0 0,5 0,6667)
0,75 0 0
1 0 0 0,25 0,5 0,3333 𝑢1 0
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(0 1 0) − ( 0 0,5 0,6667)] (𝑢2 ) = (0)
0 0 1 0,75 0 0 𝑢3 0
0,75 −0,5 −0,3333 𝑢1 0
⇒ ( 0 0,5 −0,6667) (𝑢2 ) = (0)
−0,75 0 1 𝑢3 0
0,75 −0,5 −0,3333 0 1 0 −1,3333 0 𝑢1 = 1,3333𝑟
( 0 0,5 −0,6667 |0) rref⇒ (0 1 −1,3333 |0) {𝑢2 = 1,3333𝑟 ∀ 𝑟𝜖ℝ
−0,75 0 1 0 0 0 0 0 𝑢3 = 𝑟

𝑢1 + 𝑢2 + 𝑢3 = 1 ⇒ (1,3333 + 1,3333 + 1)𝑟 = 1 ⇒ 𝑟 = 0,2727

0,3636
∴ 𝑢 = (0,3636 )
0,2727
d)

0,4 0 0,1
𝑇 = (0,2 0,5 0,3)
0,4 0,5 0,6

18
 1 0 0 0,4 0 0,1 𝑢1 0
𝑢
(𝐼3 − 𝑇)𝑢 = 0 ⇒ [(0 1 0) − (0,2 0,5 0,3)] ( 2 ) = (0)
0 0 1 0,4 0,5 0,6 𝑢3 0
0,6 0 −0,1 𝑢1 0
⇒ (−0,2 0,5 −0,3) (𝑢2 ) = (0)
−0,4 −0,5 0,4 𝑢3 0
0,6 0 −0,1 0 1 0 −0,1667 0 𝑢1 = 0,1667𝑟
(−0,2 0,5 −0,3|0) rref⇒ (0 1 −0,6667 |0) {𝑢2 = 0,6667𝑟 ∀ 𝑟𝜖ℝ
−0,4 −0,5 0,4 0 0 0 0 0 𝑢3 = 𝑟

𝑢1 + 𝑢2 + 𝑢3 = 1 ⇒ (0,1667 + 0,6667 + 1)𝑟 = 1 ⇒ 𝑟 = 0,5454

0,0909
∴ 𝑢 = 0,3636 )
(
0,5454

11.- (Psicología)
Un psicólogo del comportamiento coloca todos los días una rata en una jaula con dos puertas A y
B.
La rata puede pasar por la puerta A en cuyo caso recibirá un choque eléctrico por la puerta B , con
la cual obtiene un cierto alimento. Se registra la puerta por la que pasa la rata. Al inicio del
experimento un lunes la rata tiene la misma probabilidad de pasar por la puerta A que por la puerta
B. Después de pasar por la puerta A y recibir una descarga eléctrica, la probabilidad de poder pasar
por la misma puerta al día siguiente es 0,3.Despues de pasar por la puerta B y recibir el alimento,
la probabilidad de pasar por la misma puerta al día siguiente es 0,6.
(a) Escriba la matriz de transición para el proceso de Markov
(b) ¿Cuál es la probabilidad de que la rata vuelva a pasar por la puerta A el jueves( el tercer día
después del inicio del experimento)
(c) ¿cuál es el vector de estado estacionario?
A B
0,3 0,4
[ ]
0,7 0,6

1 0,3 0,4
(0)
X = [ ]×[ ]
0 0,7 0,6

19
 0,3
X (1) = [ ]
0,7
0,3 0,4 0,3 0,37
(2)
X =[ ]×[ ]=[ ]
0,7 0,6 0,7 0,63

0,3 0,4 0,37 0,363

(3)
X =[ ]×[ ] =[ ]
0,7 0,6 0,63 0,637
0,3 0,4 0,363 0,364
X (4) =[ ]×[ ]=[ ]
0,7 0,6 0,637 0,636
b) A= 0,364
𝟎, 𝟑𝟔𝟒
c) µ = [ ]
𝟎, 𝟔𝟑𝟔
12.- (Negocios) El departamento de suscripciones de una revista envía cartas a una enorme vista
de correos, invitando a los destinatarios a suscribirse. Algunas de las personas que recibieron la
carta ya estaban suscritas y otras no. de la lista de correo 60% de las personas ya suscritas se
suscribirán de nuevo, mientras que 25% de las no suscritas lo harán.
a) Escriba la matriz de transición para este proceso de Markov.
b) Al enviarse la última carta se determinó que el 40% de quienes la recibieron ordenaron una
suscripción que porcentaje de las personas que reciben la carta actual se espera que pidan
una suscripción?

a) P= 0,6 0,4

0,25 0,75

b)

0,4 0,6 * P = 0,39 0,61

El porcentaje de las personas que reciben la carta actual se espera que pidan una suscripción es del
39%.

20
13.- (Sociología)
Un estudio ha determinado que la ocupación de un niño, cuando sea adulto, depende de la
ocupación de su padre y está dada por la siguiente matriz de transición, donde P=
profesional, F = agricultor y L = obrero.

En consecuencia, la probabilidad de que el hijo de un profesional también sea un profesional es 0,8

y así sucesivamente.

a) ¿Cuál es la probabilidad de que el nieto de un profesional también sea profesional?

R.- P( nieto) = 0,8/1 = 0,8

Al igual que el abuelo y el padre hay una probabilidad del 80% de que el nieto sea profesional

14.- (Genética) Considere una planta que puede tener flores rojas (R) rosadas (P) o blancas (W)
según los genotipos RR,RW,WW. Al cruzar cada uno de estos genotipos RW, obtenemos la matriz
de transición.

Supongamos que cada generación posterior se produce cruzando solo con plantas de genotipos
RW. ¿En qué momento alcanza el equilibrio el proceso?¿qué porcentaje de las plantas será de
flores rojas, rosadas o blancas?

21
- Alcanzan el equilibrio en proceso cuando se tienen los mismos porcentajes en este caso las flores
rojas y blancas cuentan con el mismo porcentaje de 25%.
- Así a largo plazo se tendrá que: el 25%seran flores roja, el 50% serán rosadas y el 25% serán
flores blancas.
15.- (Transporte Colectivo) Un sistema de transporte colectivo entra en operación. Las autoridades
de transito han realizado estudios que predican el porcentaje de quienes utilizarán el sistema
colectivo (M) y el de las personas que seguirán manejando su auto (A). Se ha obtenido la siguiente
matriz de transición.

22
Supongamos que la población del área permanece constante y que al principio 30% de la gente se
traslada en el transporté colectivo y el 70% en automóvil.
(a) ¿Qué porcentaje utilizara el sistema de trasporte colectivo después de un año? ¿después de
2 años?
(b) ¿en el largo plazo ¿Qué porcentaje empleara el sistema de transporte
colectivo?
M A
0,7 0,2
[ ]
0,3 0,8
0,3
𝑋 (0) = [ ]
0,7
0,7 0,2 0,3 0,35
𝑋 (1) = [ ][ ] = [ ] = 35%
0,3 0,8 0,7 0,65
0,7 0,2 0,35 0,375
𝑋 (2) = [ ][ ]=[ ] = 37.5%
0,3 0,8 0,65 0,625
0,7 0,2 𝑂, 375 0,388
𝑋 (3) = [ ] ×[ ]=[ ]
0,3 0,8 0,625 0,613
0,7 0,2 0,388 0,394
𝑋 (4) =[ ]×[ ]=[ ]
0,3 0,8 0,613 0,613
0,7 0,2 0,394 0,398
𝑋 (5) = [ ]×[ ]=[ ]
0,3 0,8 0,613 0,609
0,7 0,2 0,398 𝑂, 4
𝑋 (6) = [ ]×[ ]=[ ]
0,3 0,8 0,609 0,6
0,7 0,2 𝑂, 4 0,4
𝑋 (7) = [ ]×[ ]=[ ]
0,3 0,8 0,606 0,6
b) En el largo plazo el transporte colectivo empleara un 40%.

23
4.- Conclusiones:
Después de haber investigado tanta información y de haber resuelto muchos ejercicios el grupo
concluye que las cadenas de Markov son un recurso muy útil para el cálculo de las probabilidades
que se pueden presentar en la vida cotidiana pero además el haber descubierto que tiene tantas
aplicaciones en distintas áreas de la matemática y en tantos servicios consumo masivo es increíble
y muy interesante.

Así mismo las limitaciones que pudimos encontrar en esta herramienta matemática vendrían a ser
que ciertos cálculos de probabilidad que encontramos cotidianamente depende muchas más
variables que las que el sistema nos brinda, de todas formas, las cadenas son muy útiles para obtener
probabilidades menos complejas.

5.- Bibliografía:

Basharin, Gely P.; Langville, Amy N.; Naumov, Valeriy A. (2004). «The Life and Work of A. A.
Markov». Álgebra Lineal y sus aplicaciones, página 386: 3-26

R. Gabriel & J. Neumann (2006): A Markov chain model for daily rainfall occurrence at Tel Aviv

Bernard Kolman / David R. Hill Álgebra Lineal fundamentos y aplicaciones 8va edición, página
149-158

Enlaces Web:

Título de página: Propiedades de las cadenas de Markov. Nombre de la página web:

Investigación de operaciones. URL:

http://www.investigaciondeoperaciones.net/cadenas_de_markov.html

Título de página: Cadenas de Markov. . Nombre de la página web: Wikipedia la enciclopedia

libre.URL:

https://es.wikipedia.org/wiki/Cadena_de_M%C3%A1rkov

24