Clase6 IOCadenasMarkov

UNIVERSIDAD SAN PEDRO
Escuela de Ingeniera Industrial

Investigacin Operativa II
CADENAS DE MRKOV
Introduccin
A veces nos interesa saber cmo cambia una variable aleatoria a travs del tiempo.
Por ejemplo, desearamos conocer cmo evoluciona el precio de las acciones de una empresa en el mercado a travs
del tiempo.
El estudio de cmo evoluciona una variable aleatoria incluye el concepto de procesos estocsticos.
Aqu veremos esos procesos, en especial uno que se conoce como Cadenas de Markov.
Las cadenas de Markov se han aplicado en reas tales como educacin, mercadotecnia, servicios de salud, finanzas,
contabilidad y produccin.
Qu es una cadena de Markov?

Una cadena de Mrkov, que recibe su nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922), es
una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En
efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las posibilidades de
los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Mrkov de las series de eventos
independientes, como tirar una moneda al aire o un dado.
Este tipo de proceso, introducido por Mrkov en un artculo publicado en 1907, presenta una forma de dependencia
simple, pero muy til en muchos modelos, entre las variables aleatorias que forman un proceso estocstico. En los
negocios, las cadenas de Mrkov se han utilizado para analizar los patrones de compra de los deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de equipo.
Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de determinados tipos de
procesos estocsticos, esto es, procesos que evolucionan de forma no determinstica a lo largo del tiempo en torno a
un conjunto de estados.
Una cadena de Markov, por tanto, representa un sistema que vara su estado a lo largo del tiempo, siendo cada
cambio una transicin del sistema. Dichos cambios no estn predeterminados, aunque s lo est la probabilidad del
prximo estado en funcin de los estados anteriores, probabilidad que es constante a lo largo del tiempo (sistema
homogneo en el tiempo). Eventualmente, en una transicin, el nuevo estado puede ser el mismo que el anterior y es
posible que exista la posibilidad de influir en las probabilidades de transicin actuando adecuadamente sobre el
sistema (decisin).
En esta unidad nos ocuparemos de las llamadas cadenas de Markov finitas, caracterizadas por que el nmero de
estados del sistema es finito.
Esta unidad combina los aspectos estocsticos y dinmicos en los problemas de optimizacin, a travs de los
llamados procesos markovianos de decisin.
Qu es un Proceso Estocstico?
Un proceso estocstico se define como una coleccin subindizada de variables aleatorias denotadas por {X t}, donde
el subndice t pertenece a otro conjunto dado. Por ejemplo X 1, X2, X3, pueden representar los niveles de inventario
al finalizar, respectivamente, los das 1, 2, 3 o bien, puede ser el nmero de participantes en los pronsticos
deportivos en las semanas 1, 2, 3,
Cualquier secuencia de valores asociados al proceso estocstico se define como una realizacin del proceso. Por
ejemplo,
X0 = 9, X1 = -3, X2 = 324, X3 = 8
El conjunto de todos los posibles valores asociados a un proceso estocstico se define como espacio de estados. El
valor asociado a Xk es el estado del proceso en el tiempo k. Se define como una transicin, a cualquier cambio de
estado. Si el espacio de estado contiene valores discretos el proceso estocstico se denomina discreto; de otra
manera, el proceso estocstico es continuo.
La transicin de un estado a otro en dos periodos consecutivos de tiempo se puede graficar con un diagrama
de transicin. Por ejemplo, una fresadora en una empresa que elabora herramientas de mano puede encontrarse en
cualquier turno de trabajo de cualquier da en uno de los siguientes estados, mutuamente excluyentes: 1) Operando,
Procesos de decisin markoviana
Docente: Mg. Ing. J. Paredes C.

2) Parada por mantenimiento preventivo, 3) Parada por mantenimiento correctivo, 4) Parada por falta de trabajo y/o
personal operativo, 5) Parada por falta de energa elctrica. La figura siguiente indica las posibles transiciones de un
estado a otro en dos periodos consecutivos de tiempo. El arco 1, 4 indica que la mquina estuvo operando en el turno
t, pero en el t+1 est parada por falta de trabajo y/o personal operativo. El proceso estocstico se puede visualizar
como un salto aleatorio de un estado a otro en periodos consecutivos de tiempo.
Para poder estudiar a los procesos estocsticos, debe suponerse que poseen la propiedad de Markov, es decir, que el
futuro depende nicamente del valor del estado del presente y es independiente del pasado. Matemticamente, lo
anterior se expresa en la ecuacin (1)
Definicin formal de una Cadena de Markov

En matemticas, se define como un proceso estocstico discreto que cumple con la propiedad de Mrkov, es decir, si
se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la informacin relevante
para describir en probabilidad su estado futuro.
Una cadena de Mrkov es una secuencia X1 , X2, X3,... de variables aleatorias. El rango de estas variables, es llamado
espacio estado, el valor de Xt es el estado del proceso en el tiempo t. Si la distribucin de probabilidad condicional de
Xn+1 en estados pasados es una funcin de Xt por s sola, entonces; se dice que un proceso estocstico (X t) tiene la
propiedad markoviana si:
P{
=P{
= j|X0 = k0, X1 = k1,, Xt-1 = kt-1, Xt = i}

= j|Xt = i}
(1)
Para t = 0, 1, y toda sucesin I, j. k0, k1, kt-1

A esta expresion se le conoce como la propiedad de Markov y establece que la propiedad condicional de encontrarse
en el periodo t + 1, en el estado j, depende unicamente del valor del estado en el periodo t y es independiente del
pasado (periodos 0, 1, 2, t - 2, t - 1). La probabilidad condicional (1) se conoce como probabilidad de transicion y
seria, en todo caso, la que se asigna a los arcos del diagrama de transicion.
En palabras, esta propiedad markoviana establece que la probabilidad condicional de cualquier evento futuro dados
cualquier evento pasado y el estado actual actual Xt = i; es independiente del evento pasado y slo depende del
estado actual del proceso.
Un proceso estocastico {Xt} (t = 0,1,) es una cadena de Markov si tiene la propiedad markoviana.

Las probabilidades condicionales P {
transicin (de un paso). Si para cada i y j,
= j|Xt = i} para una cadena de Markov se llaman probabilidades de
= j|Xt = i} = P { = j|X0 = i}, para toda t = 1, 2,,

Entonces se dice que las probabilidades de transicin (de un paso) son estacionarias. As, tener probabilidades de
transicin estacionarias implica que las probabilidades de transicin no cambian con el tiempo. La existencia de
probabilidades de transicin (de un paso) estacionarias tambin implica que, para cada i, j y n(n=0, 1,2,),
P{
= j|Xt = i} = P {
= j|X0 = i}
Para toda t = 0,1,Estas probabilidades condicionales, se llaman probabilidades de transicin de n pasos.

Para simplificar la notacin de las probabilidades de las probabilidades de transicin estacionarias, sea
Pi,j = P{
= j|Xt = i}
para toda i, j
(2)
Las probabilidades P ij se consideran estacionarias: no cambian con el tiempo. De relajarse esta condicin, se tendran
probabilidades de transicin dependientes del parmetro tiempo, lo que complicara el anlisis. Todo proceso
estocstico que satisface la propiedad de Markov se conoce como una cadena de Markov.
La probabilidad de transicin en n periodos, denotada por
=P{
, se define como:
= j|Xt = i}
(3)
As, las probabilidades de transicin de n pasos

son simplemente la probabilidad condicional de que el sistema
se encuentre en el estado j justo despus de n pasos (unidades de tiempo), dado que comenz en el estado i en
cualquier tiempo t. Cuando n = 1, observe que
Cuando las
son probabilidades condicionales, deben ser no negativas y, como el proceso debe hacer una
transicin a algn estado, deben satisfacer las propiedades
0, para toda i y j; n = 0, 1, 2,
(4)
=1
para toda i; n=0, 1, 2,
(5)
Donde M es el nmero finito asociado a los diferentes estados por donde puede pasar el proceso.
Una notacin conveniente para representar las probabilidades de transicin de n pasos es la forma matricial
Estados
0
P(n)
Para n = 0, 1, 2,
(6)
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Mrkov.

Observe que la probabilidad de transicin en un rengln y columna dados es para la transicin del estado en ese
rengln al estado en la columna. Cuando n = 1, el superndice n no se escribe y, se hace referencia a sta como la
matriz de transicin.
Una matriz de transicin se llama doblemente estocstica cuando
= 1 para toda j
Un proceso estocstico Xt es una cadena de Markov finita si cumple con cada una de las siguientes propiedades:

a.
b.
c.
d.
Posee la propiedad de Markov

El espacio de estados es finito
Las probabilidades de transicin son estacionarias
Se conocen las probabilidades inciales P{X0 = i}, para toda i
EJEMPLOS DE CADENAS DE MARKOV
1. Ejemplo de Partidos Polticos

En cierta nacin hay tres partidos polticos principales: El liberal (L), el conservador(C), y el demcrata (D). La
matriz de transicin siguiente da las probabilidades de que la nacin sea controlada por cada uno de los tres partidos
polticos despus de una eleccin, conocidas las diversas posibilidades del resultado de la eleccin anterior:
L
C
D
L
C
D
Suponiendo que el partido liberal tiene el control ahora, use un diagrama de rbol para determinar la probabilidad de
que el partido conservador este en el poder despus de las dos prximas elecciones.
Solucin: Los resultados posibles de las dos prximas elecciones aparecen en la figura siguiente, cuando empezamos
con el partido liberal en el poder. Puesto que buscamos la probabilidad de que el partido conservador asuma el
mando despus de dos elecciones, solo nos interesan aquellas ramas del diagrama que terminan en C. Los nmeros a
lo largo de las ramas son las probabilidades apropiadas dadas en la matriz de transicin. Por ejemplo el nmero 0.10
en la rama de L a D es la probabilidad de que los liberales sean reemplazados por los demcratas en la eleccin
siguiente. El nmero 0.40 en la rama de D a C es la probabilidad de que los conservadores asuman el poder en la
segunda eleccin dado que los demcratas tomaron el mando en la primera eleccin. El producto (0.10)*(0.40) da la
probabilidad de que los liberales sean reemplazados por los demcratas y stos a su vez por los conservadores.
Las otras sucesiones (o ramas) que terminaban con los conservadores en el poder tienen las probabilidades
(0.70)(0.20) y (0.20)(0.30), respectivamente. As que la probabilidad de que los conservadores asuman el poder
despus de dos elecciones es la suma de las probabilidades de estas tres sucesiones: (0.70)(0.20) + (0.20)(0.30) +
(0.10)(0.40) = 0.24
2. Ejemplo de Fluctuaciones de la Bolsa De Valores

El valor de una accin flucta da con da. Cuando la bolsa de valores se encuentra estable, un incremento en un da
tiende anteceder una baja el da siguiente, y una baja por lo regular es seguida por un alza. Podemos modelar estos
cambios en el valor mediante un proceso de Markov con dos estados, el primer estado consistente en que el valor se
incrementa un da dado, el segundo estado definido por la baja. (La posibilidad de que el valor permanezca sin
cambio se ignora). Suponga que la matriz de transicin es la siguiente:
Cambio de maana
Alza
Baja
Cambio
Alza
[
]
De hoy
Baja

Sin el valor de la accin baj hoy, calcule la probabilidad de que se incremente 3 das despus a partir de ahora.
Solucin: Los estados posibles de la accin (alza o baja) durante los prximos 3 das estn dados en la figura
siguiente, en que el estado inicial es la baja. Denotemos los estados de alza o baja (esto es, incremento o decremento)
por las letras U y D, respectivamente.
Solo nos interesan las cuatro ramas que terminan en el estado U al cabo del tercer da. La probabilidad requerida de
que la accin ir al alza en el tercer da cuando fue a la baja el da de hoy se obtiene sumando las probabilidades de
las cuatro ramas antes mencionadas: (0.80)(0.10)(0.10) + (0.80)(0.90)(0.80)+(0.20)(0.80)(0.10)+(0.20)(0.20)(0.80) =
0.632
En el ejemplo 2 calculamos la probabilidad de que la accin vaya al alza al tercer da. Supngase que deseamos
calcular la probabilidad de que la accin vaya al alza o la baja al dcimo da. En este caso, el uso de un diagrama
sera muy embarazoso. En una situacin como esta, el lgebra de matrices evita dibujar un diagrama de rbol grande.
Consideremos un sistema de n estados posibles, de modo que cada ensayo tiene n resultados posibles. En cualquier
etapa en el futuro no podemos decir en qu estado se encontrar el sistema, pero podramos estar en posicin de dar
las probabilidades de que se encuentre en cada uno de los estados 1, 2,, n (en el ejemplo 3, no podemos decir la
accin ira a la baja o al alza despus de 3 das, pero s podemos afirmar que la probabilidad de que ir al alza es de
0.632 y en consecuencia la probabilidad de que vaya a la baja es de 1 0.632 = 0.368) En general, SI p1, p2, , p n
son las probabilidades de que el sistema se encuentre en los estados 1, 2, ,n, respectivamente, entonces la matriz
rengln 1xn
[p1 p2pn]
Se conoce como matriz de estado o vector de estado del sistema. Obsrvese que p 1 + p2 ++ p n = 1
Denotaremos a la matriz de estado inicial con A0 y a la matriz de estado despus de k ensayos (o etapas) por Ak
Consideremos el ejemplo 2. Cada da el sistema (valores) est en uno de los dos estados: estado 1 (alza) y estado 2
(baja). En el ejemplo, al principio la accin estaba a la baja, de modo que inicialmente la probabilidad p1 de que el
sistema se encuentre en el estado 1 es 0 y la probabilidad p2 de que el sistema se encuentre en el estado 2 es 1. As, la
matriz de estado inicial A0 del sistema es
A0 = [p1
p2] = [0
1]
Como se advierte en la figura, despus de 1 da, la accin est al alza (estado 1) con probabilidad p 1 = 0.80 y a la baja
(estado 2) con probabilidad p 2 = 0.20. As:
A1 = [p1 p2] = [0.80 0.20]
A partir de la figura, la probabilidad de que la accin ir al alza despus de 2 das es:
p1 = (0.80)(0.10) + (0.20)(0.80) = 0.08 + 0.16 = 0.24

De manera similar, la probabilidad de que la accin est a la baja despus de 2 das es:
p2 = (0.80)(0.90) + (0.20)(0.20) = 0.72 + 0.04 = 0.76
As que la matriz de estado A2 despus de 2 das est dada por:
A2 = [p1 p2] = [0.24 0.76]
Al cabo de 3 das la matriz de estado es:
A3 = [p1 p2] = [0.632 0.368]
El teorema siguiente indica cmo calcular la matriz de estado del sistema en cualquier etapa si se conoce la matriz de
estado de ensayo previo.
TEOREMA 1: Si P denota la matriz de transicin de una cadena de Markov y A k es la matriz de estado despus de k
ensayos, entonces la matriz de estado Ak+1 despus del ensayo siguiente est dado por:
Ak+1 = AkP
Considere de nuevo el problema 2. La matriz de estado inicial es A0 = [0 1] y la matriz de transicin es:
P=[
La matriz de estado despus de una etapa (da) est dado por:

A1 = A0P = [0 1] [
] = [0.80 0.20]
La matriz de estado al cabo de 2 das es:

A2 = A1P = [0.80 0.20] [
] = [0.24 0.76]
La matriz de estado al cabo de 3 das es:

A3 = A2P = [0.24 0.76] [
] = (0.24)(0.10)+(0.76)(0.80)
(0.24)(0.90) + (0.76)(0.20)
[0.632 0.368]
Estos resultados concuerdan con los que obtuvimos antes directamente del diagrama de rbol.
VECTOR DE PROBABILIDADES INICIALES

El vector de probabilidades
se llama vector de probabilidades iniciales de la cadena.
El vector de probabilidades iniciales y la matriz de transicin determinan la probabilidad para el estado de la cadena
en el segundo instante de tiempo, dicha probabilidad viene dada por el vector
Adems, si las probabilidades de los diversos estados en el instante
, entonces
se especifican por el vector de probabilidades
Las probabilidades en el instante + se especifican por el vector de probabilidades

Ejemplo: En el ejemplo del clima con matriz de transicin:
P =
Soleado(S)
Nublado(N)
Soleado(S)
0.70
0.60
Nublado(N)
0.30
0.40

[
Suponemos que la probabilidad de que el mircoles haga sol es 0.2 y la probabilidad de que est nublado es 0.8.
Calcular:
1. Probabilidad de que est nublado el jueves.
2. Probabilidad de que est nublado el viernes.
3. Probabilidad de que est nublado el sbado.
Solucin
[
]
1. Mircoles:
[
][
[
]
P[este nublado el jueves] = 0.38
[
]
2.
P[este nublado el viernes] = 0.338
[
]
3.
P[este nublado el sbado] = 0.3338
3. Ejemplo Modalidad de Transporte

La gente que trabaja en el centro de la ciudad de Lima y no vive en los suburbios cercanos puede trasladarse a sus
trabajos mediante transportacin pblica (autobuses) o usando automviles privados. Actualmente, el 25% de tales
personas usan los autobuses y el 75% utilizan sus automviles. Debido a una reduccin en el espacio de
estacionamiento, la ciudad ha incrementado de forma considerable el nmero de autobuses a y desde la ciudad, con
la intencin de que ms personas cambien a autobuses y as aliviar el problema del estacionamiento. Con base en
una encuesta de la poblacin trabajadora, los funcionarios esperan que con los autobuses adicionales, cada ao 60%
de los que usan automvil cambie a autobs, mientras que el 20% de los que usan autobs regrese a automvil. A los
funcionarios les interesa el efecto a largo plazo de los autobuses adicionales; esto es, el porcentaje de los que a largo
plazo cambien al uso de los autobuses o el automvil.
Denotemos a la matriz de estado en cualquier ao por [p 1 p2], en donde p 1 es la proporcin de los que cambian al
uso de los autobuses y p 2 es la proporcin de los que usan el automvil. La matriz inicial es:
A0 = [0.25 0.75]
La probabilidad de que un usuario del autobs contine usndolo el ao siguiente es 0.80, mientras que la
probabilidad que cambie al automvil es 0.20. Las probabilidades correspondientes para los que usan automviles
son 0.60 y 0.40, de modo que la matriz de transicin P es la siguiente:
La gente usar
Autobuses el
Automviles
Ao prximo
el ao prximo
Autobuses este ao
La gente usa:
Automviles este ao
Por consiguiente, las matrices de estado despus de 1, 2, 3,y 6 aos son las que aparecen a continuacin:
A1 = A0P = [0.25 0.75][
] = [0.64 0.35]
A2 = A1P = [0.65 0.35][
] = [0.73 0.27]
A3 = A2P = [0.73 0.27][
] = [0.746 0.254]
A4 = A3P = [0.746 0.254][
] = [0.749 0.251]

A5 = A4P = [0.749 0.251][
] = [0.750 0.250]
A6 = A5P = [0.750 0.250][
] = [0.75 0.25]
En donde redondeamos el resultado a 3 cifras decimales. Observemos que despus de 5 aos, el porcentaje de las
personas que usan autobuses se estabiliza en 75% y el porcentaje de los que usan automviles en 25%.
Supongamos ahora que la matriz de estado inicial es: A = [0.20 0.80] en lugar de [0.25 0.75]. En otras palabras, el
20% de las personas que requieren transporte usan autobuses y el 80% emplean el automvil. En este caso, las
matrices de estado despus de 1, 2, 3, 4 y 5 aos son las siguientes:
A1 = A0P = [0.20 0.80][
] = [0.64 0.36]
A2 = A1P = [0.64 0.36][
] = [0.728 0.272]
A3 = A2P = [0.728 0.272][
] = [0.746 0.254]
A4 = A3P = [0.746 0.254][
] = [0.749 0.251]
A5 = A4P = [0.749 0.251][
] = [0.750 0.250]
Recuerde que A5, tambin puede calcularse asi:

A5 = A0
= [0.2
0.8][
0.2*0.24992 + 0.8*0.25024] = [0.749824

A5 = [0.749824
0.250176]
][
] = [0.2*0.75008+0.8*0.74976
0.250176]
As que de nuevo vemos que el porcentaje de la gente que usa autobuses se estabiliza en 75% y el porcentaje de los
que usarn el automvil en 25%.
Observemos que la matriz de estado se estabiliza en [0.25 0.75] [0.20 0.80]. Estos resultados no son
accidentales; en muchas cadenas de Markov la matriz de estado se estabiliza despus de un gran nmero de ensayos
sin importar la matriz de estado inicial. Esto es consecuencia del teorema siguiente, que se establece sin
demostracin.
TEOREMA 2: Una matriz de transicin P se dice que es regular si para algn entero positivo k la matriz Pk no tiene
elementos iguales a cero. Si P es una matriz de transicin regular, entonces sin importar la matriz de estado inicial.
Las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde BP = B.
La matriz B se denomina matriz estacionaria (o de estado estable) del sistema.
En el estudio anterior de un problema de transito urbano, encontramos que la matriz estacionaria (con tres
cifras decimales) es: B = [0.750 0.250]
Demostraremos que esta misma matriz estacionaria puede obtenerse usando el teorema 2. La matriz de transicin es:
P=[
Sea B = [p1 p2] la matriz estacionaria requerida. Puesto que por definicin, la suma de las probabilidades de una
matriz de estado es 1, debemos tener que p 1 + p2 = 1
(1)
Ahora la ecuacin BP = B implica que:
[p1 p2] [
Esto es,
[0.80p1 + 0.60p2
[p1 p2]
0.20p1 + 0.40p2] = [p1 p2]
Lo cual da
0.80p1 + 0.60p2 = p1

0.20p1 + 0.40p2 = p2
Estas ecuaciones son idnticas una a la otra y la solucin es p 1 = 3P2. Sustituyendo esto en la ecuacin (1),
obtenemos:
3p2 + p2 = 1
p2 = = 0.25
Por consiguiente, de la ecuacin (1),
P1 = 1 p2 = 1 0.25 = 0.75
De ah que:
B = [p1 p2] = [0.75 0.25]
Esto concuerda con los resultados que se obtuvieron antes
Tambin se puede calcular encontrando el estado estacionario de la matriz
Por ejemplo para n = 20, los valores se ven en la siguiente figura
De all se deduce que
4. Ejemplo de Cervecera
La cervecera ms importante del mundo (Guiness) ha contratado a un analista de investigacin de operaciones para
analizar su posicin en el mercado. Estn preocupados en especial por su mayor competidor (Heineken). El analista
piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G
y H representan a los clientes que beben cerveza producida por las mencionadas cerveceras y el estado I representa
todas las dems marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transicin de
los datos histricos.
Cules son los porcentajes de mercado en el estado estable para las dos cerveceras grandes?
SOLUCIN:
Tres estados {G, H, I}
El problema consiste en resolver el sistema formado por las ecuaciones siguientes:
[p1 p2 p3]
= [p1 p2 p3]
[p1
p 2 p3 ]
= [p1
p2
p3 ]
Siendo p1 la probabilidad de que el consumidor compre G, p2 de que el consumidor compre H y p3 la del que
consumidor compre I.
De ambas expresiones se obtiene el siguiente sistema:
0.70p1 + 0.20p2 + 0.10p3 = p1
0.20p1 + 0.75p2 + 0.10p3 = p2
0.10p1 + 0.05p2 + 0.80p3 = p 3
p1 + p2 + p3 = 1
(Puede elegirse 1, 2 y 4 ecuacin, descartando la 3)
- 0.30p1 + 0.20p2 + 0.10p3 = 0

0.20p1 0.25p2 + 0.10p3 = 0
P1 + p 2 + p 3 = 1
Resolviendo, la solucin es: p 1 = 9/26 = 0.3462; p2 = 10/26 = 0.3846; p 3 = 7/26 = 0.2692

5 Ejemplo: Dada la matriz de transicin [

BP = B
Respuesta [5/12
7/12] = [0.4167
] encuentre la matriz de estado estable resolviendo la ecuacin
0.5833]
6. Ejemplo de Prediccin del Tiempo

La variacin del tiempo de un da a otro se supone que forma una cadena de Markov con la matriz de transicin
siguiente:
Maana
Soleado Nublado Lluvioso
Hoy
Soleado
Nublado
Lluvioso
=P
Dado que hoy (domingo) est nublado, Cul es la probabilidad de que el mircoles sea soleado?
Solucin: Definamos los estados 1, 2 y 3 como soleado, nublado y lluvioso, respectivamente. Puesto que hoy est
nublado (domingo), tenemos que p 1 = 0, p2 = 1, p3 = 0 y la matriz de estado inicial es:
A0 = [p1
p2
p3] = [0 1
0]
La matriz de estado al cabo de un da (el lunes) est dado por:

A1 = A0P = [0 1 0]
= [0.20 0.50 0.30]
La matriz de estado el martes (despus de 2 das) es:

A2 = A1P = [0.20 0.50
0.30]
= [0.25 0.41
0.34]
La matriz de estado el mircoles (despus de 3 das) es:

A3 = A2P = [0.25 0.41
0.34]
= [0.266 0.391
0.343]
Por consiguiente, la probabilidad de que el mircoles sea soleado es 0.266
7. Ejemplo Aplicado al Clima

Despus de mucho estudio sobre el clima, hemos visto que si un da est soleado, en el 70% de los casos el da
siguiente continua soleado y en el 30% se pone nublado. En trminos de probabilidad, lo que nos sirve entonces para
predecir el clima, vemos que la probabilidad de que contine soleado el da siguiente es 0.7 y la probabilidad de que
al da siguiente est nublado es 0.3. Tambin nos fijamos en que si un da est nublado, la probabilidad de que est
soleado el da siguiente es 0.6 y la probabilidad de que se ponga nublado es 0.4
Pregunta
Hoy est nublado, cul es la probabilidad de que maana contine nublado? Cul es la probabilidad de que est
nublado pasado maana?
Podemos ilustrar esta situacin por medio de un diagrama de rbol:
10

Figura 2: Posibles estados del tiempo a partir de hoy esta nublado

Con la ayuda de la Figura 2 podemos predecir qu ocurrir maana si sabemos que hoy est nublado.
Vemos que la probabilidad de que maana contine nublado es 0.4, es decir, si hiciramos esta prediccin muchas
veces estaramos en lo correcto cerca del 40% de las veces. Para conocer la probabilidad de est nublado pasado
maana buscamos en las hojas del rbol correspondientes al Tiempo pasado maana los lugares donde dice nublado.
Hay dos hojas donde esto ocurre. Ahora lo que queda es determinar cmo desde el principio, desde la raz del rbol,
podemos llegar all.
Si hoy est nublado, para que pasado maana est nublado, podramos tener un da de maana soleado o nublado.
As tenemos las siguientes secuencias en orden de (hoy, maana, pasado maana): (nublado, soleado, nublado) o
(nublado, nublado, nublado) donde pasado maana es nublado. Estas secuencias son mutuamente excluyentes,
corresponden a caminos distintos en el rbol, as tenemos que:
P (pasado maana nublado | hoy nublado)
= P ((nublado, soleado, nublado) o (nublado, nublado, nublado))
= P (nublado, soleado, nublado) + P (nublado, nublado, nublado) = (0.6*0.3) + (0.4*0.4) = 0.34.
Este resultado se obtuvo multiplicando las probabilidades condicionales a lo largo de los caminos desde hoy nublado
hasta pasado maana nublado. No es necesario que seamos tan especficos en trminos de hoy, maana o pasado
maana, podemos darnos cuenta que lo realmente importante es el nmero de das que pasa entre una prediccin y
otra. El problema que tratamos es equivalente al problema en que si en el da 0 est nublado, cul es la probabilidad
un da despus tambin est nublado?, dos das despus?, 100 das despus?...
Solucin con Cadenas de Markov
Con esta informacin modelar el clima del pueblo como una cadena de Markov.
Se trata de una cadena de Markov con dos estados {Soleado, Nublado} que para abreviar representaremos por {S,
N}, siendo la matriz de probabilidades de transicin:
Soleado(S)
Nublado(N)
P =
Soleado(S)
0.70
0.30
Nublado(N)
0.60
0.40
Se pide la probabilidad de transicin en dos pasos, es decir que se pide el valor en fila 2, columna 1 para la matriz P 2 :
P2 =
= (0.60*0.30) + (0.40*0.40) = 0.34
Pregunta
Hoy est nublado, cul es la probabilidad de que est nublado tres das despus? Representa esta
Situacin con un rbol.
11

El proceso de este ejemplo slo puede adquirir uno de dos estados posibles s 1 = nublado y s2 = soleado.
La probabilidad con que se va de un estado a otro depende del estado en que estamos en el presente.
Dejemos que X1 represente el estado del clima del da nmero 1, X 2 el estado del clima del da nmero 2 y as
sucesivamente. En general, para n = 1, 2,... sea X n el estado del clima en el ensimo da.
La sucesin de observaciones X1, X 2,... se llama un proceso estocstico o proceso aleatorio. La primera
observacin X1 se conoce como el estado inicial del proceso y para n = 2, 3,..., X n es el estado del proceso en el
tiempo n. En un proceso de este tipo los valores de las observaciones no pueden predecirse con precisin de
antemano. Sin embargo puede especificarse una probabilidad de observar determinado valor, tal como en nuestro
ejemplo.
En un proceso estocstico el estado vara en una forma aleatoria. Para describir el modelo de probabilidad es
necesario especificar una probabilidad para cada uno de los posibles valores del estado inicial. Tambin es necesario
especificar para cada estado subsiguiente Xn+1 todas las probabilidades condicionales de la forma siguiente: P (X n+1
= sn+1 | X1 = s1, X2 = s2, ..., X n = s n). Esto quiere decir que para todos los tiempos n, el modelo de probabilidad debe
especificar la probabilidad condicional de que el proceso est en el estado s n+1 en el tiempo n+1, dado que en los
tiempos 1, 2, ..., n el proceso estuvo en los estados s1, s2, ..., s n.
Muchos procesos reales, como el del ejemplo, se pueden modelar examinando nicamente la historia ms reciente, es
decir, examinando su ltimo estado, sin considerar todos los estados anteriores. Una cadena de Markov (general) es
un proceso de esta naturaleza: en el momento n el estado actual del proceso y todos los estados anteriores son
conocidos, entonces las probabilidades de todos los estados futuros Xj (j > n) dependen nicamente del estado actual
Xn y no de los anteriores, X1, X2,... X n-1. Esto se puede ver en el diagrama de rbol, si sabemos cul es estado del
clima hoy, no tenemos que saber cul fue el de ayer, antier o antes.
Formalmente, una cadena de Markov es un proceso estocstico tal que para n = 1, 2, .... y para cualquier sucesin
posible de estados s1, s2, ..., s n+1 , tenemos
P(Xn+1 = s n+1 | X1 = s1, X2 = s2, ..., X n = s n) = P(X n+1 = s n+1 | X n = s n).
Tal como en el ejemplo del clima, si usamos la regla de multiplicacin repetidas veces vemos que las probabilidades
en una cadena de Markov deben cumplir:
P( X1 = s1, X2 = s2, ..., X n = s n)
= P (X1 = s1) P(X2 = s2| X1 = s1) P(X3 = s3| X2 = s2) ... P(X n = s n | X n-1 = s n-1).
Pregunta
Demuestra este ltimo resultado.
En general, consideramos una cadena de Markov que en cualquier momento estar en alguno de un nmero finito k
de estados s1, s2, ..., sk . Un proceso aleatorio de esta naturaleza se llama una cadena de Markov finita.
Pregunta
Es el ejemplo del estado del clima una cadena de Markov finita? Explica. Identifica los estados.
La probabilidad condicional P(Xn+1 = sj | Xn = si), de que la cadena estar en el estado sj en el tiempo
n + 1 si est en el estado si en el tiempo n se conoce como una probabilidad de transicin. Si para una cadena de
Markov esta probabilidad de transicin tiene el mismo valor para todo los tiempos n (n = 1, 2, 3, ... ) decimos que la
cadena tiene probabilidades de transicin estacionarias. Es decir una cadena de Markov tiene probabilidades de
transicin estacionarias si para cualquier estados si y sj existe una probabilidad de transicin pij tal que P(Xn+1 = s j | X n
= s i) = pij para n =1, 2, 3,...
Pregunta
12

Son las probabilidades del ejemplo del estado del clima estacionarias? Construye ejemplos de situaciones que se
puedan representar por procesos estocsticos, por cadenas de Markov generales, por cadenas de Markov finitas,
por cadenas de Markov finitas con probabilidades estacionarias.
Las probabilidades del ejemplo pueden presentarse en forma de matriz:
P =
Soleado(S)
Nublado(N)
Soleado(S)
0.70
0.60
Nublado(N)
0.30
0.40
Esta matriz que incluye las probabilidades de pasar de un estado a otro en un paso se llama la matriz de transicin.
Los elementos en cada una de las filas suman uno. En la primera fila representamos
P(Xn = s1 | X n-1 = s1 ) = P( soleado | soleado) =0.7 y P(X n = s2 | X n+1 = s1) = P( nublado | soleado) = 0.30
Pregunta
Qu probabilidades condicionales representa la segunda fila?
En general, considera una cadena de Markov con k estados posibles s1, s2, ..., sk y probabilidades estacionarias. Para i
= 1, 2, 3, ..., k y j = 1, 2, 3, ..., k denotaremos por pij la probabilidad condicional de que el proceso estar en el estado
sj en un determinado momento si est en el estado si en el momento inmediatamente anterior. Entonces la matriz de
transicin de la cadena de Markov se define como una matriz de dimensiones k x k, que llamamos P con elementos
pij:
P=[
El elemento en la fila i, columna j pij =P( Xn = sj | Xn-1 = si), representa la probabilidad de transicin de un paso.
Estos elementos son probabilidades, vemos que pij 0 para toda i, j y que adems la suma de estos valores en cada
fila es igual a 1:
= 1
Esto nos dice que si estamos en el estado i, entonces la suma de las probabilidades de ir a un estado s 1, s2, ..., sk es
uno.
El usar esta representacin en forma de matriz nos facilita el cmputo de las probabilidades de transicin en ms de
un paso. Regresemos al ejemplo del estado del clima y aadamos algo de notacin. Digamos que el estado s 1 es igual
a n, indicando que el da est nublado y s 2 es igual a s indicando que est soleado. Sea Xn el estado del clima en el
ensimo da en que se observe. As X n ser igual a n si el da est nublado y ser igual a s si el da est soleado.
La pregunta que contestamos antes, la probabilidad de que pasado maana est nublado si sabemos que hoy est
nublado corresponde entonces a encontrar P(X3 = n | X1 = n). Para calcular esta probabilidad examinamos los
posibles estados del da de maana y las formas de cmo llegar a X 3 = n, vemos esto en el siguiente rbol:
As la probabilidad que nos interesa se puede calcular como hicimos antes, usando la frmula de probabilidad total:
P( X3 = n | X1 = n) = (0.6 * 0.3) + (0.4 * 0.4) en trminos de nuestra notacin esto es igual a
= (p21 * p12) + (p22 * p22)
= P( X2 = s | X1 = n) P( X3 = n | X2 = s) + P( X2 = n | X1 = n) P( X3 = n | X 2 = n).
Es decir, hemos descompuesto el evento de que pasado maana est nublado si sabemos que hoy lo est en trminos
de todas los estados que se pueden observar maana. Entonces, para cada posible estado del clima de maana
examinamos cmo podemos tener el da de pasado maana nublado. Ahora veamos la expresin resultante. Si
13

examinamos la expresin (p 21 * p12) + (p22 * p22 ), vemos que sta corresponde al elemento en la segunda fila y
segunda columna de la matriz que resulta al multiplicar P *P. Es decir
PxP =[
] [
+
+
+
+
Esta ltima matriz es la matriz de transicin del proceso en dos pasos. Nos da las probabilidades de llegar en dos
pasos a cualquier estado si partimos de un estado particular. Por ejemplo, de ah podemos leer que P(X3 = n | X1 = s)
=0.33 y P(X3 = s | X1 = n) =0.66. Como el proceso es estacionario podemos inclusive determinar que P(X5 = n | X3 =
n) = 0.34, ya que lo nico que afecta el resultado es el nmero de das en el futuro en que queremos hacer la
prediccin.
Podemos extender este argumento a cualquier nmero de das en el futuro en que queremos hacer la prediccin,
vemos que P * P = P2 corresponde a las probabilidades de transicin en dos pasos, entonces
P3, P4,..., P m,... corresponden a las probabilidades de transicin en 3, 4,..., m pasos respectivamente.
De hecho, la matriz Pm se conoce como la matriz de transicin en m pasos de la cadena de Markov.
Estas matrices pueden encontrarse fcilmente usando una calculadora con esta capacidad o un programa de
computadoras tal como Excel.
Hasta ahora no sabemos las probabilidades de encontrar el clima en un estado particular (soleado o nublado)
respectivamente del estado del tiempo de hoy, es decir no sabemos P (X n = s), por ejemplo. Si aplicamos la
definicin de probabilidad condicional y la frmula de probabilidad total, sabemos que
P(X2 = s) = P(X2 = s y X1 = s) + P(X2 = s y X1 = n)
= P(X2 = s | X 1 = s)P(X1 = s) + P(X2 = s | X1 = n)P(X1 = n).
As que para calcular P(X2 = s) debemos conocer el valor de P(X1 = s) y de P(X1 = n) adems de las probabilidades
condicionales. Estas ltimas estn dadas en la matriz de transicin, as que son conocidas. Las probabilidades P(X 1=
s) = w1 y P(X1 = n) = w2 se conocen como las probabilidades iniciales del sistema. Su valor se puede estimar o
suponer a travs del historial de das soleados o nublados con que se cuente hasta ese momento. Podemos escribir
P(X2 = s) = w1p11 + w2p21, recordando que el estado nmero 1 corresponde a soleado y el estado nmero 2
corresponde a nublado. Debemos darnos cuenta que w 1 + w2 = 1, pues estas probabilidades incluyen todos los
posibles estados en que puede estar el sistema.
Pregunta
Encuentra P(X2 = s) si w1 = 0.70 y w2 =0 .30
Podemos extender la notacin de matrices a las probabilidades inciales, esta vez usando un vector de probabilidad.
Considera una cadena de Markov con k estados posibles s 1, s2,..., sk y probabilidades estacionarias. Supongamos que
al inicio, la cadena puede estar en cualquiera de los k estados con la probabilidad de que est en el estado s i con
probabilidad wi 0, es decir P(X1 = s i) = w i para i = 1, 2,..., k y que adems w1 + w2 +...+ wk = 1. Estas
probabilidades describen un vector de probabilidad w = (w1, w2,..., wk), en este caso llamado vector de
probabilidad inicial.
Usando este vector de probabilidad inicial podemos calcular por ejemplo,
Esta ltima sumatoria corresponde al componente j del vector WP, as las probabilidades de que X2 est en
cualquiera de los k estados estn dadas por el vector VP. Podemos generalizar este resultado an ms.
Supongamos que en el tiempo n, la probabilidad de que el sistema est en el estado si es P(X n = s i) = vi,
Entonces p (
= ) =
Para j = 1, 2,..., k. Dicho de otra forma, si las probabilidades de los estados en el tiempo n estn especificadas por el
vector de probabilidad v, entonces las probabilidades en el tiempo n+1 estn especificadas por el vector de
probabilidad vP. De aqu podemos ver que si el vector de probabilidad inicial para una cadena de Markov con
probabilidades de transicin estacionarias es w, entonces las probabilidades de los varios estados en el tiempo n+1
estn especificados por el vector de probabilidad VPn .
8.
Ejemplo una computadora
14

Una computadora se inspecciona cada hora. Se encuentra que est trabajando o descompuesta. Si est trabajando la
probabilidad de que siga trabajando la siguiente hora es 0.9 Si est descompuesta, se toman las medidas para
repararla lo que puede llevar ms de una hora. Siempre que la computadora est descompuesta, Independientemente
de cunto tiempo haya pasado, la probabilidad de que siga descompuesta la siguiente hora es 0.35.
a.
Modele el sistema como una cadena de Markov.
Solucin:
Debemos definir los estados
Eo = La mquina est trabajando
E1 = La mquina est descompuesta
b.
Eo
E1
0.1
Eo 0.9
0.35
E1 0.65
Hoy est trabajando, Cul es la probabilidad de que en 4 hrs siga trabajando
Solucin:
Buscamos T4 = P(4)
T4 =
Eo
E1
Eo 0.85
0.15
E1 0.84
0.16
9. Ejemplo de zonas donde viven las familias

Cada familia norteamericana se puede clasificar como habitante de una zona urbana, rural o suburbana, durante un
ao determinado el 15% de las familias urbanas se cambian a la zona suburbana y el 5 % a la zona rural. El 6% de las
familias suburbanas pasan a la zona urbana y el 4% a la rural, el 4% de las familias rurales pasan a la zona urbana y
el 6% a la suburbana.
a. Construya la matriz de transicin
Solucin:
Debemos definir los estados
Eo = Zona urbana
E1 = Zona Rural
E2 = Zona Suburbana
Eo
E1
E2
0.05
0.15
Eo 0.8
0.90
0.06
E1 0.04
0.04
0.90
E2 0.06
b. Si una familia vive actualmente en la zona urbana Cul es la probabilidad que despus de dos aos viva en la
zona urbana?
Solucin:
Buscamos T2
Eo
Eo 0.651
E1 0.0716
E2 0.1036
E1
0.091
0.8144
0.075
E2
0.258
0.114
0.8214
El valor que buscamos se encuentra en azul y este nos indica que la probabilidad que buscamos es del 65.1 %.
c. Suponga que en la actualidad el 40% de las familias viven en la zona urbana, el 35% en la zona suburbana y el
25 en la zona rural. Despus de dos aos Qu porcentaje de familias vivir en la zona urbana?
Solucin:
Debemos identificar el vector P =
0.4
0.25 0.35
15

Que lo tomamos de los porcentajes que nos da el problema.
Buscamos P*T2
Eo
E1
E2
0.4 0.25 0.35
0.091
0.258
Eo 0.651
0.114
E1 0.0716 0.8144
0.8214
E2 0.1036 0.075
Lo que nos da este resultado:
0.31456
0.26625
0.41919
10. Ejercicio Aplicado a la Comercializacin

En cierto mercado compiten tres marcas de cierto producto de consumo que se adquiere semanalmente. Efectuando
un sondeo entre los establecimientos minoristas en los que se vende se estima que, de cada cien consumidores del
producto, en la semana que ahora termina diez adquirieron la marca 1, veinte la marca 2 y setenta la marca 3. Se ha
realizado, adems, un sondeo sobre la intencin de compra de los consumidores y se ha llegado a la conclusin de
que:
o De cada 100 consumidores que adquirieron la marca 1 la pasada semana, 50 volvern a adquirirla, 10
cambiarn a la 2 y el resto adquirir la tres.
o Con relacin a la marca 2, de cada 100 que la adquirieron la pasada semana, 80 la volvern a adquirir, 10
cambiarn a la 1, y otros 10 a la 3.
o En cuanto a la marca 3, de cada 100 adquirientes la ltima semana, 30 cambiarn a la 1, 20 a la 2 y el resto
volvern a adquirir la misma.
Se desea estimar las cuotas de mercado de las tres marcas en la semana finalizada y prever las de la prxima.
Solucin:
o cuotas de mercado de la semana finalizada: vector de estado (0, 1, 0, 2, 0, 7)
o cuotas de mercado de la prxima semana:
Matriz de transicin:
vector de estado para la prxima semana: (0.28, 0.31, 0.41)
Cadenas de MARKOV.
Suponiendo que no se modifiquen las proporciones de consumidores que, entre semanas consecutivas, desean
cambiar de cada marca a cada una de las otras, se desea estimar las cuotas de ventas de las 3 marcas del ejercicio
anterior la semana siguiente a la prxima.
Solucin: vector de estado: (0,294, 0,358, 0,348)
11. Ejemplo de Mercado.

9. En cierto mercado compiten tres marcas de cierto producto de consumo que se adquiere quincenalmente.
Efectuando un sondeo entre los establecimientos minoristas, se estima que de cada 100 consumidores del producto,
en la quincena que ahora termina 30 adquirieron la marca 1, otros 30 la marca 2 y cuarenta la marca 3. Se ha
realizado adems, un sondeo sobre la intencin de compra de los consumidores, llegndose a la conclusin de que la
prxima quincena piensan adquirir la marca 1 el 25% de los que ya la adquirieron la quincena que ahora finaliza, el
30% de los que adquirieron la marca 2 y el 20% de los que adquirieron la marca 3. Desean adquirir la marca 2 el
40% de los que la adquirieron la ltima quincena, el 20% de los que compraron la marca 1 y el 25% de los que
adquirieron la marca 3. Finalmente piensan adquirir la marca 3 el 55% de los que adquirieron la marca 1, el 30% de
los que compraron la marca 2 y el 55% de los que ya la adquirieron la quincena pasada. Se desea prever las cuotas
para las prximas dos quincenas.
Solucin:
Vector de estado: (0,3, 0,3, 0,4)
Matriz de transicin:
o
o
cuotas para la prxima quincena: (0,245, 0,280, 0,475)

cuotas para la siguiente: (0,24025, 0,27975, 0,48)
16

12. Ejemplo de Mercado

El departamento de estudios de mercado de una fbrica estima que el 20% de la gente que compra un producto un
mes, no lo comprar el mes siguiente. Adems, el 30% de quienes no lo compren un mes lo adquirir al mes
siguiente. En una poblacin de 1000 individuos, 100 compraron el producto el primer mes. Cuntos lo comprarn al
mes prximo? Y dentro de dos meses?
Para resolver este tipo de problemas, lo primero es hacer un esquema.
A la vista del esquema podemos pasar a construir la matriz de probabilidades de transicin:
0.80
0.20
0.30
0.70
Calculo
Matriz inicial
0.8 0.2
P (1)
0.3 0.7
0.8 0.2
(350,650)
(C , N) 100 900
0.3 0.7
El primer mes comprarn 350 y no comprarn 650
0.8 0.2 0.8 0.2 0.7 0.3
P ( 2)
0.3 0.7 0.3 0.7 0.45 0.55
0.7 0.3
(475,525)
(C , N) 100 900
0.45 0.55
El segundo mes comprarn 475 y no comprarn 525
13. Ejemplo de Clima

El clima en el pueblo de Centerville puede cambiar con rapidez de un da a otro. Sin embargo, las posibilidades de
tener clima seco (sin lluvia) maana es de alguna forma mayor si hoy est seco, es decir, no llueve. En particular, la
probabilidad de que maana est seco es de 0.8 si hoy est seco, pero es de slo 0.6 si hoy llueve. Estas
probabilidades no cambian si se considera la informacin acerca del clima en los das anteriores a hoy.
La evolucin del clima da tras da en Centerville es un proceso estocstico. Si se comienza en algn da inicial, el
clima se observa cada da t, para t=0, 1, 2,El estado del sistema en el da t puede ser.
Estado 0 = El da t es seco. o
Estado 1= El da t es lluvioso
La matriz P contiene los estados posibles, del problema.
Debe leerse que la si hoy es un da seco la probabilidad que maana sea seco es 0.8.
Si hoy es un seco, la probabilidad que maana sea lluvioso es 0.2.
17

Si hoy es un da lluvioso, la probabilidad que maana sea seco es 0.6.
Si hoy es un da lluvioso, la probabilidad que maana sea lluvioso es 0.4
0 0.8 0.2
P
1 0.6 0.4
El proceso estocstico proporciona una representacin matemtica de la forma como evoluciona el clima Centerville
a travs del tiempo.
0 si da t es seco
Xt
1 si da t es lluvioso
Matrices de transicin de estados en n pasos del clima:

La probabilidad del estado del clima dos, tres, cuatro, cinco das a futuro se puede conocer a partir de las matrices de
transicin de dos, tres, cuatro y cinco pasos que se calculan bajo las ecuaciones de Chapman Kolmogorov. Partiendo
de la matriz de transicin de un paso.
0.8 0.2
P (1)
0.6 0.4
0.8 0.2 0.8 0.2 0.76 0.24
P ( 2) P (1) P (1)
0.6 0.4 0.6 0.4 0.72 0.28
0.8 0.2 0.76 0.24 0.752 0.248
P (3) P (1) P ( 2)
0.6 0.4 0.72 0.28 0.744 0.256
0.8 0.2 0.752 0.248 0.75 0.25
P ( 4) P (1) P (3)
0.6 0.4 0.744 0.256 0.749 0.251
0.8 0.2 0.75 0.25 0.75 0.25
P (5) P (1) P ( 4)
0.6 0.4 0.749 0.251 0.75 0.25
Observe que en la matriz de cinco pasos, las dos filas tienen elementos idnticos. Esto se denomina probabilidad del
estado estable de la cadena de Markov.
14. Ejercicio de Fumadores

En una poblacin de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete diario y 2500
fuman ms de un paquete diario. En un mes hay un 5% de probabilidad de que un no fumador comience a fumar un
paquete diario, o menos, y un 2% de que un no fumador pase a fumar ms de un paquete diario. Para los que fuman
un paquete, o menos, hay un 10% de probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar ms de un
paquete diario. Entre los que fuman ms de un paquete, hay un 5% de probabilidad de que dejen el tabaco y un 10%
de que pasen a fumar un paquete, o menos. Cuntos individuos habr de cada clase el prximo mes? Y dentro de
dos meses?
18

0.93
0.05
0.02
0.10
0.80
0.10
0.05
0.10
0.85
P =
0.93 0.05 0.02
( NF , FC , FCC) 5000 2500 2500 0.10 0.80 0.10 (5025,2500,2475)

0.05 0.10 0.80
Despus de un mes habrn NF=5025, FC=2500, FCC=2475
0.8709 0.0885 0.0406
( NF , FC , FCC) 5000 2500 2500 0.178 0.655 0.167 (5047,2498.75,2454.25)

0.099 0.1675 0.7335
Despus de dos mes habrn NF=5047, FC=2499, FCC=2455

Qu pasara si hubisemos partido de otra matriz de estado?
Supongamos que al comienzo del estudio partimos con: 10000 personas
4,000 no fumadores
3,500 fuman 1 paquete, o menos, diario
2,500 fuman ms de un paquete diario.

En este caso la matriz de probabilidades de transicin no cambia,
Slo tenemos que modificar X. Por lo tanto la situacin a la que tiende este tipo de problemas es independiente
de la matriz de estado inicial.
15. Ejemplo de Supermercado

En una comunidad hay 3 supermercados (S 1, S2, S3) existe la movilidad de un cliente de uno a otro. El 1 de
septiembre, de los clientes va al S1, 1/3 al S2 y 5/12 al S3 de un total de 10.000 personas. Cada mes l S 1 retiene el
90% de sus clientes y pierde el 10% que se va al S 2. Se averigu que el S2 solo retiene el 5% y pierde el 85% que va
a S1 y el resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que va al S1 y el 10% va al S2.
a) Establecer la matriz de transicin
b) Cul es la proporcin de clientes para los supermercados el 1 de noviembre?
c) Hallar el vector de probabilidad estable.
19

Solucin:
La matriz de transicin para el orden S1, S2, S3 es:
a)
Para el mes de noviembre (han transcurrido 2 meses desde 1 de septiembre), la proporcin de clientes es
]P = [
= [0.8158 0.0958
0.0883]
b) El vector de probabilidad estable se obtiene resolviendo:

[p1 p2 p3]*P = [p1 p2 p3]
p1 + p2 + p3 = 1
[p1 p2 p3] *
= [p1 p2 p3]
El sistema resultante es:

0.90p1 + 0.85p2 + 0.50p3 = p1
0.10p1 + 0.05p2 + 0.10p3 = p2
0.10p2 + 0.40p3 = p3
p1 + p2 + p3 = 1
(como existen 4 filas, se puede eliminar 1 de las tres primeras)
De donde p1 = 2/31 = 0.0645; p2 = 1/93 = 0.01075; p 3 = 86/93 = 0.9247
16. Problema de Caf

Los consumidores de caf en el departamento de Pucallpa usan tres marcas A, B, C. En marzo de 2014 se hizo una
encuesta en lo que entrevist a las 8450 personas que compran caf y los resultados fueron:
Compra actual
Marca A = 1690
Marca B = 3380
Marca C = 3380
Totales
Compra en el siguiente mes

Marca B
Marca C
845
338
2028
676
845
1690
3718
2704
Marca A
507
676
845
2028
Totales
1690
3380
3380
8450
a) Si las compras se hacen mensualmente, cul ser la distribucin del mercado de caf en Pucallpa en el mes de
junio?
b) A la larga, cmo se distribuirn los clientes de caf?
c) En junio, cual es la proporcin de clientes leales a sus marcas de caf?
Solucin:
a) A la vista de las frecuencias anteriores, las probabilidades de transicin, conservando el mismo orden que la tabla
(A, B, C) es:
P =
De marzo a Junio hay 4 etapas por lo que nos piden las probabilidades de transicin al cabo de 4 meses, las que
vendrn dada por los coeficientes de P4
2
P =
P =
20

b) A la larga se trata de la situacin estable:
[p1 p2 p3]
= [p1 p2 p3];
0.30p1 + 0.20p2 + 0.25p3 = p1

0.50p1 + 0.60p2 + 0.25p3 = p2
0.20p1 + 0.20p2 + 0.50p3 = p3
p1 + p2 + p3 = 1
p 1 + p2 + p3 = 1
(como existen 4 filas, se puede eliminar 1 de las tres primeras)
Resolviendo se obtiene: p 1 = 5/21 = 0.2381; p 2 = 10/21 = 0.4762; p 3 = 2/7 = 0.2857

c) En Marzo la proporcin de clientes de A es: 2028/8450 = 0.24; para B es 3718/8450 = 0.44 y para C es 2704/8450
= 0.32.
En el mes de junio la proporcin es:
[0.24
0.44
0.32]
= [0.24 0.464
0.296]
Es decir 24% para A, 46.4% para B y 29.6% para C.
17. Problema de Agente Comercial

Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar
desplazamientos innecesarios est todo el da en la misma ciudad y all pernocta, desplazndose a otra ciudad al da
siguiente, si no tiene suficiente trabajo. Despues de estar trabajando un da en C, la probabilidad de tener que seguir
trabajando en ella al da siguiente es 0,4, la de tener que viajar a B es 0,4 y la de tener que ier a A es 0,2. Si el
viajante duerme un da en B, con probabilidad de un 20% tendr que seguir trabajando en la misma ciudad al da
siguiente, en el 60% de los casos viajar a C, mientras que ir a A con probabilidad 0,2. Por ltimo si el agente
comercial trabaja todo un da en A,
permanecer en esa misma ciudad, al da siguiente, con una probabilidad 0,1, ir a B con una probabilidad de 0,3 y a
C con una probabilidad de 0,6.
Si hoy el viajante est en C,
a) cul es la probabilidad de que tambin tenga que trabajar en C al cabo de cuatro das?
b) Cuales son los porcentajes de das en los que el agente comercial est en cada una de las tres ciudades?
Solucin:
La matriz de transicin P es la siguiente para el orden A,B,C
P=
; El apartado a) consiste en averiguar el termino
, es decir el trmino que
ocupa la fila 3 y la columna 3 de la matriz P 4 . lo cual se obtiene con la fila 3 y la columna 3 de P 2 , cuyos
valores son:
P2 =
c)
, por tanto el termino buscado es: 0.18*0.48+0.30*0.48+0.52*0.52= 0.5008
Nos piden las probabilidades estacionarias. Para ello hay que resolver el siguiente sistema:
[p1 p2 p3]
= [p1 p2 p3] ;
p1 + p2 + p3 = 1
Desarrollando resulta el sistema de ecuaciones lineales:

0.10p1 + 0.20p2 + 0.20p3 = p1
0.30p1 + 0.20p2 + 0.40p3 = p2
0.60p1 + 0.60p2 + 0.40p3 = p3
p1 + p2 + p3 = 1
21

Resolviendo se tiene: p 1 =2/11=0.1818 p 2 = 7/22=0.3181 p3 = 11/22 = 0.50. En porcentajes seran el 18,18% para
la ciudad A, el 31,81 para B y el 50% para la ciudad C.
Las probabilidades de estado estable y el tiempo de recurrencia medio para las cadenas de Markov ergdicas e
irreductibles tienen una relacion recproca.
j = 1, 2, , m
18. Problema del Psicologo

El Psiclogo del departamento de investigacion de operaciones de una compaa observa durante cierto tiempo el
estado de nimo del presidente de la misma. Toda vez que le interesa el modelado matematico, el psiclogo clasifica
el estado de nimo en tres categoras:
0: Bueno(animado)
1: Adecuado (irregular)
2: Pobre (trizte y deprimido)
El psiclogo observa que los cambios de animo ocurren slo durante la noche: por tanto, los datos permiten la
estimacin de las siguientes probabilidades de transicion:
P=[
Las ecuaciones
0.60p0 + 0.30p1 + 0p2 = p0

0.20p0 + 0.40p1 + 0.30p2 = p1
0.20p0 + 0.30p1 + 0.70p2 = p2
p0 +p1 + p2 = 1
Se resulven de manera simultnea para las probabilidades de estado estable
p0 = 3/13
p1 = 4/13
p2 = 6/13
Dado que el presidente est de mal humor, esto es, , en el estado 2, el tiempo medio requerido para regresar a ese
estado es
, donde
dias
22

Ejemplo 19: Problema de Inventarios
23

24

25

de regreso al mismo estado, cuando la tienda de cmaras transita del final de una semana al final de la siguiente. El
nmero junto a cada flecha proporciona la probabilidad de que ocurra esa transicin en particular cuando la tienda de
cmaras tiene el estado que est en la base de la flecha.
26

27

28

Ejemplo 20: Problema del jardinero

Cada ao, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba qumica para
verificar la condicin de la tierra. Segn el resultado de la prueba, la productividad en la nueva temporada puede ser
uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los aos, el jardinero ha observado que la
condicin de la tierra del ao anterior afecta la productividad del ao actual y que la situacin se describe mediante la
siguiente cadena de Markov:
29

Las probabilidades de transicin muestran que la condicin de la tierra puede o deteriorarse o permanecer como est
pero nunca mejorar. Por ejemplo, si la condicin de la tierra es buena en este ao (estado 1) hay 20% de que no
cambie el ao siguiente, 50% de probabilidad de que sea regular (estado 2), y 30% de probabilidad de que se
deteriorar a una condicin mala (estado 3). El jardinero modifica las probabilidades de transicin P utilizando un
fertilizante orgnico.
En este caso, la matriz de transicin se vuelve:
El uso de fertilizante puede conducir a mejorar las condiciones del suelo.
Probabilidades de Transicin Absolutas y de N Pasos
La matriz P se conoce como la matriz de transicin de n pasos. A partir de estos clculos, podemos ver que
P n = Pn-1P
Y
P n = Pn-m Pm,
stas se conocen como ecuaciones de Chapman-Kolomogorov.
La siguiente matriz de transicin es aplicable al problema del jardinero con fertilizante (ejemplo 17.1-3):
La condicin inicial de la tierra es buena, es decir a(0) = (1,0,0). Determine las probabilidades absolutas de los tres
estados del sistema despus de 1,8 y 16 temporadas de siembra.
30

Por lo tanto, las probabilidades absolutas requeridas se calculan como
Las filas de P8 y el vector de probabilidades absolutas a(8) son casi idnticos. El resultado es ms evidente para P16.
Ello demuestra que, a medida que la cantidad de transiciones aumenta, las probabilidades absolutas se vuelven
independientes del a(0) inicial. Las probabilidades resultantes se conocen como probabilidades de estado estable.
PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS DE RETORNO MEDIOS DE CADENAS
ERGDICAS
En una cadena ergdica, las probabilidades de estado estable se definen como
31

Para determinar la distribucin de probabilidad de estado estable del problema del jardinero con fertilizante (ejemplo
17.1-3), tenemos
Esto quiere decir que, en promedio, se requerirn aproximadamente 10 temporadas de siembra para que la tierra
regrese a un buen estado, 2 temporadas para que regrese al estado regular, y 3 temporadas para que regrese a un
estado malo. Estos resultados apuntan hacia un panorama menos promisorio para la condicin de la tierra con el uso
propuesto de fertilizantes. Un programa ms agresivo debe mejorar el panorama. Por ejemplo, considere la siguiente
matriz de transicin en la que las probabilidades de trasladarse a un buen estado son ms altas que en la matriz
previa:
32

Modelo de costos
Considere el problema del jardinero con fertilizante (ejemplo 20). El jardn necesita dos sacos de fertilizante si la
tierra es buena. La cantidad se incrementa en 25% si la tierra es regular, y 60% si la tierra es mala. El costo del
fertilizante es de $50 por saco. El jardinero estima un rendimiento anual de $250 si no se utiliza fertilizante, y de
$420 si se aplica el fertilizante. Es redituable utilizar fertilizante?
Aplicando las probabilidades de estado constante del ejemplo 17.4-1, obtenemos
Incremento diferencial del valor anual del rendimiento = $420 - $250 = $170. Se recomienda el uso del fertilizante.
Ejercicios Propuestos
1.
Se ha comprobado que la probabilidad de que un determinado partido poltico gane unas elecciones depende de
si las gan en los dos comicios inmediatamente anteriores de la siguiente forma: si gan las dos elecciones
anteriores, entonces la probabilidad de que vuelva a ganar es el 95 %. Si gan las ltimas elecciones pero no las
penltimas, entonces la probabilidad de que gane es del 70%. Si gan las penltimas pero perdi en las ltimas,
entonces la probabilidad de que pierda es del 60%. Finalmente, si perdi en las dos elecciones anteriores,
entonces perder con una probabilidad del 80%.
a. Use la informacin anterior para establecer un modelo basado en cadenas de Markov en la que los estados
sean Xi = (resultado penltimo, resultado ltimo). Determinar las clases de equivalencia de la cadena y sus
periodicidades.
b. Si el resultado de las elecciones actuales y de las anteriores ha sido desfavorable, cual es la probabilidad de
que dentro de dos comicios gane las elecciones.
c. Si el resultado de las elecciones actuales y de las anteriores ha sido desfavorable, cuantos comicios pasaran
en promedio hasta que gane por primera vez las elecciones?, y si el resultado de las anteriores elecciones fue
favorable pero ha perdido las actuales?
d. Calcular la fraccin del tiempo que este partido est en el poder.
2.
Una empresa informtica tiene un conjunto de discos en los que realiza peridicamente el back-up de sus
sistemas. Al final de cada mes cada disco es chequeado para detectar posible presencia de virus o pistas en mal
estado y proceder, en su caso, a su sustitucin por otro nuevo. La empresa tiene constatado que el 10% de los
discos que tienen un mes deben de ser sustituidos, el 25% de los que tienen dos meses deben de sustituirse y
tambin se deben de reponer el 40% de los que tienen tres meses. Como medida de seguridad, todos los discos
que tienen cuatro meses se sustituyen sistemticamente sea cual sea su estado. Estos porcentajes se han
mantenido bsicamente durante los ltimos aos.
a. Comprobar que el proceso que describe la antigedad de un disco en esa empresa puede asimilarse a una
cadena de Markov de parmetro discreto.
b. Calcular la matriz de transicin de dicha cadena.
c. Suponiendo que en el instante inicial todos los discos son nuevos, calcular p(1). Si la empresa tiene un total
de 500 discos, cuntos estimas que deber de comprar nuevos al final del segundo mes?.
d. Comprobar que la cadena es irreducible, aperidica y recurrente. (Se puede estudiar de manera intuitiva,
viendo qu representa cada estado en el problema, o mediante las definiciones estudiadas utilizando las
sucesivas potencias de la matriz P. Si se opta por este segundo camino, las potencias pueden obtenerse
mediante Derive)
e. Estudiar a partir de qu etapa coinciden las probabilidades de estado en dos decimales para etapas
consecutivas. A partir de ese momento, podra decirse que se ha alcanzado el estado estacionario?
33

f.
g.
3.
Plantear el sistema de ecuaciones lineales con el que se puede obtener el vector de probabilidades de
equilibrio (distribucin estacionaria). Interpretar los valores del tiempo medio de recurrencia que aparecen
junto con las probabilidades de equilibrio.
Si la empresa maneja 500 discos y el precio de un disco es de 0.5 euros qu presupuesto mensual (una vez
alcanzado el estado estacionario) debe preverse para el reemplazamiento de los discos?.
Un sistema consiste en N CPUs independientes que pueden acceder mediante un interface a M mdulos de
memoria. Se asume que los procesadores y los mdulos estn sincronizados y que la forma de funcionar es la
siguiente:
Cada procesador cuyo requerimiento a la memoria se satisfizo en el ciclo anterior, realiza en cada ciclo un nuevo
requerimiento de memoria; este requerimiento se destina con igual probabilidad a uno de los M mdulos. Si su
requerimiento est pendiente de ser satisfecho, el procesador debe de esperar al menos un ciclo ms hasta poder
hacer un nuevo requerimiento, permaneciendo inactivo durante ese ciclo a causa de la interferencia con otros
procesadores en la demanda de memoria.
Al inicio de cada ciclo, un mdulo de memoria M puede recibir varias demandas de acceso (como mximo una
de cada uno de los procesadores activos, en el caso de que todas se dirigieran a dicho mdulo) satisfaciendo en
dicho ciclo una sola demanda y quedando las dems pendientes en cola.
De acuerdo con lo anterior, al inicio de cada ciclo hay un total de N demandas (una por procesador) repartidas
entre los M mdulos. Las diferentes formas en las que pueden estar repartidas constituyen los k estados del
sistema, Ek. Por ejemplo, en el caso N = 2 y M = 2 habra tres estados posibles: (2, 0) , (1, 1) y (0, 2) ; en el caso
de N = 2 y M = 3, habra seis estados que seran (2, 0, 0) , (1, 1, 0) , (1,0, 1) , (0, 1, 1) , (0,2,0) y (0,0,2).
a. Plantear para el caso N = 2 y M = 2 la matriz de transicin de la cadena de Markov asociada al sistema
estudiado. Cules son las probabilidades lmite del sistema?. Cul ser, en promedio, el nmero de
procesadores activos en cualquier ciclo? (A este valor promedio se le denomina EP o efective processor
power")
b. Estudiar cuanto mejorara al EP del sistema anterior si se aadiera un procesador adicional (para ello, hay
que definir los estados del sistema para N = 3 y M = 2, obtener la matriz de transicin, las probabilidades
lmites y calcular el EP de esta nueva situacin).
c. Calcular P(0), P(1) y P(2) para el caso b). A partir de qu ciclo coinciden los dos primeros decimales de las
probabilidades de estado con las probabilidades lmite?.
4. Un jugador lleva 100 euros para jugar a la ruleta. En cada partida apuesta 20 euros, perdindolos con probabilidad
19/37( = 0.5135) y ganando otros 20 con probabilidad 18/37( = 0.4865). Deja de jugar cuando se arruine o cuando
tenga 240 euros. Se quiere calcular la probabilidad de que el jugador se arruine. Para ello:
a. Estudiar el proceso estocstico X(n) = Dinero que tiene el jugador despus de la jugada n-sima.
Definir los 13 estados del proceso.
b. Ver si la cadena es irreducible, aperidica y si los estados son recurrentes.
c. Calcular las probabilidades de estado despus de 100, 500 y 5000 jugadas Cul es la probabilidad de
que el jugador se arruine?
d. Calcular la misma probabilidad si el jugador comienza el juego con 200 euros.
e. A la vista de los resultados obtenidos en los apartados anteriores, existe distribucin lmite del
proceso?
5.
La cervecera ms importante de la costa este (con etiqueta A) ha contratado a un analista de IO para analizar su
posicin en el mercado. En especial, la empresa est preocupada por las actividades de su mayor competidor
(con etiqueta B). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov que
incluya tres estados: Los estados A y B representan a los clientes que beben cerveza que producen las
mencionadas cerveceras y el estado C representa todas las dems marcas. Los datos se toman cada mes y el
analista construye la siguiente matriz de transicin (de un paso) con datos histricos.
A
0.70
0.20
0.10
0.20
0.75
0.05
0.10
0.10
0.80
Cules son los porcentajes de mercado en el estado estable de las dos cerveceras grandes?
Solucin:(usar algn software, para obtener la matriz estable)
34

P21 =
6.
0.346
0.385
0.269
0.346
0.385
0.269
0.346
0.385
0.269
Dada la matriz de transicin [
] encuentre la probabilidad de que el sistema, iniciando en el estado 1,
estar a) En el estado 1 despus de 2 ensayos; b) en el estado 2 despus de 3 ensayos.

7.
La matriz de transicin de cierto proceso de Markov es [

a.
b.
c.
8.
Si el sistema se encuentra en un principio en el estado 1, determine la matriz de estado despus de dos

etapas del proceso.
Si el sistema se encuentra inicialmente en el estado 2, encuentre la matriz de estado despus de 2 etapas.
Determine la matriz estacionaria.
(Partidos polticos) Las probabilidades de que cierto pas sea gobernado por uno de tres partidos polticos X, Y
Z despus de la prxima eleccin estn dadas por la matriz de transicin
P=
a.
b.
c.
d.
9.
Cul es la probabilidad de que el partido Z gane la prxima eleccin si el partido X est ahora en el poder?
Cul es la probabilidad de que el partido X est en el poder despus de dos elecciones si se supone que el
partido Y se encuentra en el poder ahora?
Si el partido Z se encuentra en el poder, Cul es la probabilidad de que estar ah despus de dos
elecciones?
Determine la matriz estacionaria Cmo puede interpretarse esta matriz?
(Fluctuaciones en la bolsa de valores) El valor de cierta accin puede ir al alza, a la baja o permanecer sin
cambio en cualquier da. La probabilidad de que la accin vaya al alza (estado 1), a la baja (estado 2) o
permanezca estable (estado 3) al da siguiente estn dadas en la matriz de transicin:
El cambio maana
El cambio hoy
a.
b.
Cul es la probabilidad de que la accin est a la baja despus de dos das si hoy se encuentra al alza?
Cul es la matriz estacionaria de este proceso de Markov?
10. La probabilidad de que una persona de baja estatura tenga un hijo tambin de baja estatura es 0.75, mientras que
la probabilidad de que un padre alto tenga un hijo espigado es 0.60. (Se ignora la posibilidad de concebir un hijo
de mediana estatura)
a. Cul es la probabilidad de que un hombre alto tenga un nieto de baja estatura?
b. Cul es la probabilidad de que un hombre de baja estatura tenga un nieto alto?
11. (Participacin en el mercado) Hoy da, tres empresas procesadoras de productos X, Y y Z controlan el 50, 30 y
20% del mercado del caf, respectivamente. Al mismo tiempo las tres empresas presentan marcas de caf. Con
la introduccin de estas nuevas marcas en un ao ocurre lo siguiente:
a. X retiene al 60% de sus consumidores y cede el 20% a Y otro 20% con Z.
b. Y conserva el 50% de sus consumidores y pierde el 30% con X y un 20% con Z.
c. Z retiene el 70% de sus consumidores, cede el 10% a X y el 20% a Y.
Suponiendo que esta tendencia continua, que proporcin del mercado tendr cada empresa al trmino de dos
aos? Qu porcin del mercado tendr cada empresa a largo plazo?
35

12. (Agricultura) Las granjas de cierta regin pueden clasificarse en tres tipos: agrcolas, pecuarias o mixtas.
Actualmente 30% son agrcolas, 40% pecuarias y 30% mixtas. La matriz de transicin de un ao al siguiente es:
[
Encuentre los porcentajes de los tres tipos de granjas:

a. El ao prximo
b. El ao subsiguiente
c. A largo plazo
13. (Estudio de opinin) En una encuesta de opinin acerca de un programa de TV, 60% de los entrevistados declar
que les gustaba el programa, mientras 40% afirm lo contrario. El mismo grupo fue entrevistado 1 semana
despus, y entonces 65% dijo que les gustaba el programa; pero 35% que no. Nuevamente, una semana ms
tarde 68% inform que les gustaba el programa. Calcule la matriz de transicin que representa el cambio de
opinin. Si se entrevista repetidamente al grupo sobre el mismo programa, Cul sera el porcentaje que exprese
su preferencia por l?
14. Cada familia limea se clasifica segn donde vive como urbana, rural o suburbana: Durante un ao especifico,
15% de las familias urbanas se mudaron a una ubicacin suburbana, y 5% se mudaron a un rea rural; tambin
6% de las familias suburbanas se trasladaron a un rea urbana y 4% se pasaron a una ubicacin rural; por ltimo,
4% de las familias rurales se fueron a un rea urbana y 6% se cambiaron a un lugar suburbano.
a. Si una familia ahora vive en un lugar urbano, Cul es la probabilidad de que viva en un rea urbana dos
aos a partir de ahora? Un rea suburbana? Un rea rural?
b. Suponga que en el presente, 40% de las familias viven en un rea urbana, 35% viven en un rea suburbana
y 25% viven en un rea rural. Dos aos a partir de ahora, Qu porcentaje de familias limeas vivirn en
un rea urbana?
c. Qu problemas podran ocurrir si este modelo se utiliza para predecir la distribucin poblacional futura de
Lima?
15. En un valle se han visto dos clases de ardillas, grises y negra. Al comienzo de cada ao se determina cul de las
siguientes afirmaciones es cierta:
- Slo hay ardillas grises en el valle
- Slo hay ardillas negras en el valle
- Hay ardillas grises y negras en el valle
- No hay ardillas en el valle
Al paso de muchos aos, se ha estimado la siguiente matriz de transicin:
Gris
Negra
Ambas Ninguna
Gris
Negra
Ambas
Ninguna
a.
b.
Durante qu fraccin de aos las ardillas grises estarn viviendo en el valle?

Durante que fraccin de aos las ardillas negras estarn viviendo en el valle?
36

Clase6 IOCadenasMarkov

Загружено:

Сведения о документе

Исходное описание:

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Clase6 IOCadenasMarkov

Загружено:

Авторское право:

Доступные форматы

UNIVERSIDAD SAN PEDRO

Escuela de Ingeniera Industrial

Qu es una cadena de Markov?

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

Definicin formal de una Cadena de Markov

= j|X0 = k0, X1 = k1,, Xt-1 = kt-1, Xt = i}

Para t = 0, 1, y toda sucesin I, j. k0, k1, kt-1

Procesos de decisin markoviana

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

= j|Xt = i} = P { = j|X0 = i}, para toda t = 1, 2,,

Para toda t = 0,1,Estas probabilidades condicionales, se llaman probabilidades de transicin de n pasos.

As, las probabilidades de transicin de n pasos

cualquier tiempo t. Cuando n = 1, observe que

para toda i; n=0, 1, 2,

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Mrkov.

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

Posee la propiedad de Markov

EJEMPLOS DE CADENAS DE MARKOV

1. Ejemplo de Partidos Polticos

2. Ejemplo de Fluctuaciones de la Bolsa De Valores

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

La matriz de estado despus de una etapa (da) est dado por:

La matriz de estado al cabo de 2 das es:

La matriz de estado al cabo de 3 das es:

VECTOR DE PROBABILIDADES INICIALES

se especifican por el vector de probabilidades

Las probabilidades en el instante + se especifican por el vector de probabilidades

Procesos de decisin markoviana

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

3. Ejemplo Modalidad de Transporte

A2 = A1P = [0.65 0.35][

A3 = A2P = [0.73 0.27][

A4 = A3P = [0.746 0.254][

Procesos de decisin markoviana

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

A6 = A5P = [0.750 0.250][

A2 = A1P = [0.64 0.36][

A3 = A2P = [0.728 0.272][

A4 = A3P = [0.746 0.254][

A5 = A4P = [0.749 0.251][

Recuerde que A5, tambin puede calcularse asi:

0.2*0.24992 + 0.8*0.25024] = [0.749824

0.20p1 + 0.40p2] = [p1 p2]

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

De all se deduce que

(Puede elegirse 1, 2 y 4 ecuacin, descartando la 3)

- 0.30p1 + 0.20p2 + 0.10p3 = 0

Docente: Mg. Ing. J. Paredes C.

UNIVERSIDAD SAN PEDRO

5 Ejemplo: Dada la matriz de transicin [

] encuentre la matriz de estado estable resolviendo la ecuacin

6. Ejemplo de Prediccin del Tiempo

La matriz de estado al cabo de un da (el lunes) est dado por:

0.20.24992 + 0.80.25024] = [0.749824

= (0.600.30) + (0.400.40) = 0.34