Taller No 1.

Escuela de Estadı́stica-Universidad Nacional de Colombia.

Sede Medellı́n.

ez
1. [Tomado de R. Dobrow] Una cadena de Markov {Xn } en el espacio de estados
S = {1, 2, 3} posee la ste matriz de transición

om 
0.1 0.3 0.6
 0 0.4 0.6
0.3 0.2 0.5


y la distribición inicial es µ(0) = [0.2 0.3 0.5] calcule

(1)
G
a) P (X7 = 3|X6 = 2).
b) P (X9 = 2|X1 = 2, X5 = 1, X7 = 3).
c) P (X0 = 3|X1 = 1).
CA

d ) P (X2 = 1, X1 = 2).
e) E[X2 ] y Var[X2 ].

2. Sea Xn el máximo en n lanzamientos de un dado.

a) Como verificarı́a ud que Xn es una cadena de Markov.

b) Determine su matriz de transición.
c) Clasifique los estados de la cadena.
d ) Argumente por que para cualquier cadena de Markov {Xn } digamos en
S = {0, 1, 2, . . .} se cumple para todo k > m que

E[Xk |Xm−1 = xm−1 , Xm−2 = x2 , . . . , X0 = x0 ] = E[Xk |Xm−1 = xm−1 ] (2)

donde k ≥ m.

3. Sea {Xn , n ≥ 0} una sucesón i.i.d de variables aleatorias de Bernoulli, es decir


1 con prob p
Xn =
0 con prob 1 − p

1
 , y sea Yn , n ≥ 1 dada por

Yn = Xn + Xn−1 (3)

Justifique por que el proceso Yn no es de Markov.

Ayuda:Compare por ejemplo P (Y3 = 2|Y1 = 0, Y2 = 1) y P (Y3 = 2|Y2 = 1), como deverian ser estas
probabilidades condicionales?

4. [Tomado de Hoel-Port-Stone]
Un jugador comienza con un cierto capital inicial en dolares a hacer una serie

ez
de apuestasde 1$ contra el casino. El jugador posee probabilidades p y q = 1 − p
de ganar y perder en cada apuesta respectivamente. Ahora

si su capital se pierde por completo, ósea si en algún momento el capital es

cero entonces seguirá siendo cero de este instante en adelante y el jugador

om entra en ruina.
Si su capital alcanza digamos d$=6$ dolares, entonces el jugador se retirara
con esta suma.

Sea Xn , n ≥ 0 el capital del jugador en el instante n.

a) Verifique si Xn es o no una cadena de Markov y en caso afirmativo escriba

G
la matriz de transición P .
b) Clasifique los estados.

5. Para la cadena de Markov Xn en 2 estados {0, 1} con matriz de transición

CA

 
1/3 2/3
P = (4)
3/4 1/4

Calcule:

Calcule de forma exacta µ(100) .

Calcule nuevamente µ(100) de forma aproximada.

6. Considere el grafo (1) el cuál representa una red de páginas web simplificada.

a) Determine la matriz de transición correspondiente teniendo en cuenta que

las probabilidades de salida de cada estado son proporcionales al número
links de salida y uniformes. Por ejemplo pAB = pAC = 12 y pAA = pAD = 0.
b) Calcule el score de cada página, es decir, suponiendo que cada página
representa un estado, entonces calcule

Score(i) = lı́m P (Xn = i). (5)

n→∞

2
 Figura 1: Una red conformada por 4 páginas web.

ez
7. [Tomado de Grimmet-Stirzaker] Sea Xn la cantidad de agua (en miles de litros)
en el dia n en una represa a las 12:00 AM. A partir de este momento y durante
un periodo de 24 horas una cantidad Yn de agua fluye o se vierte en la presa
y justo antes de las 12:00 AM cada dia una unidad de agua es extraida (si se

om
encuentra por lo menos una unidad en la presa en dicho momento). La capasidad
máxima de la presa es de K = 5 unidades.
los excesos de los flujos que se vierten en la presa se pierden por derramamiento.
Asuma que las Yn forman una secuencia i.i.d de v.a.s con distribución común
dada por la tabla (1)

P (Yn = i) α0 α1 α2 ... α5+

G
i 0 1 2 ... 5+

Cuadro 1
CA

Suponga que todos los números en este ejercicio son enteros no negativos.

a) Argumente por que {Xn } es una cadena de Markov y determine su matriz

de transición.
b) Clasifique los estados y la cadena.
c) Encuentre una expresión para su distribución estacionaria en terminos de
la función generadora de momentos(fgm) G(s) de Yn .
d ) Encuentre la distribución estacionaria cuando Y posee fgm G(s) = p(1 −
qs)−1 , con p + q = 1.

8. [Tomado de S. Ross] Una distribuidora de repuestos utiliza el siguiente exque-

ma de pedidos para mantener su inventario de una pieza determinada. Si el
inventario al comienzo de un periodo consta de i unidades, entonces el almacen
realiza un pedido de unidades igual a

0 si i ≥ s = 3
S − i si i < s = 3.

3
 esta se denomina una estrategia (s, S) = (3, 5). Los pedidos que realiza el alma-
cen son inmediatamente atendidos. Las demendas diarias forman una secuencia
{Yn , n ≥ 1} i.i.d de variables cuya distribución común es como en la tabla 2.

P (Yn = i) α0 α1 α2 ... α5+

i 0 1 2 ... 5+

Cuadro 2

ez
a) Determine si Xn es una cadena de Markov.
b) Clasifique los estados.

9. [Tomado de E. Parzen] Para cada una de las siguientes matrices de transición

om
que corresponde a una cadena {Xn } en S = {0, 1, 2, 3, 4}

P =

1 0 0 0 0
 1 2 0 0 0
 3 13
0 0
 3 1 3 2
0 0
3
0 0 0 0 1
2

0
0
3





P =



1 0 0 0 0
 1 1 1 0 0
 6 21 31 1 
0
 6 21 31 01 
0 0 6
0 0 0 0 1
2 3




(6)
G
  1 2

1 0 0 0 0 0 0
3 3
0
 1 2 0 0 0 1
0 23 0 0
 3 13 2
 1
3 2

 0 3 01 3 02 
P =  0 3 01 3
P = 0 (7)

CA

2

0 0 0 3 0 0 0
3 3 3
0 0 0 31 23 0 0 0 0 1

  1 1

1 0 0 0 0 2
0 0 0 2
1 0 1
0 0   1 0 1 0 0
2 1 2
1 1
  2 1 21 1 
0 4
P = 0  0 4 21 43 01 
P = (8)

2 4 
0 0 1 3 1 0 0 
8 4 8 8 4 8
0 0 0 0 1 0 0 0 0 1

1 2 2
0 0 13
  
3
03
0 0 0 3
 1 0 2 0 0  1 0 2 0 0
3 1 3 2  3 1 3 2 
 0 3 01 3 02 
P =  0 3 01 3 02 
P = (9)
 
0 0 0 3 0 0 0 3
3 3
0 0 0 31 23 2
3
0 0 13 0

a) Clasifique los estados.

b) Determine el periodo de cada estado.

4
 c) Determine si existe una distribución estacionaria.

10. [Tomado de R.Dobrow] Una cadena de Markov posee matriz de transición P

y distribución lı́mite π. Suponga también que π es la distribución inicial de la
cadena. Es decir la cadena se encuentra en estacionaridad, encuentre lo siguiente

a) lı́mn→∞ P (Xn = j|Xn−1 = i).

b) lı́mn→∞ P (Xn = j|X0 = i).
c) lı́mn→∞ P (Xn+1 = k, Xn = j|X0 = i).

ez
d ) lı́mn→∞ P (X0 = j|Xn = i).

11. a) Verifique que si una cadena de Markov Xn posee una distribución estacio-
naria π y la distribución µ(0) de X0 es π entonces la cadena deviene un
proceso estrictamente estacionario osea, siempre se cumple

om P (Xn1 +k = i1 , Xn2 +k = i2 ) = P (Xn1 = i1 , Xn2 = i2 ) (10)

Es decir las distribuciones bivariadas del proceso son invariantes por trans-
lación en el tiempo.
b) Que sucede con las distribuciones trivariadas, etc.
G
12. Una urna inicialmente contiene 2 bolas blancas y 2 bolas negras. El siguiente
experimento es repetido indefinidamente: Se saca una bola al azar de la urna y
con probabilidad p se cambia su color y es devuelta a la urna, con probabilidad
1 − p es devuelta a la urna sin cambio de color. Sea Xn el número de bolas
CA

negras en la urna despues de n repeticiones de la experiencia.

a) Argumente si Xn es una cadena de Markov o nó. En caso afirmativo ,

determine la matriz de transición.
b) Será posible calcular la porbabilidad de que hallan exactamente 3 bolas
negras en la urna a largo plazo cuando p=1/2?. Calcule esta probabilidad.
c) Obtenga la matriz de transición cuando en la urna inicialmente hay K
bolas blancas y K bolas negras.

13. Una urna inicialmente contiene 3 bolas negras. El siguiente experimento es

repetido indefinidamente: Se saca una bola al azar de la urna y con probabilidad
1/2 se cambia su color y es devuelta a la urna, con probabilidad 1/2 es devuelta
a la urna sin cambio de color. Sea Xn el número de bolas negras en la urna
despues de n repeticiones de la experiencia.
calcule el tiempo esperado para que por primera vez las 3 bolas en la urna se
vean blancas.

14. Clasifique los estados de la cadena de Markov con matriz de transición con
p = 1/4.

5
 a)
 
1 − 2p 2p 0
 p 1 − 2p p 
0 2p 1 − 2p

b) Suponga que esta cadena toma valores en el espacio de estados S = {1, 2, 3}

y que la distribución de X0 es µ(0) = ( 21 , 14 , 14 ) , con la matriz del item
anterior y p = 1/4 determine la distribución µ(2) de X2 .
c) Determine la distribución estacionaria π = (π1 , π2 , π3 ) cuando p = 1/4.

ez
d ) Para que valores de p en general existe una distribución estacionaria para
esta cadena.
e) Calcule los tiempos medios de recurrencia µi i = 1, 2, 3 de cada estado

om
15. Considere una cadena de Markov Xn con matriz de transición P . Suponga que
π es la distribución estacionaria de Xn , verifique que:

a) Todas las distribuciones marginales del proceso son identicas, o sea

µ(i) = π.
b) Verifique que parta valores de n, m y k cuales quiera
G
P (Xn+k = i, Xm+k = j) = P (Xn = i, Xm = j). (11)

Es decir las distribuciones bivariadas solo dependen de la separación tem-

poral entre las variables. Si esto ocurre entonces para k = 1, por ejemplo
CA

P (X3 = i, X1 = j) = P (X4 = i, X2 = j) = P (X5 = i, X3 = j) = P (X6 = i, X4 = j) = · · ·

c) Como se colocaria la propiedad en la ecuación (11) para las distribuciones

trivariadas

P (Xn = i, Xm = j, Xl = h)

16. [Algoritmo de Hastings-Metropolis, Tomado de S.Ross]

Dada una cadena de Markov {Xn } irreducible con probabilidades de transición
pij y cualquier vector de probabilidad positiva para los estados π = [π1 · · · πd ]
(ósea πi > 0 para todo i). Verifique que la cadena de Markov {Yn } con matriz
de transición Q = (qij ) donde

pji X
qij = mı́n(pij , πj ), qii = 1 − qij . (12)
πi j6=i

a) Verifique que la cadena {Yn } es time-reversible.

6
 b) Verifique que π es la distribución estacionaria de {Yn }.

17. Considere la marcha aleatoria en el espacio de estados S = {0, 1, 2, 3, . . .} con

probabilidades de trasición p0,0 = q, pi,i+1 = p, pi,i−1 = q, i ≥ 1 donde
0 < p < 1 y p + q = 1.

a) Determine la matriz de transición de la cadena y luego verifique que si π =

(π0 , π1 , π2 , . . .) es una distribución estacionaria, entonces se debe cumplir
qπ0 + qπ1 = π0 y también

ez
qπi−1 + pπi+1 = πi , para i ≥ 1. (13)

b) Verifique que para p < 1/2 existe una distribución estacionaria de de la

forma πi = Cai . Encuentre los valores de a y C en terminos de p y q.
Ayuda: Reemplace Cai por πi en la ecuación (13), obtenga una ecuación para a y resuelva.

om Luego sume todos los πi y verifique cúal debe ser el valor de C.

c) Cúal es la probabilidad a largo plazo de que el sistema se encuentre en el

estado 0 cuando p = 1/4.
G
CA