Aula 4 - Cadeia de Markov A Tempo Discreto e Contínuo - Resposta

Avaliao de Desempenho
Cadeia de Markov a Tempo Discreto
Introduo
Processo estocstico
Considere um sistema que evolui aleatoriamente no
tempo;
Suponha que o sistema observado nos instantes de
tempo n=0,1,2,...
Seja X(n) o estado do sistema no tempo n
A sequncia de variveis aleatrias {X(0),X(1),X(2),...}
chamada de processo estocsticos a tempo discreto
Escrita como:
{X(n),n0}
{X(n),n=1,2,3,...}
Introduo
Processo estocstico
Seja S o conjunto de valores que X(x) pode assumir para
qualquer n
S definido como o espao de estados do processo
estocsticos {X(n),n0}
Ex.:
X(n)= Taxa de inflao no Brasil no final da n-sima
semana. S={-, +}
X(n)= # de reclamaes submetidas a uma operadora de
telefone no final da n-sima semana. S={0,1,2,3,...}
X(n)= # de smartphones vendidos durante a n-sima
semana. S={1,2,3,...}
Cadeia de Markov
Considere o processo estocstico {X(n),n0}
Suponha que no tempo n=10 se tenha observado
X(0),X(1),...,X(10)
Questionamento: Pode-se prever probabilisticamente o
estado do sistema no tempo n=11?
Em geral, X(11) pode depender de toda sua histria
pregressa (X(0),X(1),...,X(10))
Porm, dada a histria completa do processo
(X(0),X(1),...,X(10)) se a predio de X(11) depender
somente de X(10) ento se tem a propriedade de
Markov ou da ausncia de memria!
Cadeia de Markov
Definio
O processo estocstico {X(n),n=0,1,2,3,...} uma
cadeia de Markov se, para todo i0 , i1 , i2 , ... ,i n1 , i , j S
P {X (n+1)= j / X (0)=i 0 , X (1)=i1 ,... X (n)=i}

=P {X (n+1)= j / X (n)=i}
Cadeia de Markov
Interpretao
A cadeia de Markov uma sequncia de variveis
aleatrias tal que, para qualquer n, X(n+1)
condicionalmente independente de X(0),
X(1),...,X(n-1) dado X(n).
Cadeia de Markov
Homogeneidade no tempo
Seja:
P {X (n+1)= j / X (n)=i}=P {X (1)= j / X (0)=i}= pij

definido como probabilidade de transio de um
passo
Cadeia de Markov
Homogeneidade no tempo
As probabilidades de transio no dependem do
passo n;
Para uma CMTD a probabilidade de transio
depende apenas dos estados, i.e., de i e j;
Mecanismo de transio estacionrio
Assim,
P ij =P {X (n+1)= j / X (n)=i}
Cadeia de Markov
Matriz probabilidade de transio
A matriz cujas entradas so as probabilidades de
transio de um passo denominada de matriz de
transio do processo.
p 00
P=[ P ij ]= p10
.
p 01
p11
.
.
.
p NN
Cadeia de Markov
Linhas correspondem aos estados iniciais, X(n) e
as colunas aos estados finais, X(n+1).
X(n+1)
0
X(n)
1
2
0 .3 .7
.9 .1 0
.4 .3 .3
P00 =P {X (n+1)=0/ X (n)=0}=0

P01=P {X (n+1)=1/ X (n)=0}=0.3
P02=P {X (n+1)=2/ X (n)=0}=0.7
P10=P {X (n+1)=0/ X (n)=1}=0.9
P11=P {X (n+1)=1/ X (n)=1}=0.1
P12=P {X (n+1)=2/ X (n)=1}=0
P20=P {X (n+1)=0/ X (n)=2}=0.4
P21=P {X (n+1)=1/ X (n)=2}=0.3
P22=P {X (n+1)=2/ X (n)=2}=0.3
Cadeia de Markov
estocstica, i.e,
P ij 0,
pij=1
j=0
i, jI
Cadeia de Markov
Pode ser representada graficamente por um Diagrama
de Transio de Estados ou diagrama de transio
Usado para visualizar a dinmica da CMTD
Composto por:
N representada um estado.
Arco representa uma transio entre estados.
p
>0,
ento
h
um
arco
ij
Se
no tem arco , caso contrrio
Cadeia de Markov
.5
.2 .3 .5
P= .1 0 .9
.55 .0 .45
.9
.3
.2
1
2
.1
.55
.45
3
Cadeia de Markov
Questes
Se a CMTD est no estado 3 no tempo 17, qual pe a
probabilidade dela ir para o estado 1 no tempo 18?
Resp.: p31 = 0.55
Se a CMTD est no estado 2 no tempo 9, qual a
probabilidade dela ir para o estado 3 no tempo 10?
Resp.: p23 = 0.9
.5
.2
.3
.9
2
.1
.55
.45
Cadeia de Markov
Comportamento probabilstico da cadeia de
Markov
completamente descrito pela probabilidade inicial e
pelas probabilidades de transio
P {X (0)=i 0 , X (1)=i1 , ... , X (n)=in }=

P {X (n)=i n / X (0)=i 0 , X (1)=i1 ,... , X (n1)=i n1 }
P {X (0)=i 0 , X (1)=i1 , ... , X (n1)=in1 }=
pi i P {X (0)=i0 , X (1)=i1 ,... , X (n1)=in1 }
n1 n
Cadeia de Markov
Markov
P {X (0)=i0 , X (1)=i1 , ... , X (n1)=in1 }=

P {X (n1)=in1 / X (0)=i0 , X (1)=i1 , ... , X (n2)=i n2 }
P {X (0)=i0 , X (1)=i1 , ... , X (n2)=in2 }=
p i i P {X (0)=i0 , X (1)=i1 , ... , X (n2)=in2 }
n2 n1
P {X (0)=i 0 , X (1)=i1 , ... , X (n)=in }= p i i pi

P {X (0)=i 0 , X (1)=i1 , ... , X (n2)=i n2 }
n1 n
n2 n1
Cadeia de Markov
Markov
Por induo
P {X (0)=i0 , X (1)=i1 ,... , X (n)=i n }=

pi i pi i pi i ... pi i P {X (0)=i 0 }
n1 n
n2 n1
n3 n2
0 1
P{X(0)=i0} a probabilidade inicial;

(0)=[0(0), 1(0), 2(0),... ] a distribuio de
probabilidade.
Cadeia de Markov
Markov
Onde
j (0)=P {X (0)= j}0
j (0)=1
j
j0
Cadeia de Markov
Probabilidade de transio de n-passos
Seja
n
ij
p =P {X (n+m)= j/ X (m)=i}
Define-se
0
p=
1
0
ij
se i j
se i= j
Cadeia de Markov
Equao de Chapman-komolgorov
Possveis Estados
p = p p
n
ij
k=o
r
ik
nr
kj
.
.
.
.
.
.
r
Linha do Tempo
Cadeia de Markov
Na forma matricial
n
n
ij
(1)
nr
P =[ P ]=P P
n
(n1)
1 n1
2 n2
n
P =P P
=P P =P P ==P
n
r nr
P =P P
A matriz probabilidade de transio de n-passos pode
ser calculada atravs da n-sima potncia da matriz
de transio.
Cadeia de Markov
Sejam:
(n) a distribuio de probabilidade de n-passos;
j(n) a j-sima componente do vetor distribuio.
Ento,
j (n)=P {X (n)= j}
j (n)= P {X (n)= j / X (0)=i}P {X (0)=i}

i=0
Cadeia de Markov
0
...
i1
P{X(0)=i1}
i2
j
P{X(0)=i2}
i3
P{X(0)=i3}
passo
j (n)=P {X (n)= j / X (0)=i1 }P {X (0)=i1 }+
P {X (n)= j / X (0)=i 2 }P {X (0)=i 2 }+
P {X (n)= j / X (0)=i 3 }P {X (0)=i 3 }+
P{X(n)=j}
Cadeia de Markov
Logo,
j (n)= i (0) p
i=0
j (n)=1
j=0
Na forma matricial,
(n)=(0) P
n
ij
j=0,1,2,...
Cadeia de Markov
Exemplo
Seja a CMTD abaixo. Compute (3), para uma
distribuio de probabilidade inicial de [0.2 0.3 0.5].
.2 .3 .5
P= .1 0 .9
.55 .0 .45
Cadeia de Markov
Soluo
(3)=(0) P
.2 .3 .5
(3)=[0.2 0.3 0.5] .1 0 .9
.55 0 .45
(3)=[0.3626 0.1207 0.5167 ]
Cadeia de Markov
Classificao de estados
Seja {X(n), n=0,1,2,...} uma cadeia de Markov;
Se existe um inteiro n0 tal que pnij>0, ento o
estado j pode ser alcanado a partir do estado i,
ou j acessvel a partir de i, ou i pode atingir j.
Notao: ij
Qualquer estado alcanado a partir de si mesmo,
isto , pii = 1
Cadeia de Markov
Se ij e ji, ento existe os inteiros m0 e n0 tal
que pmij>0 e pnji>0.
Diz-se ento que i e j se comunicam (ij)
Se ij e jk, ento ik
Prova: Se pmij>0 e pnjk>0, ento a partir da equao de
Chapman-Kolmogorov
m+n
ik
= p p p p >0
l=0
m
il
n
lk
m
ij
n
jk
Cadeia de Markov
Dois estados que se comunicam so ditos pertencer a
uma mesma classe.
O conceito de comunicao divide o espao de estados
em uma certa quantidade de classes separadas
Um CM chamada de irredutvel se existe apenas uma
classe , i.e., todos os estados se comunicam.
Um estado j chamado de absorvente se ele forma
consigo prprio uma classe.
Se o estado j absorvente ento pjj=1.
Cadeia de Markov
O estado i tem perodo d(i), se d(i) o maior divisor
comum de n1 tal que pnii>0.
Se d(i)=1, o estado i aperidico.
Se d(i)2, o estado i peridico.
Nota: se ij; ento d(i) = d(j).
Se um dos estados de uma CMTD irredutvel
aperidico, ento todos os estados tambm so e
com o mesmo perodo e a cadeia dita aperidica;
caso contrrio, ela peridica com perodo d.
Cadeia de Markov
Seja a probabilidade da primeira passagem
f ijn =P {X (n)= j , X (r ) j , r=1,2,. .., n1/ X (0)=i} i , j

Define-se a probabilidade de transio eventual do
estado i para o j com
f ij= f
n=1
n
ij
Cadeia de Markov
O estado chamado de recorrente se: f ii =1
O estado chamado de transiente se: f ii <1
Se i recorrente,
Iniciando em i, o processo re-visitar o estado i
infinitamente.
Se i transiente
Toda vez que o processo visita i, existe uma
probabilidade positiva, 1-fii, que ele nunca mais
retorne a esse estado.
Cadeia de Markov
Condio necessria e suficiente para identificar
estados recorrentes e transientes.
Seja o estado i.
Ele ser recorrente se:
p =
n=1
Ele ser transiente se:
n
ii
p <
n=1
n
ii
Cadeia de Markov
Teorema: recorrncia uma propriedade de classe;
i.e., se o estado i recorrente e ij, ento j
recorrente.
Notas:
(1) Transincia uma propriedade de classe
Se o estado i transiente e ij, ento j
transiente.
(2) Todos os estados em uma CM finita
irredutvel so recorrentes.
Cadeia de Markov
Os estados recorrentes podem ser classificados
em:
Recorrente positivo (no nulo):
j = nf <
n=1
Recorrente nulo
j = nf =
n=1
n
jj
Tempo mdio de recorrncia
n
jj
Cadeia de Markov
Notas:
Em uma CMTD finita, todos os estados so
recorrentes positivos;
Uma CMTD irredutvel, aperidica, com todos os
estados recorrentes positivos chamada de
ergdica.
Cadeia de Markov
Teorema:
Para um CM, todos os estados podem ser
classificados em classes recorrentes Ck,
k=1,2,..., e o restante dos estados so
transientes
Sejam C1, C2,..., as classes recorrentes e T o
conjunto de todos os estados transientes
Cadeia de Markov
Rearranjando todos os estados da CM, pode-se escrever:
C1
P= C 2
P1 0 0
. P2
0

R 1 R2 Q
P1, P2,..., so as matrizes probabilidade de transio para as classes

recorrentes C1, C2,...
Q uma matriz quadrada que contm as transies entre todos estados
transientes para T;
R1, R2,... so matrizes, no necessariamente quadradas, contendo as
transies dos estados transientes para as classes recorrentes C1, C2.

Estado
Transiente
Recorrente
Positivos
Nulos
Peridico
Peridico
Aperidico
Aperidico

Resumo de Classificaes de estados e Cadeias
Conjunto
Fechado
Nenhum estado, a no ser algum pertencente ao conjunto, pode ser alcanado

de qualquer estado pertencente ao conjunto.
Estado
Uma vez que se entra neste estado, nunca mais o deixa.
Absorvente
Estado
Uma vez que se entra neste estado, um eventual retorno assegurado.
Recorrente
Estado
Peridico
O estado que pode somente ser alcanado nos passos m, 2m, 3m,..., onde m
um inteiro > 1.
Estado
Transiente
Um eventual retorno ao estado no est assegurado.
Estado
Ergdico
Uma vez que se entrou neste estado, um retorno ao estado assegurado dentro
de um nmero finito de passos, porm o estado no peridico e pode voltar
antes de qualquer passo n.
Cadeia
Irredutvel
Cada estado pode ser alcanado a partir de qualquer outro estado (todos os
estados so comunicantes).
Cadeia
A Cadeia contm um ou mais conjuntos fechados e o processo poder
Absorvente eventualmente ser absorvido em um dos conjuntos fechados.
Cadeia
Ergdica
Todos os estados so recorrentes e aperidicos.
Cadeia de Markov
Probabilidade Limite
Se o estado j recorrente e aperidico, ento
1
lim p
j
n
n
jj
Se o estado j recorrente nulo
1 1
lim p = =0
j
n
n
jj
Cadeia de Markov
Se o estado j recorrente e peridico com perodo
d(j), ento
lim p
n
nd( j)
jj
d ( j)

j
Se o estado j transiente, ento

n
jj
lim p 0
n
Cadeia de Markov
Considere o comportamento limite de pnij com n.
Considere ainda que X(0)=i.
Teorema: se o estado j recorrente e aperidico,
ento
f ij
p , n
j
n
ij
Interpretao: a cadeia inicia no estado i, visita o

estado j com probabilidade fnij (1 passagem) e
retornar a j infinitamente com probabilidade fnjj
Cadeia de Markov
Teorema: se uma cadeia de Markov recorrente
positiva e aperidica, ento existe a probabilidade
limite (para um n muito grande) com as seguintes
caractersticas:
n
ij
lim p = ( j)>0 (i , j=0,1,. ..)

n
Que independente do estado inicial i

estritamente positiva
a nica soluo para o sistema de equaes
Cadeia de Markov
i=0
j=0
( j)= (i) pij , ( j)=1

Na forma matricial
= P ,
=1
j
Qualquer distribuio de probabilidade que

satisfaa esse sistema de equaes
chamado de distribuio de probabilidade
estacionria (do estado de equilbrio)
Cadeia de Markov
Para uma CMTD aperidica, irredutvel, finita, a
matriz P(n) convergir para uma matriz que tem
todas as linhas iguais, sendo cada uma idntica ao
vetor distribuio de probabilidade estacionria.
0 1 max
n
lim P = 0 1 max
n

0 1 max
Cadeia de Markov
Interpretao:
Comportamento da cadeia ao longo prazo n, ou
proporo de tempo que a cadeia gasta e um estado, a
longo prazo.
No projeto de sistemas h frequentemente efeitos de
partida que so diferentes daqueles que ocorrem com o
passar do tempo. Para fins de projeto, via de regra, buscase os efeitos no decorrer do tempo. Estes so
representados pela distribuio limite.
Cadeia de Markov
Cadeia de Markov Finita
Teorema: Para uma CM finita
No h estados recorrentes nulos
Nem todos os estados so transientes
Nota intuitiva:
Se um estado j recorrente nulo e o espao de estados finito,
ento o tempo de recorrncia tambm finito
Se todos os estados so transientes, ento o limite para n de
n
pnij0, o que contradiz o fato que pij =1 n
Corolrio:
Em uma CM finita e irredutvel, todos os estados so recorrentes
positivos
Cadeia de Markov
Comportamento limite
C1, C2,..., Cm so os conjuntos de classes recorrente positivas, T
o conjunto de estados transientes.
C1
C2
P= .
.
Cm
T
P1 0
. P2
.
0 0
0 0
R1 R2
. .
.
0
. . Pm
. . Rm
0
0
. = P 0
R Q
0
0
Q
[ ]
Cadeia de Markov
Para os estados pertencentes ao mesmo conjunto recorrente.
1
lim p = p = ( j)=
j
n
n
ij
ij
(i , jC k ; k=1,2,. .. , m)
Cadeia de Markov
Para os estados i T (transiente) e j C k (k =1,2,. .. , m)

(recorrente).
f ij
lim p = p =
j
n
n
ij
ij
(iT , j C k ; k=1,2,. .. , m)
Cadeia de Markov
lim pij = pij =0
Para os estados transientes
(i , jT )
Para os estados iC k (k =1,2,... , m) (recorrente) e i T
(transiente).
n
ij
ij
lim p = p =0
n
(iC k , k=1,2,. .. , m ; j T )
Cadeia de Markov
Cmpute de fij
Teorema: Para uma CM finita, a probabilidade de transio
eventual fij de um estado i T para j C k (k =1,2,. .. , m)
satisfaz:
f ij = p il + p il p lj , (iT , j C k )
l C k
Ir diretamente
para um estado
recorrente
l T
Ir para um estado transiente iT

- incluindo ele mesmo e depois
ir de l para j fij
Cadeia de Markov
Cmpute de fij
Na forma matricial
[ f ij ]=R k 1+Q [ f ij ]
1
[f ij ]=[ I Q ] R k 1
1 um vetor coluna em que todos os componentes so 1's.
Cadeia de Markov
Cmputo do tempo mdio da primeira passagem (ij)
Nmero esperado de transies necessrias para
chegar ao estado j pela primeira vez partindo do
estado i
Forma prtica para o clculo
1
[ ij ]=[ I N j ] 1, ji
Em que:
I matriz identidade (m-1);
Nj matriz de transio P menos sua j-sima linha e coluna do estado
visado j;
1 vetor coluna (m-1) como todos os elementos iguais a 1.
Exerccios
Seja a CMTD abaixo. Compute (3), para uma

distribuio de probabilidade inicial de (0)=[0.2 0.3. 0.5].
P=
Soluo
0.2 0.3 0.5

0.1
0
0.9
0.55 0 0.45
(n)=(0) P n
3
(3)=(0) P
0.2 0.3 0.5

(3)=[0.2 0.3 0.5] 0.1 0
0.9
0.55 0
0.45
(3)=[0.3626 0.1207 0.5167]
Cadeia de Markov
Exemplo
0
1
P= 2
3
[ ]
1 0 0
0 1 0
0 0 1
Existem 3 classes {0}, {1} e {2}
Cadeia de Markov
1/2
Classificao a CMTD abaixo

0
0
P= 1
1
1
0
0
0
1/ 2 1/2
1/3 1/3 1/3
Soluo
1
0
Soluo:
12; 20
Existem 2 classes {0} absorvente e {1, 2}
transiente, logo a CMTD no irredutvel
1/2
1/3
1/3
2
1/3
Cadeia de Markov
Classifique a CMTD abaixo
1
0
3
4
7
Soluo:
A CMTD no irredutvel
3 classes: {0,2,2,7,8} transiente, {3} - absorvente e {1,4,5,6} - recorrente
Cadeia de Markov
Classificao a CMTD abaixo
0
0
P= 1
2
[ ]
0 1 0
0 0 1
1 0 0
Soluo
Soluo:
A cadeia irredutvel,
01, 12 e 20.
P300=P600=P900=...=1
O perodo d(0)=3. Alm disso,
d(0)=d(1)=d(2)=3
Cadeia de Markov
Classifique a CMTD abaixo
4
4
7
Soluo:
A CMTD no irredutvel
2 classes recorrentes: {0,2,7,8} e {1,4,5,6}
{0,2,7,8} - peridico com perodo 2; d(0)=d(2)=d(7)=d(8)=2
{1,4,5,6} - aperidico d(1)=d(4)=d(5)=d(6)=1
Cadeia de Markov
Achar a distribuio limite para a cadeia abaixo
0.2 0.8
P=
;
0.3 0.7
= P ,
=1;
0.2 0.8
[1 2 ]=[ 1 2 ]
0.3 0.7
1=0.2 1 +0,3 2
2=0.8 1 +0.7 2
1 +2=1
1=0.2 1 +0.3 2
0.3
1 =
2=0.375 2
0.8
1 + 2=1
0.375 2 + 2=1
2=0.7273
1=0.3750.7273=0.2727
[1 2 ]=[0.2727 0.7273]
Cadeia de Markov
Comparando com P(n)
[1 2 ]=[0.2727 0.7273]
0.2 0.8
0.3 0.7
0.28 0.72
2
P=
0.27 0.73
P=
[
[
[
[
P3= 0.272 0.728

0.273 0.727
P 4= 0.2728 0.7272
0.2727 0.7273
P5= 0.2727 0.7273
0.2727 0.7273
]
]
Cadeia de Markov
1 2 + 3=1
1 + 0.3 1 +1.4 1=1
1 =0.3704
2 =0.30.3704=0.111
.2 .3 .5 1 =0.2 1 +0.1 2 +0.55 3 3 =1.40.3704=0.5186
[1 2 3 ]=[1 2 3 ] .1 0 .9 =0.2 +0.03 +0.55 =[0.3704 0.111 0.5186]
1
1
1
3
.55 .0 .45 0.23 =0.55
1
1
3
1 =0.2 1 +0.1 2 +0.55 3
3 =1.4 1
2 =0.3 1
3 =0.5 1 +0.9 2 +0.45 3
1 2 + 3 =1
.2 .3 .5
P= .1 0 .9 ;
.55 .0 .45
= P , =1 ;
1=0.2 1 +0.1 2 +0.55 3

2 =0.3 1
3 =0.5 1 +0.9 2 +0.45 3
1 2 +3 =1
Cadeia de Markov
0
0
0
0
1
0
0
0
0 1/3 1/3 0
0 1/3
0
0 1/2 0
0 1/2 0
P= 0
0
0
1
0
0
0
1/2 0
0
0 1/2 0
0
0
0 3/ 4 0
0 1/ 4 0
0 1/2 0
0 1/2 0
0
Cadeia de Markov
3/4
1
1/4
3
1/3
1/2
1/2
2
1/2
1/2
1/2
1/3
1/3
1
6
1/2
0
1
Cadeia de Markov
C1
1
1/4
3
1/3
C2
C3
3/4
1/2
1/2
2
1/2
1/2
1/2
1/3
1/3
1
6
1/2
0
1

3/4
1
1/2
1/4
3
5
1/2
1/3
30
51
22
43
04
65
16
1/3
1/2
1/2
0
1
1/2
1/3
1/2
3/4
1
1/2
1/4
0
1
1/2
1/3
6
1/3
1/3
1/2
1/2
1/2
1/2
5
4
1

Uma nova CMTD com a seguinte matriz P:
Classes recorrentes positivas
C1={0}, C2={1,2}, C3={3,4}
Conjunto de estados transientes
T={5,6}
1
0
0
0
0
0
0
0 1/4 3/4 0
0
0
0
0 1/2 1/2 0
0
0
0
P= 0
0
0 1/2 1/2 0
0
0
0
0
1
0
0
0
0
0
0 1/2 0
0 1/2
1/3 0 1/3 0
0 1/3 0

Para as classes recorrentes tem-se o seguinte
comportamento limite
Classes C2={1,2}
1/4 3/ 4
P=
1/2 1/2
= P
j =1
1=2/5 ; 2=3/5
Classes C3={3,4}
1/2 1/2
P=
1
0
= P
j =1
3=2/3 ; 4=1/3

Para uma anlise da classe transiente deve-se computar
f ij para iT e jC k (k=1,2,3)
0
1/2
Q=
1/3 0
[ IQ] R 1 .1=
1
1/2
[ I Q ]=
1/3
1
6
/
5
3/5
[ I Q ] =
2/ 5 6/5
1
[ ][
][ ] [ ]
f 50
6/ 5 3/ 5 0
1/5
=
[1]=
,( j=0)
2/5 6 /5 1/3
2/5
f 60
[ I Q]1 R 2 .1=
][
][ ] [ ]
6 /5 3 /5 0 0
1
1/5
=
,( j=1,2)
2 /5 6 /5 0 1/3 1
2/5
[ I Q]1 R 3 .1=
][
][ ] [ ]
6 /5 3 /5 1/2 0 1
3 /5
=
,( j=3,4)
2 /5 6 /5 0
0 1
1/5

Para uma anlise da classe transiente deve-se computar
f ij para iT e jC k (k=1,2,3)
[ ][ ]
p50
p60
[
[
p51
p61
p53
p63
[]
1/5
f 50 / 0
1
1/5
=
=
=
2/5
2/5
f 60 / 0
1
][
p52
f 51 / 1
=
p62
f 61 /1
p54
p64
[ ]
1 5
/
f 52 / 2
5 2
=
2 5
f 62 / 2
/
5 2
[ ]
3 3
/
5 2
=
1 3
/
5 2
[ ]
1 5
/
5 3
2/25 3/25
=
2 5
4 /25 6/25
/
5 3
3
/3
5
2/5 1/5
=
,( j=3,4)
1
2 /15 1/15
/3
5

Assim,
1
0
0
0
0
0
2/5 3/5
0
0
0
2/5 3/5
0
0
n
P =lim P = 0
0
0
2/3 1/3
n
0
0
0
2/3 1/3
1/5 2/25 3/25 2/5 1/5
2/5 4 /25 6/25 2/15 1/15
Note que
p
j=0
ij
=1,(i=0,1,2,3,4,5,6)
0
0
0
0
0
0
0
0
0
0
0
0
0
0

Consideremos que Santarm tenha trs helipontos (Rio Tapajs Shopping
(1), Shopping Paraso (2) e Aeroporto Wilson Fonseca (3)) e um nico
helicptero, que recolhe o passageiro de um dos heliportos e os leva at um
outro heliporto, onde aguardam at que aparea outro passageiro. Um
nico passageiro (um grupo com o mesmo destino) atendido de cada vez.
A) Se o helicptero est no Aeroporto Wilson Fonseca, qual a probabilidade de que
ele volte aps 3 viagens?
B) Se o helicptero est no Shopping Paraso, quantas viagens, em mdia, iro ocorrer
at que ele volte ao Shopping Paraso?
C) Em um longo perodo de tempo, qual a frao de viagem se destinam ao Rio Tapajs
Shopping?
1
1/2
1/2
1/3
2
1/3
1/3
1/3
2/3
3

Soluo
A) A probabilidade de que o helicptero volte aps 3 viagens
11/54
1
1 1 1/2 1/2
P= 2 1/3 1/3 1/3
3 2/3 1/3 0
]
3
1 2/ 9
5/ 12 13/36
3
P = 2 17/54 7/ 18 8/ 27
3 4 /9 19/54 11/54

Soluo
B) Utilizando a equao
temos:
1
1 1 1/2 1/2
P= 2 1/3 1/3 1/3
3 2/3 1/3 0
lim p = ( j)>0 (i , j=0,1,. ..)

n
1 .322 .387 .29

n
P = 2 .322 .387 .29
3 .322 .387 .29
n
ij
Resp.: Em um longo perodo

de tempo, a frao de viagens
que se destinam ao Rio
Tapajs Shopping de 0,322.

Soluo
1
C) Utilizando a equao lim p ; Assim temos:
j
n
n
jj
1 .322 .387 .29

n
P = 2 .322 .387 .29
3 .322 .387 .29
Resp.: Nmero mdio de

viagens que iro ocorrer at
que o helicptero volte ao
Shopping Paraso 2,583.
1
1
lim p =
=2,583
2
0.387
n
n
22
Avaliao de Desempenho
Cadeia de Markov a Tempo Contnuo

Definio
O processo estocstico {X(t), t0} uma CMTC se
para todo 0 t1 < t2 < ... < tn < t
P {X (t )=x / X (t 1 )=x 1 , X (t 2 )=x 2 ,... , X (t n )=x n }=

P {X (t )=x / X (t n )= x n }

Definio
Para todo t, s 0
pij (t )= pij (0, t )=P {X (u+t)= j / X (u)=i}=

P {X (t)= j / X (0)=i}, uT
Probabilidade de transio da CMTC
A cadeia no depende do tempo inicial, mas somente
dos tempos transcorridos e dos estados inicial e final i
e j.

Definio
Seja
j (0)=P {X (t )= j}, j=0,1,2,. .. ,t 0

a probabilidade de estado da CMTC no tempo t
Seja
i (0)=P {X (0)=i},
a probabilidade inicial da CMTC

Definio
Ento
j (t )=P {X (t )= j}= P {X (t )= j , X (0)=i}

i
j (t )= P {X (0)=i}P {X (t )= j / X (0)=i}
i
j (t )= i (0) pij (t )
i
Na forma matricial
(t )= (0) P(t)
O comportamento probabilstico
totalmente determinado pelas
distribuio de probabilidades
iniciais e as probabilidades de
transio

Definio
Onde, P(t), a matriz probabilidade de transio dada
por:
p00 (t ) p01 (t ) .
P(t )=[ P ij (t )]= p10 (t) p11 (t) .
.
.
.
Propriedades:
0 pij (t )1
pij (t)=1
j
pij (0)= 1, se i= j =P(0)= I

0, se i j

Gerador Infinitesinal
A matriz cujas entradas so as taxas de transio
entre os estados da cadeia
q00 q 01 .
Q=[qij ]= q10 q11 .
.
. .
Onde
dpij (t )
q ij =
dt
t =0

Gerador Infinitesimal
Interpretao
qii a taxa total de sada do estado i
qij a taxa no qual a cadeia se move de i para j
pij (t )=1
j
d
dt
q ii + qij =1
ji
d
q
=
q
ii
ij
p
(t)=
(1)
ij
ji
dt
j
qij =0
j
qii = -(qij + qil)
qij
j
qil
l

Distribuio Limite
Forma matricial
0= Q
Condio de normalizao
Propriedades:
i=1
i
Independente do tempo;
Independente das condies iniciais;
Estritamente positivo.
Condio para existncia do estado de equilbrio:
Irredutvel, homognea e finita
Estados recorrentes positivos

Uniformizao
Construir uma CMTD a partir de uma CMTC
A soluo do estado de equilbrio a mesma para
ambas cadeias
Q
P= + I
q
q>max i , j|q ij|

Cadeia de Markov
Tempo Discreto
(CMTD)
Matriz de Transio P (probabilidades)

Comportamento Limite (estado de equilbrio)
= P ,
jI
j =1
CM
Gerador Infinitesimal Q - (taxas)
Comportamento Limite (estado de equilbrio)
Tempo Contnuo
(CMTC)
Q =0,
jI
j =1
Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Handoff o procedimento que transfere uma
chamada em andamento de uma clula para outra
medida que uma estao mvel desloca-se
atravs da rea de cobertura de uma rede mvel
celular.
Estudo de Caso
Se a clula alvo para a qual a estao mvel migra no tem
recursos suficientes de banda passante, a chamada ser
descartada.
Da perspectiva do usurio, o descarte de chamadas em
andamento durante o handoff menos desejvel que o
bloqueio de novas chamadas.
Estudo de Caso
uma soluo que determina se uma recurso ser alocado ou
no com base na largura de banda disponvel, para ajudar a
evitar a degradao do QoS.
O principal objetivo dos algoritmos de CAC em redes sem fio
fazer o melhor uso dos recursos de rdio disponveis enquanto
garante que os requisitos de QoS de todas as chamadas em
servio sejam satisfeitos.
CAC deve decidir se recursos de rdio sero atribudos a nova
chamada, para que a mesma possa ser atendida com QoS. Caso
no haja recursos suficientes ou por alguma restrio o CAC no
possa admitir a chamada, esta ser bloqueada.
Estudo de Caso
Considere uma rede mvel celular
Estao Rdio Base
Canais de Rdio (N)
Prov o acesso a duas classes de servio
Chamadas de voz (Servio Telefnico
convencional)
Chamadas de dados (Internet)
Estudo de Caso
Consideraes de trfego
Chegada das chamadas de voz e dados
Processo de Poisson
v e d, para voz e dados
Tempo de servio (durao da chamada)
Distribuio exponencial
Tv = 1/v para voz;
Td = 1/d para dados.
Estudo de Caso
Estudo de Caso
Modelagem usando a CMTC
Espao de Estados
S={(v,d)/ 0vN, 0dKd}
v Nmero de chamadas de voz
d Nmero de chamadas de dados
Kd Threshold (limiar) de dados
Nmero de estados em S=(N+1)(Kd+1)
Estudo de Caso
Partindo do estado (v, d)
Prximo Estado
Taxa
Condio
Evento
(v+1,d)
v+d<N
Chegada de uma
chamada de voz
(v-1,d)
vv
v>0
Partida de uma
chamada de voz
(v,d+1)
v+d < Kd
Chegada de uma
chamada de dados
(v,d-1)
dd
d>0
Partida de uma
chamada de dados
Estudo de Caso
Diagrama de Transio do modelo CAC
Sistema de pequeno porte
2,0
2v
1,0
0,0
1,1
d
d
0,1
Estudo de Caso
Mtricas de QoS
Probabilidade de bloqueio de uma
chamada de voz
chamada de dados
Estudo de Caso
Mtricas de QoS
chamada de voz
Pv=
v +d=N
(v , d )
Estudo de Caso
Mtricas de QoS
chamada de dados
Pd=
v+dKd
(v , d)
Estudo de Caso
Diagrama de transio
2,0
Bloqueio de voz
2v
1,0
0,0
1,1
d
d
0,1
Estudo de Caso
Diagrama de transio
Bloqueio de voz
2,0
2v
1,0
0,0
d
d
Bloqueio de dados
1,1
0,1
Estudo de Caso
Controle Conjunto de Admisso de
Chamadas (CCAC)
Diferentemente dos tradicionais algoritmos de CAC, algoritmos
para CCAC, no so apenas responsveis por decidir se uma
nova chamada dever ser aceita ou no, mas tambm devero
decidir qual RSF a mais adequada para servir a nova
chamada.
A deciso da RSF mais apropriada deve ser realizada levandose em considerao diversos fatores:
Preferncias do usurio e;
Preferncias do operador.
Estudo de Caso
Controle Conjunto de Admisso de
Chamadas (CCAC)
Critrios de seleo da RSF mais adequada
Preferncias do
Usurio
Preferncias do
Operador
Outros Critrios
Menor custo de servio
Distribuio de carga
uniforme
Requisitos de aplicao
Melhor QoS
Maximizao do ganho
Capacidade residual da
RSF
Maior rea de cobertura
Otimizao do consumo de
energia
Capacidade do terminal
mvel
Maior segurana
Minimizao da perda de
handoffs
Menor consumo de bateria
Exerccio
Questo 1
O modelo a seguir descreve um buffer de requisies de
impresso. O buffer faz o gerenciamento de duas
impressoras: laser e deskjet. Este buffer recebe, em
mdia, uma requisio a cada 5 minutos (12 requisies
por hora). A impressora laser leva em mdia 2 segundos
(1800 folhas por hora) para imprimir uma folha, enquanto
a impressora deskjet imprime uma folha em 5 segundos
(720 folhas por hora). Um pedido de impresso pode ser
atendido tanto pela laser como pela deskjet, respeitando
a razo de que para cada hora trabalhada pela
impressora deskjet, a impressora laser trabalha por 4
horas.
Exerccio
Questo 1
12
12
1800
0,25
12
1800
0,25
0,25
12
5
720
1800
0,25
12
4
12
6
720
720
Exerccio
Questo 1
Os estados 0, 1, 2 e 3 representam o nmero de requisies
no buffer (0, 1, 2 e 3 requisies respectivamente) que esto
sendo atendidas pela impressora laser. Em contra partida, os
estados 4, 5, 6 e 7 representam o nmero de requisies no
buffer (0, 1, 2 e 3 requisies respectivamente) que esto
sendo atendidas pela impressora deskjet.
Com base no modelo, construa o gerador infinitesimal da
CMTC.
Exerccio
Resposta
Etapa 1: Preenche-se os elementos no diagonais do
gerador infinitesimal, utilizando as taxas de ocorrncia da
transio de um estado para outro.
0
12
0.25
1 1800
12
0.25
2
1800
12
0.25
3
1800
0.25
Q=
4 1
12
5
1
720
12
6
1
720
12
7
1
720
Exerccio
Resposta
Etapa 2: Preenche-se os elementos diagonais (ajuste

diagonal das taxas de ocorrncia das transies entre os
estados) do gerador infinitesimal. Como a soma de cada
linha do gerador infinitesimal deve ser igual a zero, o mesmo
fica da seguinte maneira aps o ajuste da diagonal:
0 12.25
12
0.25
1 1800 1812.25
12
0.25
2
1800
1812.25
12
0.25
3
1800
1812.25
0.25
Q=
4
1
13
12
5
1
720 733
12
6
1
720 733
12
7
1
720 721
Exerccio
Resposta
Etapa 3: Preenche-se os elementos nulos do gerador

infinitesimal. Logo, tem-se o gerador infinitesimal do modelo
0 12.25
12
0
0
0.25
0
0
0
1 1800 1812.25
12
0
0
0.25
0
0
2
0
1800
1812.25
12
0
0
0.25
0
3
0
0
1800
1812.25
0
0
0
0.25
Q=
4
1
0
0
0
13
12
0
0
5
0
1
0
0
720 733
12
0
6
0
0
1
0
0
720 733
12
7
0
0
0
1
0
0
720 721
Referncia Bibliogrfica
V.G. Kulkarni. Modeling, Analysis, Design, and Control of
Stochastic Systems, Springer, 1999.
J.F. Hayes e T.V.J. G. Babu. Modeling and Analysis of
Telecommunications Network, Wiley, 2004.
Baseado no curso Introduo Modelagem Probabilstica de
Sistemas Computacionais e de Comunicao do Prof. Dr. Glaucio H.
S. Carvalho.

Aula 4 - Cadeia de Markov A Tempo Discreto e Contínuo - Resposta

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Aula 4 - Cadeia de Markov A Tempo Discreto e Contínuo - Resposta

Загружено:

Авторское право:

Доступные форматы

Avaliao de Desempenho

Cadeia de Markov a Tempo Discreto

P {X (n+1)= j / X (0)=i 0 , X (1)=i1 ,... X (n)=i}

P {X (n+1)= j / X (n)=i}=P {X (1)= j / X (0)=i}= pij

P00 =P {X (n+1)=0/ X (n)=0}=0

P {X (0)=i 0 , X (1)=i1 , ... , X (n)=in }=

P {X (0)=i0 , X (1)=i1 , ... , X (n1)=in1 }=

P {X (0)=i 0 , X (1)=i1 , ... , X (n)=in }= p i i pi

P {X (0)=i0 , X (1)=i1 ,... , X (n)=i n }=

P{X(0)=i0} a probabilidade inicial;

j (0)=P {X (0)= j}0

j (n)= P {X (n)= j / X (0)=i}P {X (0)=i}

f ijn =P {X (n)= j , X (r ) j , r=1,2,. .., n1/ X (0)=i} i , j

Ele ser transiente se:

Tempo mdio de recorrncia

P1, P2,..., so as matrizes probabilidade de transio para as classes

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Nenhum estado, a no ser algum pertencente ao conjunto, pode ser alcanado

Um eventual retorno ao estado no est assegurado.

Todos os estados so recorrentes e aperidicos.

Se o estado j recorrente nulo

Se o estado j transiente, ento

Interpretao: a cadeia inicia no estado i, visita o

lim p = ( j)>0 (i , j=0,1,. ..)

Que independente do estado inicial i

( j)= (i) pij , ( j)=1

Qualquer distribuio de probabilidade que

Para os estados i T (transiente) e j C k (k =1,2,. .. , m)

lim pij = pij =0

Para os estados transientes

Ir para um estado transiente iT

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Seja a CMTD abaixo. Compute (3), para uma

0.2 0.3 0.5

0.2 0.3 0.5

Existem 3 classes {0}, {1} e {2}

Classificao a CMTD abaixo

P3= 0.272 0.728

1=0.2 1 +0.1 2 +0.55 3

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

Cadeia de Markov a Tempo Discreto

lim p = ( j)>0 (i , j=0,1,. ..)

1 .322 .387 .29

Resp.: Em um longo perodo

Cadeia de Markov a Tempo Discreto

1 .322 .387 .29

Resp.: Nmero mdio de

Cadeia de Markov a Tempo Contnuo

P {X (t )=x / X (t 1 )=x 1 , X (t 2 )=x 2 ,... , X (t n )=x n }=

Cadeia de Markov a Tempo Contnuo

pij (t )= pij (0, t )=P {X (u+t)= j / X (u)=i}=

Cadeia de Markov a Tempo Contnuo

j (0)=P {X (t )= j}, j=0,1,2,. .. ,t 0

Cadeia de Markov a Tempo Contnuo