1 Цепи Маркова.

Определение 1. (Xn ) образует Марковскую цепь, если прошлое и будущее независимы

при известном настоящем.
Переформулируем определение с помощью вероятностей. Пусть Н = {Xn = a}, П =
{Xn−k = bn−k , . . . , Xn−1 = bn−1 }, Б = {Xn+1 = cn+1 , . . . , Xn+l = cn+l }. Тогда P (П ∩ Б | Н) =
P (П | Н)P (Б | Н). Для удобства пусть P (Xn = a) ̸= 0 для ∀n, a.
(n) (n)
Обозначим за pa = P (Xn = a) и pab = P (Xn+1 = b | Xn = a).
Теорема 1. Для Марковской цепи верно следующее равенство P (Xm = am , ..., Xm+s =
(m) (m) (m+1) (m+s−1)
am+s ) = pam pam am+1 pam+1 am+2 . . . pam+s−1 am+s .
Доказательство. Рассмотрим вероятность перехода из состояния am в состояние am+1
(m)
за один шаг, т.е. pam am+1 . Аналогично продолжая рассуждения, вероятность перехода из со-
(m+s−1)
стояния am+s−1 в состояние am+s за один шаг будет равна pam+s−1 am+s .
Тогда вероятность перехода из состояния am в состояние am+s за s шагов, начиная с
момента времени m, будет равна произведению вероятностей перехода за каждый шаг:

P (Xm = am , ..., Xm+s = am+s ) = p(m) (m) (m+1) (m+s−1)

am pam am+1 pam+1 am+2 . . . pam+s−1 am+s

(n) (n) (n) (n)

Теорема 2. Если (Xn ) - Марковская цепь, а pa , pab определены, то pa ≥ 0, pab ≥ 0,
P (n) P (n) (n+1) P (n) (n)
a pa = 1, b pab = 1 и pb = a pa pab .
(n)
Доказательство. Для начала заметим, что по определению условной вероятности pab =
(n)
P (Xn+1 = b | Xn = a), поэтому очевидно, что pab ≥ 0 для ∀ a, b, n. Также заметим, что
(n)
pa = P (Xn = a) очевидно положительно.
P (n)
Докажем, что a pa = 1 для ∀n. Заметим, что
X
P (Xn = a) = P (Xn = a | Xn−1 = b)P (Xn−1 = b) =
b
X X
= P (Xn = a | Xn−1 = b) P (Xn−1 = b | Xn−2 = a)P (Xn−2 = a)
b a

. Так как (Xn ) является Марковской цепью, условная вероятность P (Xn = a | Xn−1 = b) не
зависит от Xn−2 , Xn−3 , . . . , X0 . Тогда по индукции
X X
p(n)
a = P (Xn = a) =
a a
X
= P (X0 = x0 )P (X1 = x1 | X0 = x0 ) · · · P (Xn = a | Xn−1 = xn−1 ) = 1
x0 ,x1 ,...,xn−1

Так как это сумма вероятностей всех возможных исходов.

1
 P (n)
Докажем, что b pab = 1.

X (n)
X X P (Xn+1 = xb , Xn = xa )
pab = P (Xn+1 = xb | Xn = xa ) = =
b b b
P (X n = xa )

1 X P (Xn = xa )
= P (Xn+1 = xb , Xn = xa ) = =1
P (Xn = xa ) b P (Xn = xa )

(n+1) P (n) (n)

Докажем, что pb = a pa pab .
(n+1) P
pb = P (Xn+1 = b) = a P (Xn = a)P (Xn+1 = b | Xn = a). А так как P (Xn+1 = b|Xn =
(n) (n+1) P (n) (n)
a) = pab . Подставляя это в предыдущее выражение, получаем: pb = a pa pab .

(n) (n)
Теорема 3. Если pa , pab удовлетворяют условиям из Теоремы 2, то если определить
случайный процесс по условию из Теоремы 1, то он будет Марковской цепью.
Доказательство. Нам нужно показать, что ∀a0 , a1 , . . . , an , b верно, что P (Xn+1 = b |
X0 = a0 , . . . , Xn = an ) = P (Xn+1 = b | Xn = an ).

P (Xn+1 = b | X0 = a0 , . . . , Xn = an ) =
(0) (0) (n−1) (n)
P (X0 = a0 , . . . , Xn = an , Xn+1 = b) pa0 pa0 a1 . . . pan−1 an pan b
= = (0) (0) (n−1)
P (X0 = a0 , . . . , Xn = an ) pa0 pa0 a1 . . . pan−1 an
(n)
Заметим, что все слагаемые в числителе и знаменателе кроме pan b взаимно сокращаются,
поэтому

P (X0 = a0 , . . . , Xn = an , Xn+1 = b) (n)

= pan b = P (Xn+1 = b | Xn = an ).
P (X0 = a0 , . . . , Xn = an )

(n)
Определение 2. Марковская цепь называется стационарной, если pab = pab ∀n.
Определение 3. Матрицей перехода для Марковской цепи называется квадратная
(n)
матрица П = (pab )n×n . Причем p(n) = (pa ), являющейся строкой.
Замечание. p(n+1) = p(n) П(n) = p(n) П.
Определение 4. p∗ ∈ ∆ называется стационарным распределением для П, если
p∗ П = p∗ . Причем ∆d−1 = {(xj )d j=1 | dj=1 xj = 1, xj ≥ 0}.
P

Определение 5. Матрица П = (pab )n×n называется стохастической, если pab ≥ 0,

P
b pab = 1.

Теорема 4. ∀П - стохастическая, тогда ∃p∗ - стационарное распределение.

Доказательство. Пусть F : ∆d−1 → ∆d−1 такое, что F (x) = xП = y. Тогда F непрерыв-
ная, поэтому по теореме Брауэра ∃p∗ ∈ ∆ F (p∗ ) = p∗ , т.е. p∗ П = p∗ .

2
Нужно показать, что координаты получившегося вектора неотрицательны и что сумма ко-
(n)
ординат осталась равна 1. Первое очевидно, так как pab ≥ 0. Второе верно, так как:
 
p11 p12 · · · p1n
 p21 p22 · · · p2n  
  
x1 x2 · · · xn  .  .. .. ..  = y1 y2 · · · yn

 .. . . . 
pn1 pn2 · · · pnn
Тогда yi = x1 pi1 + x2 pi2 + · · · + xn pin = ni=1 xi ( nj=1 pij ) = ni=1 xi = 1.
P P P

Теорема 5. Пусть дан ориентированный граф со следующими свойствами. Он разде-

лен на две компоненты: верхнюю и нижнюю. Из нижней компоненты не идут стрелочки в
верхнюю. И из любой вершены верхней компоненты можно пройти по пути в нижнюю компо-
ненту. Утверждается, что распределение вероятностей стремиться к нулю и экспоненциально
убывает.
Доказательство.
Определение 6. Ориентируемый граф сильно связан, если из любой вершины можно
попасть в любую другую.
Замечание. Граф сильно связен, если не удовлетворяет условиям из Теоремы 5.
Теорема 6. Если граф сильно связен, то стационарное распределение единственное.
Доказательство.

Теорема 7. Если граф сильно связан, и его нельзя разбить на кусочки (A-периодичность),
(n)
то существует сходимость pi .
Доказательство. (дописать)

Теорема 8. Если граф сильно связан, и его можно разбить на кусочки, то сходимости
(n)
pi не существует.
Доказательство. (дописать)