ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ РФ

ФГОУ ВПО «СИБИРСКИЙ ФЕДЕРАЛЬНЫЙ

УНИВЕРСИТЕТ»

Т. В. Крупкина

СЛУЧАЙНЫЕ ПРОЦЕССЫ

Часть 1

МАРКОВСКИЕ ЦЕПИ

β – версия

СФУ 2008
 1. Последовательности зависимых случайных
величин, образующих цепи Маркова

1. Последовательности зависимых случайных

величин, образующих цепи Маркова
План лекции: основные понятия, примеры цепей Маркова, пе-
реходы за k шагов, классификация состояний, существенные со-
стояния, классы состояний.

1.1. Основные понятия

Одним из наиболее важных обобщений последовательностей незави-

симых случайных величин являются последовательности случайных вели-
чин, связанных в цепь Маркова.
Определение 1.1. Пусть дана последовательность случайных вели-
чин {ξn }, определенных на одном вероятностном пространстве и
принимающих не более чем счетное множество значений. Последо-
вательность случайных величин {ξn } образует цепь Маркова (свя-
зана в цепь Маркова), если для любого n и любой последовательно-
сти значений {εi } имеет место равенство
P (ξn = εj /ξ0 = εi0 , . . . , ξn−2 = εin−2 , ξn−1 = εin−1 ) = P (ξn = εj /ξn−1 = εin−1 )
(марковское свойство). (1)
Случайную величину ξn можно интерпретировать как состояние цепи Мар-
кова на n-м шаге. Соответственно цепь Маркова можно представить как
некоторую систему с возможными состояниями {ε0 , ε1 , ε2 , . . . }, которая ме-
няет свое состояние в целочисленные моменты времени, новое состояние
определяется только предыдущим.
Пример 1.1. Состояние системы:
0 – не учится в колледже,
1 – учится на первом курсе,
2 – учится на втором курсе,
3 – закончил колледж.
Во многих задачах, связанных с изучением цепей Маркова, множе-
ство значений случайных величин (εi , i = 0, 1, . . . ) можно отождествить с
подмножеством множества натуральных чисел (номерами состояний цепи).
Пусть в результате эксперимента может наступить какое–либо из не бо-
лее чем счетного множества исходов (ε0 , ε1 , . . . ). Исход n–го эксперимента
обозначим Xn . Если в n-м испытании осуществится исход εj , будем запи-
сывать это так: Xn = j. Тогда определение (??) примет вид: последователь-
ность целочисленных случайных величин {Xn } образует цепь Маркова, ес-
ли
(n)
P (Xn = j/X0 = i0 , . . . , Xn−2 = in−2 , Xn−1 = i) = P (Xn = j/Xn−1 = i) = pij ,

2
 1. Последовательности зависимых случайных
величин, образующих цепи Маркова

(n)
то есть вероятность pij — это вероятность перехода из состояния с номе-
ром «i» в состояние с номером «j» на n-м шаге.
(n)
Определение 1.2. Матрица P (n) с элементами pij называется мат-
рицей вероятностей перехода на n-м шаге.
Итак, для цепи Маркова используются следующие интерпретации:
1) система с возможными состояниями;
2) последовательность зависимых случайных величин;
3) последовательность зависимых испытаний.
Покажем, что в цепи Маркова при фиксированном настоящем буду-
щее не зависит от прошлого.
Предположим, что время t дискретно и принимает значения t =
0, 1, 2, . . . , T , а число состояний равно r. Цепь Маркова описывается тра-
екторией X = (X0 , X1 . . . , XT ), где Xt = i, i = 1, . . . , r, если в момент
t система находится в состоянии i. Вероятностное пространство (Ω, F, P)
определяется пространством траекторий Ω, алгеброй F всевозможных под-
множеств Ω и вероятностью P, задаваемой элементарными вероятностями
P (X). События Ai (t) = {(X : Xt = i}, i = 1, . . . , r, при каждом t опреде-
ляют разбиение At , которое порождает алгебру событий At . В последова-
тельности испытаний зафиксируем какой-нибудь момент времени t. Алгеб-
ру событий At назовем настоящим, алгебру At−1 0 , порожденную алгебрами
A0 , A1 , . . . , At−1 , назовем прошлым, алгебру ATt+1 , порожденную алгебрами
At+1 , At+2 , . . . , AT , назовем будущим. Любые события из соответствующей
алгебры также будут называться настоящим, прошлым или будущим. Пусть
A ∈ At−1 T
0 , B ∈ At+1 . По определению,

P (B/A, At ) = P (B/At ).
Таким образом при фиксированном настоящем любые события из прошлого
и будущего независимы.
Определение 1.3. Марковская цепь {Xn } называется однородной,
(n) (n)
если вероятности pij не зависят от n. (pij — вероятность пере-
хода из εi в εj на n-м шаге.) В этом случае матрица P (n) = P и назы-
вается матрицей переходных вероятностей.
В матрице переходных вероятностей P любой элемент pij > 0, nj pij = 1
P
для любого i. Такие матрицы называются стохастическими.

1.2. Примеры цепей Маркова

Пример 1.2. (Блуждание с поглощением.) Рассмотрим блуждание

частицы по целым точкам отрезка [0, a], a > 1. Если 0 < k < a, то

3
 1. Последовательности зависимых случайных
величин, образующих цепи Маркова

из точки k с p = 1/2 можно перейти в (k − 1) или (k + 1). Если k = 0 или

k = a, то система остается в этом состоянии с вероятностью 1.

1 0 0 ··· 0

 1 0 1 · · · 0
 2 1
2 
P =  0 2 0 · · · 0


· · · · · · · · · · · · 
0 0 0 ··· 1

Пример 1.3. (Блуждание с отражением.) Рассмотрим блуждание

частицы по целым точкам отрезка [0, a], a > 1. Если 0 < k < a, то
из точки k с p = 1/2 можно перейти в (k − 1) или (k + 1). Из точки
k = 0 система с p = 1 переходит в точку a, а из точки k = a с p = 1 в
точку 0. 
0 0 0 ··· 1

 1 0 1 ··· 0 
 2 1
2 
P =  0 2 0 ··· 0 


· · · · · · · · · · · · · · · 
1 0 0 ··· 0

Пример 1.4. (По условиям примера ??.) Пусть студента в конце года
могут: исключить с вероятностью r, оставить на второй год с ве-
роятностью s, перевести на следующий курс с вероятностью p; ве-
роятность поступления q, вероятность выпуска p. Тогда матрица
переходных вероятностей имеет вид
 
1−q q 0 0
 r s p 0
P = 
r 0 s p
0 0 0 1

Пример 1.5. (Задача о наилучшем выборе.) Предположим, имеется

совокупность из m предметов, и задача состоит в том, чтобы вы-
брать наилучший. Но, осмотрев и отвергнув неподходящий пред-
мет, к нему нельзя больше возвращаться (ситуация «разборчивой
невесты»). Будем фиксировать номера предметов, которые лучше
всех осмотренных ранее. Получим цепочку номеров, например, та-
кую:
+ − − + − + − − − + − − + − − − −
1 2 3 4 5 6 7 8 9 ... ... ... ... ... ... ... ...
Введём состояние εi , которое означает, что i-й по счёту предмет
лучше всех предыдущих. Состояние εm+1 означает, что найден луч-

4
 1. Последовательности зависимых случайных
величин, образующих цепи Маркова

ший среди всех предмет. В рассмотренном примере последователь-

ность состояний:
ε1 → ε4 → ε6 → ε10 → ε13 .
Найдём pij . Очевидно, pij = 0 при i > j, pm+1,m+1 = 1. Надо найти pij
при i < j 6 m.
P(εi , εj )
P(εj /εi ) =
P(εi )
 
число цепочек из i элементов, на конце которых стоит наилучший элемент 1
P(εi ) = = .
число всех цепочек i

(j − 2)! 1
P(εi , εj ) = (два элемента фиксированы) = = .
j! j(j − 1)
i
P(εj /εi ) = , i < j 6 m.
j(j − 1)
P(εm+1 , εi ) 1/m i
P(εm+1 /εj ) = = = .
P(εj ) 1/i m

Рассчитаем вероятности для m = 3.

1 1 1 1 1
p12 = = , p13 = = , p14 = ,
2(2 − 1) 2 3·2 6 3
2 1 1 3
p23 == , p24 = , p34 = = 1.
3 · 2 13 13 3
Вероятности переходов задаются таблицей:
 
Состояния 1 2 3 4

 1 0 12 16 13 

1 2 

 2 0 0 3 3 
 3 0 0 0 1
4 0 0 0 1

1.3. Переходы за k шагов

Рассмотрим изменение состояния системы за k шагов. Введем обо-

значение
pij (k) = P(xk = j/x0 = i).
При k > 1 по формуле полной вероятности получаем
X X
pij (k) = P(xk−1 = s/x0 = i)psj = pis (k − 1)psj . (2)
s s

5
 1. Последовательности зависимых случайных
величин, образующих цепи Маркова

Рассмотрим матрицу P (k) = (pij (k)). Тогда равенство (??) можно записать
как

P (k) = P (k − 1) · P. Отсюда P (2) = P 2 , . . . , P (3) = P 3 , . . . , P (k) = P k .

Пример 1.6. Рассмотрим последовательность независимых одина-

ково распределенных случайных величин, принимающих значения
x1 , . . . , xn с вероятностями соответственно p1 , . . . , pn . Они образуют
цепь Маркова. При этом
   
p1 p2 . . . pn p1 p2 . . . pn
 p1 p2 . . . pn   p1 p2 . . . pn 
P2 = 
. . . . . . . . . . . . · . . . . . . . . . . . .
  

p1 p2 . . . pn p1 p2 . . . pn
 P P P   
p1 P pi p2 P pi . . . pn P pi p1 p2 . . . pn
p1 pi p2 pi . . . pn pi  P pi =1  p1 p2 . . . pn 
=  ...
 = 
. . . . . . . . . . . . = P.

P .P. . . . . .
P . . 
p1 pi p2 pi . . . pn pi p1 p2 . . . pn

Очевидно, и P k = P , то есть матрица переходных вероятностей за

k шагов совпадает с матрицей P .

1.4. Существенные состояния

Определение 1.4. Состояние εi называется несущественным, если

существует такое состояние εj и целое число t0 > 0, что pij (t0 ) > 0
и pji (t) = 0 для любого целого t. В противном случае εi называется
существенным состоянием.

Определение 1.5. Существенные состояния εi и εj называются сооб-

щающимися, если существуют такие целые числа t > 0 и s > 0, что
pij (t) > 0 и pji (s) > 0.

Пример 1.7.  
0 1/2 1/2 0
1/2 0 0 1/2
P =
 0

0 1/2 1/2
0 0 1/2 1/2
Состояние ε1 — несущественное, так как из ε1 можно попасть в ε3 ,
а из ε3 уже только в ε3 , ε4 . Состояние ε2 — несущественное, так как
p24 > 0, p42 (t) = 0. Состояния ε3 и ε4 — существенные и сообщающие-
ся, так как p34 = p43 > 0.

6
 1. Последовательности зависимых случайных
величин, образующих цепи Маркова

1.5. Классы состояний

Рассмотрим некоторую однородную цепь Маркова. Выделим класс S 0

всех несущественных состояний. Пусть теперь εi — какое-либо существен-
ное состояние. Обозначим S i класс состояний, включающий εi и все состо-
яния, с ним сообщающиеся. Если εj ∈ Si , то εj существенно сообщается с
εi , то есть εi ∈ Sj , следовательно Si = Sj , таким образом, всё множество
существенных состояний разбивается на непересекающиеся классы сооб-
щающихся состояний S 1 , S 2 , . . . . Если система попала в состояние из клас-
са S i , то она уже не выйдет из этого класса. Если класс S i состоит из одного
состояния εi , то это состояние называется поглощающим. Это определение
можно было дать и в другом виде:
Определение 1.6. Существенные несообщающиеся состояния назы-
ваются поглощающими.
Определение 1.7. Цепь Маркова, состоящая из одного класса суще-
ственных сообщающихся состояний, называется неразложимой.
Если цепь содержит более одного класса, то она называется разло-
жимой.
В разложимой цепи можно перенумеровать состояния так, чтобы сначала
шли состояния из S 0 , затем из S 1 , и т.д. Тогда матрица перехода вероятно-
стей P будет иметь вид:
S0 S1 S2 S3 ...
S 0 [/] [/] [/] [/] [/]
1
S [0] [///] [0] [0] [0]
2
S [0] [0] [///] [0] [0]
. . . [0] [0] [0] [///] [0]
здесь [///] — стохастические подматрицы, [0] — содержат только 0.

1.6. Контрольные вопросы

1. Дайте определение цепи Маркова.

2. Сформулируйте «марковское свойство».
3. Какая матрица называется стохастической?
4. Приведите различные интерпретации цепи Маркова.
5. Дайте определение существенного состояния.
6. Дайте определение несущественного состояния.

7
 1. Последовательности зависимых случайных
величин, образующих цепи Маркова

7. Дайте определение сообщающихся состояний.

8. Дайте определение несообщающихся состояний.
9. Дайте определение неразложимой цепи.
10. Дайте определение поглощающего состояния.

8
 2. Классификация состояний в неразложимой цепи Маркова

2. Классификация состояний в неразложимой цепи

Маркова
План лекции: возвратные, нулевые, периодические состояния,
возвращение в состояние, симметричное случайное блуждание,
теорема солидарности.

2.1. Возвратные, нулевые, периодические состояния

Введём обозначения: fj (n) = P(Xn = j, Xn−1 6= j, . . . , X1 6= j/X0 =

j). (Условная вероятность fj (n) есть вероятность того, что система, выйдя
из j-го состояния, впервые вернётся в него через n шагов).
X∞
Fj = fj (n).
n=1
(Fj есть вероятность того, что система, выйдя из j-го состояния, вновь
когда-нибудь в него вернётся).
Определение 2.1. Состояние εj называется возвратным, если Fj =
1, и невозвратным, если Fj < 1.
Определение 2.2. Состояние εj называется нулевым, если pjj −→ 0,
n→∞
и ненулевым, если pjj 9 0 при n → ∞.
Определение 2.3. Состояние εj называется периодическим с перио-
дом dj , если возвращение в εj возможно только за число шагов, крат-
ное dj > 1 и dj есть наибольшее число, обладающее этим свойством.
Другими словами, dj = НОД(n | pjj (n) > 0). В противном случае со-
стояние называется апериодическим.
Замечание. Если n 6= 0(mod dj ), то pjj (n) = 0 и fj (n) = 0.
Пример 2.1. Блуждание по одномерной целочисленной решётке. Точ-
ка движется по целым точкам прямой и за один шаг может равнове-
роятно или сместиться на единицу вправо, или остаться на месте.
1 1 1
pj,j+1 = ; pj,j = ; fj (1) = P(X1 = j/X0 = j) = ;
2 2 2
fj (2) = P(X2 = j, X1 6= j/X0 = j) = 0.
1
P
Для n > 2 также fj (n) = 0. Таким образом, Fj = n fj (n) = 2 < 1,
n
значит все состояния невозвратные, pjj (n) = 12 −→ 0, то есть все


n→∞
состояния нулевые.
Пример 2.2. Пусть pj,j+1 = 21 ; pj,j−1 = 21 (точка движется или влево,
или вправо на единицу). pjj (2k + 1) = 0, значит, цепь периодична с
периодом dj = 2.

9
 2. Классификация состояний в неразложимой цепи Маркова

2.2. Возвращения в состояние

Рассмотрим производящую функцию числовой последовательности

{an }, n = 0, 1, . . .
∞
X
a(z) = an z n , z — комплексное, |z| < 1.
n=0

Если |an | < c,

Pто a(z) сходится и является аналитической функцией. Обо-
∞
значим Pj = n=0 pjj .

Теорема 2.1. Состояние εj возвратно тогда и только тогда, когда

P
Pj = ∞. Если состояние εj невозвратно, то Fj = 1+Pj j .
P∞
Доказательство. Напомним, что Fj = n=1 fj (n). По формуле полной ве-
роятности

pjj (n) = fj (1)pjj (n − 1) + fj (2)pjj (n − 2) + . . . + fj (n)pjj (0). (3)

Рассмотрим производящие функции последовательностей {pjj (n)} и

{fj (n)}:
∞
X ∞
X
n
Pj (z) = pjj (n)z и Fj (z) = fj (n)z n .
n=1 n=1
Коэффициенты pjj и fj — вероятности, следовательно, ограничены, значит,
оба ряда сходятся. Умножим
P∞ (??) на z n и просуммируем по n от 0 до ∞,
полученную функцию n=1 pjj (n)z n обозначим Pj (z).

pjj (1) = fj (1) ·z

pjj (2) = fj (1)pjj (1) + fj (2) ·z 2 +
pjj (3) = fj (1)pjj (2) + fj (2)pjj (1) + fj (3) ·z 3
... ...
∞
pjj (n)z n = fj (1)z(1 + zpjj (1) + z 2 pjj (2) + . . . )
P
Pj (z) =
n=1
+fj (2)z 2 (1 + pjj (1)z + . . . ) + . . .
∞
= (fj (1)z + fj (2)z 2 + · · · + fj (n)z n + . . . )(1 + pjj (n)z n )
P
n=1
∞ ∞
fj (n)z n · (1 + pjj (n)z n ) = Fj (z) · (1 + Pj (z)),
P P
=
n=1 n=1

таким образом Pj (z) = Fj (z)(1 + Pj (z)). Отсюда

Pj (z) Fj (z)
Fj (z) = ; Pj (z) = ; Pj = lim Pj (z); Fj = lim Fj (z).
1 + Pj (z) 1 − Fj (z) z↑1 z↑1

10
 2. Классификация состояний в неразложимой цепи Маркова

Пусть Fj = 1. Тогда Fj (z) ↑ 1 =⇒ Pj (z) → ∞ и Pj = ∞. Пусть Pj = ∞.

Pj
Тогда Pj (z) ↑ ∞ и Fj (z) → 1 => Fj = 1. Если же Fj < 1, то Fj = . 
1 + Pj
P
Замечание. Pj = pjj можно рассматривать как среднее число попаданий
в состояние εj .
∞
X ∞
X
pjj (n) = pjj (n)Ij (n). (Ij (n) — единичная функция).
n=1 n=1

Следствие 2.1. Невозвратное состояние всегда является нулевым.

Доказательство. Состояние является
P невозвратным тогда и только тогда,
когда Pj < ∞. Поскольку Pj = pjj (n) < ∞, общий член ряда pjj −→ 0,
n→∞
т.е. невозвратное состояние является нулевым, ненулевое состояние явля-
ется возвратным. 
Таким образом, можно классифицировать состояния следующим об-
разом.
Классификация по асимптотическим свойствам вероятностей
pjj (n):
а) невозвратные,
б) возвратные нулевые,
в) ненулевые.
Классификация по арифметическим свойствам вероятностей pjj (n):
а) периодические,
б) апериодические.

2.3. Симметричное случайное блуждание

Пример 2.3. Рассмотрим одномерное случайное блуждание по цело-

p q
численной решетке (−→ ←−). Симметричное одномерное случайное
блуждание (p = q = 1/2) возвратно.
Доказательство.
(2n)! n n
p00 (2n + 1) = 0, p00 (2n) = p q , n = 0, 2, . . .
n!n!
√
n −n 2πn
По формуле Стирлинга n! ≈ n e ,
p
(2n)2n e−2n 2π2np2n q 2n 4n n n 1
p00 (2n) = √ = √ p q 6√ .
nn nn e−2n 2πn2πn πn πn
X 1
1
Состояние возвратно при p = q = 2 , так как √ = ∞. 
πn

11
 2. Классификация состояний в неразложимой цепи Маркова

Пример 2.4. Рассмотрим двумерное случайное блуждание по цело-

численной решетке на плоскости. Симметричное двумерное случай-
ное блуждание возвратно.

Доказательство. Рассмотрим все траектории: из 0 в 0, состоящие из i пе-

ремещений вправо, i влево, j вверх и j вниз, 2i + 2j = 2n. Вероятность за
один шаг переместиться в любом из четырех направлений равна 14 .
i+j=n  2n
X (2n)! 1
p00 (2n) = , n = 1, 2, 3, . . . ; p00 (2n + 1) = 0, n = 0, 1, . . .
i,j
i!i!j!j! 4
(4)
2
Умножим числитель и знаменатель в (??) на (n!) , получим
 2n n
1 n
X
p00 (2n) = C2n (Cni )2 ,
4 i=0

но ni=0 (Cni )2 = C2n n

P
; докажем это.
Рассмотрим равенство P (1 + x)2n = (1 + x)n (1 + x)n и приравняем ко-
n
эффициенты при xn : C2n n
= k=0 Cnk Cnn−k , но Cnk = Cnn−k . Таким образом,

2n n 2 √
p00 (2n) = 14 (C2n ) и по формуле Стирлинга (n! ≈ nn e−n 2πn)
 2n √
1 ((2n)2n e−2n 2π2n)2 4πn 1
p00 (2n) ≈ √ = = ,
4 (nn e−n 2πn)4 (2πn)2 πn
P
p00 (2n) = ∞, состояние возвратно. 

Пример 2.5. Симметричное случайное блуждание по трём измерени-

ям невозвратно.

Доказательство. Для n = 0, 1, . . .
 2n
X (2n)! 1
p00 (2n + 1) = 0, p00 (2n) = ,
i!i!j!j!(n − i − j)!(n − i − j)! 6
Умножим числитель и знаменатель на (n!)2 , получим:
 2  n
1 n X n! 1
p00 (2n) = 2n C2n .
2 i!j!(n − i − j)! 3
 n
n! Cn n 1
Если max 6 Cn , то p00 (2n) 6 2n C2n . Мы использо-
i!j!(n − i − j)! 2 3
вали то, что
 n X  i  j  n−i−j
X n! 1 n! 1 1 1
= = 1.
i!j!(n − i − j)! 3 i!j!(n − i − j)! 3 3 3
12
 2. Классификация состояний в неразложимой цепи Маркова

n
Max Cn достигается (при больших n) при i = j ∼ , тогда
3
n! (2n)!
C n ∼  
2 , p00 (2n) 6  
2 .
n
3 ! n!22n n3 ! 3n
Применим,
  как выше, формулу Стирлинга, и получим, что p00 (2n) ∼
1 P
O 3 . Тогда p00 (2n) < ∞, значит состояние невозвратное. 
n2

Теорема 2.2. Симметричное случайное блуждание возвратно в про-

странствах одного и двух измерений и невозвратно в пространстве
трёх и более измерений.

Доказательство.

Лемма 2.1. Одномерное случайное блуждание образует возвратную

цепь Маркова тогда и только тогда, когда p = q = 1/2.

Доказательство. В примере 1 были получены вероятности

4n pn q n
p00 (2n + 1) = 0, p00 (2n) = √ .
πn
Тогда при p = q = 1/2
1 X
p00 (2n) = √ , p00 (2n) < ∞.
πn n
P αn
При p 6= q, n p00 (2n) < ∞, т.к. (4pq)n = αn , α < 1, а ряд
P
√
πn
< ∞ по
признаку Даламбера. 
Для одномерного случая (k = 1) утверждение теоремы доказано в
лемме. Рассмотрим теперь двумерный случай (k = 2). Блуждание можно
представить в виде суммы двух независимых компонент: x(n) = (X1 (n), 0)+
(0, X2 (n)), где Xi (n)- одномерные последовательности. Тогда X(n + 1) =
X(n) + Ξn , где Ξn принимает четыре значения: (±1, ±1).

p00 (2n) = P (X(2n) = (0, 0)/X(0) = (0, 0)) =

P (X1 (2n) = 0/X1 (0) = 0) · P (X2 (2n) = 0/X2 (0) = 0)
1 1 1 X 1
=√ √ = =⇒ = ∞,
πn πn πn πn
— состояние возвратно.
 
1 P
При k = 3: p00 (2n) = O , n p00 (2n) < ∞, состояние невозвратно.
(πn)3/2
13
 2. Классификация состояний в неразложимой цепи Маркова

 
1 P
При k > 3: p00 (2n) = O , n p00 (2n) < ∞, состояние невозвратно.
(πn)k/2
Несимметричное случайное блуждание (при p 6= q) невозвратно для любого
n n
P
k (так как (4pq) = α , α < 1, n p00 (2n) < ∞). 

2.4. Теорема солидарности

Теорема 2.3. В неразложимой марковской цепи все состояния при-

надлежат одному типу: если хоть одно возвратно, то и все воз-
вратны; если хоть одно нулевое, то и все нулевые; если хоть одно пе-
риодическое с периодом d, то и все периодичны с периодом d.

Доказательство. Пусть εk , δj — два разных состояния и пусть существуют

такие числа s, t, что pkj (s) > 0, pjk (t) > 0. По формуле полной вероятности
X
pkk (s + t + n) = pkk (s + n + t) = pkl (s)plu (n)puk (t)
l,u
=⇒ pkk (s + t + n) > pkj (s)pjj (n)pjk (t) (5)

Аналогично,

pjj (s + t + n) = pjj (t + n + s) > pjk (t)pkk (n)pkj (s). (6)

Обозначим pkj (s) = A, pjk (t) = B. Тогда

pkk (s + t + n) > ABpjj (n) (7)

pjj (t + n + s) > ABpkk (n) (8)
1
pjj (n) 6 pkk (s + t + n). (9)
AB
Обозначим s + t + n = u, тогда n = u − s − t.

pjj (u) > ABpkk (u − s − t) (10)

Равенство (??) справедливо для любых u, не меньших n, поэтому справед-

ливо и для n:
pjj (n) > ABpkk (n − s − t) (11)
Объединим (??) и (??):
1
ABpkk (n − s − t) 6 pjj (n) 6 pkk (n + s + t).
AB
Пусть εk — нулевое, тогда pkk (n) −→ 0, но тогда и pjj (n) −→ 0, следова-
n→∞ n→∞
тельно, δj — нулевое.

14
 2. Классификация состояний в неразложимой цепи Маркова

P∞
Пусть εk — возвратное, т.е. n=1 pkk (n) = ∞. Тогда
∞
X ∞
X
pjj (n) > AB pkk (n − s − t)
n=s+t+1 n=s+t+1
∞
X X∞
pkk (n − s − t) = pkk (u) = ∞
n=s+t+1 u=1
∞
X ∞
X
=⇒ pjj (n) = ∞ =⇒ pjj (n) = ∞ =⇒ δj — возвратное.
n=s+t+1 n=1

Пусть εk — периодическое состояние с периодом dk , т.е. pkk (u) > 0,

следовательно, существует такое b, что u = bdk .

pkk (t + s) > pkj (s)pjk (t) = AB > 0 =⇒ t + s = adk .

Рассмотрим δj . Если для некоторого n pjj (n) > 0, то pkk (n + t + s) > 0 =⇒

n + t + s = cdk . n + adk = cdk =⇒ n = (c − a)dk , значит цепь периодическая
с периодом dj , где dj > dk . Аналогично можно показать, что dk > dj , то есть
dk = dj . 
Если состояния цепи Маркова периодичны с периодом d > 1, то цепь
называется периодической, в противном случае — апериодической.
Следствие. Если хотя бы одно из состояний неразложимой цепи
Маркова является апериодическим, то цепь Маркова — апериодическая.
Изучение периодических цепей в значительной мере может быть све-
дено к изучению апериодических.

Теорема 2.4. Если цепь Маркова периодическая с периодом d, то мно-

жество состояний разбивается на d подклассов ψ0 , ψ1 , . . . , ψd−1 та-
ких, что с вероятностью 1 за один шаг система переходит из класса
ψn в ψn+1 , из класса ψd−1 система переходит в ψ0 .

Доказательство. Выберем любое состояние, например ε1 . Построим с по-

мощью этого состояния подклассы ψ0 , ψ1 , . . . , ψd − 1 следующим образом:
εi ∈ ψα , 0 6 α 6 d − 1, если существует целое число k > 0 такое, что
p1i (kd + a) > 0. Покажем, что никакое состояние не может принадлежать
сразу двум подклассам. Для этого достаточно доказать, что если εi ∈ ψα и
для некоторого s p1i (s) > 0, то s = α (mod d). Действительно, существует
t1 > 0 такое, что pi1 (t1 ) > 0. Тогда p11 (kd + α + t1 ) > p1i (kd + α)pi1 (t1 ) > 0.
Кроме этого, p11 (s + t1 ) > p1i (s)pi1 (t1 ) > 0. Значит,

kd + α + t1 = ad, s + t1 = bd
=⇒ kd + α + bd − s = ad, α = s + d(a − b − k) =⇒ α ≡ s (mod d).

15
 2. Классификация состояний в неразложимой цепи Маркова

Поскольку из состояния
S ε1 можно с положительной вероятностью попасть
в любое εi , то α ψα содержит все множество состояний. Докажем те-
перь, что система из ψα за один шаг с вероятностью 1 переходит в ψα+1
(α +P1 понимается по модулю d). Для этого надо показать, что для εi ∈
ψα , εj ∈ψα+1 pij = 1. Достаточно получить, что pij = 0, если εi ∈ ψα ,
εj ∈
/ ψα+1 . От противного, пусть εi ∈ ψα , εj ∈
/ ψα+1 , pij > 0. Тогда

p1j (kd + α + 1) > p1i (kd + α)pij (1) > 0,

так как pij (1) = pij , но тогда εj ∈ ψα+1 — противоречие. 

Из теоремы видно, что матрица периодической цепи будет иметь вид
 
0 /// 0 0
 0 0 /// 0 
 
 0 0 0 ///
/// 0 0 0
где отличны от 0 лишь элементы заштрихованных клеток.
Из периодической цепи Маркова с периодом d можно образовать d
новых цепей Маркова. Состояниями α-й цепи будут состояния из подкласса
задаются равенствами pαij = pij (d). В силу только
ψα . Вероятности переходаP
что доказанной теоремы εj ∈ψα+1 pij = 1. Новая цепь уже не будет иметь
подклассов.

2.5. Контрольные вопросы

1. Дайте определение нулевого состояния.

2. Дайте определение периодического состояния.
3. Дайте определение апериодического состояния.
4. Дайте определение периодической цепи.
5. Дайте определение апериодической цепи.
6. Дайте определение возвратного состояния.
7. Приведите критерий возвратности состояния.
8. Приведите классификацию состояний по асимптотическим
свойствам.
9. Приведите классификацию состояний по арифметическим свой-
ствам.

16
 3. Эргодичность и стационарные распределения

10. Сформулируйте теорему солидарности.

11. Может ли возвратное состояние быть ненулевым?
12. Может ли невозвратное состояние быть нулевым?
13. Сформулируйте теорему о симметричном случайном блужда-
нии.

3. Эргодичность и стационарные распределения

План лекции: эргодические состояния и стационарные распре-
деления, эргодическая теорема, алгебраический метод нахожде-
ния стационарного распределения.

3.1. Эргодические состояния

Определение 3.1. Состояние εj , для которого существует

lim pij (n) > 0, не зависящий от i, называется эргодическим.
n→∞

Смысл эргодичности: существуют вероятности попадания системы в

состояние ξj через большой промежуток времени, причем они не зависят от
начального состояния системы. Фактически это означает, что вероятности
состояний по мере увеличения со временем практически перестают изме-
няться, а система, описываемая соответствующей цепью, переходит в ста-
ционарный режим функционирования.

Определение 3.2. Цепь Маркова называется эргодической, если для

любых i, j существует lim pij (n) = Uj > 0 (то есть все состояния
n→∞
эргодические).

Определение 3.3. Распределение вероятностей {ak } называется

стационарным распределением
P цепи Маркова, если для любого n
справедливо: aj = ai pij (n).
i

Пример 3.1. Пусть дана однородная цепь

 Маркова с матрицей пе-
1/2 1/2
реходных вероятностей P = . Стационарным распреде-
1 0
лением
P для неё является (a1 , a2 ) = (2/3, 1/3). Проверим, что aj =
ai pij (1).
i
 
1/2 1/2
(2/3, 1/3) · = (2/3 · 1/2 + 1/3 · 1, 2/3 · 1/2 + 1/3 · 0) = (2/3, 1/3).
1 0

17
 3. Эргодичность и стационарные распределения

Это верно и для n = 2, 3, 4:

 2      
1/2 1/2 1/2 1/2 1/2 1/2 3/4 1/4
P2 = = · = .
1 0 1 0 1 0 1/2 1/2
 
3/4 1/4
(2/3, 1/3) · = (2/3, 1/3);
1/2 1/2
 3      
1/2 1/2 3/4 1/4 1/2 1/2 5/8 3/8
P3 = = · = ;
1 0 1/2 1/2 1 0 3/4 1/4
 
5/8 3/8
(2/3, 1/3) · = (2/3, 1/3).
3/4 1/4
n
Замечание
 n3.1. Можно найти общий вид матрицы P (n) = P =
1/2 1/2
и непосредственно убедиться в стационарности рас-
1 0
пределения, а также найти пределы элементов матрицы P n и убе-
диться, что lim pj1 (n) = 2/3, lim pj2 (n) = 1/3.
n→∞ n→∞

Замечание
P 3.2. Если для однородной цепи Маркова справедливо: aj =
ai pij , то {ak } — стационарное распределение.
i

Пример 3.2. Пусть дана однородная эргодическая

 цепь
 Маркова с
1/3 2/3
матрицей переходных вероятностей P = . Найти ста-
1/4 3/4
ционарное распределение.
J Ищем решение уравнения (a1 , a2 ) · P = (a1 , a2 ).
 
1/3 2/3
(a1 , a2 ) · = (a1 , a2 ),
1/4 3/4
1/3a1 + 1/4a2 = a1 , 2/3a1 + 3/4a2 = a2 , а также a1 + a2 = 1. Решая систему,
находим: a1 = 3/11, a2 = 8/11. I
Выясним общие условия существования стационарного распределе-
ния.
Теорема 3.1. Неразложимая апериодическая цепь Маркова принад-
лежит одному из следующих классов:
а) или все состояния невозвратные, или все нулевые. В этом слу-
чае для любых j, k pjk (n) −→ 0 и не существует стационарного рас-
n→∞
пределения;
б) или все состояния эргодические, то есть lim pjk (n) = Uk > 0.
n→∞
В этом случае {Uk } — стационарное распределение, и не существует
никаких других стационарных распределений.

18
 3. Эргодичность и стационарные распределения

N
P
Доказательство. Рассмотрим случай б). Заметим, что Uk 6 1, так как
P k=1
для любого n справедливо: pjk (n) = 1, поэтому «обрезанная» сумма не
k
превышает 1, и это верно и в пределе. Так как lim pjk (n) = Uk , для любого
n→∞
N получаем, что U1 + · · · + UN 6 1. Далее, для любых j, k, m, n справедливо:
X
pjk (m + n) = pjν (m)pνk (n).
ν
P
Положим n = 1: pjk (m + 1) = pjν (m)pνk . Если мы сужаем множество
ν
индексов в правой части, то справедливо неравенство:
X X
pjk (m + 1) = pjν (m)pνk > pjν (m)pνk ,
ν ν∈A

где A = 1, 2, . . . , N . Пусть теперь m → ∞. По теореме о мажорируемой

сходимости можно переходить к пределу. Поскольку
lim pjk (n) = Uk , lim pjν (n) = Uν ,
n→∞ n→∞
P
то Uk > Uν pνk , что верно для любого A, то есть для любого N , и в пределе
ν∈A P
при N → ∞ получим Uk > Uν pνk . Докажем, что имеет место равенство.
ν P
Если для каких-то k справедливо: Uk > Uν pνk , то, просуммировав по k
P ν
P
обе части неравенства, получим: Uk > Uν , однако они равны, так как
k ν
состоят из одних и тех же слагаемых. Таким образом,
X
Uk = Uj pjk . (12)
j

Следовательно, {Uk } — стационарное распределение.

P Докажем единствен-
ность. Пусть {Vk } удовлетворяет (??), Vk = Vi pik . Умножим на pkj =
i
pkj (1): X
Vk pkj = Vi pik pkj ,
i
и просуммируем по k:
X X X
Vk pkj = Vi pik pkj .
k i k
P P P
Но Vk pkj = Vj , a pik pkj = pij (2). Получили: Vj = Vi pij (2). Опять
k k i
умножим обе части на pjk = pjk (1):
X
Vj pjk = Vi pij (2)pjk ,
i

19
 3. Эргодичность и стационарные распределения

и просуммируем по j:
X X X X
Vj pjk = Vi pij (2)pjk , Vk = Vi pik (3), (13)
j i j i
P
и так далее по индукции. Пусть Vk = Vi pik (n − 1), покажем, что Vk =
P i
Vi pik (n).
i X
Vk pkj (n) = Vi pik (n − 1)pkj ,
i
P
просуммируем по k: Vj = Vi pij (n) для любого n. Заменим индекс j на k,
i
получим: X
Vk = Vi pik (n).
i
Пусть n → ∞; с учетом того, что lim pik (n) = Uk , в пределе получаем
n→∞
Vk = (V1 +. . . )·Uk = Uk (так как сумма вероятностей стационарного распре-
деления равна единице). Таким образом, стационарное распределение {Vk }
совпадает с {Uk }, то есть стационарное распределение единственно. В слу-
чае а), если все состояния или невозвратные, или нулевые, предположим,
что распределение {V Pk } стационарно. Тогда, как показано выше, имеет ме-
сто уравнение Vk = i Vi pik (n). Но pik (n) −→ 0 — противоречие. Поэтому
n→∞
стационарное распределение для неприводимой цепи может существовать
только в эргодическом случае. 

Замечание 3.3. Поскольку показано, что lim pij (n) > 0, не зависящий
n→∞
от i, существует для любого возвратного состояния εj , не являюще-
гося ни нулевым, ни периодическим, то термин «эргодическое состо-
яние» — это синоним для «возвратное, не нулевое, не периодическое
состояние»

3.2. Эргодическая теорема

Теорема 3.2 (критерий эргодичности). 1 Пусть ξ — марковская цепь,

{pij } — переходные вероятности. Для того чтобы для всех i, j суще-
ствовали не зависящие от i пределы

lim pij (n) = Pj > 0, (14)

n→∞

необходимо и достаточно выполнение двух условий:

1) цепь неразложима и непериодична;
1
Данный критерий эргодичности и носит название «Эргодическая теорема».

20
 3. Эргодичность и стационарные распределения

2) существует состояние ε0 такое, что время ξ возвращения в

ε0 имеет конечное математическое ожидание. Числа {Pj } являются
решением (единственным) системы уравнений:

= ∞
 P
PjP k Pk pkj , j = 0, 1, . . .
∞
j Pj = 1.

Замечание 3.4. Числа Pj называются предельными (или финальны-

ми) вероятностями. Если они существуют, цепь, как известно, на-
зывается эргодической. Набор {Pj } задает стационарное распреде-
ление.

Замечание 3.5. Таким образом, при выполнении условий 1), 2) цепь яв-
ляется эргодической, то есть существуют вероятности попадания
системы в состояние εj через большой промежуток времени, причем
они не зависят от начального состояния системы.

Замечание 3.6. Для эргодической цепи предельные вероятности сов-

падают со стационарным распределением.

Применим эргодическую теорему к конечным цепям Маркова.

Теорема 3.3. Неразложимая и апериодическая цепь Маркова с конеч-
ным числом состояний эргодична.
Доказательство. Рассмотрим цепь Маркова с конечным числом состоя-
ний. Если она является неразложимой и непериодической, то она эргодич-
на, поскольку условие 2) эргодической теоремы: «существует состояние ε0
такое, что время ξ возвращения в ε0 имеет конечное математическое ожи-
дание» всегда выполнено. Для доказательства этого факта достаточно по-
казать, что существуют постоянные c > 0 и q < 1 такие, что для времени
возвращения в любое фиксированное состояние справедливы неравенства

P(ξ > n) < cq n .


Приведем без доказательства еще одно часто применяемое достаточ-
ное условие эргодичности.
Теорема 3.4 (эргодическая теорема Маркова). Для эргодичности од-
нородной цепи Маркова с матрицей переходных вероятностей P до-
статочно, чтобы существовало n ∈ N, при котором все элементы
матрицы P n строго положительны.

21
 3. Эргодичность и стационарные распределения

3.3. Алгебраический метод нахождения стационарного распре-

деления

Поскольку для эргодической цепи предельные вероятности совпада-

ют со стационарным распределением, важно уметь находить стационарные
распределения. Рассмотрим конечную цепь Маркова с n состояниями, и
пусть P — матрица переходных вероятностей, а E — единичная матрица
размерности n.
Определение 3.4. Матрица λE − P называется характеристиче-
ской матрицей данной цепи Маркова, а корни уравнения det(λE −
P ) = |λE − P | = 0 называются характеристическими числами
матрицы .
Из теории решения систем линейных уравнений известно, что для сто-
хастической матрицы одно из характеристических чисел всегда равно 1, а
остальные по модулю не превосходят 1. Если цепь Маркова эргодична (су-
ществуют пределы элементов), то все остальные характеристические числа
по модулю строго меньше 1. Главные миноры Pjj матрицы λE − P при λ = 1
строго положительны. Тогда предельные вероятности вычисляются по фор-
мулам:
Pjj (1)
Pj = P
n .
Pll (1)
l=1

Пример 3.3.  
0, 7 0, 3
P = .
0, 4 0, 6
J

λE − P = |λE − P | = (λ − 0, 7) · (λ − 0, 6) − 0, 42 = λ2 − 1, 3λ + 0, 3 = 0.
λ1 = 1, λ2 = 0, 3.
P11 (1) = 1 − 0, 6 = 0, 4, P22 (1) = 1 − 0, 7 = 0, 3.
P11 (1) 0, 4 4 P22 (1) 0, 3 3
P1 = = = , P2 = = = .
P11 (1) + P22 (1) 0, 7 7 P11 (1) + P22 (1) 0, 7 7
I

Замечание 3.7. Практическое нахождение предельных вероятно-

стей таким способом возможно в общем случае лишь для конечных
цепей Маркова.

22
 3. Эргодичность и стационарные распределения

3.4. Контрольные вопросы

1. Дайте определение эргодического состояния.

2. Дайте определение эргодической цепи Маркова.
3. Может ли быть эргодической цепь Маркова, в которой имеется
нулевое состояние?
4. Может ли быть эргодической цепь Маркова, в которой имеются
несообщающиеся состояния?
5. Какое распределение называется стационарным?
6. Единственно ли стационарное распределение?
7. Может ли у неэргодической марковской цепи существовать
стационарное распределение?
8. Дайте определение характеристической матрицы цепи Марко-
ва.
9. В чем состоит алгебраический метод нахождения стационар-
ного распределения?
10. Как связаны предельные вероятности и стационарное распреде-
ление?
11. Сформулируйте эргодическую теорему.
12. Каким способом можно найти предельные вероятности цепи
Маркова?

23
Литература

[1] Боровков, А. А. Теория вероятностей: Учебное пособие. — Изд. 2-е,

перераб. и доп. /А. А. Боровков. — М.:Наука. Гл. ред. физ.-мат. лит.,
1986.
[2] Вентцель, Е. С. Теория вероятностей: Учебное пособие. — Изд. 6-е,
перераб. и доп. / Е. С. Вентцель, Л. А. Овчаров. — М.: Наука. Гл. ред.
физ.-мат. лит., 1969.
[3] Вентцель, А. Д. Теория случайных процессов: Учебное пособие / А.
Д. Вентцель. — М.: Наука, 1975.
[4] Волков, И. К. Случайные процессы: Учебное пособие. / И. К. Вол-
ков, С. М. Зуев, Г. М. Цветкова. — М.: Изд-во МГТУ, 2000.
[5] Гихман, И. И. Введение в теорию случайных процессов: Учебное
пособие. / И. И. Гихман, А. В. Скороход. — М.: Наука, 1977.
[6] Севастьянов, Б. А. Курс теории вероятностей и математической
статистики: Учебник / Б. А. Севастьянов. — М.: Наука. Гл. ред. физ.-
мат. лит., 1982.

24
Предметный указатель

матрица матрицы
переходных вероятностей, 3 характеристические, 22
на n-м шаге, 3
эргодическая
стохастическая, 3
теорема, 20
состояние теорема Маркова, 21
апериодическое, 9
возвратное, 9
невозвратное, 9
ненулевое, 9
несущественное, 6
нулевое, 9
периодическое, 9
поглощающие, 7
эргодическое, 17
существенное, 6
состояния
сообщающиеся, 6
теорема
Маркова
эргодическая, 21
эргодическая, 20
цепь Маркова, 2
апериодическая, 15
матрица характеристическая, 22
неразложимая, 7
однородная, 3
периодическая, 15
эргодическая, 17
разложимая, 7
распределение
стационарное, 17
числа

25
Оглавление

1. Последовательности зависимых случайных

величин, образующих цепи Маркова . . . . . . . . . . . . . . 2
1.1. Основные понятия . . . . . . . . . . . . . . . . . . . . 2
1.2. Примеры цепей Маркова . . . . . . . . . . . . . . . . 3
1.3. Переходы за k шагов . . . . . . . . . . . . . . . . . . 5
1.4. Существенные состояния . . . . . . . . . . . . . . . . 6
1.5. Классы состояний . . . . . . . . . . . . . . . . . . . . 7
1.6. Контрольные вопросы . . . . . . . . . . . . . . . . . . 7
2. Классификация состояний в неразложимой цепи Маркова . 9
2.1. Возвратные, нулевые, периодические состояния . . . 9
2.2. Возвращения в состояние . . . . . . . . . . . . . . . . 10
2.3. Симметричное случайное блуждание . . . . . . . . . 11
2.4. Теорема солидарности . . . . . . . . . . . . . . . . . 14
2.5. Контрольные вопросы . . . . . . . . . . . . . . . . . . 16
3. Эргодичность и стационарные распределения . . . . . . . . 17
3.1. Эргодические состояния . . . . . . . . . . . . . . . . 17
3.2. Эргодическая теорема . . . . . . . . . . . . . . . . . 20
3.3. Алгебраический метод нахождения стационарного
распределения . . . . . . . . . . . . . . . . . . . . . . 22
3.4. Контрольные вопросы . . . . . . . . . . . . . . . . . . 23
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . 24
Содержание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

26